CN115964182A - 资源的调度方法和系统 - Google Patents
资源的调度方法和系统 Download PDFInfo
- Publication number
- CN115964182A CN115964182A CN202310250884.5A CN202310250884A CN115964182A CN 115964182 A CN115964182 A CN 115964182A CN 202310250884 A CN202310250884 A CN 202310250884A CN 115964182 A CN115964182 A CN 115964182A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- target
- input
- input data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种资源的调度方法和系统。其中,该方法包括:利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。本申请解决了无法有效进行资源调度的技术问题。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种资源的调度方法和系统。
背景技术
目前,在大数据平台中运行至许多开放数据处理服务(Open Date ProcessingService,简称为ODPS)的作业,比如,开放数据处理可以包括增量查询处理,上述作业存在需要重复计算的问题。
在相关技术中,可以通过渐进式计算对上述作业进行处理,渐进式计算主要是通过使用调度方案实现的。当价值属性低于价值属性阈值时,便会执行渐进式计算。但是,价值属性阈值的选取是十分困难的,不同的作业或同一作业在不同时间,能够带来效果的价值属性阈值是完全不同的,因此,静态的阈值方案不能充分地发挥渐进式计算的能力,从而导致无法有效进行资源调度的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种资源的调度方法和系统,以至少解决无法有效进行资源调度的技术问题。
根据本申请实施例的一个方面,提供了一种资源的调度方法。该方法可以包括:利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
根据本申请实施例的另一个方面,还提供了另一种资源的调度方法。该方法可以包括:响应作用于操作界面上的输入操作指令,在操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询输入数据的查询资源的价值属性;响应作用于操作界面上的调用操作指令,在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时段的数据分别在对应时间段执行查询操作的执行决策;响应作用于操作界面上的匹配操作指令,输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策,其中,目标执行决策用于确定是否调度查询资源来对输入数据执行查询。
根据本申请实施例的另一个方面,提供了一种资源的调度系统。该系统可以包括:求解器,用于获取策略数据集,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;调度器,用于利用至少一查询数据集监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性,从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;执行引擎,用于在基于目标执行决策确定需要对输入数据执行查询操作的情况下,调度查询资源对输入数据执行查询操作。
根据本申请实施例的另一个方面,提供了另一种资源的调度方法。该方法可以包括:利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
根据本申请实施例的一个方面,提供了一种资源的调度装置。该装置可以包括:第一监测单元,用于利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;第一调用单元,用于从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;第一获取单元,用于从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;第一确定单元,用于基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
根据本申请实施例的另一个方面,还提供了另一种资源的调度装置。该装置可以包括:第一显示单元,响应作用于操作界面上的输入操作指令,在操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询输入数据的查询资源的价值属性;第二显示单元,用于响应作用于操作界面上的调用操作指令,在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段数据分别在对应时间段执行查询操作的执行决策;输出单元,用于响应作用于操作界面上的匹配操作指令,输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策,其中,目标执行决策用于确定是否调度查询资源来对输入数据执行查询。
根据本申请实施例的另一个方面,提供了另一种资源的调度装置。该装置可以包括:第二监测单元,用于利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性;第二调用单元,用于从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;第二获取单元,用于从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策;第二确定单元,用于基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一项的资源的调度方法。
根据本申请实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,在程序运行时执行上述任意一项的资源的调度方法。
在本申请实施例中,利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。也就是说,本申请实施例确定每个输入数据的查询资源的价值属性,且从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中获取与查询资源的价值属性匹配的目标执行决策,可以基于目标执行决策,确定是否对输入数据执行查询操作,从而达到有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种用于实现资源的调度方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本申请实施例的一种计算环境的结构框图;
图3是根据本申请实施例的一种服务网格的结构框图;
图4是根据本申请实施例的一种资源的调度方法的流程图;
图5是根据本申请实施例的另一种资源的调度方法的流程图;
图6a是根据本申请实施例的另一种资源的调度方法的流程图;
图6b是根据本申请实施例的一种资源的调度系统的示意图;
图7是根据本申请实施例的一种渐进式计算框架的示意图;
图8是根据本申请实施例的一种渐进式计算过程的流程图;
图9是根据本申请实施例的一种增量计划模板的示意图;
图10是根据本申请实施例的一种完整的增量执行计划模板的示意图;
图11是根据本申请实施例的一种资源的调度方法的示意图;
图12是根据本申请实施例的一种资源的调度装置的示意图;
图13是根据本申请实施例的一种资源的调度装置的示意图;
图14是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
马尔可夫决策过程(Markov Decision Process,简称为MDP),是离散时间随机控制过程,该过程提供了一个数学框架,可以用于在结果部分随机且部分受决策者控制的情况下,对决策建模,可以用于研究通过动态规划解决的较佳化问题;
渐进式计算,是处于传统的流计算和批处理之间的一种计算方式,具有高资源利用率和低延迟的优势;
基于代价的优化方式(Cost-Based Optimization,简称为CBO),可以为一种计算每个计划的花费,选择较低花费的优化方式。
实施例1
根据本申请实施例,提供了一种资源的调度方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1是根据本申请实施例的一种用于实现资源的调度方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端A(或移动设备)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(Universal Serial Bus,USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端A还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他资源的调度电路在本文中通常可以被称为“资源的调度电路”。该资源的调度电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,资源的调度电路可为单个独立的处理模块,或全部或部分的结合到计算机终端A(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该资源的调度电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的资源的调度方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的资源的调度方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端A的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(Liquid Crystal Display,LCD),该液晶显示器可使得用户能够与计算机终端A(或移动设备)的用户界面进行交互。
图1示出的硬件结构框图,不仅可以作为上述计算机终端A(或移动设备)的示例性框图,还可以作为上述服务器的示例性框图,一种可选实施例中,图2以框图示出了使用上述图1所示的计算机终端A(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例的一种计算环境的结构框图,如图2所示,计算环境201包括运行在分布式网络上的多个(图中采用210-1,210-2,…,来示出)计算节点(如服务器)。每个计算节点都包含本地处理和内存资源,终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境301中的多个服务220-1,220-2,220-3和220-4进行提供,分别代表服务“A”,“D”,“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务,在一些实施例中,可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。
服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中,可以根据基于虚拟机(Virtual Machine,简称为VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机,在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时,根据基于容器的虚拟化,可以启动容器来虚拟化整个操作系统(OperatingSystem,简称为OS),以便多个工作负载可以在单个操作系统实例上运行。
在基于容器虚拟化的一个实施例中,服务的若干容器可以被组装成一个Pod(例如,Kubernetes Pod)。举例来说,如图2所示,服务220-2可以配备一个或多个Pod240-1,240-2,…,240-N(统称为Pod)。每个Pod可以包括代理245和一个或多个容器242-1,242-2,…,242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求,代理245通常控制与服务相关的网络功能,如路由、负载均衡等。其他服务也可以配备类似于Pod的Pod。
在操作过程中,执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务,执行一个服务的一个或多个功能坑你需要调用另一个服务的一个或多个功能。如图2所示,服务“A”220-1从入口网关230接收终端用户202的用户请求,服务“A”220-1可以调用服务“D”220-2,服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境,资源的分配由云服务提供上管理,允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能,而不是扩展单个硬件设备来处理潜在的负载。
另一种可选实施例中,图3以框图示出了使用上述图1所示的计算机终端A(或移动设备)作为服务网格的一种实施例。图3是根据本申请实施例的一种服务网格的结构框图,如图3所示,该服务网格300主要用于方便多个微服务之间进行安全和可靠的通信,微服务是指将应用程序分解为多个较小的服务或者实例,并分布在不同的集群/机器上运行。
如图3所示,微服务可以包括应用服务实例A和应用服务实例B,应用服务实例A和应用服务实例B形成服务网格300的功能应用层。在一种实施方式中,应用服务实例A以容器/进程308的形式运行在机器/工作负载容器组314(Pod),应用服务实例B以容器/进程310的形式运行在机器/工作负载容器组316(Pod)。
在一种实施方式中,应用服务实例A可以是商品查询服务,应用服务实例B可以是商品下单服务。
如图3所示,应用服务实例A和网格代理(sidecar)303共存于机器工作负载容器组614,应用服务实例B和网格代理305共存于机器工作负载容器314。网格代理303和网格代理305形成服务网格300的数据平面层(Data plane)。其中,网格代理303和网格代理305分别以容器/进程304,容器/进程306的形式运行,可以接收请求312,以用于进行商品查询服务,并且网格代理303和应用服务实例A之间可以双向通信,网格代理305和应用服务实例B之间可以双向通信。此外,网格代理303和网格代理305之间还可以双向通信。
在一种实施方式中,应用服务实例A的所有流量都通过网格代理303被路由到合适的目的地,应用服务实例B的所有网络流量都通过网格代理305被路由到合适的目的地。需要说明的是,在此提及的网络流量包括但不限于超文本传输协议(Hyper Text TransferProtocol,简称为HTTP),表述性状态传递(Representational State Transfer,简称为REST)高性能等形式。
在一种实施方式中,可以通过为服务网格300中的代理(Envoy)编写自定义的过滤器(Filter)来实现扩展数据平面层的功能,服务网格代理配置可以是为了使服务网格正确地代理服务流量,实现服务互通和服务治理。网格代理303和网格代理305可以被配置成执行至少如下功能中的一种:服务发现(service discovery),健康检查(health checking),路由(Routing),负载均衡(Load Balancing),认证和授权(authentication andauthorization),以及可观测性(observability)。
如图3所示,该服务网格300还包括控制平面层。其中,控制平面层可以是由一组在一个专用的命名空间中运行的服务,在机器/工作负载容器组(machine/Pod)302中由托管控制面组件301来托管这些服务。如图3所示,托管控制面组件301与网格代理303和网格代理305进行双向通信。托管控制面组件301被配置成执行一些控制管理的功能。例如,托管控制面组件301接收网格代理303和网格代理305传送的遥测数据,可以进一步对这些遥测数据做聚合。这些服务,托管控制面组件301还可以提供面向用户的应用程序接口(Application Programming Interface,简称为API),以便较容易地操纵网络行为,以及向网格代理303和网格代理305提供配置数据等。
在上述运行环境下,本申请提供了如图4所示的资源的调度方法。图4是根据本申请实施例的一种资源的调度方法的流程图。如图4所示,该方法可以包括以下步骤:
步骤S402,利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性。
在本申请上述步骤S402提供的技术方案中,可以获取至少一查询数据集,且监测到输入数据,以及监测到用于查询资源的价值属性。其中,查询数据集可以为查询作业集,可以为一批结构化查询语言(Structured query language,简称为Sql)的查询作业的集合,比如,可以为依赖查询的作业流(查询数据集)、查询工作流等,可以为连续的数据流(工作流),也可以为间歇批次的数据流,此处仅为举例,不对查询数据集做具体限制。输入数据可以为输入表数据,输入表数据可以随着数据的插入进行扩充,比如,输入数据可以为输入表的数据特征向量。查询资源可以为集群资源。价值属性可以为当前时刻的资源价格(),又可以为收费金额,可以用于体现资源的成本或价格。价值属性可以为总加权成本,又可以称为期望代价。
可选地,可以获取至少一查询数据集,且可以通过监测得到输入数据,以及监测到用于查询输入数据的查询资源的价值属性。
举例而言,查询资源(集群资源)具有波动且不可预见的价值属性。可以对每个查询数据集中的查询工作集生成一个调度器代理,通过调度器代理可以实时的监测资源的变化,从而可以监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性。
步骤S404,从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
在本申请上述步骤S404提供的技术方案中,策略数据集可以包括与不同数据集匹配的策略数据,比如,可以包括与每个查询数据集匹配的目标策略数据,可以用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。执行决策可以为执行的动作(比如,动作A),可以包括执行的频率,可以用于表示是否对数据集中的数据执行查询操作。查询操作可以为查询处理,比如,可以为增量查询处理,该增量查询处理也可以称为渐进式查询处理。目标策略数据可以为通过马尔可夫决策过程(MarkovDecision Process,简称为MDP)策略得到的策略数据,可以用L表示。
在该实施例中,可以获取包括与不同数据集匹配的策略数据的策略数据集,从策略数据集中调用与查询数据集匹配的目标策略数。
可选地,数据集的所有状态下的执行决策都可以汇总到策略数据集(MDP策略)中,可以从策略数据集中调用与查询数据集中数据对应的执行决策,从而得到策略数据集中与查询数据集相匹配的目标策略数据,其中,目标策略数据可以为合适的调度策略(),可以为执行后总成本最小的策略数据。
当在给定期限内执行增量查询,且集群资源具有波动且不可预见的价格时,无法确定何时运行或对数据集中那个数据执行查询操作,从而存在由资源价格加权的总加权成本较大的问题。为解决该问题,在本申请实施例中,从策略数据集中调用与查询数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策,从而完成对查询数据的渐进式计算,得到与查询数据集相匹配的目标策略数据,通过该目标策略数据可以确定如何对输入数据进行调度,从而解决了无法有效进行资源调度的技术问题。
可选地,对于重复执行的工作集(查询数据集),比如,日常例行报告查询,可以采用重复使用目标策略数据。也即,在该实施例中,每种工作集对应一组目标策略数据,未来的工作集如果为之前处理过的工作集,则可以重复使用策略数据集中的策略数据。可以预先确定策略数据集,可以直接从策略数据集中调用与查询数据集匹配的目标策略数据,从而达到了提高资源的调度效率的目的。
举例而言,可以利用至少一查询数据集,监测到与查询数据集匹配的数据,得到输入数据,可以从策略数据集中调用与查询数据集匹配的策略数据,得到目标策略数据。
步骤S406,从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策。
在本申请上述步骤S406提供的技术方案中,可以从目标策略数据中进行匹配处理,获取与输入数据、输入数据对应的查询资源的价值属性相匹配的目标执行决策。其中,目标执行决策可以用于确定对输入数据是否执行查询操作的执行动作。目标策略数据可以为预先设定的策略数据。
在本申请实施例中,可以先从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中,获取与输入数据和与输入资源相应的查询资源的价值属性匹配的目标执行决策。也即,可以通过获取不同查询资源的价值属性的未来可能性,基于价值属性的未来可能性得到目标策略数据,在运行时,可以基于输入数据的价值属性,灵活的做出调度决策,得到目标执行决策。在本申请实施例中,基于价值属性生成目标执行决策,从而可以减小数据集在执行的过程中的总加权成本。
步骤S408,基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
在本申请上述步骤S408提供的技术方案中,可以获取与输入数据和查询资源的价值属性匹配的目标执行决策,基于目标执行决策,可以确定是否调度查询资源对输入数据执行查询操作。
可选地,可以从策略数据集中确定至少一查询数据集中每个查询数据集的目标策略数据,该目标策略数据可以只计算一次,就可以在未来进行多次复用。可以基于至少一查询数据集的调度代理器对输入数据进行监测,监测得到输入数据以及用于查询输入数据的查询资源的价值属性。可以从目标策略数据中进行匹配处理,获取与输入数据和输入数据对应的查询资源的价值属性相匹配的目标执行决策,基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
举例而言,可以从策略数据集中确定至少一查询数据集中每个查询数据集的目标策略数据。可以通过在线模块实时监测每天的资源变化,数据到来等情况,从而基于至少一查询数据集监测到输入数据以及用于查询输入数据的查询资源的价值属性。可以通过查询可以从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策,基于目标执行决策,确定是否调度查询资源来对输入数据执行渐进式计算。
通过本申请上述步骤S402至步骤S408,从至少一查询数据集中监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。也就是说,本申请实施例确定每个输入数据的查询资源的价值属性,且从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中获取与查询资源的价值属性匹配的目标执行决策,可以基于目标执行决策,确定是否对输入数据执行查询操作,从而达到有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
下面对该实施例的上述方法进行进一步的介绍。
作为一种可选的实施方式,步骤S406,从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策,包括:从目标策略数据中进行匹配处理,获取输入数据的相邻输入数据、输入数据和查询资源的价值属性匹配的目标执行决策,其中,相邻输入数据的输入时间节点位于输入数据的输入时间节点之前。
在该实施例中,可以获取输入时间节点位于输入数据的输入时间节点之前的相邻输入数据,可以从目标策略数据中进行匹配处理,获取与相邻输入数据、输入数据和查询资源的价值属性三者相匹配的目标执行决策。其中,相邻输入数据可以为输入时间节点位于输入数据的输入时间节点之前的输入数据,该相邻输入数据可以为离散参数,可以用表示,可以为在上次运行时刻的输入数据版本(数据版本向量),可以用于描述上次运行时刻可用的输入数据总量,比如,如果输入数据是在16时的数据,则相邻输入数据可以为15时的数据,需要说明的是,上述数字仅为举例说明,此处不对时间的大小和时间间隔的大小做具体限制。
可选地,由于当前状态是否执行查询操作取决于未来所有可能状态跳转的期望代价和,因此,可以从目标策略数据中进行匹配处理,获取与相邻输入数据和输入数据分别对应的查询资源的价值属性,且确定与查询资源的价值属性匹配的目标执行决策。
可选地,在查询数据集中,可以选择一个动作A,立即可以获得奖励,该奖励可以为增量执行的估计成本,可以以概率从时间步长t+1的一组状态转移到新状态。该实施例可以通过是否利用相邻输入数据对应的资源来对相邻输入数据执行查询操作的查询状态,可以用于确定从相邻输入数据转换至输入数据的概率,比如,如果选择等待(A=0),则可以立即产生成本,从而可以将以概率确定为从相邻输入数据转换至输入数据的概率。如果选择运行(A=1),可以在当前价格下产生非负成本,从而可以确定从相邻输入数据转换至输入数据的概率,可以为。
在本申请实施例中,由于并不确定未来的输入数据会是哪一个,可以用概率对不同的未来结果进行建模,从而尽量减少对未来总成本的期望,通过将马尔可夫决策过程,完成了一组离散化状态在其间进行转换的可能。仅通过对上次运行的信息捕获和识别增量处理,从而实现在不知道未来的情况下基于相邻输入数据动态的做出基于成本的决策,进而达到了可以有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
虽然不能确定未来的输入数据的价值属性会是多少,但可以用概率对不同的未来结果进行建模,并尽量减少对未来总成本的期望。按照这个想法,可以将调度问题表述为马尔可夫决策过程(MDP),该过程描述了具有一组离散化状态和离散数据间状态转换的未来可能性。
作为一种可选的实施方式,从目标策略数据中进行匹配处理,获取与相邻输入数据、输入数据和查询资源的价值属性相匹配的目标执行决策,包括:在操作界面上显示输入数据的当前输入时间、输入数据、查询资源的价值属性和相邻输入数据;响应作用于操作界面上的匹配操作指令,对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配;响应于目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,输出目标执行决策。
在该实施例中,可以在操作界面上显示输入数据的当前输入时间、输入数据、查询资源的价值属性和相邻输入数据。可以获取匹配操作指令,响应于匹配操作指令,可以对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配。判断目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性是否匹配成功,可以响应于目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,输出目标执行决策。
可选地,可以对于每个查询数据集生成一个调度器代理。可以通过调度器代理实时监测输入数据和相邻输入数据的变化、输入数据和相邻输入数据的输入时间和查询资源的价值属性,可以基于输入数据的当前输入时间、输出数据、查询资源的价值属性和相邻输入数据,实时监测资源的变化情况和调度的执行情况,可以获取匹配操作指令,响应于匹配操作指令,可以对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配。判断目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性是否匹配成功,可以响应于目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,输出目标执行决策。
在该实施例中,将查询作业集的渐进式计算过程抽象马尔可夫过程,并以此实现渐进式计算的调度策略,从而实现了可以有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
作为一种可选的实施方式,对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配,包括:响应于目标策略数据包括当前输入时间、相邻输入数据、输入数据和查询资源的价值属性,确定目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功。
在该实施例中,判断目标策略数据中是否包括当前输入时间,相邻输入时间、输入数据和查询资源的价值属性。可以响应于目标策略数据包括当前输入时间、相邻输入时间、输入数据和查询资源的价值属性,确定目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功。
可选地,可以用数据版本向量描述输入时间节点位于输入数据的输入时间节点之前的输入数据总量(可以为上次运行时可用的输入数据总量)。可以将数据状态(S)定义为四元组:
其中,t可以为当前输入时间(时间步长),可以为当前时刻的资源价格(可以为查询资源的价值属性),可以是第i个查询当前的数据量的资源价格,或可以为第i个查询已执行的数据量的资源价格。可以为当时可用的输入数据版本(输入数据)。可以为相邻输入数据,比如,可以为上次运行时的输入数据版本,比如,在输入数据之前并没有运行,可以确定为0。
可选地,可以基于MDP求解器对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配,响应于目标策略数据包括当前输入时间、相邻输入时间、输入数据和查询资源的价值属性,确定目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,从而可以基于目标执行决策确定当前状态,当前状态为1时可以进行渐进式计算,当前状态为0时,可以不进行渐进式计算,在该状态下,不进行渐进式计算可以存在更好的收益。
作为一种可选的实施方式,在操作界面上生成并显示数据量阈值;响应于输入数据的数据量高于数据量阈值,在操作界面上显示用于提示允许对输入数据执行查询操作的目标执行决策;响应于输入数据的数据量低于数据量阈值,在操作界面上显示用于提示禁止对输入数据执行查询操作的目标执行决策。
在该实施例中,可以基于相邻输入数据的查询状态,在操作界面上生成并显示数据量阈值。对输入数据的数据量进行判断,判断输入数据的数据量是否高于数据量阈值。如果输入数据的数据量高于数据量阈值,响应于输入数据的数据量高于数据量阈值,可以在操作界面上显示用于提示允许对输入数据执行查询操作的目标执行决策。如果输入数据的数据量低于数据量阈值,响应于输入数据的数据量低于数据量阈值,可以在操作界面上显示用于提示禁止对输入数据执行查询操作的目标执行决策。其中,查询状态可以指的是增量处理状态(可以简称为处理状态),可以包括等待状态或运行状态,可以用0表示等待状态,用1表示运行状态,此处查询状态和查询状态的表现形式仅为举例说明,不做具体限制。数据量阈值可以为预先设定的值。价值属性可以相邻输入数据的当前价格。
可选地,可以基于相邻输入数据的查询状态和查询资源的价值属性,获取运行时实时可用的信息,基于相邻输入数据的查询状态和查询资源的价值属性,在操作界面上生成并显示数据量阈值,通过对数据量阈值和输入数据的数据量的判断,确定是否对输入数据执行查询操作的目标执行决策。
在该实施例中,基于相邻输入数据中的处理状态、资源属性、当前的时间等数据,确定操作界面上显示的数据量阈值,通过数据量阈值的实时动态的调整,进一步提高对资源进行调度的效率。
作为一种可选的实施方式,从策略数据集中调用与查询数据集匹配的目标策略数据,包括:在策略数据集中,获取查询数据集在预定初始数据和增量数据下对应的策略模板,其中,策略模板用于查询数据集确定在预定初始数据和增量数据这二者下的执行决策,可以为查询数据集的执行计划模板。执行决策用于表示查询数据集在预定初始数据和增量数据这二者利用对应的资源执行查询操作的决策;基于预定查询数据集、集群中表数据的初始数据、未来增量数据、集群资源价值数据的变化信息对策略模板进行调整,得到策略数据集中的目标策略数据。
在该实施例中,数据集中的数据可以包括预定初始数据和增量数据。可以在策略数据集中,获取查询数据集在预定初始数据和增量数据下对应的策略模板。可以基于预定查询数据集、集群中表数据的初始数据、未来增量数据和集群资源价值数据的变化信息,对策略模板进行调整,得到策略数据集中的目标策略数据。其中,策略模板可以为渐进式执行计划模板,又可以称为增量计划模板,可以用于查询数据集在确定在预定初始数据和增量数据这二者下的执行决策。执行决策可以用于表示查询数据集在预定初始数据和增量数据这二者利用对应的资源执行查询操作的决策。
可选地,初始计划可以表示使用从0-t1这一时间段的数据量来计算初始数据,增量计划可以表示使用从t1-t2这一时间段的数据量来计算增量数据,从而得到包括预定初始数据和增量数据。可以基于预定初始数据所需资源的价值属性和增量数据所需资源的价值属性对策略模块进行调整,得到策略数据集中的目标策略数据。其中,初始计划和增量计划是不同的。增量计划需要考虑额外的数据读取合并等过程。一个完整的渐进式执行计划由一个初始计划和多个增量计划组成,因此,数据集中数据包括第一时间段内的初始数据和第二时间段内的增量数据。
可选地,查询工作集被送入给定的渐进式查询优化器中,该优化器为工作集中的每个查询生成增量执行计划。由于实际的执行时间点还有待调度器确定,可以称该增量执行计划为增量计划模板。其中,优化器可以是流式系统中常用的简单优化器;或者可以是传统数据库系统中的增量视图维护计划器;或也可以为考虑了上游/下游查询依赖性,并通过联合考虑不同系列的增量算法来选择合适计划的复杂优化器(Tempura),此处仅为举例,不对优化器种类做具体限制。
举例而言,可以获取预定初始数据和增量数据。对于N个查询的工作集Q1……Qn,增量计划模板可以由每个查询Qi的t1处的初始计划和t2处的增量计划组成,可以获取与初始数据和增量数据对应的策略模板。可以基于初始数据所需资源的价值属性和增量数据所需资源的价值属性对策略模板进行调整,得到策略数据集中的目标策略数据。
可选地,可以通过执行计划评估器对初始数据所需资源的价值属性和增量数据所需资源的价值属性进行评估,比如,可以对增量数据的执行代价,或初始数据的执行代价进行评估。可以基于评估结果,确定较小代价的目标策略数据。同时,执行计划评估器可以输出不同时间,价格,输入数据量情况下一个固化的增量式执行计划,从而实现对下游更好的进行调度的目的。
举例而言,对于计划模板中给定的预定初始计划(初始数据)或增量计划(增量数据),二者的成本(价值属性)仅随着当时可用的输入数据版本和上次可用的输入数据版本而改变,可以通过调用执行计划评估器来预先收集初始数据和增量数据的价值属性。
对于工作集中的每个查询,执行计划评估器可以根据不同的输入数据配置生成估计成本和输出数据统计信息,而无需担心工作集中的其他查询。因此,此过程对每个查询都是本地的,并且可以针对每个查询独立完成,从而进一步的提高了进行资源调度的效率。
作为一种可选的实施方式,不同时间段包括初始时间段和目标时间段,目标时间段为在初始时间段上增加的时间段,其中,策略模板用于查询数据集确定在初始时间段的预定初始数据和目标时间段的增量数据这二者下的执行决策,执行决策用于表示查询数据集在预定初始数据利用初始时间段的查询资源执行查询操作的决策,以及查询数据集在增量数据利用目标时间段的查询资源执行查询操作的决策。
在该实施例中,不同时间段可以包括初始时间段和目标时间段。其中,初始时间段可以为预定初始数据对应的时间段,比如,可以为0-t1的时间段。目标时间段可以为增量数据对应的时间段,可以为在初始时间段上增加的时间段,比如,可以为t1-t2这个时间段。基于策略模板,确定查询数据集在预定初始数据利用初始时间段的查询资源执行查询操作的执行决策和增量数据利用目标时间段的查询资源执行查询操作的执行决策。
可选地,执行计划模板可以包含两个逻辑上的时间(t1、t2)。预定初始计划可以表示使用从0-t1这初始时间段中的数据量来计算预定初始数据,增量计划可以表示使用从t1-t2这目标时间段的数据量来计算增量数据,从而得到包括初始时间段的预定初始数据和目标时间段内的增量数据。可以基于预定初始数据所需资源的价值属性和增量数据所需资源的价值属性对策略模块进行调整,得到策略数据集中的目标策略数据。
举例而言,可以获取初始时间段内(0-t1)的预定初始数据和目标时间段内(t1-t2)的增量数据。对于N个查询的工作集Q1……Qn,增量计划模板可以由每个查询Qi的t1处的预定初始计划和t2处的增量计划组成,可以获取与预定初始数据和增量数据对应的策略模板。可以基于初始数据所需资源的价值属性和增量数据所需资源的价值属性对策略模板进行调整,得到策略数据集中的目标策略数据。
作为一种可选的实施方式,基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作,包括:基于目标执行决策,确定是否按照查询数据集在预定初始数据调度的初始时间段的查询资源,来对输入数据中初始时间段的数据执行查询操作,以及按照查询数据集在增量数据调度的目标时间段的查询资源,来对输入数据中目标时间段的数据执行查询操作。
在该实施例中,获取在预定初始数据调度的初始时间段的查询数据,基于目标执行决策,可以确定是否按照在预定初始数据调度的初始时间段的查询资源,来对输入数据中初始时间段的数据执行查询操作,且按照查询数据集在增量数据调度的目标时间段的查询资源来对输入数据中,目标时间段的数据执行查询操作。
作为一种可选的实施方式,响应作用于操作界面上的设置操作指令,在操作界面上设置触发条件,其中,触发条件用于触发确定目标执行决策。
在该实施例中,获取作用于操作界面上的设置操作指令,可以响应作用于操作界面上的设置操作指令,在操作界面上设置触发条件,其中,触发条件可以用于触发确定目标执行决策,可以为提前预设的条件,比如,可以为资源突变、数据大批到来等条件。
可选地,对于查询作业集可以生成一个调度器代理,从而达到实时地监测资源变化、数据到来和调度执行情况的目的。当触发事件满足时,可以构建当前的状态,并询问目标执行决策,确定当前是否要执行渐进式计算。如果执行渐进式计算,可以输出增量执行计划给执行引擎执行。
在相关技术中,增量处理的调度通常是以用户制定的固定频率进行触发,比如,可以以每天固定6个时间点的频率来执行渐进式计算,但在某个固定的时刻下资源价格可能是很高的,该方法存在会导致巨大的计算执行代价的问题。而在本申请实施例中,每当符合触发条件时,都会触发一个新的决策周期,比如,可能时价格变化、足够数量的新数据的到达、较早安排的增量运行的执行失败,或者仅仅是自上一个决策周期以来已经过去了一定的时间等条件。当上述触发条件满足时,可以触发确定目标执行决策,从而提高了资源调度过程的灵活性,进一步实现了可以有效进行资源调度的技术问题。
作为一种可选的实施方式,响应于输入数据的数据量大于数据量阈值,和/或,查询资源的变化幅度大于幅度阈值,确定执行以下步骤:从标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策。
在该实施例中,可以判断输入数据的数据量是否大于数据量阈值,和/或,查询资源的变化幅度是否大于幅度阈值。如果输入数据的数据量大于数据量阈值,和/或,查询资源的变化幅度大于幅度阈值,则响应于输入数据的数据量大于数据量阈值,和/或,查询资源的变化幅度大于幅度阈值,确定输入数据和/或查询资源满足触发条件。当满足触发条件时,可以从目标策略数据中进行匹配处理,确定并获取目标策略数据中与输入数据和查询资源的价值属性匹配的目标执行决策。
作为一种可选的实施方式,响应作用于操作界面的查询类型选择指令,在操作界面上显示的至少一查询类型中选择渐进式查询类型;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作,包括:基于目标执行决策,确定是否调度查询资源来对输入数据执行与渐进式查询类型对应的渐进式查询。
在该实施例中,获取作用于操作界面的查询类型的选择指令。响应于作用于操作界面的查询类型选择指令,可以在操作界面上显示至少一查询类型中选择的渐进式查询类类型。可以基于目标执行决策,确定是否调度查询资源,以对输入数据执行与渐进式查询类型对应的渐进式查询。其中,渐进式查询可以为增量查询。
可选地,可以实时地监测资源变化,数据到来和调度执行情况,当触发事件满足触发条件时可以构建当前的状态,并在操作界面中询问决策策略,并确定当前是否要执行渐进式计算,响应于操作界面的查询类型选择指令,可以在操作界面上显示对至少一查询类型中选择渐进式查询类型。可以基于目标执行决策,确定是否调度查询资源来对输入数据执行与渐进式查询类型对应的渐进式查询。
作为一种可选的实施方式,在查询数据集中,基于截止输入时间节点对应的输入数据的执行决策,确定处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策;基于截止输入时间节点对应的输入数据的执行决策,以及处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,生成目标策略数据。
在该实施例中,在查询数据集中,可以基于截止输入时间节点对应的输入数据的执行决策,确定处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策。可以基于截止输入时间节点对应的输入数据的执行决策,以及处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,生成目标策略数据。其中,截止输入时间节点可以为截止日期。
可选地,考虑到在查询数据集需要在截止输入时间节点之前全部到达,必须全部执行。可以确定处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策。基于截止输入时间节点对应的输入数据的执行决策,以及处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,可以确定从后向前的动态规划,从而可以确定目标策略数据。
可选地,从获取到输入数据的开始时间到截止时间,在此时间中,可以不断监控价格演变、输入数据到达的状态以及查询工作集实例的执行进度,可以确定处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策。可以基于截止输入时间节点对应的输入数据的执行决策,以及处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,即时做出动态调度决策,从而得到目标策略数据。
在本申请实施例中,在截止输入时间节点的情况下,执行增量查询。通过使用马尔可夫决策过程离线模拟未来概率,并在线做出基于成本的动态调度决策,得到目标策略数据。得到的目标策略数据可以针对工作集不同的状态,即不同的时间,资源价格,输入计算量,历史执行等情况选择一个合适的目标策略数据,从而实现了可以有效进行资源调度的技术效果,解决了无法有效的进行资源调度的技术问题。
作为一种可选的实施方式,步骤S406,基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作,包括:响应作用于操作界面上的输出操作指令,将目标执行决策输出至执行引擎,且在执行引擎中确定是否调度查询资源来对输入数据执行查询操作。
在该实施例中,可以获取操作界面上的输入操作指令,响应于输入操作指令,将目标执行决策输出至执行引擎,且可以在执行引擎中确定是否调度查询资源来对输入数据执行查询操作。
可选地,可以实时地监测资源变化,数据到来和调度执行情况,当触发事件满足触发条件时可以构建当前的状态,并在操作界面中询问决策策略,确定当前是否要执行渐进式计算,响应于操作界面的查询类型选择指令,可以在操作界面上显示对至少一查询类型中选择渐进式查询类型。可以基于目标执行决策,确定是否调度查询资源来对输入数据执行与渐进式查询类型对应的渐进式查询。如果决定执行渐进式计算,可以输出增量执行计划给执行引擎执行。
在本申请实施例中,确定每个输入数据的查询资源的价值属性,且从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中获取与查询资源的价值属性匹配的目标执行决策,可以基于目标执行决策,确定是否对输入数据执行查询操作,从而达到有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
本申请实施例还提供了另一种资源的调度方法,该方法可以应用于人机交互场景中。图5是根据本申请实施例的另一种资源的调度方法的流程图,如图5所示,该方法可以包括以下步骤。
步骤S502,响应作用于操作界面上的输入操作指令,在操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询输入数据的查询资源的价值属性。
在本申请上述步骤S502提供的技术方案中,可以获取操作界面上的输入操作指令,响应作用于操作界面的输入操作指令,可以在操作界面上显示从至少一查询数据集中监测到的输入数据,以及用于查询输入数据的查询资源的价值属性。其中,输入操作指令可以用于输入输入数据。
步骤S504,响应作用于操作界面上的调用操作指令,在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
在本申请上述步骤S504提供的技术方案中,可以获取操作界面上的调用操作指令,响应作用于操作界面上的调用操作指令,可以在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据。其中,策略数据集可以包括与不同数据集匹配的策略数据,可以包括不同数据集的不同状态下的策略数据,可以用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
步骤S506,响应作用于操作界面上的匹配操作指令,输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策,其中,目标执行决策用于确定是否调度查询资源来对输入数据执行查询。
在本申请上述步骤S506提供的技术方案中,获取操作界面上的匹配操作指令,响应作用于操作界面上的匹配操作指令,可以确定与输入数据和查询资源的价值属性相匹配的目标执行决策,从而可以确定目标策略数据中的目标执行决策,可以输出目标执行决策。其中,目标执行决策可以用于确定是否调度查询资源来对输入数据执行查询。
通过本申请上述步骤S502至步骤S506,响应作用于操作界面上的输入操作指令,在资源的调度操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询资源的调度输入数据的查询资源的价值属性;响应作用于资源的调度操作界面上的调用操作指令,在资源的调度操作界面上显示从策略数据集中调用的与资源的调度查询数据集匹配的目标策略数据,其中,资源的调度策略数据集包括与不同数据集匹配的策略数据,资源的调度策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;响应作用于资源的调度操作界面上的匹配操作指令,输出资源的调度目标策略数据中与资源的调度输入数据和资源的调度查询资源的价值属性相匹配的目标执行决策,其中,资源的调度目标执行决策用于确定是否调度资源的调度查询资源来对资源的调度输入数据执行查询,从而达到了有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
本申请实施例还提供了另一种资源的调度方法,该方法可以应用于电商数据的资源分析调度场景中。图6a是根据本申请实施例的另一种资源的调度方法的流程图,如图6a所示,该方法可以包括以下步骤。
步骤S602,利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性。
在本申请上述步骤S602提供的技术方案中,可以获取至少一查询数据集,对电商平台进行监测,得到电商数据,以及用于查询电商数据的查询资源的价值数据。其中,查询数据集可以为查询作业集,可以为一批结构化查询语言的查询作业的集合,比如,可以为依赖查询的作业流(查询数据集)、查询工作流等,可以为连续的数据流(工作流),也可以为间歇批次的数据流,此处仅为举例,不对查询数据集做具体限制。电商数据可以包括电商产品的名称、价值等数据,此处仅为举例,不对电商数据做具体限制。查询资源可以为与电商数据相关的集群资源。价值属性可以为当前时刻的资源价格(),比如,可以为电商平台中电商产品的售卖价格等,可以用于体现资源的成本或价格。价值属性可以为总加权成本,又可以称为期望代价。
可选地,可以获取至少一查询数据集,且可以通过监测得到输入数据,以及监测到用于查询输入数据的查询资源的价值属性。
举例而言,查询资源(集群资源)具有波动且不可预见的价值属性。可以对每个查询数据集中的查询工作集生成一个调度器代理,通过调度器代理可以实时的监测电商平台中电商数据的变化,从而可以监测到电商数据,以及用于查询电商数据的查询资源的价值属性。
步骤S604,从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
在本申请上述步骤S604提供的技术方案中,策略数据集可以包括与电商平台的不同电商数据集匹配的策略数据,可以用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
在该实施例中,可以获取存储与不同数据集匹配的策略数据集,可以从策略数据集中确定,查询数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策,从而得到目标策略数据。
步骤S606,从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策。
在本申请上述步骤S606提供的技术方案中,可以从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策。其中,目标执行决策可以为要采取的执行动作。目标策略数据可以为预先设定的策略数据。
步骤S608,基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
在本申请上述步骤S608提供的技术方案中,可以获取与电商数据和查询资源的价值属性匹配的目标执行决策,基于目标执行决策,可以确定是否调度查询资源对电商数据执行查询操作。
可选地,可以从策略数据集中确定至少一查询数据集中每个查询数据集的目标策略数据。可以基于至少一查询数据集的调度代理器对电商数据进行监测,监测得到电商数据以及用于查询电商数据的查询资源的价值属性。可以从目标策略数据中进行匹配处理,获取与电商数据和电商数据对应的查询资源的价值属性相匹配的目标执行决策,基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
作为一种可选的实施方式,响应于调度查询资源来对电商数据执行查询操作成功,向电商平台返回得到的查询结果;响应于调度查询资源来对电商数据执行查询操作失败,向电商平台返回对应的提示信息。
在该实施例中,确定调度的查询资源是否对电商数据执行的查询操作操作成功。如果调度资源来对电商数据执行查询操作成功,响应与调度查询资源来对电商数据执行查询操作成功,可以向电商平台返回得到的查询结果。如果调度资源来对电商数据执行查询操作失败,响应与调度查询资源来对电商数据执行查询操作失败,可以向电商平台返回对应的提示信息。其中,查询结果可以为商品价格等数据,此处仅为举例,不对查询结果做具体限制。提示信息可以为预先设定的在不同的失败情况下,会发出的信息,比如,可以为“当前查询操作失败”。
在该实施例中,利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作,从而达到了有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
实施例2
根据本申请实施例,还提供了一种资源的调度系统的实施例,图6b是根据本申请实施例的一种资源的调度系统的示意图,如图6b所示,该系统可以包括:求解器601、调度器602和执行引擎603。
求解器601,可以用于获取策略数据集,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
在该实施例中,求解器可以用于获取与不同数据集匹配的策略数据,从而得到策略数据集,其中,求解器可以为马尔可夫决策过程模型或马尔可夫决策过程网络,可以用来获取策略数据集。策略数据可以用于确定所匹配的数据集中数据的执行决策。执行决策可以用于表示是否对数据集中数据执行查询操作。
可选地,求解器可以用于获取不同数据集在未来时刻的价值属性,可以用来描述所有可能的资源空间。求解器可以对执行计划评估器进行一系列调用,以获取在不同时间、价格和数据条件下从模板实例化的增量计划的估计成本和输出统计信息。可以将这些信息纳入求解器中。
可选地,可以离线对求解器进行求解。其中,每个离散化的数据集可以选择一个合适的动作,以使该数据集的预期剩余成本最小化,产生的结果可以作为策略数据。其中,策略数据可以为状态到合适动作的映射。
可选地,求解器可以包括离线MDP求解器。离线MDP求解器可以只运行一次,产生的策略数据可以被所有未来为工作集的实例创建的在线调度代理重复使用。仅当有新信息或价格演变和/或数据到达模式的基础先验分布发生变化时,才需要从离线MDP模型重新训练新的策略数据。其中,策略数据可以为调度策略。
调度器602,可以用于利用至少一查询数据集中监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策。
在该实施例中,调度器可以用于从至少一查询数据集中监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性。可以从策略数据集中调用与查询数据集匹配的目标策略数据。可以从目标策略数据中进行匹配处理,得到与输入数据和查询资源的价值属性匹配的目标执行决策。
可选地,可以对于每个查询数据集生成一个调度器代理。可以通过调度器代理实时监测输入数据和相邻输入数据的变化、输入数据和相邻输入数据的输入时间和查询资源的价值属性,可以基于输入数据的当前输入时间、输出数据、查询资源的价值属性和相邻输入数据,实时监测资源的变化情况和调度的执行情况。可以对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配。判断目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性是否匹配成功,可以响应于目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,调度器输出目标执行决策。
执行引擎603,可以用于在基于目标执行决策确定需要对输入数据执行查询操作的情况下,调度查询资源对输入数据执行查询操作。
在该实施例中,执行引擎可以用于基于目标执行决策,对输入数据执行查询操作。
可选地,可以基于目标执行决策,确定是否调度查询资源来对输入数据执行与渐进式查询类型对应的渐进式查询。如果决定执行渐进式计算,执行引擎可以基于目标执行决策,确定调度查询资源来对输入数据执行查询操作。
可选地,执行引擎603可以用于基于目标执行决策,确定是否调度查询资源来对输入数据执行渐进式查询。
在该实施例中,提供了一种资源的调度系统。通过求解器,获取包括与不同数据集匹配的策略数据的策略数据集;通过调度器,利用至少一查询数据集监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性,从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;通过执行引擎,在基于目标执行决策确定需要对输入数据执行查询操作的情况下,调度查询资源对输入数据执行查询操作,从而实现了可以有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
实施例3
目前,在大数据平台中运行至许多开放数据处理服务(Open Date ProcessingService,简称为ODPS)的作业,比如,开放数据处理可以包括增量查询处理,上述作业存在需要重复计算的问题。
在增量查询处理过程中,包括数据库中的流式系统和视图维护。当输入数据随着时间的推移逐渐变得可用时,无论输入数据是作为连续流还是间歇批次,都可以多次触发增量查询处理过程。其中,增量查询处理可以处理输入的最新增量数据。
在相关技术中,可以通过渐进式计算对上述作业进行处理,对于这些已上线的作业,渐进式计算可以帮助中央处理器(Central Processing Unit,简称为CPU)节省大量的控制单元(Control Unit,简称为CU)、核机器和计算成本。
渐进式计算在未来具有广阔的应用场景,比如,在跨分区分析作业上、物化视图增量维护、跨时间调度计算需求、集群资源利用率的削峰填谷等方面都可以发挥重要作用。目前,渐进式计算主要使用简单的固定阈值或者固定时间执行的两种调度方案。第一种,固定阈值方案可以为当资源价格低于设定阈值时,便会执行渐进式计算。但是阈值的选取是十分困难的,不同的作业,同一作业在不同时间,能够带来的效果的阈值是完全不同的,因此,静态的阈值方案存在不能充分地发挥渐进式计算的能力的问题。第二种是固定时间方案,这种方案是每天固定6个时间点来执行渐进式计算,但在某个固定的时刻下资源价格可能是很高的,该方法存在会导致巨大的计算执行代价的问题。
调度问题被表述为马尔可夫决策过程,该过程可以概率性地描述具有离散状态和转换的不同未来可能性。它共同考虑了价格演变概率和增量查询执行的成本动态,并且因此能够推理这样的问题:价格进一步下跌的可能性有多大,我们可以等待吗?增量运行查询并产生开销是否值得?上游查询的早期输出在多大程度上有利于下游查询的早期执行?考虑到所有这些方面,马尔可夫决策过程模型会生成合适的基于成本的调度决策,该决策使得总加权成本的期望最小化。
针对在渐进式计算中造成的资源浪费过多的问题,本申请实施例在资源价格不确定的情况下,面向截止日期的增量查询执行的新调度问题,提出了一种资源和数据量感知且设定截止期限下的渐进式计算调度方法。该方法考虑了实时变动的资源价格和数据流入,并将查询数据集的调度过程抽象为马尔可夫决策的过程。也即,该方法通过充分考虑资源价格和数据流入的分布情况,并对未来可能的走势进行建模,从而实现了较小的计算代价,使得整体的计算代价接近于理想理论值,进而在实际应用中达到大幅度减少计算代价的目的。
为了可以更好的发挥渐进式计算的能力,提出了一种基于代价的调度器,可以通过调度器提供合适的调度,用概率对不同的未来结果进行建模,并尽量减少对未来总成本的期望,从而可以为未来未知的完整问题最小化期待价值。图7是根据本申请实施例的一种渐进式计算框架的示意图,如图7所示,渐进式计算框架(Agamotto)可以包括离线和在线两个模块。其中,离线模块可以为离线MDP优化模块,可以包括MDP求解器701、执行计划评估器702和渐进式执行计划模板703,离线模块可以采用其他配置,比如,离散化参数和先验分布。离线模块中的执行计划评估器可以为现代查询优化器(Apache Calcite)的成本估算组件。在线模块可以为在运行时做出调度决策的在线调度器代理704组成。
可选地,离线模块可以提前计算每个查询数据集的目标调度策略,该策略只需要计算一次,然后可以在未来进行多次复用。在线模块可以实时监测每天的资源变化、数据到来、执行状态等情况,并通过查询已计算好的目标调度策略实时决策是否需要对执行引擎705进行完整的渐进式计算查询。
可选地,构建一个MDP求解器(MDP模型)来描述所有可能的未来可能性的空间,这些可能性具有一组离散化状态和它们之间的转换。MDP求解器可以对执行计划评估器进行一系列调用,以获取在不同时间、价格和数据条件下从模板实例化的增量计划的估计成本和输出统计信息,并将这些信息纳入MDP求解器。可以离线求解MDP模型。其中,每个离散化状态选择一个合适的动作,以使该状态的预期剩余成本最小化,产生的结果可以作为目标执行决策,可以是状态到合适动作的映射。
在该实施例中,在运行时,可以为数据集中的每个实例创建在线调度代理(调度器代理),比如,可以每天创建一个数据集实例。该实例从第一次输入数据到达到截止时间保持活跃,在此期间它不断监控价格演变、输入数据到达状态以及工作集实例的执行进度,同时,还会咨询合适的策略,并即时做出动态调度决策。每当决定运行某些查询时,它都会从计划模板实例化一个新计划,无论是初始计划还是增量计划,并为所选查询安排新的增量运行。
在该实施例中,渐进式计算中的离线模块和在线模块的生命周期是不同的,对于重复执行的工作集,比如,日常例行报告查询,可以采用重复使用目标策略数据(调度策略)。
可选地,离线MDP求解器只需要运行一次,产生的策略数据可以被所有未来为工作集实例创建的在线调度代理重复使用。仅当有新信息或价格演变和/或数据到达模式的基础先验分布发生变化时,才需要从离线MDP模型重新训练新的调度策略。
图8是根据本申请实施例的一种渐进式计算过程的流程图,如图8所示,渐进式计算过程可以包括以下步骤。
步骤S801,通过渐进式查询优化器生成查询数据集的渐进式执行计划模板。
在该实施例中,如图7所示,可以使用现有的渐进式查询优化器706生成查询数据集的渐进式执行计划模板。其中,渐进式执行计划模版(增量计划模板)可以由初始计划和增量计划组成。
图9是根据本申请实施例的一种增量计划模板的示意图,如图9所示,两个查询在第一时间段内(t1)的初始计划(PI)只需使用t1处可用的输入数据计算原始查询。在第二时间段内(t1-t2)之间的增量计划(PD)中,工作集Q1对新输入数据计算相同的过滤器,通过过滤器进行筛选,并将得到的数据附加到表(item Sales)。工作集Q2将先前的结果与来自工作集Q1的新输入相结合,并计算每个平台组(cid组)的新最大值(Agg(max))。需要说明的是,此处仅为一个增量计划模板,t1和t2尚未被实时点替换。
图10是根据本申请实施例的一种完整的增量执行计划模板的示意图,如图10所示,图9中的增量计划模板可以组装称图10中完整的增量执行计划。如图10所示,工作集Q1和工作集Q2的初始运行安排在8:00和9:00。之后,Q1和Q2计划分别运行3次和2次。请注意,Q2的增量delta计划在18:00消耗了来自Q1的两个增量delta输出,因为自Q2的上次运行以来,有两次新的Q1运行。在24:00,当数据完全到达时,为两个查询安排最后一次运行。
可选地,执行计划模板可以包含两个逻辑上的时间(t1、t2)。初始计划表示使用从0-t1这一时间段的数据量来计算增量数据(sql),增量计划可以表示使用从t1-t2这一时间段的数据量来计算增量数据(sq2)。其中,初始计划和增量计划是不同的。增量计划需要考虑额外的数据读取合并等过程。一个完整的渐进式执行计划由一个初始计划和多个增量计划组成。
步骤S802,设置MDP求解器。
在该实施例中,如图6所示,MDP求解器主要由模型设置、执行计划模版和执行计划评估器三部分作为输入。模型设置可以包括一些截止期限、离散参数和先验分布等。其中,离散参数可以为资源价格的范围、预计执行时间点的数量;先验分布可以为数据到达时间和历史资源价格的分布。
步骤S803,对初始计划和增量计划的执行代价进行评估。
在该实施例中,可以通过执行计划评估器对增量计划或初始计划的执行代价进行评估,评估结果可以用于帮助渐进式计算框架涉及最小代价的调整策略。且可以通过执行计划评估器中输出不同时间、价格、输入数据量情况的下一个固化的增量式执行计划,从而使得渐进式计算框架可以对下游进行调度。
步骤S804,对查询工作集进行处理。
在该实施例中,MDP求解器可以将整个查询工作集建模成一个四元组:
其中,t可以为当前时间(时间步长),可以为当前时刻的资源价格。可以为当时可用的输入数据版本(可以为输入表的数据特征向量),可以为当前的输入数据。可以为相邻输入数据,比如,可以为上次运行时的输入数据版本。
可选地,可以由MDP求解器确定当前状态,当前状态为1时可以进行渐进式计算,当前状态为0时,可以不进行渐进式计算,在该状态下,不进行渐进式计算可以存在更好的收益。
举例而言,在过程开始时,当前状态可以为=0。
可选地,可以使用执行代价来表示奖励。由于未来是不可知的,可以通过未来资源价格的分布进行建模确定。因此,确定给定状态S,动作A和当前的策略。
在该实施例中,在每个MDP状态S中,可以计算所有动作的剩余预期成本,并选择最小化成本预期的状态。
可选地,可以选择一个动作A,获得奖励(),该奖励可以是增量执行的估计成本。可以以概率从时间步长t+1的一组状态转移到新状态。其中,A∈{0,1},当到达状态时,可以表明是否为查询安排增量运行。
如果选择等待(A=0),那么立即产生成本。可以将以概率转移到下一个状态,其中,可以为增量数据。
如果选择运行(A=1),可以在当前价格下产生非负成本,并以概率转移到下一个状态。其中,该模型可以从执行计划评估器中获取每个状态S的估计成本。
可选地,考虑到在截止日期时数据全部需要到达,且必须执行,可以通过一个从后向前的动态规划可以求解出对应的动作。这一策略能够针对不同的状态,即不同的时间,资源价格,输入计算量,历史执行情况选择一个合适的动作。
步骤S805,确定是否执行渐进式计算。
在该实施例中,对于每个查询工作集可以生成一个调度器代理,调度器代理可以实时地监测资源变化、数据到来和调度执行情况,当触发事件满足时,可以构建当前的状态,并询问目的决策策略当前是否要执行渐进式计算。
步骤S806,执行渐进式计算。
在该实施例中,如果决定执行渐进式计算,那么将输出增量执行计划给执行引擎执行。
在该实施例中,将查询数据集的渐进式计算过程抽象马尔可夫过程,并以此实现渐进式计算的调度策略,优于其它相关的调度技术。同时,考虑了未来可能的资源价格变化情况和数据到来情况,并根据实际情况设定了截止期限,比如,可以设定在某个时间点前必须计算完成。通过对未来可能的资源价格和数据到来情况进行了建模,并以此构建全新的代价评估方式,从而克服了固定阈值方案不能根据时间的价格,历史执行情况动态调节的缺点,且由于本申请实施例是一个基于代价的方案,因此,在计算代价方面获得了很大的改善。
在本申请实施例中,提出了一个新的调度问题,用于在给定期限内执行增量查询,假设集群资源具有波动且不可预见的价格。给定查询优化器生成的增量计划模板,调度器的目标是决定何时运行以及运行哪个查询,从而使由资源价格加权的总成本最小化。使用马尔科夫决策过程对未来概率进行建模,通过一种端到端的调度解决方案,可以在不知道未来的情况下动态做出基于成本的决策,可以以一步方式增量执行处理依赖查询的工作集,从而达到了可以有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用使得得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
实施例4
根据本申请实施例,还提供了一种用于实施上述图4所示的资源的调度方法的资源的调度装置。
图11是根据本申请实施例的一种资源的调度方法的示意图,如图11所示,该资源的调度装置1100可以包括:第一监测单元1102、第一调用单元1104、第一获取单元1106和第一确定单元1108。
第一监测单元1102,用于利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性。
第一调用单元1104,用于从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
第一获取单元1106,用于从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策。
第一确定单元1108,用于基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
此处需要说明的是,上述第一监测单元1102、第一调用单元1104、第一获取单元1106和第一确定单元1108对应于实施例1中的步骤S402至步骤S408,四个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器104)中并由一个或多个处理器(例如,处理器102a,102b……,102n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例1提供的计算机终端A中。
根据本申请实施例,还提供了一种用于实施上述图5所示的资源的调度方法的资源的调度装置。
图12是根据本申请实施例的一种资源的调度装置的示意图,如图12所示,该资源的调度装置1200可以包括:第一显示单元1202、第二显示单元1204和输出单元1206。
第一显示单元1202,用于响应作用于操作界面上的输入操作指令,在操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询输入数据的查询资源的价值属性。
第二显示单元1204,用于响应作用于操作界面上的调用操作指令,在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
输出单元1206,用于响应作用于操作界面上的匹配操作指令,输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策,其中,目标执行决策用于确定是否调度查询资源来对输入数据执行查询。
此处需要说明的是,上述第一显示单元1202、第二显示单元1204和输出单元1206对应于实施例1中的步骤S502至步骤S506,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器104)中并由一个或多个处理器(例如,处理器102a,102b……,102n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例1提供的计算机终端A中。
根据本申请实施例,还提供了一种用于实施上述图6a所示的资源的调度方法的资源的调度装置。
图13是根据本申请实施例的一种资源的调度装置的示意图,如图13所示,该资源的调度装置1300可以包括:第二监测单元1302、第二调用单元1304、第二获取单元1306和第二确定单元1308。
第二监测单元1302,用于利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性。
第二调用单元1304,用于从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策。
第二获取单元1306,用于从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策。
第二确定单元1308,用于基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
此处需要说明的是,上述第二监测单元1302、第二调用单元1304、第二获取单元1306和第二确定单元1308对应于实施例1中的步骤S602至步骤S608,四个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器104)中并由一个或多个处理器(例如,处理器102a,102b……,102n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例1提供的计算机终端A中。
在该实施例的资源的调度装置中,确定每个输入数据的查询资源的价值属性,且从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中获取与查询资源的价值属性匹配的目标执行决策,可以基于目标执行决策,确定是否对输入数据执行查询操作,从而达到有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
实施例5
本申请的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的资源的调度方法中以下步骤的程序代码:利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
可选地,图14是根据本申请实施例的一种计算机终端的结构框图。如图14所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器1402、存储器1404、以及传输装置1406。
其中,存储器可用于存储软件程序以及模块,如本申请实施例中的资源的调度方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及预测,即实现上述的资源的调度方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
可选地,上述处理器还可以执行如下步骤的程序代码:从目标策略数据中进行匹配处理,获取输入数据的相邻输入数据、输入数据和查询资源的价值属性匹配的目标执行决策,其中,相邻输入数据的输入时间节点位于输入数据的输入时间节点之前。
可选地,上述处理器还可以执行如下步骤的程序代码:在操作界面上显示输入数据的当前输入时间、输入数据、查询资源的价值属性和相邻输入数据;响应作用于操作界面上的匹配操作指令,对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配;响应于目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,输出目标执行决策。
可选地,上述处理器还可以执行如下步骤的程序代码:响应于目标策略数据包括当前输入时间、相邻输入数据、输入数据和查询资源的价值属性,确定目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功。
可选地,上述处理器还可以执行如下步骤的程序代码:在操作界面上显示数据量阈值,响应于输入数据的数据量高于数据量阈值,在操作界面上显示用于提示允许对输入数据执行查询操作的目标执行决策;响应于输入数据的数据量低于数据量阈值,在操作界面上显示用于提示禁止对输入数据执行查询操作的目标执行决策。
可选地,上述处理器还可以执行如下步骤的程序代码:在策略数据集中,获取查询数据集在预定初始数据和增量数据下对应的策略模板,其中,策略模板用于查询数据集确定在预定初始数据和增量数据这二者下的执行决策,执行决策用于表示查询数据集在预定初始数据和增量数据这二者利用对应的资源执行查询操作的决策;基于预定查询数据集、集群中表数据的初始数据、未来增量数据、集群资源价值数据的变化信息,对策略模板进行调整,得到策略数据集中的目标策略数据。
可选地,上述处理器还可以执行如下步骤的程序代码:基于目标执行决策,确定是否按照查询数据集在预定初始数据调度的初始时间段的查询资源,来对输入数据中初始时间段的数据执行查询操作,以及按照查询数据集在增量数据调度的目标时间段的查询资源,来对输入数据中目标时间段的数据执行查询操作。
可选地,上述处理器还可以执行如下步骤的程序代码:响应于输入数据的数据量大于数据量阈值,和/或,查询资源的变化幅度大于幅度阈值,确定执行以下步骤:从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策。
可选地,上述处理器还可以执行如下步骤的程序代码:响应作用于操作界面的查询类型选择指令,在操作界面上显示的至少一查询类型中选择渐进式查询类型。
可选地,上述处理器还可以执行如下步骤的程序代码:基于目标执行决策,确定是否调度查询资源来对输入数据执行与渐进式查询类型对应的渐进式查询。
可选地,上述处理器还可以执行如下步骤的程序代码:在查询数据集中,基于截止输入时间节点对应的输入数据的执行决策,确定处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策;基于截止输入时间节点对应的输入数据的执行决策,以及处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,生成目标策略数据。
作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:响应作用于操作界面上的输入操作指令,在操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询输入数据的查询资源的价值属性;响应作用于操作界面上的调用操作指令,在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;响应作用于操作界面上的匹配操作指令,输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策,其中,目标执行决策用于确定是否调度查询资源来对输入数据执行查询。
作为一种可选的示例,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
可选地,上述处理器还可以执行如下步骤的程序代码:响应于调度查询资源来对电商数据执行查询操作成功,向电商平台返回得到的查询结果;响应于调度查询资源来对电商数据执行查询操作失败,向电商平台返回对应的提示信息。
本申请实施例确定每个输入数据的查询资源的价值属性,且从策略数据集中调用与查询数据集匹配的目标策略数据,从目标策略数据中获取与查询资源的价值属性匹配的目标执行决策,可以基于目标执行决策,确定是否对输入数据执行查询操作,从而达到有效进行资源调度的技术效果,解决了无法有效进行资源调度的技术问题。
本领域普通技术人员可以理解,图14示的结构仅为示意,计算机终端A也可以是智能手机(如、平板电脑、掌声电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图14并不对上述计算机终端A的结构造成限定。例如,计算机终端A还可包括比图14所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图14所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例6
本申请的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例1所提供的资源的调度方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,上述计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:利用至少一查询数据集,监测到输入数据,以及监测到用于查询输入数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对输入数据执行查询操作。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:从目标策略数据中进行匹配处理,获取输入数据的相邻输入数据、输入数据和查询资源的价值属性匹配的目标执行决策,其中,相邻输入数据的输入时间节点位于输入数据的输入时间节点之前。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:在操作界面上显示输入数据的当前输入时间、输入数据、查询资源的价值属性和相邻输入数据;响应作用于操作界面上的匹配操作指令,对目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性进行匹配;响应于目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功,输出目标执行决策。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:响应于目标策略数据包括当前输入时间、相邻输入数据、输入数据和查询资源的价值属性,确定目标策略数据中目标执行决策与当前输入时间、相邻输入数据、输入数据和查询资源的价值属性匹配成功。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:在操作界面上显示数据量阈值,响应于输入数据的数据量高于数据量阈值,在操作界面上显示用于提示允许对输入数据执行查询操作的目标执行决策;响应于输入数据的数据量低于数据量阈值,在操作界面上显示用于提示禁止对输入数据执行查询操作的目标执行决策。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:在策略数据集中,获取查询数据集在预定初始数据和增量数据下对应的策略模板,其中,策略模板用于查询数据集确定在预定初始数据和增量数据这二者下的执行决策,执行决策用于表示查询数据集在预定初始数据和增量数据这二者利用对应的资源执行查询操作的决策;基于预定查询数据集、集群中表数据的初始数据、未来增量数据、集群资源价值数据的变化信息,对策略模板进行调整,得到策略数据集中的目标策略数据。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:基于目标执行决策,确定是否按照查询数据集在预定初始数据调度的初始时间段的查询资源,来对输入数据中初始时间段的数据执行查询操作,以及按照查询数据集在增量数据调度的目标时间段的查询资源,来对输入数据中目标时间段的数据执行查询操作。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:响应于输入数据的数据量大于数据量阈值,和/或,查询资源的变化幅度大于幅度阈值,确定执行以下步骤:从目标策略数据中进行匹配处理,获取与输入数据和查询资源的价值属性匹配的目标执行决策。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:响应作用于操作界面的查询类型选择指令,在操作界面上显示的至少一查询类型中选择渐进式查询类型。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:基于目标执行决策,确定是否调度查询资源来对输入数据执行与渐进式查询类型对应的渐进式查询。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:在查询数据集中,基于截止输入时间节点对应的输入数据的执行决策,确定处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策;基于截止输入时间节点对应的输入数据的执行决策,以及处于截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,生成目标策略数据。
作为一种可选的示例,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:响应作用于操作界面上的输入操作指令,在操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询输入数据的查询资源的价值属性;响应作用于操作界面上的调用操作指令,在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据,其中,策略数据集包括与不同数据集匹配的策略数据,策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;响应作用于操作界面上的匹配操作指令,输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策,其中,目标执行决策用于确定是否调度查询资源来对输入数据执行查询。
作为一种可选的示例,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询电商数据的查询资源的价值属性;从策略数据集中调用与查询数据集匹配的目标策略数据,其中,策略数据集包括与电商平台的不同电商数据集匹配的策略数据,策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;从目标策略数据中进行匹配处理,获取与电商数据和查询资源的价值属性匹配的目标执行决策;基于目标执行决策,确定是否调度查询资源来对电商数据执行查询操作。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:响应于调度查询资源来对电商数据执行查询操作成功,向电商平台返回得到的查询结果;响应于调度查询资源来对电商数据执行查询操作失败,向电商平台返回对应的提示信息。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (15)
1.一种资源的调度方法,其特征在于,包括:
利用至少一查询数据集,监测到输入数据,以及监测到用于查询所述输入数据的查询资源的价值属性;
从策略数据集中调用与所述查询数据集匹配的目标策略数据,其中,所述策略数据集包括与不同数据集匹配的策略数据,所述策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;
从所述目标策略数据中进行匹配处理,获取与所述输入数据和所述查询资源的价值属性匹配的目标执行决策;
基于所述目标执行决策,确定是否调度所述查询资源来对所述输入数据执行查询操作。
2.根据权利要求1所述的方法,其特征在于,从所述目标策略数据中进行匹配处理,获取与所述输入数据和所述查询资源的价值属性匹配的目标执行决策,包括:
从所述目标策略数据中进行匹配处理,获取所述输入数据的相邻输入数据、所述输入数据和所述查询资源的价值属性匹配的所述目标执行决策,其中,所述相邻输入数据的输入时间节点位于所述输入数据的输入时间节点之前。
3.根据权利要求2所述的方法,其特征在于,从所述目标策略数据中进行匹配处理,获取与所述相邻输入数据、所述输入数据和所述查询资源的价值属性相匹配的所述目标执行决策,包括:
在操作界面上显示所述输入数据的当前输入时间、所述输入数据、所述查询资源的价值属性和所述相邻输入数据;
响应作用于所述操作界面上的匹配操作指令,对所述目标策略数据中所述目标执行决策与所述当前输入时间、所述相邻输入数据、所述输入数据和所述查询资源的价值属性进行匹配;
响应于所述目标执行决策与所述当前输入时间、所述相邻输入数据、所述输入数据和所述查询资源的价值属性匹配成功,输出所述目标执行决策。
4.根据权利要求3所述的方法,其特征在于,对所述目标策略数据中所述目标执行决策与所述当前输入时间、所述相邻输入数据、所述输入数据和所述查询资源的价值属性进行匹配,包括:
响应于所述目标策略数据包括所述当前输入时间、所述相邻输入数据、所述输入数据和所述查询资源的价值属性,确定所述目标策略数据中所述目标执行决策与所述当前输入时间、所述相邻输入数据、所述输入数据和所述查询资源的价值属性匹配成功。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在操作界面上显示数据量阈值;
响应于所述输入数据的数据量高于所述数据量阈值,在所述操作界面上显示用于提示允许对所述输入数据执行查询操作的所述目标执行决策;
响应于所述输入数据的数据量低于所述数据量阈值,在所述操作界面上显示用于提示禁止对所述输入数据执行查询操作的所述目标执行决策。
6.根据权利要求1所述的方法,其特征在于,从策略数据集中调用与所述查询数据集匹配的目标策略数据,包括:
在所述策略数据集中,获取所述查询数据集在预定初始数据和增量数据下对应的策略模板,其中,所述策略模板用于所述查询数据集确定在所述预定初始数据和所述增量数据这二者下的执行决策,所述执行决策用于表示所述查询数据集在所述预定初始数据和所述增量数据这二者利用对应的资源执行查询操作的决策;
基于预定查询数据集、集群中表数据的初始数据、未来增量数据、集群资源价值数据的变化信息,对所述策略模板进行调整,得到所述策略数据集中的所述目标策略数据。
7.根据权利要求6所述的方法,其特征在于,所述不同时间段包括初始时间段和目标时间段,所述目标时间段为在所述初始时间段上增加的时间段,其中,所述策略模板用于所述查询数据集确定在所述初始时间段的所述预定初始数据和所述目标时间段的所述增量数据这二者下的执行决策,所述执行决策用于表示所述查询数据集在所述预定初始数据利用所述初始时间段的所述查询资源执行查询操作的决策,以及所述查询数据集在所述增量数据利用所述目标时间段的所述查询资源执行查询操作的决策。
8.根据权利要求7所述的方法,其特征在于,基于所述目标执行决策,确定是否调度所述查询资源来对所述输入数据执行查询操作,包括:
基于所述目标执行决策,确定是否按照所述查询数据集在所述预定初始数据调度的所述初始时间段的所述查询资源,来对所述输入数据中所述初始时间段的数据执行查询操作,以及按照所述查询数据集在所述增量数据调度的所述目标时间段的所述查询资源,来对所述输入数据中所述目标时间段的数据执行查询操作。
9.根据权利要求1至8中任意一项所述的方法,其特征在于,所述方法还包括:
响应于所述输入数据的数据量大于数据量阈值,和/或,所述查询资源的变化幅度大于幅度阈值,确定执行以下步骤:从所述目标策略数据中进行匹配处理,获取与所述输入数据和所述查询资源的价值属性匹配的目标执行决策。
10.根据权利要求1至8中任意一项所述的方法,其特征在于,所述方法还包括:
响应作用于操作界面的查询类型选择指令,在所述操作界面上显示的至少一查询类型中选择渐进式查询类型;
基于所述目标执行决策,确定是否调度所述查询资源来对所述输入数据执行查询操作,包括:基于所述目标执行决策,确定是否调度所述查询资源来对所述输入数据执行与所述渐进式查询类型对应的渐进式查询。
11.根据权利要求1至8至中任意一项所述的方法,其特征在于,所述方法还包括:在所述查询数据集中,基于截止输入时间节点对应的输入数据的执行决策,确定处于所述截止输入时间节点之前的输入时间节点对应的输入数据的执行决策;基于所述截止输入时间节点对应的输入数据的执行决策,以及处于所述截止输入时间节点之前的输入时间节点对应的输入数据的执行决策,生成所述目标策略数据。
12.一种资源的调度方法,其特征在于,包括:
响应作用于操作界面上的输入操作指令,在所述操作界面上显示从至少一查询数据集中监测到输入数据,以及用于查询所述输入数据的查询资源的价值属性;
响应作用于所述操作界面上的调用操作指令,在所述操作界面上显示从策略数据集中调用的与所述查询数据集匹配的目标策略数据,其中,所述策略数据集包括与不同数据集匹配的策略数据,所述策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;
响应作用于所述操作界面上的匹配操作指令,输出所述目标策略数据中与所述输入数据和所述查询资源的价值属性相匹配的目标执行决策,其中,所述目标执行决策用于确定是否调度所述查询资源来对所述输入数据执行查询。
13.一种资源的调度系统,其特征在于,包括:
求解器,用于获取策略数据集,其中,所述策略数据集包括与不同数据集匹配的策略数据,所述策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;
调度器,用于利用至少一查询数据集监测到输入数据,以及监测到用于查询所述输入数据的查询资源的价值属性,从所述策略数据集中调用与所述查询数据集匹配的目标策略数据,从所述目标策略数据中进行匹配处理,获取与所述输入数据和所述查询资源的价值属性匹配的目标执行决策;
执行引擎,用于在基于所述目标执行决策确定需要对所述输入数据执行查询操作的情况下,调度所述查询资源对所述输入数据执行查询操作。
14.一种资源的调度方法,其特征在于,包括:
利用至少一查询数据集,从电商平台监测到电商数据,以及监测到用于查询所述电商数据的查询资源的价值属性;
从策略数据集中调用与所述查询数据集匹配的目标策略数据,其中,所述策略数据集包括与所述电商平台的不同电商数据集匹配的策略数据,所述策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策;
从所述目标策略数据中进行匹配处理,获取与所述电商数据和所述查询资源的价值属性匹配的目标执行决策;
基于所述目标执行决策,确定是否调度所述查询资源来对所述电商数据执行查询操作。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
响应于调度所述查询资源来对所述电商数据执行查询操作成功,向所述电商平台返回得到的查询结果;
响应于调度所述查询资源来对所述电商数据执行查询操作失败,向所述电商平台返回对应的提示信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310250884.5A CN115964182B (zh) | 2023-03-16 | 2023-03-16 | 资源的调度方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310250884.5A CN115964182B (zh) | 2023-03-16 | 2023-03-16 | 资源的调度方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115964182A true CN115964182A (zh) | 2023-04-14 |
CN115964182B CN115964182B (zh) | 2023-07-21 |
Family
ID=85888200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310250884.5A Active CN115964182B (zh) | 2023-03-16 | 2023-03-16 | 资源的调度方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115964182B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116541377A (zh) * | 2023-04-27 | 2023-08-04 | 阿里巴巴(中国)有限公司 | 任务的物化视图的处理方法、系统和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824919A (zh) * | 2016-03-16 | 2016-08-03 | 吉林大学 | 一种数据查询操作定价的动态调整方法及装置 |
CN110889510A (zh) * | 2019-12-05 | 2020-03-17 | 武汉大学 | 一种面向分布式机器学习任务的在线调度方法及装置 |
CN111132348A (zh) * | 2019-12-30 | 2020-05-08 | 南方科技大学 | 移动边缘计算的资源调度方法及移动边缘计算系统 |
CN112199194A (zh) * | 2020-10-14 | 2021-01-08 | 广州虎牙科技有限公司 | 基于容器集群的资源调度方法、装置、设备和存储介质 |
CN113157422A (zh) * | 2021-04-29 | 2021-07-23 | 清华大学 | 基于深度强化学习的云数据中心集群资源调度方法及装置 |
US11379268B1 (en) * | 2019-06-19 | 2022-07-05 | Amazon Technologies, Inc. | Affinity-based routing and execution for workflow service |
CN114911617A (zh) * | 2022-05-12 | 2022-08-16 | 网易(杭州)网络有限公司 | 一种资源配置方法、装置、设备和介质 |
CN115564528A (zh) * | 2022-10-11 | 2023-01-03 | 平安银行股份有限公司 | 推荐策略生成方法、电子设备和存储介质 |
-
2023
- 2023-03-16 CN CN202310250884.5A patent/CN115964182B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824919A (zh) * | 2016-03-16 | 2016-08-03 | 吉林大学 | 一种数据查询操作定价的动态调整方法及装置 |
US11379268B1 (en) * | 2019-06-19 | 2022-07-05 | Amazon Technologies, Inc. | Affinity-based routing and execution for workflow service |
CN110889510A (zh) * | 2019-12-05 | 2020-03-17 | 武汉大学 | 一种面向分布式机器学习任务的在线调度方法及装置 |
CN111132348A (zh) * | 2019-12-30 | 2020-05-08 | 南方科技大学 | 移动边缘计算的资源调度方法及移动边缘计算系统 |
CN112199194A (zh) * | 2020-10-14 | 2021-01-08 | 广州虎牙科技有限公司 | 基于容器集群的资源调度方法、装置、设备和存储介质 |
CN113157422A (zh) * | 2021-04-29 | 2021-07-23 | 清华大学 | 基于深度强化学习的云数据中心集群资源调度方法及装置 |
CN114911617A (zh) * | 2022-05-12 | 2022-08-16 | 网易(杭州)网络有限公司 | 一种资源配置方法、装置、设备和介质 |
CN115564528A (zh) * | 2022-10-11 | 2023-01-03 | 平安银行股份有限公司 | 推荐策略生成方法、电子设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
JIE WANG: "Cost-Effective Task Scheduling Strategy in Vehicular Cloud Computing", ICCAI \'22: PROCEEDINGS OF THE 8TH INTERNATIONAL CONFERENCE ON COMPUTING AND ARTIFICIAL INTELLIGENCE, pages 779 - 785 * |
张红: "数据仓库中物化视图的动态选择策略研究", 万方学位论文 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116541377A (zh) * | 2023-04-27 | 2023-08-04 | 阿里巴巴(中国)有限公司 | 任务的物化视图的处理方法、系统和电子设备 |
CN116541377B (zh) * | 2023-04-27 | 2024-05-14 | 阿里巴巴(中国)有限公司 | 任务的物化视图的处理方法、系统和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115964182B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Toka et al. | Machine learning-based scaling management for kubernetes edge clusters | |
Zuo et al. | A multi-objective optimization scheduling method based on the ant colony algorithm in cloud computing | |
Ardagna et al. | Generalized nash equilibria for the service provisioning problem in cloud systems | |
CN104657220B (zh) | 混合云中基于截止时间和费用约束的调度模型及方法 | |
Van den Bossche et al. | Online cost-efficient scheduling of deadline-constrained workloads on hybrid clouds | |
US8612615B2 (en) | Systems and methods for identifying usage histories for producing optimized cloud utilization | |
CN107003887A (zh) | Cpu超载设置和云计算工作负荷调度机构 | |
CN104407912B (zh) | 一种虚拟机配置方法及装置 | |
CN103885835A (zh) | 最优化映射减少框架中数据处理的装置和方法 | |
Antonescu et al. | Dynamic topology orchestration for distributed cloud-based applications | |
CN108845874A (zh) | 资源的动态分配方法及服务器 | |
Pan et al. | A novel approach to scheduling workflows upon cloud resources with fluctuating performance | |
Passacantando et al. | Service provisioning problem in cloud and multi-cloud systems | |
CN104995899A (zh) | 服务器负载管理 | |
Zhao et al. | Exploring fine-grained resource rental planning in cloud computing | |
CN115964182B (zh) | 资源的调度方法和系统 | |
Femminella et al. | IoT, big data, and cloud computing value chain: pricing issues and solutions | |
Nimis et al. | SORMA–Business Cases for an Open Grid Market: Concept and Implementation | |
Bellavista et al. | GAMESH: a grid architecture for scalable monitoring and enhanced dependable job scheduling | |
CN112631759A (zh) | 数据处理方法、装置和系统 | |
Grigoras et al. | Elastic management of reconfigurable accelerators | |
Cai et al. | Unequal‐interval based loosely coupled control method for auto‐scaling heterogeneous cloud resources for web applications | |
Zhong et al. | Auto-scaling cloud resources using LSTM and reinforcement learning to guarantee service-level agreements and reduce resource costs | |
Singh et al. | An Autonomous Multi-Agent Framework using Quality of Service to prevent Service Level Agreement Violations in Cloud Environment | |
CN108093062B (zh) | 云资源管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |