CN112000478B - 作业运行资源分配方法及装置 - Google Patents

作业运行资源分配方法及装置 Download PDF

Info

Publication number
CN112000478B
CN112000478B CN202010857955.4A CN202010857955A CN112000478B CN 112000478 B CN112000478 B CN 112000478B CN 202010857955 A CN202010857955 A CN 202010857955A CN 112000478 B CN112000478 B CN 112000478B
Authority
CN
China
Prior art keywords
information
job
resource
historical
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010857955.4A
Other languages
English (en)
Other versions
CN112000478A (zh
Inventor
徐雅光
韩路
严琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010857955.4A priority Critical patent/CN112000478B/zh
Publication of CN112000478A publication Critical patent/CN112000478A/zh
Application granted granted Critical
Publication of CN112000478B publication Critical patent/CN112000478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种作业运行资源分配方法及装置，其中方法包括：接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本发明便于合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性。

Description

作业运行资源分配方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及作业运行资源分配方法及装置。
背景技术
大数据环境下，某些作业对CPU资源消耗非常大，导致了作业运行时间长、卡顿、无响应或者直接报错。通常需要对数据处理任务事先分配作业运行资源来满足运行要求。
现有技术中通常是在本作业任务运行时，根据本作业任务的数据量人为对运行资源进行预估并分配，但是，采用这种方法将耗费大量人力物力，且资源预估准确率低，难以保证分配合理性。
因此，亟需一种可以克服上述问题的作业运行资源分配方案。
发明内容
本发明实施例提供一种作业运行资源分配方法，用以合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性，该方法包括：
接收待运行作业的资源分配指令；
根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
根据所述历史运行信息，确定所述待运行作业的资源预测信息；
根据所述预测资源信息，进行作业运行资源分配。
本发明实施例提供一种作业运行资源分配装置，用以合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性，该装置包括：
指令接收模块，用于接收待运行作业的资源分配指令；
信息获得模块，用于根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
信息确定模块，用于根据所述历史运行信息，确定所述待运行作业的资源预测信息；
资源分配模块，用于根据所述预测资源信息，进行作业运行资源分配。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述作业运行资源分配方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述作业运行资源分配方法的计算机程序。
相对于现有技术中根据本作业任务的数据量人为对运行资源进行预估并分配的方案而言，本发明实施例通过接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本发明实施例无需人为预估运行资源，在收到资源分配指令之后，根据待运行作业的历史运行信息可以对所需资源进行预测，从而确定待运行作业的资源预测信息，进行作业运行资源分配，在预测时结合了待运行作业的历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息，通过历史运行过程中生成的信息指导本次待运行作业的运行资源分配，节省分配过程中的人力物力，提高了分配的准确性和合理性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中作业运行资源分配方法示意图；
图2为本发明实施例中作业运行资源分配装置结构图；
图3为本发明实施例中作业运行资源分配装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
首先，对本申请实施例中涉及的名词进行介绍：
大数据：研究机构Gartner给出了这样的定义：需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
元数据：是描述数据的数据，主要是描述数据属性的信息。
计算密集型：要进行大量的计算，消耗CPU资源。比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力。
计算资源：指数据计算过程中所需要的CPU、内存、磁盘IO和网络。
作业：指大数据环境下，数据加工处理的过程和程序。
动态自优化：一种可以在大数据计算时，通过当前计算资源和当前计算复杂程序以及历史计算信息记录，来自己决策本次应该如果给出计算资源的模型和装置。
大数据计算框架：大数据计算框架包含批处理、流计算、交互式(流批)分析。具体有Apache下的Hadoop、Storm、Samza以及Spark和Flink等。
为了合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性，本发明实施例提供一种作业运行资源分配方法，如图1所示，该方法可以包括：
步骤101、接收待运行作业的资源分配指令；
步骤102、根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
步骤103、根据所述历史运行信息，确定所述待运行作业的资源预测信息；
步骤104、根据所述预测资源信息，进行作业运行资源分配。
由图1所示可以得知，本发明实施例通过接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本发明实施例无需人为预估运行资源，在收到资源分配指令之后，根据待运行作业的历史运行信息可以对所需资源进行预测，从而确定待运行作业的资源预测信息，进行作业运行资源分配，在预测时结合了待运行作业的历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息，通过历史运行过程中生成的信息指导本次待运行作业的运行资源分配，节省分配过程中的人力物力，提高了分配的准确性和合理性。
具体实施时，接收待运行作业的资源分配指令。
具体实施时，根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息。
实施例中，按如下方式获得所述待运行作业的历史运行逻辑信息：获得所述待运行作业的历史SQL语句；对所述历史SQL语句进行元数据化处理，得到所述历史SQL语句对应的结构化数据；根据所述历史SQL语句对应的结构化数据，获得历史运行逻辑信息。
实施例中，所述历史运行逻辑信息包括：关联条件字段数量信息，关联表数量信息，分组条件数量信息，分组字段数量信息，字段转化函数数量信息，选择字段数量信息，聚合字段数量信息，子查询数量信息，过滤条件字段数量信息，作业步骤数量信息其中之一或任意组合。
具体实施时，根据所述历史运行信息，确定所述待运行作业的资源预测信息。
实施例中，所述资源预测信息包括：CPU资源预测信息，内存资源预测信息，分布运算节点数量信息和关联参数信息。
具体实施时，根据所述预测资源信息，进行作业运行资源分配。
实施例中，所述的作业运行资源分配方法还包括：确定所述待运行作业的资源预测信息之后，根据所述资源预测信息生成运行资源参数类型表，运行资源参数信息表和作业关系信息表；根据所述预测资源信息，进行作业运行资源分配，包括：根据所述运行资源参数类型表，运行资源参数信息表和作业关系信息表，进行作业运行资源分配。
下面给出一个具体实施例，说明本发明实施例作业运行资源分配方法的具体应用。在本具体实施例中，作业运行信息收集模块记录大数据作业每次运行信息，包含运行逻辑(比如SQL语句)和运行时间(运行时长)以及运行资源(CPU使用情况)，还有涉及数据量等；计算密集型作业分析识别模块负责对作业运行信息收集模块的输出进行自动分析和对作业进行分类，计算密集型作业分析主要依据作业的逻辑解析，以及通过运行时长和运行资源进行综合评判。作业运行资源计算模块基于上面模块的识别分析，对计算密集型作业运行时所需要的资源进行作业周期性计算，比如按天跑的作业凌晨2点开始运行，那么此作业资源计算的服务程序将在每凌晨0点开始；作业运行资源存储模块对上面模块计算出的结果更新写入到数据库，然后供作业运行读取最新的运行时资源。首先记录大数据作业每次运行信息，包含运行逻辑(比如SQL语句中各种逻辑)和运行时间(运行时长)以及运行资源(CPU使用情况)，还有涉及数据量等。其中“SQL语句中各种逻辑”，是通过已元数据化的结构化数据获取，按照SQL关键字拆解开来进行如下结构化存储，也是元数据化的过程：
作业表(一个作业)步骤表(多个步骤{一个步骤理解为上面的一个select语句})(外键：作业ID)；
Select表(存储select字段，比如c1,c2,sum(c4))(外键：步骤ID)；
Where表(存储条件信息，比如c3＝'20200501')(外键：步骤ID)；
关联表(存储关联信息，比如left join tab2 on tab1.c1＝tab2.c1)(外键：步骤ID)；
排序表(存储排字段信息，比如order by c1,c2)(外键：步骤ID)。
本实施例中，依据上面的拆解存储后，通过作业任务ID就可以把这个作业的SQL逻辑全部获取出来。还有运行时其他信息，运行时间(运行时长)以及运行资源(CPU使用情况)，还有涉及数据量，都可以通过服务程序对运行时的时长、资源还有数据量进行记录，并且将这些运行时信息结构化存储起来。然后对作业运行信息收集模块的输出进行自动分析和对作业进行分类，计算密集型作业分析主要依据作业的逻辑解析，也就是步骤一种收集的各种信息，包含：关联条件字段个数、关联表个数、分组条件个数、分组字段个数、字段转化函数个数、选择字段个数、聚合字段个数、子查询个数、过滤条件字段个数和作业涉及步骤个数等，以及通过运行时长和历史运行资源进行综合评判。上面SQL通过步骤一中的列举的拆解方式结构化。作业运行资源计算基于上面模块的识别分析，对计算密集型作业运行时所需要的资源进行作业周期性计算，比如按天跑的作业凌晨2点开始运行，那么此作业资源计算的服务程序将在每天凌晨0点开始,计算内容如下：CPU资源计算、内存资源计算和分布运算节点个数(比如这三项数据在spark计算引擎中可以通过developerApi获取)和关联相关参数等。计算方式是通过步骤二中此作业运行信息，即作业运行逻辑(结构化的信息)和截止昨天运行的时长、资源和数据量四个方面，推测本次作业运行的资源，以实现对作业每次运行的资源都是动态变化的。此处的计算是对即将运行作业所需的资源进行动态计算；而前面第二步中涉及的获取资源是指的作业每次运行时资源信息获取。作业运行资源存储对第三步计算出的结果更新写入到数据库(MySQL配置库)，包含运行资源参数类型表、运行资源参数信息表和运行资源参数与作业关系信息表，然后供作业运行读取最新的运行时资源。
基于同一发明构思，本发明实施例还提供了一种作业运行资源分配装置，如下面的实施例所述。由于这些解决问题的原理与作业运行资源分配方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图2为本发明实施例中作业运行资源分配装置的结构图，如图2所示，该装置包括：
指令接收模块201，用于接收待运行作业的资源分配指令；
信息获得模块202，用于根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
信息确定模块203，用于根据所述历史运行信息，确定所述待运行作业的资源预测信息；
资源分配模块204，用于根据所述预测资源信息，进行作业运行资源分配。
一个实施例中，所述信息获得模块202进一步用于，按如下方式获得所述待运行作业的历史运行逻辑信息：
获得所述待运行作业的历史SQL语句；
对所述历史SQL语句进行元数据化处理，得到所述历史SQL语句对应的结构化数据；
根据所述历史SQL语句对应的结构化数据，获得历史运行逻辑信息。
一个实施例中，所述历史运行逻辑信息包括：关联条件字段数量信息，关联表数量信息，分组条件数量信息，分组字段数量信息，字段转化函数数量信息，选择字段数量信息，聚合字段数量信息，子查询数量信息，过滤条件字段数量信息，作业步骤数量信息其中之一或任意组合。
一个实施例中，所述资源预测信息包括：CPU资源预测信息，内存资源预测信息，分布运算节点数量信息和关联参数信息。
一个实施例中，如图3所示，图2所述的作业运行资源分配装置还包括：
表生成模块205，用于确定所述待运行作业的资源预测信息之后，根据所述资源预测信息生成运行资源参数类型表，运行资源参数信息表和作业关系信息表；
所述资源分配模块204进一步用于：根据所述运行资源参数类型表，运行资源参数信息表和作业关系信息表，进行作业运行资源分配。
综上所述，本发明实施例通过接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本发明实施例无需人为预估运行资源，在收到资源分配指令之后，根据待运行作业的历史运行信息可以对所需资源进行预测，从而确定待运行作业的资源预测信息，进行作业运行资源分配，在预测时结合了待运行作业的历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息，通过历史运行过程中生成的信息指导本次待运行作业的运行资源分配，节省分配过程中的人力物力，提高了分配的准确性和合理性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种作业运行资源分配方法，其特征在于，包括：
接收待运行作业的资源分配指令；
根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
根据所述历史运行信息，确定所述待运行作业的资源预测信息；所述资源预测信息包括：CPU资源预测信息，内存资源预测信息，分布运算节点数量信息和关联参数信息，其中，CPU资源预测信息，内存资源预测信息，分布运算节点数量信息在spark计算引擎中通过developerApi程序获取；
根据所述资源预测信息生成运行资源参数类型表，运行资源参数信息表和作业关系信息表；
根据所述运行资源参数类型表，运行资源参数信息表和作业关系信息表，进行作业运行资源分配；
还包括，按如下方式获得所述待运行作业的历史运行逻辑信息：
获得所述待运行作业的历史SQL语句；
对所述历史SQL语句进行元数据化处理，得到所述历史SQL语句对应的结构化数据；
根据所述历史SQL语句对应的结构化数据，获得历史运行逻辑信息。
2.如权利要求1所述的作业运行资源分配方法，其特征在于，所述历史运行逻辑信息包括：关联条件字段数量信息，关联表数量信息，分组条件数量信息，分组字段数量信息，字段转化函数数量信息，选择字段数量信息，聚合字段数量信息，子查询数量信息，过滤条件字段数量信息，作业步骤数量信息其中之一或任意组合。
3.一种作业运行资源分配装置，其特征在于，包括：
指令接收模块，用于接收待运行作业的资源分配指令；
信息获得模块，用于根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
信息确定模块，用于根据所述历史运行信息，确定所述待运行作业的资源预测信息；所述资源预测信息包括：CPU资源预测信息，内存资源预测信息，分布运算节点数量信息和关联参数信息，其中，CPU资源预测信息，内存资源预测信息，分布运算节点数量信息在spark计算引擎中通过developerApi程序获取；
资源分配模块，用于根据所述预测资源信息，进行作业运行资源分配；
所述信息获得模块进一步用于，按如下方式获得所述待运行作业的历史运行逻辑信息：
获得所述待运行作业的历史SQL语句；
对所述历史SQL语句进行元数据化处理，得到所述历史SQL语句对应的结构化数据；
根据所述历史SQL语句对应的结构化数据，获得历史运行逻辑信息；
表生成模块，用于确定所述待运行作业的资源预测信息之后，根据所述资源预测信息生成运行资源参数类型表，运行资源参数信息表和作业关系信息表；
所述资源分配模块进一步用于：根据所述运行资源参数类型表，运行资源参数信息表和作业关系信息表，进行作业运行资源分配。
4.如权利要求3所述的作业运行资源分配装置，其特征在于，所述历史运行逻辑信息包括：关联条件字段数量信息，关联表数量信息，分组条件数量信息，分组字段数量信息，字段转化函数数量信息，选择字段数量信息，聚合字段数量信息，子查询数量信息，过滤条件字段数量信息，作业步骤数量信息其中之一或任意组合。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2任一所述方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至2任一所述方法。
CN202010857955.4A 2020-08-24 2020-08-24 作业运行资源分配方法及装置 Active CN112000478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010857955.4A CN112000478B (zh) 2020-08-24 2020-08-24 作业运行资源分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010857955.4A CN112000478B (zh) 2020-08-24 2020-08-24 作业运行资源分配方法及装置

Publications (2)

Publication Number Publication Date
CN112000478A CN112000478A (zh) 2020-11-27
CN112000478B true CN112000478B (zh) 2024-02-23

Family

ID=73471798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857955.4A Active CN112000478B (zh) 2020-08-24 2020-08-24 作业运行资源分配方法及装置

Country Status (1)

Country Link
CN (1) CN112000478B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407343A (zh) * 2021-06-23 2021-09-17 中国工商银行股份有限公司 一种基于资源分配的业务处理方法、装置及设备
CN114610590A (zh) * 2022-03-10 2022-06-10 腾讯科技（深圳）有限公司 作业运行时长确定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324534A (zh) * 2012-03-22 2013-09-25 阿里巴巴集团控股有限公司 作业调度方法及其调度器
CN104391749A (zh) * 2014-11-26 2015-03-04 北京奇艺世纪科技有限公司 一种资源分配方法及装置
CN109992404A (zh) * 2017-12-31 2019-07-09 中国移动通信集团湖北有限公司 集群计算资源调度方法、装置、设备及介质
CN111258759A (zh) * 2020-01-13 2020-06-09 北京百度网讯科技有限公司 资源分配方法、装置以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11573831B2 (en) * 2017-06-20 2023-02-07 International Business Machines Corporation Optimizing resource usage in distributed computing environments by dynamically adjusting resource unit size

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324534A (zh) * 2012-03-22 2013-09-25 阿里巴巴集团控股有限公司 作业调度方法及其调度器
CN104391749A (zh) * 2014-11-26 2015-03-04 北京奇艺世纪科技有限公司 一种资源分配方法及装置
CN109992404A (zh) * 2017-12-31 2019-07-09 中国移动通信集团湖北有限公司 集群计算资源调度方法、装置、设备及介质
CN111258759A (zh) * 2020-01-13 2020-06-09 北京百度网讯科技有限公司 资源分配方法、装置以及电子设备

Also Published As

Publication number Publication date
CN112000478A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
US11620286B2 (en) Continuous cloud-scale query optimization and processing
US9934261B2 (en) Progress analyzer for database queries
US11314808B2 (en) Hybrid flows containing a continous flow
Popescu et al. Same queries, different data: Can we predict runtime performance?
JP2017228086A (ja) 機械学習管理プログラム、機械学習管理方法、および機械学習管理装置
CN112000478B (zh) 作业运行资源分配方法及装置
Zeng et al. Event-driven quality of service prediction
US20140279797A1 (en) Behavioral rules discovery for intelligent computing environment administration
CN112529528B (zh) 基于大数据流计算的工作流监控与告警方法、装置及系统
Osman et al. Towards real-time analytics in the cloud
CN112365070B (zh) 一种电力负荷预测方法、装置、设备及可读存储介质
Hauser et al. Reviewing cloud monitoring: Towards cloud resource profiling
TW201737113A (zh) 任務調度方法和裝置
CN111680085A (zh) 数据处理任务分析方法、装置、电子设备和可读存储介质
CN111767320A (zh) 数据血缘关系确定方法及装置
CN111198754A (zh) 一种任务调度方法及装置
Battré et al. Detecting bottlenecks in parallel dag-based data flow programs
CN115033377A (zh) 基于集群服务器的服务资源预测方法、装置和电子设备
Mohammed et al. Time-series cross-validation parallel programming using mpi
Morichetta et al. Demystifying deep learning in predictive monitoring for cloud-native SLOs
CN111625352A (zh) 调度方法、装置及存储介质
CN114661571B (zh) 模型评测方法、装置、电子设备和存储介质
CN113296907B (zh) 一种基于集群的任务调度处理方法、系统和计算机设备
Liu et al. Multivariate modeling and two-level scheduling of analytic queries
CN109902067B (zh) 文件处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant