CN110515737A - 数据治理任务运行方法及装置 - Google Patents

数据治理任务运行方法及装置 Download PDF

Info

Publication number
CN110515737A
CN110515737A CN201910824853.XA CN201910824853A CN110515737A CN 110515737 A CN110515737 A CN 110515737A CN 201910824853 A CN201910824853 A CN 201910824853A CN 110515737 A CN110515737 A CN 110515737A
Authority
CN
China
Prior art keywords
data management
management task
mode
task
computing resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910824853.XA
Other languages
English (en)
Inventor
裴博润
张毅然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201910824853.XA priority Critical patent/CN110515737A/zh
Publication of CN110515737A publication Critical patent/CN110515737A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据治理任务运行方法，包括：在服务器上配置数据治理任务；设置所述数据治理任务的工作模式和运行时间区间；根据所述工作模式和运行时间区间运行所述数据治理任务。在本发明中，通过为不同的数据治理任务设置不同的工作模式以及运行时间区间，从而解决了在数据治理任务过程中，由于抢夺资源导致任务运行失败或多任务运行时效率过低的问题，提供了数据治理任务运行效率。

Description

数据治理任务运行方法及装置
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据治理任务运行方法及装置。
背景技术
在大数据时代，数据规模越来越大成为趋势，而运行及治理大规模数据需要强大的集群资源来支撑，就算集群资源很强大，但也有抢夺资源导致任务运行失败或多任务运行时效率过低等情况。
发明内容
本发明实施例提供了一种数据治理任务运行方法及装置，以至少解决相关技术中在数据治理任务过程中，由于抢夺资源导致任务运行失败或多任务运行时效率过低的问题。
根据本发明的一个实施例，提供了一种数据治理任务运行方法，包括：在服务器上配置数据治理任务；设置所述数据治理任务的工作模式和运行时间区间；根据所述工作模式和运行时间区间运行所述数据治理任务。
优选地，所述工作模式包括独占计算资源模式和共享计算资源模式。
优选地，所述计算资源为集群计算资源。
优选地，根据所述工作模式和运行时间区间运行所述数据治理任务包括：当所述工作模式为独占计算资源模式，则在设置的所述运行时间区间通过独占集群计算资源来运行所述数据治理任务；当所述工作模式为共享计算资源模式，则在设置的所述运行时间区间通过与其他任务共享集群计算资源来运行所述数据治理任务。
根据本发明的另一个实施例，提供了一种数据治理任务运行装置，包括：任务配置模块，用于配置数据治理任务；设置模块，用于设置所述数据治理任务的工作模式和运行时间区间；运行模块，用于根据所述工作模式和运行时间区间运行所述数据治理任务。
优选地，所述工作模式包括独占计算资源模式和共享计算资源模式。
优选地，所述计算资源为集群计算资源。
优选地，所述运行模块包括：第一运行单元，用于在所述工作模式为独占计算资源模式的情况下，在设置的所述运行时间区间通过独占集群计算资源来运行所述数据治理任务；第二运行单元，用于在所述工作模式为共享计算资源模式的情况下，在设置的所述运行时间区间通过与其他任务共享集群计算资源来运行所述数据治理任务。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
在本发明的上述实施例中，通过为不同的数据治理任务设置不同的工作模式以及运行时间区间，从而解决了在数据治理任务过程中，由于抢夺资源导致任务运行失败或多任务运行时效率过低的问题，提供了数据治理任务运行效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的服务器结构示意图；
图2是根据本发明实施例的数据治理任务运行方法流程图；
图3是根据本发明可选实施例的数据治理任务运行方法流程图；
图4是根据本发明实施例的数据治理任务运行装置结构示意图；
图5是根据本发明可选实施例的数据治理任务运行装置结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图1是本发明方法实施例所运行的服务器的硬件结构框图。如图1所示，服务器100可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述服务器100还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器100的结构造成限定。例如，服务器100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器100的通信供应商提供的有线或无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过网络设备相连从而可与互联网进行通讯。
在本实施例中提供了一种运行于上述服务器的数据治理任务运行方法，图2是根据本发明实施例的数据治理任务运行方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，在服务器上配置数据治理任务；
步骤S204，设置所述数据治理任务的工作模式和运行时间区间；
步骤S206，根据所述工作模式和运行时间区间运行所述数据治理任务。
在本发明上述实施例中，所述工作模式包括独占计算资源模式和共享计算资源模式。
在本发明上述实施例中，所述计算资源可以为集群计算资源。
在本发明上述实施例中的步骤S206中，当所述工作模式为独占计算资源模式，则在设置的所述运行时间区间通过独占集群计算资源来运行所述数据治理任务；当所述工作模式为共享计算资源模式，则在设置的所述运行时间区间通过与其他任务共享集群计算资源来运行所述数据治理任务。
为了便于对本发明所提供的技术方案的理解，下面将结合一个具体的实施例进行详细说明。
如图3所示，本实施例提供了一种数据治理任务运行方法，主要包括如下步骤：
步骤S302，在服务器上配置任务A信息。在本实施例中，也可以通过其它终端远程登录进行任务A的配置。
步骤S304，设置任务A的工作模式和运行时间区间。
在实施例中，为了在数据任务运行时，按时间段对任务申请的资源进行控制，以做到合理的利用集群资源。本实施例采用了不同的工作模式，包括独占计算资源模式(全力模式)和共享计算资源模式(正常模式)。
在独占计算资源模式下，数据治理任务独占系统的计算资源，这时可充分利用计算资源，提高数据治理效率。
在共享计算资源模式下，除了数据治理任务，还有其他的任务共享计算资源，需要合理分配计算资源，避免资源的抢占。
可根据现有数据治理任务，设置任务A的时间区间。例如，早上9点到晚上12点为正常模式，那么在这一段时间提交上来的任务都是按照共享计算资源的方式来运行的。凌晨0点到早上9点为全力模式，那么在这一段时间提交上来的任务按照独占计算资源的方式来运行。
步骤S306，进入任务调度页面，点击添加任务。
步骤S308，添加任务完成后，点击开始运行，然后在服务器中进行任务A的运行。
在本发明的上述实施例中，可以在数据任务运行时，按时间段对任务申请的资源进行控制，以做到合理的利用集群资源。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的数据治理任务运行装置的结构框图，如图4所示，该装置包括任务配置模块10、设置模块20和运行模块30。
任务配置模块10用于配置数据治理任务。设置模块20用于设置所述数据治理任务的工作模式和运行时间区间。运行模块30用于根据所述工作模式和运行时间区间运行所述数据治理任务。
图5是根据本发明实施例的数据治理任务运行装置的结构框图，如图5所示，该装置包括图4所示的任务配置模块10、设置模块20和运行模块30。在本实施例中，所述工作模式包括独占计算资源模式和共享计算资源模式，所述计算资源为集群计算资源。所述运行模块30还进一步包括第一运行单元31和第二运行单元32。
第一运行单元31用于在所述工作模式为独占计算资源模式的情况下，在设置的所述运行时间区间通过独占集群计算资源来运行所述数据治理任务。
第二运行单元32用于在所述工作模式为共享计算资源模式的情况下，在设置的所述运行时间区间通过与其他任务共享集群计算资源来运行所述数据治理任务。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据治理任务运行方法，其特征在于，包括：
在服务器上配置数据治理任务；
设置所述数据治理任务的工作模式和运行时间区间；
根据所述工作模式和运行时间区间运行所述数据治理任务。
2.根据权利要求1所述的方法，其特征在于，所述工作模式包括独占计算资源模式和共享计算资源模式。
3.根据权利要求2所述的方法，其特征在于，所述计算资源为集群计算资源。
4.根据权利要求3所述的方法，其特征在于，根据所述工作模式和运行时间区间运行所述数据治理任务包括：
当所述工作模式为独占计算资源模式，则在设置的所述运行时间区间通过独占集群计算资源来运行所述数据治理任务；
当所述工作模式为共享计算资源模式，则在设置的所述运行时间区间通过与其他任务共享集群计算资源来运行所述数据治理任务。
5.一种数据治理任务运行装置，其特征在于，包括：
任务配置模块，用于配置数据治理任务；
设置模块，用于设置所述数据治理任务的工作模式和运行时间区间；
运行模块，用于根据所述工作模式和运行时间区间运行所述数据治理任务。
6.根据权利要求5所述的装置，其特征在于，所述工作模式包括独占计算资源模式和共享计算资源模式。
7.根据权利要求6所述的装置，其特征在于，所述计算资源为集群计算资源。
8.根据权利要求7所述的装置，其特征在于，所述运行模块包括：
第一运行单元，用于在所述工作模式为独占计算资源模式的情况下，在设置的所述运行时间区间通过独占集群计算资源来运行所述数据治理任务；
第二运行单元，用于在所述工作模式为共享计算资源模式的情况下，在设置的所述运行时间区间通过与其他任务共享集群计算资源来运行所述数据治理任务。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。
CN201910824853.XA 2019-09-02 2019-09-02 数据治理任务运行方法及装置 Pending CN110515737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910824853.XA CN110515737A (zh) 2019-09-02 2019-09-02 数据治理任务运行方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910824853.XA CN110515737A (zh) 2019-09-02 2019-09-02 数据治理任务运行方法及装置

Publications (1)

Publication Number Publication Date
CN110515737A true CN110515737A (zh) 2019-11-29

Family

ID=68630470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910824853.XA Pending CN110515737A (zh) 2019-09-02 2019-09-02 数据治理任务运行方法及装置

Country Status (1)

Country Link
CN (1) CN110515737A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670707A (zh) * 2004-03-19 2005-09-21 联想(北京)有限公司 一种机群作业的管理方法
CN101473592A (zh) * 2006-06-19 2009-07-01 卢森特技术有限公司 用于在分布式无线系统中对用于多播的无线电资源进行协调控制的方法
CN102426542A (zh) * 2011-10-28 2012-04-25 中国科学院计算技术研究所 数据中心资源管理系统及作业调度方法
CN104320854A (zh) * 2014-10-21 2015-01-28 中国联合网络通信集团有限公司 资源调度方法及装置
CN107688492A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 资源的控制方法、装置和集群资源管理系统
CN108234581A (zh) * 2016-12-22 2018-06-29 腾讯科技（深圳）有限公司 一种资源的调度方法和服务器
CN110018893A (zh) * 2019-03-12 2019-07-16 平安普惠企业管理有限公司 一种基于数据处理的任务调度方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670707A (zh) * 2004-03-19 2005-09-21 联想(北京)有限公司 一种机群作业的管理方法
CN101473592A (zh) * 2006-06-19 2009-07-01 卢森特技术有限公司 用于在分布式无线系统中对用于多播的无线电资源进行协调控制的方法
CN102426542A (zh) * 2011-10-28 2012-04-25 中国科学院计算技术研究所 数据中心资源管理系统及作业调度方法
CN104320854A (zh) * 2014-10-21 2015-01-28 中国联合网络通信集团有限公司 资源调度方法及装置
CN107688492A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 资源的控制方法、装置和集群资源管理系统
CN108234581A (zh) * 2016-12-22 2018-06-29 腾讯科技（深圳）有限公司 一种资源的调度方法和服务器
CN110018893A (zh) * 2019-03-12 2019-07-16 平安普惠企业管理有限公司 一种基于数据处理的任务调度方法及相关设备

Similar Documents

Publication Publication Date Title
CN100449497C (zh) 并行计算机和定位并行计算机中硬件故障的方法
CN102929718B (zh) 一种基于任务调度的分布式gpu计算机系统
CN106033373B (zh) 一种云计算平台中虚拟机资源调度方法和调度系统
CN104898573A (zh) 一种基于云计算的数控系统数据采集及处理方法
CN106874189B (zh) 一种电网实时数据库系统的自动化测试系统的实现方法
CN107407918A (zh) 利用app扩展可编程逻辑控制器
CN108228354A (zh) 调度方法、系统、计算机设备和介质
CN104239144A (zh) 一种多级分布式任务处理系统
CN106168993B (zh) 电网实时仿真分析系统
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
CN114281521B (zh) 优化深度学习异构资源通信效率方法、系统、设备及介质
CN110611707A (zh) 一种任务调度的方法及装置
CN107479984A (zh) 基于消息的分布式空间数据处理系统
CN104391990A (zh) 一种基于垂直行业的多任务式采集与收割方法
CN105933136A (zh) 一种资源调度方法及系统
CN110515737A (zh) 数据治理任务运行方法及装置
CN115361382B (zh) 基于数据群组的数据处理方法、装置、设备和存储介质
CN107872527B (zh) 一种lvc一体化远程方式云服务系统及方法
CN115344370A (zh) 任务调度方法、装置、设备及存储介质
CN109257256A (zh) 设备监控方法、装置、计算机设备及存储介质
Knepper et al. Using the Jetstream research cloud to provide science gateway resources
CN103777593A (zh) 一种产品自动化操控生产系统及其实现方法
CN117112121A (zh) 分布式任务处理系统、方法、装置及计算机程序产品
Warrender et al. Job scheduling in a high performance computing environment
CN110768855B (zh) 链路化性能测试的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129