CN111611123A - 数据处理方法、数据处理系统及设备 - Google Patents

数据处理方法、数据处理系统及设备 Download PDF

Info

Publication number
CN111611123A
CN111611123A CN201910137691.2A CN201910137691A CN111611123A CN 111611123 A CN111611123 A CN 111611123A CN 201910137691 A CN201910137691 A CN 201910137691A CN 111611123 A CN111611123 A CN 111611123A
Authority
CN
China
Prior art keywords
task
tasks
overrun
set limit
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910137691.2A
Other languages
English (en)
Other versions
CN111611123B (zh
Inventor
赵利明
朱成生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910137691.2A priority Critical patent/CN111611123B/zh
Publication of CN111611123A publication Critical patent/CN111611123A/zh
Application granted granted Critical
Publication of CN111611123B publication Critical patent/CN111611123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/328Computer systems status display
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种数据处理方法、数据处理系统及设备。其中,数据处理方法包括如下的步骤:获取处于执行状态的第一任务的第一监测数据;基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。采用本申请各实施例提供的技术方法,能及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务;并在发现后,及时发出通知,以便被通知方对第一任务进行相应的处理(例如终止或优化等),避免资源的进一步的浪费。

Description

数据处理方法、数据处理系统及设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、数据处理系统及设备。
背景技术
目前,计算平台可并行计算大规模的数据集。随着计算平台上的任务日益增多,预算成本压力也日益增大,合理地分配计算资源显得越来越重要。
有时,因资源使用的不合理,致使计算平台上会出现因某一个或多个任务的执行影响到其他正常任务执行的情况。
发明内容
本申请实施例提供一种解决上述问题或至少部分地解决上述问题的数据处理方法、数据处理系统及设备。
在本申请的一个实施例中,提供了一种数据处理方法。该方法包括:
获取处于执行状态的第一任务的第一监测数据;
基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;
在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
在本申请的另一个实施例中,提供了一种数据处理系统。该数据处理系统包括:
服务端,用于获取处于执行状态的第一任务的第一监测数据;基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知;
客户端,用于通过所述至少一个渠道接收所述服务端发送的所述第一通知,显示和/或播放所述第一通知。
在本申请的又一个实施例中,提供了一种数据处理方法。该方法包括:
获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;
根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;
在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
在本申请的又一个实施例中,提供了一种数据处理系统。该数据处理系统包括:
服务端,用于获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知;
客户端,用于接收所述服务端发送的所述第二通知,显示和/或播放所述第二通知。
在本申请的又一个实施例中,提供了一种数据处理方法。该方法包括:
显示超限任务的任务信息及与所述超限任务关联的操作控件;
响应于用户对所述操作控件的操作,生成所述操作控件对应的处理指令;
向服务端发送针对所述超限任务的处理指令,以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作;
其中,所述超限任务为执行中占用的资源超出第一设定限额的任务,或为超限任务组中的一个任务;所述超限任务组包括同处于执行状态,且同属于一个对象的至少两个任务,所述至少两个任务共同占用的资源超出第二设定限额。
在本申请的又一个实施例中,提供了一种服务端设备。该服务端设备包括:存储器及处理器;其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取处于执行状态的第一任务的第一监测数据;
基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;
在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
在本申请的又一个实施例中,提供了一种服务端设备。该服务端设备包括:存储器及处理器;其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;
根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;
在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
本申请实施例提供的一个技术方案,实时地获取在第一任务执行过程中监测到的第一监测数据;并基于第一监测数据,确定第一任务占用的资源是否超出第一设定限额;及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务;并在发现后,及时发出通知,以便被通知方对第一任务进行相应的处理(例如终止或优化等),避免资源的进一步的浪费。
本申请实施例提供的另一个技术方案,通过获取同属于一个对象且同处于执行状态的至少两个任务的监测数据,以实时的根据至少两个任务的监测数据,确定至少两个任务共同占用的资源是否超出第二设定限额;及时地发现了因同一对象的多个任务同时执行占用的资源较多致使其他对象的任务无法提交或执行的情况;并在发现后,及时发出通知,以便被通知方对所述至少两个任务进行相应的处理,避免资源倾斜于部分用户而影响其他用户的任务提交,提高资源利用率,减少资源浪费。
本申请实施例提供的技术方案,为用户提供用户界面,用户可通过该用户界面对超限任务进行操作,如终止操作,避免资源进一步的浪费。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的数据处理系统的结构框图;
图2为本申请一实施例提供的数据处理方法的流程示意图;
图3为本申请一实施例提供的统计界面示例图;
图4为本申请另一实施例提供的数据处理方法的流程示意图;
图5为本申请又一实施例提供的数据处理方法的流程示意图;
图6为本申请一实施例提供的用户界面示例图;
图7为本申请另一实施例提供的用户界面示例图;
图8为本申请一实施例提供的任务监测装置的结构框图;
图9为本申请另一实施例提供的任务监测装置的结构框图;
图10为本申请又一实施例提供的任务监测装置的结构框图;
图11为本申请一实施例提供的服务端设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书、权利要求书及上述附图中描述的一些流程中,包含了按照特定顺序出现的多个操作,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、客户端、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。另外,下述内容中提供的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的技术方案可在图1所示系统架构下实现。如图1所示,本申请实施例提供一种数据处理系统,包括:服务端101和客户端102。其中,
服务端101,用于获取处于执行状态的第一任务的第一监测数据;基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知;
客户端102,用于通过所述至少一个渠道接收所述服务端发送的所述第一通知,显示和/或播放所述第一通知。
其中,所述服务端101可具体为服务端计算设备,服务端计算设备可以是单机服务器、或是服务器阵列中的虚拟服务器、或者是具有服务功能的其他设备,本实施例对此不作具体限定。服务端计算设备可以在本地或云端。所述客户端可具体为:台式计算机、智能手机、笔记本电脑、智能穿戴设备等等,本申请实施例对此不作具体限定。
本实施例提供的技术方案,实时地获取在第一任务执行过程中监测到的第一监测数据;并基于第一监测数据,确定第一任务占用的资源是否超出第一设定限额;及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务;并在发现后,及时通知第一任务所属的对象,以便被通知方对第一任务进行相应的处理(例如终止或优化等),避免资源的进一步的浪费。
例如,本实施例提供的技术方案可应用于类似于:odps(开放数据处理系统)系统的任务监测场景,以及时发现数据处理系统上超限任务(亦或称为资源使用异常任务),并在发现到超限任务后,发出通知以便通知方对超限任务进行相应处理。本实施例提供的方案中,可对数据处理系统上的各类任务进行监测;例如,采用设定接口获取各被监测任务的监测数据。监测数据的获取,可通过定时触发任务执行。
为了便于方案理解,下面将以数据处理系统中的服务端为执行主体,对本申请的技术方案进行说明;即上述服务端还可实现下述相应实施例中的方法。
图2示出了本申请一实施例提供的数据处理方法的流程示意图。如图2所示,所述方法包括:
201、获取处于执行状态的第一任务的第一监测数据。
202、基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额。
203、在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道,向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
上述201中,获取到的第一监测数据可包括但不限于如下中的至少一种:执行时长、计算资源消耗量等。除与资源相关的信息外,所述第一监测数据还可包括但不限于:任务标识、应用标识、任务所属对象、项目名称、任务起始执行时间、logview等。其中,任务所属对象可包括但不限于:部门或任务提交用户。本实施例中的任务,如第一任务,可以还是某一个应用中的一个功能模块。
这里需要说明的是:通过Logview可查看到一个任务的运行状态、运行结果、运行细节和每个步骤的进度等等。
其中,所述第一监测数据的获取可采用系统提供的接口实现,如TeslaMaxCompute接口。TeslaMaxCompute接口通过服务端(如云端)的接口管理平台向外提供服务。具体实施时,可采用定时触发任务执行监测数据的获取。
上述202中,任务占用的资源可包括但不限于:时间资源、计算资源等。其中,计算资源又可包括:处理器(如CPU、GPU等等)资源、内存资源等等。
上述203中,通知渠道可包括但不限于:即时通信应用、邮件、短信息等中的至少一种。采用两个或两个以上的渠道通知,可降低被通知方漏看通知内容的概率。第一任务所属的第一对象可以是:部门或任务提交用户。部门或任务提交用户与客户端的对应关系可预先配置。在确定第一任务占用的资源超出第一设定限额时,可根据部门或任务提交用户与客户端的对应关系,获知第一任务所属第一对象对应的客户端;然后向该客户端发送有关第一任务超限的第一通知。
本实施例提供的技术方案,实时地获取在执行过程中监测到第一任务的第一监测数据;并基于第一监测数据,确定第一任务占用的资源是否超出第一设定限额;及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务;并在发现后,及时通知第一任务所属的对象,以便被通知方对第一任务进行相应的处理(例如终止或优化等),避免资源的进一步的浪费。
在一可实现的技术方案中,所述第一任务的所述第一监测数据包括:计算资源消耗量及执行时长中的至少一种。相应的,本实施例中步骤202“基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额”,包括但不限于如下中的至少一个步骤:
所述计算资源消耗量大于所述第一设定限额中的第一设定阈值时,确定所述第一任务占用的资源超出所述第一设定限额;
所述执行时长大于所述第一设定限额中的第二设定阈值时,确定所述第一任务占用的资源超出所述第一设定限额。
其中,第一设定阈值可根据多个任务的计算资源消耗情况确定;同样的,第二设定阈值可根据多个任务的执行时长来确定。当然,参照任务数量越多,确定出的第一设定阈值和第二设定阈值更合理。即本实施例提供的所述方法还可包括如下步骤:
204、根据多个任务的计算资源消耗量,确定所述第一设定阈值;其中,所述计算资源消耗量包括:处理器消耗和内存消耗中的至少一种。
205、根据多个任务的执行时长,确定所述第二设定阈值。
具体实施时,可通过上述步骤为每个部门设置其专属的第一设定阈值及第二设定阈值;当然,也可不分部门,为所有部门统一设置相同的第一设定阈值及第二设定阈值,本实施例对此不作具体限定。
上述204中,可根据正态分布的原理,取大多数任务的计算资源消耗量作为所述第一设定阈值。比如,大多数任务的计算消耗量为10%,则可将第一设定阈值设置为10%。同样的,上述205中,可根据正态分布的原理,取大多数任务的执行时长作为所述第二设定阈值。比如,大多数任务的执行时长都在6小时左右,则可取6小时作为第二设定阈值。当然,在参照任务数量越多的情况下,第一设定阈值和第二设定阈值的确定会更为合理。
又例如,可预先设置一个第一算法模型,该第一算法模型可人为设定或直接选用已有模型,将多个任务的计算资源消耗量作为第一算法模型的入参,计算该第一算法模型得到所述第一设定阈值;同样的,将多个任务的执行时长作为第二算法模型的入参,计算该第二算法模型可得到所述第二设定阈值。
进一步的,为了防止被通知方漏掉通知的情况发生,本实施例提供的所述方法还可包括如下步骤:
206、所述第一通知发出后,等待所述第一对象对所述第一任务做出指定处理。
207、在设定时长内所述第一对象未对所述第一任务做出指定处理的情况下,再次通过至少一种渠道向所述第一对象对应的客户端发送所述第一通知。
再进一步的,本申请实施例提供的所述方法还可包括如下步骤:
208、记录所述第一通知的发送次数。
209、所述发送次数大于预设次数阈值时,获取与所述第一对象关联的第二对象。
210、通过至少一种渠道向所述第二对象对应的客户端发送所述第一通知。
例如,预设次数为3。若通过至少一个渠道向第一对象对应的客户端发送第一通知的次数超过3次,则被通知方将会升级。假设,第一对象为任务提交用户,若通过至少一个渠道通知任务提交用户3次,该任务提交用户还未对第一任务做出指定处理(如终止任务);则升级通知该任务提交用户的上一级领导,以让上一级领导关注到,促使任务提交用户及时对第一任务做出指定处理。
进一步的,所述方法还可包括如下步骤:
211、获取与所述第一任务同处于执行状态的至少一个第二任务,其中,所述至少一个第二任务与所述第一任务同属于所述第一对象。
212、获取所述至少一个第二任务的第二监测数据。
213、根据所述第一监测数据及所述第二监测数据,确定所述第一任务与所述至少一个第二任务共同占用的资源是否超出第二设定限额。
214、在所述第一任务与所述至少一个第二任务共同占用的资源超出所述第二设定限额时,通过至少一个渠道向所述第一对象对应的客户端发送有关任务累积超限的第二通知。
本实施例提供的技术方案,除从单任务级别过滤出执行时间超长和消耗计算资源超大的任务外,还从对象(如用户)级别发现同一对象的多个任务超出第二设定限额的情况,以通知多个同时执行的任务超出第二设定限额的对象,以便被通知方能及时对多个任务进行相应的处理(如终止一个或两个任务等),以免资源倾斜于部分用户而影响其他用户的任务提交,提高资源利用率,减少资源浪费。。
在一具体实施实例中,监测数据包括:计算资源消耗量及执行时长中的至少一种。相应的,上述步骤213“根据所述第一监测数据及所述第二监测数据,确定所述第一任务与所述至少一个第二任务共同占用的资源是否超出第二设定限额”,可包括如下中的至少一个步骤:
2131、根据所述第一监测数据中包含的所述第一任务的计算资源消耗量及所述第二监测数据中包含的各第二任务的计算资源消耗量,统计计算资源消耗总量;所述计算资源消耗总量大于所述第二设定限额中的第三设定阈值时,确定所述第一任务与所述至少一个第二任务共同占用的资源超出第二设定限额;
2132、根据所述第一监测数据中包含的所述第一任务的执行时长及所述第二监测数据中包含的各第二任务的执行时长,统计累计执行时长;所述累计执行时长大于所述第二设定限额中的第四设定阈值时,确定所述第一任务与所述至少一个第二任务共同占用的资源超出第二设定限额。
其中,所述第三设定阈值可通过分析不同对象的同时处于执行状态的多个任务的计算资源消耗量得到。例如,下表1中示出的例子:
Figure BDA0001977493220000111
基于正态分布原理,大多数对象的计算资源消耗总量在30%左右,因此,可将第三设定阈值设定为30%。当然,也可预先设置计算模型,通过计算模型的计算得出第三设定阈值,其中,所述计算模型可人为设定也可直接采用已有模型实现,本实施例对此不作具体限定。同样的,第四设定阈值也可采用上述方式实现,即基于正态分布远离,根据大多数对象的处于执行状态的多个任务的累积执行时长;或者,直接使用计算模型通过计算得到。
进一步的,本申请实施例提供的方案中还可包括:创建白名单的步骤。该白名单用于标记一些特殊,无需进行超限判断的任务。具体的,所述白名单中存储有至少一个任务的任务标识。相应的,本实施例提供的所述方法,还可包括如下步骤:
215、获取白名单。
216、判断所述第一任务是否在所述白名单中。
217、若所述第一任务在所述白名单中,则触发执行“所述基于所述第一监测数据,确定所述第一任务是否异常”的步骤,即本实施例中的步骤202。
除了实现超限通知外,本实施例提供的方案还可包括统计步骤,例如,统计设定时段(如一天)内各类超限任务的数量、设定时段(如一个月内)超限任务数量的变化趋势、部门或用户对应的超限任务的数量占任务总量的比例等等,以起到对部门或用户提醒的作用,促使部门工作人员或用户及时优化任务或终止无用任务。即本实施例提供的技术方案还可包括如下中的至少一个步骤:
218、统计设定时段内超出第一设定限额的任务数量;
219、统计设定时段内超出第二设定限额的任务组数量,其中,所述任务组中所含的任务同属于一个对象;
220、计算设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例;
221、根据同一设定时段内各部门的超出第一设定限额的任务数量,确定排行信息;
222、根据不同日期的同一设定时段内超出第一设定限额的任务数量,分析数量变化趋势信息。
上述各步骤统计的信息可显示在如图3所示统计界面上,这样用户或部门工作人员可更直观的看到。
本申请另一实施例还提供一种数据处理系统。该数据处理系统的系统架构同图1所示的系统架构。本实施例与图1所示的实施例中的区别在于,服务端的功能。具体的,本实施例提供所述数据处理系统包括:服务端101及客户端102。
服务端101,用于获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
客户端102,用于通过所述至少一个渠道接收所述服务端发送的所述第二通知,显示和/或播放所述第二通知。
其中,所述服务端101可具体为服务端计算设备,服务端计算设备可以是单机服务器、或是服务器阵列中的虚拟服务器、或者是具有服务功能的其他设备,本实施例对此不作具体限定。服务端计算设备可以在本地或云端。所述客户端可具体为:台式计算机、智能手机、笔记本电脑、智能穿戴设备等等,本申请实施例对此不作具体限定。
本实施例提供的技术方案,通过获取同属于一个对象且同处于执行状态的至少两个任务的监测数据,以实时的根据至少两个任务的监测数据,确定至少两个任务共同占用的资源是否超出第二设定限额;及时地发现了因同一对象的多个任务同时执行占用的资源较多致使其他对象的任务无法提交或执行的情况;并在发现后,及时发出通知,以便被通知方对所述至少两个任务进行相应的处理,避免资源倾斜于部分用户而影响其他用户的任务提交,提高资源利用率,减少资源浪费。
为了便于方案理解,下面将以数据处理系统中的服务端为执行主体,对本申请的技术方案进行说明;即上述服务端还可实现下述相应实施例中的方法。
图4示出了本申请一实施例提供的数据处理方法的流程示意图。如图所示,所述数据处理方法,包括:
301、获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据。
302、根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额。
303、在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
其中,本实施例中也可通过至少一个渠道,向所述对象对应的客户端发送有关任务累计超限的第二通知。
本实施例提供的技术方案,通过获取同属于一个对象且同处于执行状态的至少两个任务的监测数据,以实时的根据至少两个任务的监测数据,确定至少两个任务共同占用的资源是否超出第二设定限额;及时地发现了因同一对象的多个任务同时执行占用的资源较多致使其他对象的任务无法提交或执行的情况;并在发现后,及时发出通知,以便被通知方对所述至少两个任务进行相应的处理,避免资源倾斜于部分用户而影响其他用户的任务提交,提高资源利用率,减少资源浪费。
上述301中,任务所属对象可以是:部门或任务提交用户等,本实施例对此不作具体限定。监测数据可包括:计算资源消耗量及执行时长等。当然,监测数据除包含有与资源有关的数据之外,还可包括但不限于如下中的至少一项:任务标识、应用标识、任务所属对象、项目名称、任务起始执行时间、logview等。
上述302中,监测数据可包括:计算资源消耗量及执行时长中的至少一种。相应的,步骤302“根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额”,可包括如下中的至少一个步骤:
3021、根据所述至少两个任务中各任务的计算资源消耗量,统计所述至少两个任务的计算资源消耗总量,所述计算资源消耗总量大于所述第二设定限额中的第三设定阈值时,确定所述至少两个任务共同占用的资源超出所述第二设定限额。
3022、根据所述至少两个任务中各任务的执行时长,统计所述至少两个任务的累计执行时长,所述累计执行时长大于所述第二设定限额中的第四设定阈值时,确定所述至少两个任务共同占用的资源超出所述第二设定限额。
这里需要说明的是:上述第三设定阈值和第四设定阈值的确定可参见上述实施例中的相应内容,此处不再赘述。
图5示出了本申请一实施例提供的数据处理方法的流程示意图。本实施例提供的所述方法的执行主体可以是客户端。该客户端可以为包括台式计算机算、笔记本电脑、手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备。如5图所示,所述数据处理方法包括:
401、显示超限任务的任务信息及与所述超限任务关联的操作控件。
图6和图7示出了两种用户界面;图6所示的用户界面用于显示单个任务超限(或报警)的内容。图7所示的用户界面用于显示并发任务的内容。这里需要说明的是:并发任务应理解为:同属于一个对象(如部门或任务提交用户)的均处于执行状态的多个任务。图6中,每个超限任务所在行的最后显示的
Figure BDA0001977493220000151
即各超限任务对应的操作控件。参见图6和图7所示,所述任务信息可包括但不限于:超限类型、任务标识、应用标识、任务所属对象、项目名称、任务起始执行时间、执行时长、计算资源消耗量、通知次数。其中,所述超限类型包括:计算资源消耗超限类型、执行时长超限类型;所述任务所属对象包括:部门或任务提交用户。
402、响应于用户对所述操作控件的操作,生成所述操作控件对应的处理指令。
例如,图7和图8所示的
Figure BDA0001977493220000152
;用户点击该操作控件后,即可生成任务终止指令。
403、向服务端发送针对所述超限任务的处理指令,以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作。
其中,所述超限任务为执行中占用的资源超出第一设定限额的任务,或为超限任务组中的一个任务;所述超限任务组包括同处于执行状态,且同属于一个对象的至少两个任务,所述至少两个任务共同占用的资源超出第二设定限额。
本实施例提供的技术方案,为用户提供用户界面,用户可通过该用户界面对超限任务进行操作,如终止操作,避免资源进一步的浪费。
进一步的,本实施例提供的所述方法还可包括如下步骤:
404、显示用户界面。
405、所述用户界面内显示有至少一个搜索框。
406、响应于用户在所述至少一个搜索框内输入的搜索参数,展现匹配所述搜索参数的至少一个超限任务的任务信息及与各超限任务关联的操作控件。
如图6和图7所示,所述至少一个搜索框可包括但不限于:任务标识搜索框、项目名称搜索框、任务提交人搜索框、报警日期(亦或称超限发现日期)搜索框,“只看我的”选择框等等,本实施例对此不作具体限定。
进一步的,本实施例提供的所述方法还可包括:
407、响应于用户针对所述超限任务触发的详情查看事件,显示从服务端获取到的所述超限任务的超限详情。
本实施例对于超限任务的超限详情的内容不作具体限定,例如,所述超限详情可包括:计算资源消耗量超限状况、执行时长超限状况、建议的处理操作、超限任务执行运行状态、运行结果、运行细节和每个步骤的进度等等。
进一步的,本实施例提供的所述方法还可包括:
408、显示统计界面。
409、在所述统计界面上动态地显示统计信息。
其中,所述统计信息包括如下至少一个统计项:
设定时段内超出第一设定限额的任务数量、
设定时段内超出第二设定限额的任务组数量、
设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例、
同一设定时段内各部门的超出第一设定限额的任务数量排行信息、
基于不同日期的同一设定时段内超出第一设定限额的任务数量分析出的数量变化趋势信息。
例如,图3所示的统计界面,这样用户或部门工作人员可更直观的看到。
图8示出了本申请一实施例提供的任务监测装置的结构示意图。如图8所示,所述任务监测装置,包括:第一获取模块11、第一确定模块12及第一发送模块13。其中,所述第一获取模块11用于获取处于执行状态的第一任务的第一监测数据;所述第一确定模块12用于基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;所述第一发送模块13用于在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
本实施例提供的技术方案,实时地获取在执行过程中监测到第一任务的第一监测数据;并基于第一监测数据,确定第一任务占用的资源是否超出第一设定限额;及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务;并在发现后,及时通知第一任务所属的对象,以便被通知方对第一任务进行相应的处理(例如终止或优化等),避免资源的进一步的浪费。
进一步的,所述资源包括:时间资源及计算资源中的至少一种;所述第一监测数据包括:计算资源消耗量及执行时长中的至少一种。相应的,所述第一确定模块12,还包括如下中的至少一个功能:
所述计算资源消耗量大于所述第一设定限额中的第一设定阈值时,确定所述第一任务占用的资源超出所述第一设定限额;
所述执行时长大于所述第一设定限额中的第二设定阈值时,确定所述第一任务占用的资源超出所述第一设定限额。
进一步的,所述第一确定模块12还用于:
根据多个任务的计算资源消耗量,确定所述第一设定阈值;其中,所述计算资源消耗量包括:处理器消耗和内存消耗中的至少一种;
根据多个任务的执行时长,确定所述第二设定阈值。
进一步的,所述第一发送模块13还用于:
所述第一通知发出后,等待所述第一对象对所述第一任务做出指定处理;
在设定时长内所述第一对象未对所述第一任务做出指定处理的情况下,再次通过至少一种渠道向所述第一对象对应的客户端发送所述第一通知。
进一步的,本实施例提供的所述任务监测装置还包括:
记录模块,用于记录所述第一通知的发送次数;
所述第一获取模块11,还用于所述发送次数大于预设次数阈值时,获取与所述第一对象关联的第二对象;
所述第一发送模块13,还用于通过至少一种渠道向所述第二对象对应的客户端发送所述第一通知。
进一步的,所述第一获取模块11还用于:获取与所述第一任务同处于执行状态的至少一个第二任务,其中,所述至少一个第二任务与所述第一任务同属于所述第一对象;获取所述至少一个第二任务的第二监测数据;
所述第一确定模块12还用于:根据所述第一监测数据及所述第二监测数据,确定所述第一任务与所述至少一个第二任务共同占用的资源是否超出第二设定限额;
所述第一发送模块13还用于:在所述第一任务与所述至少一个第二任务共同占用的资源超出所述第二设定限额时,通过至少一个渠道向所述第一对象对应的客户端发送有关任务累积超限的第二通知。
进一步的,本实施例提供所述方法还可包括:
所述第一获取模块11,还用于获取白名单;
判断模块,用于判断所述第一任务是否在所述白名单中;若所述第一任务在所述白名单中,则触发所述第一确定模块12执行所述基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额的步骤。
进一步的,本实施例提供的所述任务监测装置还包括统计模块。所述统计模块,包括如下中的至少一种功能:
统计设定时段内超出第一设定限额的任务数量;
统计设定时段内超出第二设定限额的任务组数量,其中,所述任务组中所含的任务同属于一个对象;
计算设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例;
根据同一设定时段内各部门的超出第一设定限额的任务数量,确定排行信息;
根据不同日期的同一设定时段内超出第一设定限额的任务数量,分析数量变化趋势信息。
这里需要说明的是:上述实施例提供的任务监测装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图9示出了本申请另一实施例提供的任务监测装置的结构示意图。如图9所示,所述任务监测装置包括:第二获取模块21、第二确定模块22及第二发送模块23。其中,第二获取模块21用于获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;第二确定模块22用于根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;第二发送模块23用于在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
本实施例提供的技术方案,通过获取同属于一个对象且同处于执行状态的至少两个任务的监测数据,以实时的根据至少两个任务的监测数据,确定至少两个任务共同占用的资源是否超出第二设定限额;及时地发现了因同一对象的多个任务同时执行占用的资源较多致使其他对象的任务无法提交或执行的情况;并在发现后,及时通知该对象,以便被通知方对所述至少两个任务进行相应的处理,避免资源倾斜于部分用户而影响其他用户的任务提交,提高资源利用率,减少资源浪费。
进一步的,监测数据包括:计算资源消耗量及执行时长中的至少一种。相应的,所述第二确定模块22还包括如下中的至少一种功能:
根据所述至少两个任务中各任务的计算资源消耗量,统计所述至少两个任务的计算资源消耗总量,所述计算资源消耗总量大于所述第二设定限额中的第三设定阈值时,确定所述至少两个任务共同占用的资源超出所述第二设定限额;
根据所述至少两个任务中各任务的执行时长,统计所述至少两个任务的累计执行时长,所述累计执行时长大于所述第二设定限额中的第四设定阈值时,确定所述至少两个任务共同占用的资源超出所述第二设定限额。
这里需要说明的是:上述实施例提供的任务监测装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图10示出了本申请又一实施例提供的任务监测装置的结构示意图。如图10所示,所述任务监测装置包括:显示模块31、生成模块32及发送模块33。其中,显示模块31用于显示超限任务的任务信息及与所述超限任务关联的操作控件;生成模块32用于响应于用户对所述操作控件的操作,生成所述操作控件对应的处理指令;发送模块33用于向服务端发送针对所述超限任务的处理指令,以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作;
其中,所述超限任务为执行中占用的资源超出第一设定限额的任务,或为超限任务组中的一个任务;所述超限任务组包括同处于执行状态,且同属于一个对象的至少两个任务,所述至少两个任务共同占用的资源超出第二设定限额。
本实施例提供的技术方案,为用户提供用户界面,用户可通过该用户界面对超限任务进行操作,如终止操作,避免资源进一步的浪费。
进一步的,所述任务信息包括如下中的至少一种:
超限类型、任务标识、任务所属对象、任务所属部门信息、任务起始执行时间、执行时长、计算资源消耗量、通知次数;
其中,所述超限类型包括:计算资源消耗超限类型、执行时长超限类型;所述任务所属对象包括:应用程序或任务提交用户。
进一步的,所述显示模块31还用于:
显示用户界面;
所述用户界面内显示有至少一个搜索框;
响应于用户在所述至少一个搜索框内输入的搜索参数,展现匹配所述搜索参数的至少一个超限任务的任务信息及与各超限任务关联的操作控件。
进一步的,所述显示模块31还用于:响应于用户针对所述超限任务触发的详情查看事件,显示从服务端获取到的所述超限任务的超限详情。
进一步的,所述显示模块31还用于:
显示统计界面;
在所述统计界面上动态地显示统计信息;
其中,所述统计信息包括如下至少一个统计项:
设定时段内超出第一设定限额的任务数量、
设定时段内超出第二设定限额的任务组数量、
设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例、
同一设定时段内各部门的超出第一设定限额的任务数量排行信息、
基于不同日期的同一设定时段内超出第一设定限额的任务数量分析出的数量变化趋势信息。
这里需要说明的是:上述实施例提供的任务监测装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图11示出了本申请一实施例提供的服务端设备的结构示意图。如图11所示,所述服务端设备包括存储器41及处理器42。其中,存储器41可被配置为存储其它各种数据以支持在网络节点设备上的操作。这些数据的示例包括用于在网络节点设备上操作的任何应用程序或方法的指令。存储器41可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述处理器42,与所述存储器41耦合,用于执行所述存储器41中存储的所述程序,以用于:
获取处于执行状态的第一任务的第一监测数据;
基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;
在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
本实施例提供的技术方案,实时地获取在执行过程中监测到第一任务的第一监测数据;并基于第一监测数据,确定第一任务占用的资源是否超出第一设定限额;及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务;并在发现后,及时通知第一任务所属的对象,以便被通知方对第一任务进行相应的处理(例如终止或优化等),避免资源的进一步的浪费。
其中,处理器42在执行存储器41中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
进一步的,如图11所示,网络节点设备还包括:显示器44、通信组件43、电源组件45、音频组件46等其它组件。图11中仅示意性给出部分组件,并不意味着服务端设备只包括图11所示组件。
本申请另一实施例还提供了一种服务端设备。该服务端设备的实现结构与上图11所示的实施例类同。参见图11所示,所述服务端设备包括:存储器及处理器。其中,所述存储器,用于存储程序;所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;
根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;
在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
本实施例提供的技术方案,通过获取同属于一个对象且同处于执行状态的至少两个任务的监测数据,以实时的根据至少两个任务的监测数据,确定至少两个任务共同占用的资源是否超出第二设定限额;及时地发现了因同一对象的多个任务同时执行占用的资源较多致使其他对象的任务无法提交或执行的情况;并在发现后,及时通知该对象,以便被通知方对所述至少两个任务进行相应的处理,避免资源倾斜于部分用户而影响其他用户的任务提交,提高资源利用率,减少资源浪费。
其中,处理器在执行存储器中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
本申请又一实施例还提供了一种显示设备。该显示设备的实现结构与上图11所示的实施例类同。参见图11所示,所述显示设备包括:存储器、处理器、显示器及通信组件。其中,所述存储器,用于存储程序;所述显示器,与所述处理器耦合;所述通信组件,与所述处理器耦合;所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
控制所述显示器显示超限任务的任务信息及与所述超限任务关联的操作控件;
响应于用户对所述操作控件的操作,生成所述操作控件对应的处理指令;
控制所述通信组件向服务端发送针对所述超限任务的处理指令,以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作;
其中,所述超限任务为执行中占用的资源超出第一设定限额的任务,或为超限任务组中的一个任务;所述超限任务组包括同处于执行状态,且同属于一个对象的至少两个任务,所述至少两个任务共同占用的资源超出第二设定限额。
本实施例提供的技术方案,为用户提供用户界面,用户可通过该用户界面对超限任务进行操作,如终止操作,避免资源进一步的浪费。
其中,处理器在执行存储器中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例提供的数据处理方法的步骤或功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机客户端(可以是个人计算机,服务器,或者网络客户端等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

1.一种数据处理方法,其特征在于,包括:
获取处于执行状态的第一任务的第一监测数据;
基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;
在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道,向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
2.根据权利要求1所述的方法,其特征在于,所述资源包括:时间资源及计算资源中的至少一种;所述第一监测数据包括:计算资源消耗量及执行时长中的至少一种;以及
基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额,包括如下中的至少一个步骤:
所述计算资源消耗量大于所述第一设定限额中的第一设定阈值时,确定所述第一任务占用的资源超出所述第一设定限额;
所述执行时长大于所述第一设定限额中的第二设定阈值时,确定所述第一任务占用的资源超出所述第一设定限额。
3.根据权利要求2所述的方法,其特征在于,还包括:
根据多个任务的计算资源消耗量,确定所述第一设定阈值;其中,所述计算资源消耗量包括:处理器消耗和内存消耗中的至少一种;
根据多个任务的执行时长,确定所述第二设定阈值。
4.根据权利要求1所述的方法,其特征在于,还包括:
所述第一通知发出后,等待所述第一对象对所述第一任务做出指定处理;
在设定时长内所述第一对象未对所述第一任务做出指定处理的情况下,再次通过至少一种渠道向所述第一对象对应的客户端发送所述第一通知。
5.根据权利要求3所述的方法,其特征在于,还包括:
记录所述第一通知的发送次数;
所述发送次数大于预设次数阈值时,获取与所述第一对象关联的第二对象;
通过至少一种渠道向所述第二对象对应的客户端发送所述第一通知。
6.根据权利要求1至5中任一项所述的方法,其特征在于,还包括:
获取与所述第一任务同处于执行状态的至少一个第二任务,其中,所述至少一个第二任务与所述第一任务同属于所述第一对象;
获取所述至少一个第二任务的第二监测数据;
根据所述第一监测数据及所述第二监测数据,确定所述第一任务与所述至少一个第二任务共同占用的资源是否超出第二设定限额;
在所述第一任务与所述至少一个第二任务共同占用的资源超出所述第二设定限额时,通过至少一个渠道向所述第一对象对应的客户端发送有关任务累积超限的第二通知。
7.根据权利要求1至5中任一项所述的方法,其特征在于,还包括:
获取白名单;
判断所述第一任务是否在所述白名单中;
若所述第一任务在所述白名单中,则触发执行所述基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额的步骤。
8.根据权利要求1至5中任一项所述的方法,其特征在于,还包括如下中的至少一个步骤:
统计设定时段内超出第一设定限额的任务数量;
统计设定时段内超出第二设定限额的任务组数量,其中,所述任务组中所含的任务同属于一个对象;
计算设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例;
根据同一设定时段内各部门的超出第一设定限额的任务数量,确定排行信息;
根据不同日期的同一设定时段内超出第一设定限额的任务数量,分析数量变化趋势信息。
9.一种数据处理系统,其特征在于,包括:
服务端,用于获取处于执行状态的第一任务的第一监测数据;基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知;
客户端,用于通过所述至少一个渠道接收所述服务端发送的所述第一通知,显示和/或播放所述第一通知。
10.一种数据处理方法,其特征在于,包括:
获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;
根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;
在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
11.根据权利要求10所述的方法,其特征在于,监测数据包括:计算资源消耗量及执行时长中的至少一种;以及
根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额,包括如下中的至少一个步骤:
根据所述至少两个任务中各任务的计算资源消耗量,统计所述至少两个任务的计算资源消耗总量,所述计算资源消耗总量大于所述第二设定限额中的第三设定阈值时,确定所述至少两个任务共同占用的资源超出所述第二设定限额;
根据所述至少两个任务中各任务的执行时长,统计所述至少两个任务的累计执行时长,所述累计执行时长大于所述第二设定限额中的第四设定阈值时,确定所述至少两个任务共同占用的资源超出所述第二设定限额。
12.一种数据处理系统,其特征在于,包括:
服务端,用于获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知;
客户端,用于接收所述服务端发送的所述第二通知,显示和/或播放所述第二通知。
13.一种数据处理方法,其特征在于,包括:
显示超限任务的任务信息及与所述超限任务关联的操作控件;
响应于用户对所述操作控件的操作,生成所述操作控件对应的处理指令;
向服务端发送针对所述超限任务的处理指令,以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作;
其中,所述超限任务为执行中占用的资源超出第一设定限额的任务,或为超限任务组中的一个任务;所述超限任务组包括同处于执行状态,且同属于一个对象的至少两个任务,所述至少两个任务共同占用的资源超出第二设定限额。
14.根据权利要求13所述的方法,其特征在于,所述任务信息包括如下中的至少一种:
超限类型、任务标识、应用标识、任务所属对象、项目名称、任务起始执行时间、执行时长、计算资源消耗量、通知次数;
其中,所述超限类型包括:计算资源消耗超限类型、执行时长超限类型;所述任务所属对象包括:部门或任务提交用户。
15.根据权利要求13或14所述的方法,其特征在于,还包括:
显示用户界面;
所述用户界面内显示有至少一个搜索框;
响应于用户在所述至少一个搜索框内输入的搜索参数,展现匹配所述搜索参数的至少一个超限任务的任务信息及与各超限任务关联的操作控件。
16.根据权利要求13或14所述的方法,其特征在于,还包括:
响应于用户针对所述超限任务触发的详情查看事件,显示从服务端获取到的所述超限任务的超限详情。
17.根据权利要求13或14所述的方法,其特征在于,还包括:
显示统计界面;
在所述统计界面上动态地显示统计信息;
其中,所述统计信息包括如下至少一个统计项:
设定时段内超出第一设定限额的任务数量、
设定时段内超出第二设定限额的任务组数量、
设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例、
同一设定时段内各部门的超出第一设定限额的任务数量排行信息、
基于不同日期的同一设定时段内超出第一设定限额的任务数量分析出的数量变化趋势信息。
18.一种服务端设备,其特征在于,包括:存储器及处理器;其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取处于执行状态的第一任务的第一监测数据;
基于所述第一监测数据,确定所述第一任务占用的资源是否超出第一设定限额;
在所述第一任务占用的资源超出所述第一设定限额的情况下,通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。
19.一种服务端设备,其特征在于,包括:存储器及处理器;其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取同属于一个对象,且同处于执行状态的至少两个任务的监测数据;
根据所述至少两个任务的监测数据,确定所述至少两个任务共同占用的资源是否超出第二设定限额;
在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下,向所述对象对应的客户端发送有关任务累计超限的第二通知。
20.一种显示设备,其特征在于,包括:存储器、处理器、显示器及通信组件,其中,
所述存储器,用于存储程序;
所述显示器,与所述处理器耦合;
所述通信组件,与所述处理器耦合;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
控制所述显示器显示超限任务的任务信息及与所述超限任务关联的操作控件;
响应于用户对所述操作控件的操作,生成所述操作控件对应的处理指令;
控制所述通信组件向服务端发送针对所述超限任务的处理指令,以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作;
其中,所述超限任务为执行中占用的资源超出第一设定限额的任务,或为超限任务组中的一个任务;所述超限任务组包括同处于执行状态,且同属于一个对象的至少两个任务,所述至少两个任务共同占用的资源超出第二设定限额。
CN201910137691.2A 2019-02-25 2019-02-25 数据处理方法、数据处理系统及设备 Active CN111611123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910137691.2A CN111611123B (zh) 2019-02-25 2019-02-25 数据处理方法、数据处理系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910137691.2A CN111611123B (zh) 2019-02-25 2019-02-25 数据处理方法、数据处理系统及设备

Publications (2)

Publication Number Publication Date
CN111611123A true CN111611123A (zh) 2020-09-01
CN111611123B CN111611123B (zh) 2023-06-20

Family

ID=72202825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910137691.2A Active CN111611123B (zh) 2019-02-25 2019-02-25 数据处理方法、数据处理系统及设备

Country Status (1)

Country Link
CN (1) CN111611123B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806049A (zh) * 2021-09-17 2021-12-17 金蝶软件(中国)有限公司 任务排队方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190482A1 (en) * 2005-02-22 2006-08-24 Microsoft Corporation Method and system for resource management
CN101056264A (zh) * 2007-04-25 2007-10-17 华为技术有限公司 流量控制的方法和业务处理系统
CN103780655A (zh) * 2012-10-24 2014-05-07 阿里巴巴集团控股有限公司 一种消息传递接口任务和资源调度系统及方法
JP2015109020A (ja) * 2013-12-05 2015-06-11 三菱電機株式会社 リソース配分装置、リソース配分システム、リソース配分方法及びプログラム
WO2017041652A1 (zh) * 2015-09-09 2017-03-16 阿里巴巴集团控股有限公司 一种网络资源的使用限额的控制方法、装置及系统
CN108243205A (zh) * 2016-12-23 2018-07-03 上海诺基亚贝尔股份有限公司 一种用于控制云平台资源分配的方法、设备与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190482A1 (en) * 2005-02-22 2006-08-24 Microsoft Corporation Method and system for resource management
CN1825289A (zh) * 2005-02-22 2006-08-30 微软公司 用于资源管理的方法和系统
CN101056264A (zh) * 2007-04-25 2007-10-17 华为技术有限公司 流量控制的方法和业务处理系统
CN103780655A (zh) * 2012-10-24 2014-05-07 阿里巴巴集团控股有限公司 一种消息传递接口任务和资源调度系统及方法
JP2015109020A (ja) * 2013-12-05 2015-06-11 三菱電機株式会社 リソース配分装置、リソース配分システム、リソース配分方法及びプログラム
WO2017041652A1 (zh) * 2015-09-09 2017-03-16 阿里巴巴集团控股有限公司 一种网络资源的使用限额的控制方法、装置及系统
CN108243205A (zh) * 2016-12-23 2018-07-03 上海诺基亚贝尔股份有限公司 一种用于控制云平台资源分配的方法、设备与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓春,刘兴东: "嵌入式实时操作系统任务的同步与互斥机制" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806049A (zh) * 2021-09-17 2021-12-17 金蝶软件(中国)有限公司 任务排队方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111611123B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
EP3451614A1 (en) Dispatching method and device in content delivery network
WO2018103590A1 (zh) 一种拣货任务分配方法、装置及系统
US10783002B1 (en) Cost determination of a service call
US20080263553A1 (en) Dynamic Service Level Manager for Image Pools
US9292336B1 (en) Systems and methods providing optimization data
US10764322B2 (en) Information processing device, information processing method, and computer-readable recording medium
CN110928655A (zh) 一种任务处理方法及装置
US8161326B2 (en) Method and system for managing information technology (IT) infrastructural elements
CN110990138A (zh) 资源调度方法、装置、服务器及存储介质
CN112947830A (zh) 一种弹窗展示方法、装置、计算机设备及存储介质
CN110839069B (zh) 一种节点数据部署方法、部署节点、系统及介质
CN103164505A (zh) 基于实际使用频率对应用软件进行排名的系统及方法
CN111507608B (zh) 工单预警方法、装置和存储介质
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN109669835A (zh) MySQL数据库监控方法、装置、设备及可读存储介质
CN113285886B (zh) 一种带宽分配的方法、装置、电子设备及可读存储介质
CN110609780A (zh) 数据监控方法、装置、电子设备及存储介质
CN114153688A (zh) 基于云平台的分布式监控方法及装置
CN110308901A (zh) 处理前端页面中数据变量方法、装置、设备和存储介质
CN111611123B (zh) 数据处理方法、数据处理系统及设备
CN111600942B (zh) 报表处理方法、装置及设备
CN112286930A (zh) redis业务方资源共享的方法、装置、存储介质及电子设备
CN113326150A (zh) 一种联机小批量消息处理方法和装置
CN112783629A (zh) 服务调用方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant