CN110750419B - 离线任务的处理方法、装置、电子设备及存储介质 - Google Patents

离线任务的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110750419B
CN110750419B CN201910945923.7A CN201910945923A CN110750419B CN 110750419 B CN110750419 B CN 110750419B CN 201910945923 A CN201910945923 A CN 201910945923A CN 110750419 B CN110750419 B CN 110750419B
Authority
CN
China
Prior art keywords
task
offline
data
processing
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910945923.7A
Other languages
English (en)
Other versions
CN110750419A (zh
Inventor
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910945923.7A priority Critical patent/CN110750419B/zh
Publication of CN110750419A publication Critical patent/CN110750419A/zh
Application granted granted Critical
Publication of CN110750419B publication Critical patent/CN110750419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/483—Multiproc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

本公开提供的离线任务的处理方法、装置、电子设备及存储介质，通过采用根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。从而对离线任务的处理过程进行有效的状态管理，避免出现离线信息漏发误发以及离线数据丢失等问题。

Description

离线任务的处理方法、装置、电子设备及存储介质
技术领域
本公开涉及数据处理技术，特别涉及一种离线任务的处理方法、装置、电子设备及存储介质。
背景技术
随着智能终端的普及和发展，基于智能终端的应用逐步进入人们的生活。对于应用提供商来说，通过设置离线奖励机制或离线收益机制，可有效提高用户对于应用的使用率和使用兴趣，从而保持用户对于应用的粘性。
在现有技术中，对于包括离线奖励推送、离线数据处理等离线任务的处理是通过应用的离线服务器实现的。但是，在现有的离线任务的处理过程中，没有对处理过程进行有效的状态管理，因此在离线服务器对离线任务的处理时，容易出现离线信息漏发误发以及离线数据丢失等问题。
发明内容
针对上述技术问题，本公开提供了一种离线任务的处理方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种离线任务的处理方法，包括：
根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；
将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；
根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。
第二方面，本公开提供了一种离线任务的处理装置，包括：
拆解模块，用于根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；
第一处理模块，用于将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；
第二处理模块，用于根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。
第三方面，本公开提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
第四方面，本公开提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述任一项所述的方法。
本公开提供的离线任务的处理方法、装置、电子设备及存储介质，通过采用根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。从而对离线任务的处理过程进行有效的状态管理，避免出现离线信息漏发误发以及离线数据丢失等问题。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开提供的一种网络架构的示意图；
图2是本公开提供的一种离线任务的处理方法的流程示意图；
图3是本公开提供的一种离线任务的处理方法的界面示意图；
图4是本公开提供的一种离线任务的处理装置的结构示意图；
图5是本公开提供的一种用来实现本公开实施例的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着智能终端的普及和发展，基于智能终端的应用逐步进入人们的生活。对于应用提供商来说，通过设置离线奖励机制或离线收益机制，可有效提高用户对于应用的使用率和使用兴趣，从而保持用户对于应用的粘性。
在现有技术中，对于包括离线奖励推送、离线数据处理等离线任务的处理是通过应用的离线服务器实现的。但是，在现有的离线任务的处理过程中，没有对处理过程进行有效的状态管理，因此在离线服务器对离线任务的处理时，容易出现离线信息漏发误发以及离线数据丢失等问题。
针对上述问题，本公开提供了一种离线任务的处理方法、装置、电子设备及存储介质。该处理方法通过采用对离线任务进行进程拆解并记录的方式，从而对离线任务的处理过程进行有效的状态管理，避免出现离线信息漏发误发以及离线数据丢失等问题。
图1是本公开提供的一种网络架构的示意图，如图1所示的，本公开提供的离线任务的处理方法可适用于需要对离线数据或离线任务进行处理的各种应用场景。其中，该网络架构可包括有离线任务的处理装置1、终端2以及网络。其中，离线任务的处理装置1具体可为云端架设的服务器或服务器集群，其具体可为存储有离线数据并具备处理功能的离线服务器。终端2具体可为用户的智能手机、台式电脑、手提电脑等具备通信功能的终端。通过网络，离线任务的处理装置1可与终端2进行数据交互，以使离线任务的处理装置1接收终端2上传的各种数据，并向终端2发送各类离线任务的处理结果或处理信息。
需要说明的是，图1所示方式仅为本公开提供的其中一种网络架构方式，基于不同的应用场景，其架构将存在相应变化。
第一方面，本公开提供了一种离线任务的处理方法，图2是本公开提供的一种离线任务的处理方法的流程示意图。如图2所示的，该处理方法包括：
步骤101、根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理。
本公开示例所提供的离线任务的处理方法的执行主体为种离线任务的处理装置，其中，该种离线任务的处理装置具体可由多种类型的硬件器件组成，如处理器，通信器，信息采集器，传感器等等。
在本公开提供的离线任务的处理装置中设置有不同的数据列表，其分别为离线任务列表、进程执行列表以及离线数据列表。通过交替调用该三个列表，可实现对于离线任务的状态记录和相应处理。
具体来说，离线任务的处理装置将根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理。其中，离线任务列表可用于记录需要处理的各离线任务，以及每个离线任务的任务信息。一般的。任务信息中可包括有任务的创建时间、任务id信息、任务当前运行状态等等。此外，其中的离线任务包括但不限于离线红包信息的推送、离线收益的额度计算、基于离线时长的离线积分统计等等。这些离线任务一般是由开发人员录入该离线任务列表中的。
一旦离线任务列表中存储有离线任务，离线任务的处理装置将开始对于离线任务执行任务拆解处理。对于离线任务列表中的离线任务可采用并行的方式进行拆解，即在同一时刻可对多个离线任务进行拆解，也可采用依次拆解的方式进行。
在其中一种可选的实施方式中，可根据离线任务的任务优先级进行的，即任务优先级高的离线任务将被优先拆解。也就是说，任务信息还可包括离线任务的任务类型和任务优先级，所述任务优先级是根据任务类型确定的；而离线任务的处理装置将根据所述离线任务列表中离线任务的任务优先级，对各离线任务进行任务拆解处理。
其中，任务类型具体可包括离线数据计算类任务、离线信息推送类任务等。其中的离线数据计算任务可包括离线红包的金额计算、离线收益的利息统计等等；而离线信息推送类任务则可包括向用户或用户群推送离线收益信息、或推送离线通知等等。一般的，由于离线数据计算任务的时效性较强，在本公开中该类任务的任务优先级将大于离线信息推送类任务的任务优先级。
在其中一种可选的实施方式中，任务信息将包括有多个目标用户，相应的，离线任务的处理装置将根据每一离线任务的目标用户的用户分布，按照负载均衡的原则对各离线任务进行任务拆解。
举例来说，在对离线任务进行拆解的过程中，可基于负载均衡的原则，即对于拆分某一离线任务获得的多个任务进程来说，其各任务负载相似或接近。比如任务信息中将记录有多个目标用户，在对离线任务进行拆分时，可基于目标用户的ID进行，再如以目标用户的用户标识尾号0-9将多个目标用户划分为10组，将标识尾号相同的目标用户划分为同一组，并按照该分组对离线任务进行拆解，以使每一任务进程执行单一标识尾号的目标用户的离线任务的处理。或者，考虑到标识尾号为2、3、5的目标用户的用户数量较大，还可首先对目标用户的分布进行统计，如获得目标用户的分布状态为正态分布，则可基于前述的杂均衡原则对正态分布的目标用户进行分组，在基于分组将离线任务进行拆分。
步骤102、将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表。
步骤103、根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。
在上述步骤中，离线任务的处理装置对各离线任务进行任务拆解处理后获得的各离线任务的任务进程将被存储在进程执行列表中。
在每一离线任务的多个离线进程被存储至进程执行列表时，还将一并存储有任务进程的进程信息，该进程信息包括任务进程所属于的离线任务的任务标识、任务类型以及任务优先级。其中，任务标识用于确定该任务进程所属于的离线任务，任务类型和任务优先级均是继承其所属于的离线任务而获得的。
随后，处理装置将根据所述进程执行列表中各任务进程的所属于的离线任务的任务优先级，选取任务优先级最高的任务进程作为待处理进程。如前所述的，任务类型具体可包括离线数据计算类任务、离线信息推送类任务等，而在本公开中该类任务的任务优先级将大于离线信息推送类任务的任务优先级。因此，当任务进程的任务类型为离线数据计算类任务时，其任务优先级将高于任务类型为离线信息推送类任务的任务进程。此时，可将离线数据计算类任务的任务进程选取出来，以作为待处理进程。
需要说明的是，在本公开中，为了提高处理效率，对于任务进程的处理可采用并行处理的方式，即同一时刻可同步处理多个任务进程。同时，对于从任务执行列表中选取待处理进程的原则也将基于任务优先级，即任务优先级高的任务进程将被优先处理。
再后，将在离线数据列表中确定所述待处理进程对应的离线数据，并对各任务进程的离线数据进行处理。
处理装置在本步骤中将根据待处理进程，从离线数据列表中调用进程所需的离线数据，并进行处理。具体来说，离线数据列表中一般存储有用户离线行为的数据，具体可为收益的记录。为了便于任务进程调用离线数据，离线数据列表中还存储有离线数据的数据类型，其数据类型可用于表示数据来源，比如“离线红包”这一离线数据的数据来源包括分享、帮拆、被拆等；“离线金币”这一离线数据的数据来源包括发帖、被转发、被回复等。此时，可将“离线金币”这一离线数据的数据类型存储为“发帖”，将“离线红包”这一离线数据的数据类型存储为“分享”。
处理装置在处理进程时，会根据待处理进程的任务类型，确定与其任务类型相应的目标数据类型。如，任务进程为向用户推送离线金币的数量信息，此时，处理装置将“分享”“帮拆”“被拆”作为目标数据类型，并从离线数据列表中获取这些数据类型的离线数据，以作为该待处理进程对应的离线数据，并进行处理。
可选的，处理装置获取待处理进程对应的离线数据时，还需考虑其离线数据的更新状态。离线数据的更新状态用于表示该离线数据的完整度情况。其中，在离线数据生成时离线数据类表将存储数据的两个时间，一个为创建时间，即该离线数据在建立时的时间；另一个为更新时间，即离线数据完成更新以变为完整的数据的时间。例如，某离线数据表示了某用户的分享红包时获得的收益情况，当用户向其他用户发起分享红包的链接时，该离线数据被建立并存储在离线数据列表中，但是，由于该离线数据的是表示了收益情况，而对于分享红包来说，分享人数的差异会影响了最终的收益情况，因此，对于该离线数据来说，每当有其他用户触发该用户提供的分享红包的连接时，该离线数据将被更新，直至分享红包的连接失效并不能再被触发，此时，该离线数据的更新时间将被填充；相应的，在分享红包的连接未失效时，该离线数据的更新时间为空。
也就是说，离线数据列表中还存储有各离线数据的更新时间；其中，当所述离线数据不完整时，所述离线数据的更新时间为空；相应的，处理装置将所述离线数据列表中数据类型为目标数据类型，且数据的更新时间不为空的数据，作为所述待处理进程对应的离线数据。通过采用这样的方式能够使得处理的离线数据是完整的完成更新的数据，即完成更新的数据才能被调度并参与计算，避免离线数据在调度过程中发生更新而导致的计算有误的问题。
可选的，在其他示例中，处理装置对任务进程的离线数据进行处理，是基于运行函数实现的，即通过调用所述任务进程的运行函数，对离线数据进行运算。
在其他可选实施方式中，为了避免离线任务的任务进程出现异常而导致离线任务失败，进而造成信息未推送等问题，本公开中的进程执行列表还包括有每一任务进程的执行次数；当调用所述任务进程的运行函数，对离线数据进行运算失败时，将任务进程的执行次数加一，并确定所述执行次数是否大于预设次数阈值，若是，则停止执行所述任务进程并对其进行标记；若否，则调用该任务进程的其他运行函数，对离线数据进行运算。
举例来说，若预设次数阈值为3时，进程执行列表表中的离线红包的其中一任务进程的执行次数为3次，此时，该任务进程将停止，处理装置可对该任务进程进行标记，以供后续通过人工的方式对其进行处理；进程执行列表表中的离线红包的其中另一任务进程的执行次数为1次，则可重新调用该任务进程的其他运行函数，对离线数据进行运算。
在本示例中，对于任务进程的运算失败的判定可采用状态判定的方式，即对于任务进程设置状态位，当状态位标识为失败时，则任务进程的运算失败；此外，状态位还可标识为完成以及进行中，以分别表示任务进程处于已完成运算和正在进行运算的状态。
进一步的，上述的状态位可通过任务进程的执行时间来确定，具体的，进程执行列表中还包括有各任务进程的执行时间。处理装置将判断任务进程在当前执行次数下的执行时间是否大于预设时间阈值，若是，则对离线数据进行运算失败，并执行所述将任务进程的执行次数加一的步骤。
重复步骤101至103中选取离线任务列表中每一离线任务的步骤直至完成对每一离线任务的多个任务进程的处理。
本公开提供的离线任务的处理方法可应用于离线数据的处理中，例如离线收益的信息推送、红包的分享处理等等，图3是本公开提供的一种离线任务的处理方法的界面示意图，如图3所示的，在其中一种应用场景中，经本公开提供的离线任务的处理装置采用前述处理方法获得的处理结果将被推送给用户终端。
本公开提供的离线任务的处理方法，通过采用根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。从而对离线任务的处理过程进行有效的状态管理，避免出现离线信息漏发误发以及离线数据丢失等问题。
第二方面，本公开提供了一种离线任务的处理装置，图4是本公开提供的一种离线任务的处理装置的结构示意图。
如图4所示的，该离线任务的处理装置包括：
拆解模块10，用于根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；
第一处理模块20，用于将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；
第二处理模块30，用于根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。
可选的，所述任务信息包括离线任务的任务类型和任务优先级，所述任务优先级是根据任务类型确定的；所述进程信息包括进程所属于的离线任务的任务标识、任务类型以及任务优先级；
相应的，第二处理模块30具体用于：根据所述进程执行列表中各任务进程的所属于的离线任务的任务优先级，选取任务优先级最高的任务进程作为待处理进程；在离线数据列表中确定所述待处理进程对应的离线数据，并对各任务进程的离线数据进行处理。
可选的，拆解模块10具体用于：根据所述离线任务列表中离线任务的任务优先级，对各离线任务进行任务拆解处理。
可选的，所述任务信息包括有多个目标用户；
拆解模块10具体用于：根据每一离线任务的目标用户的用户分布，按照负载均衡的原则对各离线任务进行任务拆解。
可选的，所述离线数据列表中存储有各离线数据的数据类型；
第二处理模块30具体用于根据待处理进程的任务类型，确定与其任务类型的目标数据类型；将所述离线数据列表中数据类型为目标数据类型的数据作为所述待处理进程对应的离线数据，并对其进行处理。
可选的，所述离线数据列表中还存储有各离线数据的更新时间；其中，当所述离线数据不完整时，所述离线数据的更新时间为空；
第二处理模块30具体用于将所述离线数据列表中数据类型为目标数据类型，且数据的更新时间不为空的数据，作为所述待处理进程对应的离线数据。
可选的，第二处理模块30具体用于调用所述任务进程的运行函数，对离线数据进行运算。
可选的，所述进程执行列表中还包括有各任务进程的执行次数；当调用所述任务进程的运行函数，对离线数据进行运算失败时，所述第二处理模块30还用于将任务进程的执行次数加一，并确定所述执行次数是否大于预设次数阈值，若是，则停止执行所述任务进程并对其进行标记；若否，则调用该任务进程的其他运行函数，对离线数据进行运算。
可选的，所述进程执行列表中还包括有各任务进程的执行时间；
第二处理模块30还用于判断任务进程在当前执行次数下的执行时间是否大于预设时间阈值，若是，则对离线数据进行运算失败，并执行所述将任务进程的执行次数加一的步骤。
本公开提供的离线任务的处理装置，通过采用根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。从而对离线任务的处理过程进行有效的状态管理，避免出现离线信息漏发误发以及离线数据丢失等问题。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本公开实施例的处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器 501为例。
存储器502即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的处理方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的处理方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的处理方法对应的程序指令/模块(例如，附图5所示的采集模块10、处理模块 20和控制模块30)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的处理方法的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据处理方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器 502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与用于处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置 (例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和 /或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (11)

1.一种离线任务的处理方法，其特征在于，包括：
根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；
将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；
根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。
2.根据权利要求1所述的处理方法，其特征在于，
所述任务信息包括离线任务的任务类型和任务优先级；所述进程信息包括进程所属于的离线任务的任务标识、任务类型以及任务优先级；
相应的，所述根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理，包括：
根据所述进程执行列表中各任务进程的所属于的离线任务的任务优先级，选取任务优先级最高的任务进程作为待处理进程；
在离线数据列表中确定所述待处理进程对应的离线数据，并对各任务进程的离线数据进行处理。
3.根据权利要求1所述的处理方法，其特征在于，所述任务信息包括有多个目标用户；
所述根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理，包括:
根据每一离线任务的目标用户的用户分布，按照负载均衡的原则对各离线任务进行任务拆解。
4.根据权利要求2所述的处理方法，其特征在于，所述离线数据列表中存储有各离线数据的数据类型；
相应的，所述在离线数据列表中确定所述待处理进程对应的离线数据，并对各任务进程的离线数据进行处理，包括：
根据待处理进程的任务类型，确定与其任务类型的目标数据类型；
将所述离线数据列表中数据类型为目标数据类型的数据作为所述待处理进程对应的离线数据，并对其进行处理。
5.根据权利要求4所述的处理方法，其特征在于，所述离线数据列表中还存储有各离线数据的更新时间；其中，当所述离线数据不完整时，所述离线数据的更新时间为空；
相应的，所述将所述离线数据列表中数据类型为目标数据类型的数据作为所述待处理进程对应的离线数据，还包括：
将所述离线数据列表中数据类型为目标数据类型，且数据的更新时间不为空的数据，作为所述待处理进程对应的离线数据。
6.根据权利要求1所述的处理方法，其特征在于，所述对任务进程的离线数据进行处理，包括：
调用所述任务进程的运行函数，对离线数据进行运算。
7.根据权利要求6所述的处理方法，其特征在于，所述进程执行列表中还包括有各任务进程的执行次数；
当调用所述任务进程的运行函数，对离线数据进行运算失败时，所述处理方法还包括：
将任务进程的执行次数加一，并确定所述执行次数是否大于预设次数阈值，若是，则停止执行所述任务进程并对其进行标记；
若否，则调用该任务进程的其他运行函数，对离线数据进行运算。
8.根据权利要求7所述的处理方法，其特征在于，所述进程执行列表中还包括有各任务进程的执行时间；
所述处理方法还包括：
判断任务进程在当前执行次数下的执行时间是否大于预设时间阈值，若是，则对离线数据进行运算失败，并执行所述将任务进程的执行次数加一的步骤。
9.一种离线数据的处理装置，其特征在于，包括：
拆解模块，用于根据离线任务列表中的每一离线任务的任务信息，对各离线任务进行任务拆解处理；
第一处理模块，用于将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表；
第二处理模块，用于根据所述进程执行列表中各任务进程的进程信息，在离线数据列表中确定与进程信息对应的离线数据，并对各任务进程的离线数据进行处理。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
CN201910945923.7A 2019-09-30 2019-09-30 离线任务的处理方法、装置、电子设备及存储介质 Active CN110750419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945923.7A CN110750419B (zh) 2019-09-30 2019-09-30 离线任务的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945923.7A CN110750419B (zh) 2019-09-30 2019-09-30 离线任务的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110750419A CN110750419A (zh) 2020-02-04
CN110750419B true CN110750419B (zh) 2023-03-14

Family

ID=69277638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945923.7A Active CN110750419B (zh) 2019-09-30 2019-09-30 离线任务的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110750419B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857804B (zh) * 2020-07-22 2024-07-09 北京达佳互联信息技术有限公司 离线任务的处理方法、装置、电子设备及存储介质
CN112910703A (zh) * 2021-02-01 2021-06-04 中金云金融（北京）大数据科技股份有限公司 离线任务管理平台
CN115400416A (zh) * 2022-08-24 2022-11-29 网易（杭州）网络有限公司 游戏中离线数据的处理方法、装置、服务器及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458380B2 (en) * 2008-03-26 2013-06-04 Qualcomm Incorporated Off-line task list architecture utilizing tightly coupled memory system
US20150032507A1 (en) * 2009-07-30 2015-01-29 Staples, Inc. Automated targeting of information to an application visitor based on merchant business rules and analytics of benefits gained from automated targeting of information to the application visitor
CN102375763B (zh) * 2010-08-20 2013-06-19 中国移动通信集团公司 一种用于实现进程间通信的系统和方法
CN107315627A (zh) * 2017-05-31 2017-11-03 北京京东尚科信息技术有限公司 一种自动化配置数据仓库并行任务队列的方法和装置
CN107688500B (zh) * 2017-07-26 2021-12-24 创新先进技术有限公司 一种分布式任务处理方法、装置、系统及设备
CN107977268B (zh) * 2017-10-13 2021-07-20 北京百度网讯科技有限公司 人工智能的异构硬件的任务调度方法、装置及可读介质
CN109766180B (zh) * 2017-11-09 2023-01-17 阿里巴巴集团控股有限公司 负载均衡方法和装置、存储介质、计算设备及计算系统
CN109614209B (zh) * 2018-10-26 2023-09-05 创新先进技术有限公司 一种任务处理方法、应用服务器及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方勇杰 ; 王胜明 ; .适应多级调度安全稳定分析资源共享的分布式计算管理平台.2016,第40卷(第23期),7-14. *

Also Published As

Publication number Publication date
CN110750419A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN111753997B (zh) 分布式训练方法、系统、设备及存储介质
CN110750419B (zh) 离线任务的处理方法、装置、电子设备及存储介质
CN112437018B (zh) 分布式集群的流量控制方法、装置、设备和存储介质
CN111831420A (zh) 用于任务调度的方法、装置、电子设备及计算机可读存储介质
CN111782365B (zh) 定时任务处理方法、装置、设备及存储介质
CN112073994A (zh) 用于空中升级的方法、装置、电子设备及可读存储介质
CN111639027B (zh) 一种测试方法、装置及电子设备
CN111913884A (zh) 分布式测试方法、装置、设备、系统和可读存储介质
CN112925651A (zh) 应用资源部署方法、装置、电子设备和介质
CN112311597B (zh) 消息推送方法和装置
CN111913998A (zh) 数据处理方法、装置、设备和存储介质
CN112561332A (zh) 模型管理方法、装置、电子设备、存储介质和程序产品
CN111770176B (zh) 流量调度方法及装置
CN111610972A (zh) 页面生成方法、装置、设备及存储介质
CN111698326A (zh) 用于确定云服务资源的成本归属的方法和装置
US20180198837A1 (en) Streaming api subscription without loss of events
CN110765075A (zh) 自动驾驶数据的存储方法和设备
CN111683140B (zh) 用于分发消息的方法和装置
CN111884847B (zh) 用于处理故障的方法和装置
CN113010786A (zh) 信息推送的方法、装置、设备以及存储介质
CN112817992A (zh) 执行更改任务的方法、装置、电子设备以及可读存储介质
WO2023169193A1 (zh) 用于生成智能合约的方法和装置
CN112069137A (zh) 生成信息的方法、装置、电子设备及计算机可读存储介质
CN112583897A (zh) 规则引擎的数据目的地创建方法、装置、电子设备和存储介质
US20220276901A1 (en) Batch processing management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant