CN112817745A - 一种任务处理方法及装置 - Google Patents

一种任务处理方法及装置 Download PDF

Info

Publication number
CN112817745A
CN112817745A CN202110051293.6A CN202110051293A CN112817745A CN 112817745 A CN112817745 A CN 112817745A CN 202110051293 A CN202110051293 A CN 202110051293A CN 112817745 A CN112817745 A CN 112817745A
Authority
CN
China
Prior art keywords
task
target
thread
processed
thread pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110051293.6A
Other languages
English (en)
Inventor
杨春雨
何建芳
姜辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Mengshang Consumer Finance Co ltd
Original Assignee
Inner Mongolia Mengshang Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Mengshang Consumer Finance Co ltd filed Critical Inner Mongolia Mengshang Consumer Finance Co ltd
Priority to CN202110051293.6A priority Critical patent/CN112817745A/zh
Publication of CN112817745A publication Critical patent/CN112817745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种任务处理方法及装置。所述方法包括：获取扫描得到的需要发送至线程池中的待处理任务；将所述待处理任务添加至预先设置的任务队列；在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；调用所述目标线程执行所述目标任务。本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率，同时，任务的消息存储在任务队列中，没有存储在线程池中，也降低了工作流应用的内存资源消耗。

Description

一种任务处理方法及装置
技术领域
本申请涉及任务处理技术领域，特别是涉及一种任务处理方法及装置。
背景技术
在高并发的场景下，工作流会接收很多需要处理的工作流程，为了不占用主线程资源，往往设置流程节点的执行方式为异步执行。在此场景下，异步执行的流程节点任务会交给线程池，由于任务太多，线程池处理无法满足处理需要，有时任务没有来得及处理，主线程又重新将任务放入线程池，使得任务被重复执行而产生错误；有时在线程池中的任务堆积太多，池中的资源被耗尽，无法支撑流程任务的时效要求。
发明内容
本申请提供一种任务处理方法及装置，以解决现有技术中任务被重复执行产生错误，线程池中的任务堆积太多，池中的资源被耗尽，无法支撑流程任务的时效要求的问题。
为了解决上述问题，本申请实施例提供了一种任务处理方法，包括：
获取扫描得到的需要发送至线程池中的待处理任务；
将所述待处理任务添加至预先设置的任务队列；
在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；
调用所述目标线程执行所述目标任务。
可选地，所述获取扫描得到的需要发送至线程池中的待处理任务，包括：
调用预先设置于Activiti工作流引擎内的扫描器，对第一任务数据库进行扫描，得到需要发送至所述线程池中的待处理任务。
可选地，在所述从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务之前，还包括：
在接收到任务处理者处理所述目标任务的情况下，确定线程池中是否存在处于空闲状态的线程；
在所述线程池中存在处于空闲状态的线程的情况下，获取所述线程池中的一个处于空闲状态的线程，以作为所述任务处理者的目标线程；
在所述线程池中不存在处于空闲状态的线程的情况下，创建所述任务处理者对应的目标线程，并将所述目标线程添加至所述线程池中。
可选地，所述调用所述目标线程执行所述目标任务，包括：
调用所述目标线程从第二任务数据库中获取与所述目标任务匹配的处理数据；
调用所述目标线程根据所述处理数据执行所述目标任务，得到任务执行结果，并将所述任务执行结果保存至目标数据库中。
可选地，在所述调用所述目标线程执行所述目标任务之后，还包括：
在所述目标任务执行完成之后，从所述任务队列中删除所述目标任务。
为了解决上述技术问题，本申请实施例还提供了一种任务处理装置，包括：
待处理任务获取模块，用于获取扫描得到的需要发送至线程池中的待处理任务；
待处理任务添加模块，用于将所述待处理任务添加至预先设置的任务队列；
目标任务获取模块，用于在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；
目标任务执行模块，用于调用所述目标线程执行所述目标任务。
可选地，所述待处理任务获取模块包括：
待处理任务获取单元，用于调用预先设置于Activiti工作流引擎内的扫描器，对第一任务数据库进行扫描，得到需要发送至所述线程池中的待处理任务。
可选地，所述装置还包括：
空闲线程确定模块，用于在接收到任务处理者处理所述目标任务的情况下，确定线程池中是否存在处于空闲状态的线程；
目标线程获取模块，用于在所述线程池中存在处于空闲状态的线程的情况下，获取所述线程池中的一个处于空闲状态的线程，以作为所述任务处理者的目标线程；
目标线程创建模块，用于在所述线程池中不存在处于空闲状态的线程的情况下，创建所述任务处理者对应的目标线程，并将所述目标线程添加至所述线程池中。
可选地，所述目标任务执行模块包括：
处理数据获取单元，用于调用所述目标线程从第二任务数据库中获取与所述目标任务匹配的处理数据；
任务结果获取单元，用于调用所述目标线程根据所述处理数据执行所述目标任务，得到任务执行结果，并将所述任务执行结果保存至目标数据库中。
可选地，所述装置还包括：
目标任务删除模块，用于在所述目标任务执行完成之后，从所述任务队列中删除所述目标任务。
与现有技术相比，本申请包括以下优点：
本申请实施例提供了一种任务处理方法及装置，通过获取扫描得到的需要发送至线程池中的待处理任务，将所述待处理任务添加至预先设置的任务队列，在接收到任务处理者处理目标任务的情况下，从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务，调用目标线程执行目标任务。本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率，同时，任务的消息存储在任务队列中，没有存储在线程池中，也降低了工作流应用的内存资源消耗。
附图说明
图1为本申请实施例提供的一种任务处理方法的步骤流程图；
图2为本申请实施例提供的另一种任务处理方法的步骤流程图；
图3为本申请实施例提供的一种任务处理装置的结构示意图；
图4为本申请实施例提供的另一种任务处理装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
参照图1，示出了本申请实施例提供的一种任务处理方法的步骤流程图，如图1所示，该任务处理方法具体可以包括如下步骤：
步骤101：获取扫描得到的需要发送至线程池中的待处理任务。
本申请实施例可以应用于将扫描到的需要发送至线程池中的任务添加至任务队列，并对任务队列中的任务进行处理的场景中。
Activiti工作流：市面上常用的工作流组件，在有序的工作任务已被服务化的前提下，使用Activiti工作流组件将这些服务化的步骤串联或并联在一起，按照既定的次序执行，以达到最终目标并获得结果。
线程池：线程是操作系统分配出来的用于执行程序的控制流，由于操作系统资源有限，能够分配出来的线程也有限，为避免操作系统或者应用程序因资源不足而崩溃的风险，可以使用线程池。线程池可以提前分配出来的一批线程备用，当主线程应用需要时可以从线程池中获取线程执行程序，此时这个线程仅由当前程序占用，当程序结束，即可将线程释放回线程池再次备用。当任务过多，并发的任务超过了线程池的尺寸时，线程池可以创建更多的线程，提供给程序使用，但也有一个最大阈值。当并发任务超过了线程池的最大阈值时，此时线程池不再创建线程，应用因没有线程执行程序而开始报错。
工作流任务可以分为同步执行和异步执行两种情况，工作流是按照既定次序执行工作流每一个节点的，在使用activiti工作流组件可以设置每个节点的执行方式，即同步执行或者异步执行。执行工作流的线程可以视为主线程，当设置流程节点为同步执行时，流程节点服务则由主线程操作和执行，为了获取节点执行结果，主线程需要等待，直到节点执行完毕，流程继续。节点的执行时长决定了主线程的等待时长，此时主线程被占用，不能执行其他程序。与之相对的，当设置流程节点为异步执行时，主流程会将节点服务的执行权交由线程池来控制，主线程不立即获取执行结果，而是通过轮询的方式检查节点服务是否执行完毕。如果执行完毕时，主线程继续操作流程执行下一个节点服务；如果未完成，主线程可以执行其他需要执行的工作流服务。
待处理任务是指从任务数据库中扫描到的需要添加至线程池中的任务。
在实际应用中，任务生成者会不断的产生待处理的任务，并将待处理任务添加至任务数据库中。在需要进行任务处理时，可以通过扫描该任务数据库获取任务数据库中需要发送至线程池中的待处理任务，例如，数据库中的任务包括任务1、任务2、...、任务100，其中，任务1、任务3、任务10和任务11发送至线程池中进行处理，此时，可以将任务1、任务3、任务10和任务11作为待处理任务。
可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在获取扫描得到的需要发送至线程池中的待处理任务之后，执行步骤102。
步骤102：将所述待处理任务添加至预先设置的任务队列。
任务队列是指用于缓存待处理任务的消息队列(即MQ)，该任务队列为一个独立于应用系统的消息传输中间件，消息队列两边有两个角色，一边是消息的生产者，负责向消息队列中发送消息；一边是消息的消费者，负责接收消息，按照既定操作执行程序，执行完毕后，通知消息队列消息已消费，则此条消息在消息队列中删除。消息的生产者和消费者相互独立，并没有直接关系，因此消费者可以根据自身的消费能力来消费消息。
在获取扫描得到的需要发送至线程池中的待处理任务之后，可以将待处理任务添加至预先设置的任务队列中。
在将待处理任务添加至预先设置的任务队列中之后，执行步骤103。
步骤103：在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务。
目标任务是指任务队列中需要进行处理的任务，可以理解地，目标任务的数量可以为一个任务，也可以为多个任务，具体地，可以根据业务需求而定，本实施例对此不加以限制。
任务处理者(即消费者)是指用于处理任务队列中的目标任务的一方。
目标线程是指预先设置的与任务处理者对应的用于进行任务调用、任务处理和发送的线程，在本示例中，目标线程可以为从线程池中为任务处理者分配的一个处于空闲状态的线程，也可以为为任务处理者创建的线程，具体地，可以根据业务需求而定，本实施例对此不加以限制。
在接收到任务处理者处理目标任务的情况下，可以从线程池中调用任务处理者对应的目标线程从任务队列中获取该目标任务。
在从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务之后，执行步骤104。
步骤104：调用所述目标线程执行所述目标任务。
在获取到目标任务之后，可以调用目标线程执行目标任务。
本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率。
本申请实施例提供的任务处理方法，通过获取扫描得到的需要添加至线程池中的待处理任务，将所述待处理任务添加至预先设置的任务队列，在接收到任务处理者处理目标任务的情况下，从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务，调用目标线程执行目标任务。本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率，同时，任务的消息存储在任务队列中，没有存储在线程池中，也降低了工作流应用的内存资源消耗。
实施例二
参照图2，示出了本申请实施例提供的另一种任务处理方法的步骤流程图，如图2所示，该任务处理方法具体可以包括如下步骤：
步骤201：调用预先设置于Activiti工作流引擎内的扫描器，对第一任务数据库进行扫描，得到需要发送至所述线程池中的待处理任务。
本申请实施例可以应用于将扫描到的需要发送至线程池中的任务添加至任务队列，并对任务队列中的任务进行处理的场景中。
Activiti工作流：市面上常用的工作流组件，在有序的工作任务已被服务化的前提下，使用Activiti工作流组件将这些服务化的步骤串联或并联在一起，按照既定的次序执行，以达到最终目标并获得结果。
在本实施例中，第一任务数据库是指用于存储未处理的任务的数据库。
待处理任务是指从第一任务数据库中扫描到的需要添加至线程池中的任，例如，第一任务数据库中的任务包括任务1、任务2、...、任务100，其中，任务1、任务3、任务10和任务11发送至线程池中进行处理，此时，可以将任务1、任务3、任务10和任务11作为待处理任务。
可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在Activiti工作流引擎中可以预先设置扫描器，在本实施例中，可以通过单个水平节点扫描第一任务数据库，进而可以获取到需要发送至线程池中的待处理任务。
在获取扫描到的需要发送至线程池中的待处理任务之后，执行步骤202。
步骤202：将所述待处理任务添加至预先设置的任务队列。
任务队列是指用于缓存待处理任务的消息队列(即MQ)，该任务队列为一个独立于应用系统的消息传输中间件，消息队列两边有两个角色，一边是消息的生产者，负责向消息队列中发送消息；一边是消息的消费者，负责接收消息，按照既定操作执行程序，执行完毕后，通知消息队列消息已消费，则此条消息在消息队列中删除。消息的生产者和消费者相互独立，并没有直接关系，因此消费者可以根据自身的消费能力来消费消息。
在获取扫描得到的需要发送至线程池中的待处理任务之后，可以将待处理任务添加至预先设置的任务队列中。
在将待处理任务添加至预先设置的任务队列中之后，执行步骤203。
步骤203：在接收到任务处理者处理所述目标任务的情况下，确定线程池中是否存在处于空闲状态的线程。
在接收到任务处理者处理目标任务的情况下，可以判断线程池中是否存在处于空间状态的线程。
步骤204：在所述线程池中存在处于空闲状态的线程的情况下，获取所述线程池中的一个处于空闲状态的线程，以作为所述任务处理者的目标线程。
在线程池中存在处于空闲状态的线程的情况下，可以获取线程池中的一个处于空闲状态的线程，以作为任务处理者的目标线程，具体地，在线程池中仅存在一个处于空闲状态的线程时，则将该线程分配给任务处理者，以作为任务处理者的目标线程。而在线程池中存在多个处于空闲状态的线程时，可以从这多个空闲线程中随机选择一个线程作为任务处理者的目标线程，例如，线程池中处于空闲状态的线程包括线程1、线程2和线程3，此时，可以将线程1作为任务处理者的目标线程，也可以将线程2作为任务处理者的目标线程，还可以将线程3作为任务处理者的目标线程等，具体地，可以根据业务需求而定，本实施例对此不加以限制。
步骤205：在所述线程池中不存在处于空闲状态的线程的情况下，创建所述任务处理者对应的目标线程，并将所述目标线程添加至所述线程池中。
在线程池中不存在处于空闲状态的线程的情况下，可以为任务处理者创建一个目标线程。
步骤206：在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务。
目标任务是指任务队列中需要进行处理的任务，可以理解地，目标任务的数量可以为一个任务，也可以为多个任务，具体地，可以根据业务需求而定，本实施例对此不加以限制。
任务处理者(即消费者)是指用于处理任务队列中的目标任务的一方。
在接收到任务处理者处理目标任务的情况下，可以从线程池中调用任务处理者对应的目标线程从任务队列中获取该目标任务。
在从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务之后，执行步骤207。
步骤207：调用所述目标线程从第二任务数据库中获取与所述目标任务匹配的处理数据。
第二任务数据库是指用于存储与待处理任务对应的数据的数据库。
在从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务之后，可以调用目标线程从第二任务数据库中获取与目标任务匹配的处理数据。
在调用目标线程从第二任务数据库中获取与目标任务匹配的处理数据之后，执行步骤208。
步骤208：调用所述目标线程根据所述处理数据执行所述目标任务，得到任务执行结果，并将所述任务执行结果保存至目标数据库中。
在调用目标线程从第二任务数据库中获取与目标任务匹配的处理数据之后，可以调用目标线程根据处理数据执行目标任务，并得到任务执行结果，可以调用目标线程将任务执行结果保存至目标数据库中。
步骤209：在所述目标任务执行完成之后，从所述任务队列中删除所述目标任务。
在目标任务执行完成之后，可以从任务队列中删除目标任务，此时，可以减少已处理任务占用任务队列的存储空间，提高任务队列存储空间的利用率。
本申请实施例提供的任务处理方法，通过获取扫描得到的需要添加至线程池中的待处理任务，将所述待处理任务添加至预先设置的任务队列，在接收到任务处理者处理目标任务的情况下，从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务，调用目标线程执行目标任务。本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率，同时，任务的消息存储在任务队列中，没有存储在线程池中，也降低了工作流应用的内存资源消耗。
实施例三
参照图3，示出了本申请实施例提供的一种任务处理装置的结构示意图，如图3所示，该任务处理装置300具体可以包括如下模块：
待处理任务获取模块310，用于获取扫描得到的需要添加至线程池中的待处理任务；
待处理任务添加模块320，用于将所述待处理任务添加至预先设置的任务队列；
目标任务获取模块330，用于在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；
目标任务执行模块340，用于调用所述目标线程执行所述目标任务。
本申请实施例提供的任务处理装置，通过获取扫描得到的需要添加至线程池中的待处理任务，将所述待处理任务添加至预先设置的任务队列，在接收到任务处理者处理目标任务的情况下，从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务，调用目标线程执行目标任务。本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率，同时，任务的消息存储在任务队列中，没有存储在线程池中，也降低了工作流应用的内存资源消耗。
实施例四
参照图4，示出了本申请实施例提供的另一种任务处理装置的结构示意图，如图4所示，该任务处理装置400具体可以包括如下模块：
待处理任务获取模块410，用于获取扫描得到的需要添加至线程池中的待处理任务；
待处理任务添加模块420，用于将所述待处理任务添加至预先设置的任务队列；
空闲线程确定模块430，用于在接收到任务处理者处理所述目标任务的情况下，确定线程池中是否存在处于空闲状态的线程；
目标线程获取模块440，用于在所述线程池中存在处于空闲状态的线程的情况下，获取所述线程池中的一个处于空闲状态的线程，以作为所述任务处理者的目标线程；
目标线程创建模块450，用于在所述线程池中不存在处于空闲状态的线程的情况下，创建所述任务处理者对应的目标线程，并将所述目标线程添加至所述线程池；
目标任务获取模块460，用于在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；
目标任务执行模块470，用于调用所述目标线程执行所述目标任务；
目标任务删除模块480，用于在所述目标任务执行完成之后，从所述任务队列中删除所述目标任务。
可选地，所述待处理任务获取模块410包括：
待处理任务获取单元411，用于调用预先设置于Activiti工作流引擎内的扫描器，对第一任务数据库进行扫描，得到需要添加至所述线程池中的待处理任务。
可选地，所述目标任务执行模块470包括：
处理数据获取单元471，用于调用所述目标线程从第二任务数据库中获取与所述目标任务匹配的处理数据；
任务结果获取单元472，用于调用所述目标线程根据所述处理数据执行所述目标任务，得到任务执行结果，并将所述任务执行结果保存至目标数据库中。
本申请实施例提供的任务处理装置，通过获取扫描得到的需要添加至线程池中的待处理任务，将所述待处理任务添加至预先设置的任务队列，在接收到任务处理者处理目标任务的情况下，从线程池中调用任务处理者对应的目标线程从任务队列中获取目标任务，调用目标线程执行目标任务。本申请实施例通过将扫描到的待处理任务添加至任务队列，在消费者接受到消息后，再从数据库中查询待处理的任务予以执行，从而使得在单个节点扫描出来的任务可以在多个节点上分别执行，分摊了单点压力，提升流程整体执行效率，同时，任务的消息存储在任务队列中，没有存储在线程池中，也降低了工作流应用的内存资源消耗。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
另外地，本申请实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的任务处理方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种任务处理方法和一种任务处理装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种任务处理方法，其特征在于，包括：
获取扫描得到的需要发送至线程池中的待处理任务；
将所述待处理任务添加至预先设置的任务队列；
在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；
调用所述目标线程执行所述目标任务。
2.根据权利要求1所述的方法，其特征在于，所述获取扫描得到的需要发送至线程池中的待处理任务，包括：
调用预先设置于Activiti工作流引擎内的扫描器，对第一任务数据库进行扫描，得到需要发送至所述线程池中的待处理任务。
3.根据权利要求1所述的方法，其特征在于，在所述从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务之前，还包括：
在接收到任务处理者处理所述目标任务的情况下，确定线程池中是否存在处于空闲状态的线程；
在所述线程池中存在处于空闲状态的线程的情况下，获取所述线程池中的一个处于空闲状态的线程，以作为所述任务处理者的目标线程；
在所述线程池中不存在处于空闲状态的线程的情况下，创建所述任务处理者对应的目标线程，并将所述目标线程添加至所述线程池中。
4.根据权利要求1所述的方法，其特征在于，所述调用所述目标线程执行所述目标任务，包括：
调用所述目标线程从第二任务数据库中获取与所述目标任务匹配的处理数据；
调用所述目标线程根据所述处理数据执行所述目标任务，得到任务执行结果，并将所述任务执行结果保存至目标数据库中。
5.根据权利要求1所述的方法，其特征在于，在所述调用所述目标线程执行所述目标任务之后，还包括：
在所述目标任务执行完成之后，从所述任务队列中删除所述目标任务。
6.一种任务处理装置，其特征在于，包括：
待处理任务获取模块，用于获取扫描得到的需要发送至线程池中的待处理任务；
待处理任务添加模块，用于将所述待处理任务添加至预先设置的任务队列；
目标任务获取模块，用于在接收到任务处理者处理目标任务的情况下，从所述线程池中调用所述任务处理者对应的目标线程从所述任务队列中获取所述目标任务；
目标任务执行模块，用于调用所述目标线程执行所述目标任务。
7.根据权利要求6所述的装置，其特征在于，所述待处理任务获取模块包括：
待处理任务获取单元，用于调用预先设置于Activiti工作流引擎内的扫描器，对第一任务数据库进行扫描，得到需要发送至所述线程池中的待处理任务。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
空闲线程确定模块，用于在接收到任务处理者处理所述目标任务的情况下，确定线程池中是否存在处于空闲状态的线程；
目标线程获取模块，用于在所述线程池中存在处于空闲状态的线程的情况下，获取所述线程池中的一个处于空闲状态的线程，以作为所述任务处理者的目标线程；
目标线程创建模块，用于在所述线程池中不存在处于空闲状态的线程的情况下，创建所述任务处理者对应的目标线程，并将所述目标线程添加至所述线程池中。
9.根据权利要求6所述的装置，其特征在于，所述目标任务执行模块包括：
处理数据获取单元，用于调用所述目标线程从第二任务数据库中获取与所述目标任务匹配的处理数据；
任务结果获取单元，用于调用所述目标线程根据所述处理数据执行所述目标任务，得到任务执行结果，并将所述任务执行结果保存至目标数据库中。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
目标任务删除模块，用于在所述目标任务执行完成之后，从所述任务队列中删除所述目标任务。
CN202110051293.6A 2021-01-14 2021-01-14 一种任务处理方法及装置 Pending CN112817745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110051293.6A CN112817745A (zh) 2021-01-14 2021-01-14 一种任务处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110051293.6A CN112817745A (zh) 2021-01-14 2021-01-14 一种任务处理方法及装置

Publications (1)

Publication Number Publication Date
CN112817745A true CN112817745A (zh) 2021-05-18

Family

ID=75869603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110051293.6A Pending CN112817745A (zh) 2021-01-14 2021-01-14 一种任务处理方法及装置

Country Status (1)

Country Link
CN (1) CN112817745A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391896A (zh) * 2021-06-15 2021-09-14 北京京东振世信息技术有限公司 任务处理方法及装置、存储介质及电子设备
CN115907276A (zh) * 2023-01-06 2023-04-04 中邮消费金融有限公司 缴费提醒方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450971A (zh) * 2017-06-29 2017-12-08 北京五八信息技术有限公司 任务处理方法及装置
CN110737534A (zh) * 2019-10-29 2020-01-31 京东数字科技控股有限公司 任务的处理方法、装置和服务器
CN111831410A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 任务处理方法、装置、存储介质及电子设备
CN111831411A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 任务处理方法、装置、存储介质及电子设备
WO2020238365A1 (zh) * 2019-05-31 2020-12-03 深圳前海微众银行股份有限公司 消息消费方法、装置、设备及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450971A (zh) * 2017-06-29 2017-12-08 北京五八信息技术有限公司 任务处理方法及装置
WO2020238365A1 (zh) * 2019-05-31 2020-12-03 深圳前海微众银行股份有限公司 消息消费方法、装置、设备及计算机存储介质
CN110737534A (zh) * 2019-10-29 2020-01-31 京东数字科技控股有限公司 任务的处理方法、装置和服务器
CN111831410A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 任务处理方法、装置、存储介质及电子设备
CN111831411A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 任务处理方法、装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391896A (zh) * 2021-06-15 2021-09-14 北京京东振世信息技术有限公司 任务处理方法及装置、存储介质及电子设备
CN113391896B (zh) * 2021-06-15 2023-09-22 北京京东振世信息技术有限公司 任务处理方法及装置、存储介质及电子设备
CN115907276A (zh) * 2023-01-06 2023-04-04 中邮消费金融有限公司 缴费提醒方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107105009B (zh) 基于Kubernetes系统对接工作流引擎的作业调度方法和装置
CN107402956B (zh) 大任务的数据处理方法、设备和计算机可读存储介质
CN112817745A (zh) 一种任务处理方法及装置
CN110221927B (zh) 异步消息处理方法和装置
CN111026541B (zh) 渲染资源调度方法、装置、设备及存储介质
CN105516086A (zh) 业务处理方法及装置
CN107589990B (zh) 一种基于线程池的数据通讯的方法及系统
US7970814B2 (en) Method and apparatus for providing a synchronous interface for an asynchronous service
CN111541762B (zh) 数据处理的方法、管理服务器、设备及存储介质
CN113590433B (zh) 数据管理方法、数据管理系统和计算机可读存储介质
CN111290842A (zh) 一种任务执行方法和装置
CN107247784B (zh) 一种分布式事务的控制方法及事务管理器
CN115550354A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN111835809B (zh) 工单消息分配方法、装置、服务器及存储介质
CN111767126A (zh) 分布式批量处理的系统和方法
EP3792757A1 (en) Method, apparatus, device, and storage medium for performing processing task
CN111274047A (zh) 信息处理方法、终端、系统、计算机设备和存储介质
CN112448977A (zh) 分配任务的系统、方法、设备和计算机可读介质
CN113535439B (zh) 业务请求处理方法、装置、设备及存储介质
CN111158934B (zh) 基于缓冲队列接收数据实现不同级别延迟拼接方法和装置
CN112561264A (zh) 企业内容的服务方法、服务系统和存储介质
CN113190624A (zh) 基于分布式跨容器的异步转同步调用方法及装置
CN113486033A (zh) 控制事务一致性的方法、装置、设备和计算机可读介质
CN111984424A (zh) 任务处理方法、装置、设备及计算机可读存储介质
CN112019452B (zh) 一种业务需求的处理方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination