CN110457124A - 针对业务线程的处理方法及其装置、电子设备和介质 - Google Patents

针对业务线程的处理方法及其装置、电子设备和介质 Download PDF

Info

Publication number
CN110457124A
CN110457124A CN201910723547.7A CN201910723547A CN110457124A CN 110457124 A CN110457124 A CN 110457124A CN 201910723547 A CN201910723547 A CN 201910723547A CN 110457124 A CN110457124 A CN 110457124A
Authority
CN
China
Prior art keywords
thread
processed
processing
subservice
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910723547.7A
Other languages
English (en)
Inventor
李冬冬
王凯
朱道彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910723547.7A priority Critical patent/CN110457124A/zh
Publication of CN110457124A publication Critical patent/CN110457124A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种针对业务线程的处理方法,包括:获取待处理业务;基于预定业务流程,将待处理业务划分为多个有序待处理子任务;为每个待处理子任务设置处理线程,其中,与每个待处理子任务对应的处理线程独立于与其他待处理子业务对应的处理线程;以及通过处理线程处理对应的待处理子任务。本公开还提供了一种针对业务线程的处理装置,一种电子设备以及一种计算机可读存储介质。

Description

针对业务线程的处理方法及其装置、电子设备和介质
技术领域
本公开涉及数据处理领域,特别是涉及一种针对业务线程的处理方法及其装置、电子设备和介质。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
对于异步处理的业务内容通常是采用单一线程去完成业务场景的全套业务流程。在整个处理过程中,若某一个处理过程出现处理延迟的情况,将会导致整个单一线程的处理性能下降。为了维持整体的处理性能,可以调整线程量级。但是,对于无需大量的线程调用的其他业务处理过程来说,线程量级的调整将导致资源的浪费,或者增加其他组件(如数据库、全局缓存等)的访问压力。
发明内容
出于采用单一线程大一统的完成异步业务的全套业务流程的原因,相关技术中存在不能灵活配置、性能无法精细的调优以及造成的资源浪费等技术问题。
有鉴于此,本公开提供了一种新的针对业务线程的线程处理机制,通过采用分组、动态调整线程数的方式来解决相关技术中存在的上述技术问题。具体地,本公开提供了一种针对业务线程的处理方法及其装置,电子设备及介质。
为实现上述目的,本公开的一个方面提供了一种针对业务线程的处理方法,包括:获取待处理业务,基于预定业务流程,将上述待处理业务划分为多个有序待处理子业务,为每个待处理子业务设置处理线程,其中,与每个待处理子业务对应的处理线程独立于与其它待处理子业务对应的处理线程,以及通过处理线程处理对应的待处理子业务。
根据本公开的实施例,上述多个有序待处理子业务包括彼此相邻的前序待处理子业务和后序待处理子业务,上述通过处理线程处理对应的待处理子业务包括:通过前序处理线程处理上述前序待处理子业务,以及通过后序处理线程处理上述后序待处理子业务。
根据本公开的实施例,上述方法还包括:检测上述前序处理线程是否将上述前序待处理子业务处理完成,以及在上述前序待处理子业务处理完成的情况下,将处理完成的数据保存到有序阻塞队列中,以使得上述后序处理线程能获取上述处理完成的数据,以处理上述后序待处理子业务。
根据本公开的实施例,上述方法还包括:为上述有序阻塞队列设置预设队列深度。
根据本公开的实施例,上述方法还包括:获取上述有序阻塞队列的当前队列深度,以及基于上述预设队列深度和上述当前队列深度,阻塞上述前序处理线程或上述后序处理线程。
根据本公开的实施例,上述基于上述预设队列深度和上述当前队列深度,阻塞上述前序处理线程或上述后序处理线程包括:在上述当前队列深度等于上述预设队列深度的情况下,阻塞上述前序处理线程,以及在上述当前队列深度等于零的情况下,阻塞上述后序处理线程。
根据本公开的实施例,上述方法还包括:针对为每个待处理子业务设置的处理线程,动态调整上述处理线程中的线程数。
根据本公开的实施例,上述动态调整上述处理线程中的线程数包括:监控内存线程数是否发生变化,在上述内存线程数发生变化的情况下,获取总线程数,以及基于上述总线程数,动态调整上述处理线程中的线程数。
根据本公开的实施例,上述基于上述总线程数,动态调整上述处理线程中的线程数包括:获取与每个待处理子业务对应的业务权重值,以及基于上述总线程数和上述业务权重值,动态调整上述处理线程中的线程数。
根据本公开的实施例,上述基于上述总线程数和上述业务权重值,动态调整上述处理线程中的线程数包括:针对为每个待处理子业务设置的处理线程,获取初始线程数,基于上述总线程数和上述业务权重值,确定为每个待处理子业务设置的处理线程的目标线程数,以及将上述初始线程数调整为上述目标线程数。
根据本公开的实施例,上述动态调整上述处理线程中的线程数包括:与上述待处理子业务对应的处理线程动态调整上述处理线程中的线程数。
为实现上述目的,本公开的另一个方面提供了一种针对业务线程的处理装置,包括:第一获取模块,被配置为获取待处理业务,划分模块,被配置为基于预定业务流程,将上述待处理业务划分为多个有序待处理子业务,设置模块,被配置为为每个待处理子业务设置处理线程,其中,与每个待处理子业务对应的处理线程独立于与其它待处理子业务对应的处理线程,以及处理模块,被配置为通过处理线程处理对应的待处理子业务。
根据本公开的实施例,上述多个有序待处理子业务包括彼此相邻的前序待处理子业务和后序待处理子业务,上述处理模块包括:第一处理子模块,被配置为通过前序处理线程处理上述前序待处理子业务,以及第二处理子模块,被配置为通过后序处理线程处理上述后序待处理子业务。
根据本公开的实施例,上述处理模块还包括:检测子模块,被配置为检测上述前序处理线程是否将上述前序待处理子业务处理完成,以及保存子模块,被配置为在上述前序待处理子业务处理完成的情况下,将处理完成的数据保存到有序阻塞队列中,以使得上述后序处理线程能获取上述处理完成的数据,以处理上述后序待处理子业务。
根据本公开的实施例,上述处理模块还包括:设置子模块,被配置为为上述有序阻塞队列设置预设队列深度。
根据本公开的实施例,上述处理模块还包括:第一获取子模块,被配置为获取上述有序阻塞队列的当前队列深度,以及阻塞子模块,被配置为基于上述预设队列深度和上述当前队列深度,阻塞上述前序处理线程或上述后序处理线程。
根据本公开的实施例,上述阻塞子模块包括:第一阻塞单元,被配置为在上述当前队列深度等于上述预设队列深度的情况下,阻塞上述前序处理线程,以及第二阻塞单元,被配置为在上述当前队列深度等于零的情况下,阻塞上述后序处理线程。
根据本公开的实施例,上述装置还包括:动态调整模块,被配置为针对为每个待处理子业务设置的处理线程,动态调整上述处理线程中的线程数。
根据本公开的实施例,上述动态调整模块包括:监控子模块,被配置为监控内存线程数是否发生变化,第二获取子模块,被配置为在上述内存线程数发生变化的情况下,获取总线程数,以及第一调整子模块,被配置为基于上述总线程数,动态调整上述处理线程中的线程数。
根据本公开的实施例,上述第一调整子模块包括:获取单元,被配置为获取与每个待处理子业务对应的业务权重值,以及调整单元,被配置为基于上述总线程数和上述业务权重值,动态调整上述处理线程中的线程数。
根据本公开的实施例,上述调整单元包括:获取子单元,被配置为针对为每个待处理子业务设置的处理线程,获取初始线程数,确定子单元,被配置为基于上述总线程数和上述业务权重值,确定为每个待处理子业务设置的处理线程的目标线程数,以及调整子单元,被配置为将上述初始线程数调整为上述目标线程数。
根据本公开的实施例,上述动态调整模块包括:第二调整子模块,被配置为与上述待处理子业务对应的处理线程动态调整上述处理线程中的线程数。
为实现上述目的,本公开的另一方面提供了一种电子设备,包括:一个或多个处理器,存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上上述的方法。
为实现上述目的,本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,上述指令在被执行时用于实现如上上述的方法。
为实现上述目的,本公开的另一方面提供了一种计算机程序,上述计算机程序包括计算机可执行指令,上述指令在被执行时用于实现如上上述的方法。
通过本公开的实施例,基于预定业务流程,将待处理业务划分为多个有序待处理子业务,为每个待处理子业务设置与其对应的,且独立于与其它待处理子业务对应的处理线程,通过多个相互独立的线程分别处理与其对应的待处理子任务的技术方案,可以至少部分地克服相关技术中利用单一线程处理整个待处理任务的处理过程中,出现的上述技术问题,实现处理线程的优化,提高业务处理的效率。
进一步地,将处理完成的数据保存到有序阻塞队列中,以供后续线程获取,通过生产者和消费者模式,可以连接起所有的待处理子任务。
更进一步地,通过对多个相互独立的线程进行动态调优,既可以在避免其他线程的影响的情况下提高自身线程的处理性能,又可以在限定的线程资源内获取到最佳的配置,实现性能的优化,有利于提升整个业务的处理效率。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了本公开实施例的针对业务线程的处理方法和装置的系统架构;
图2示意性示出了根据本公开实施例的针对业务线程的处理方法的流程图;
图3示意性示出了根据本公开另一实施例的针对业务线程的处理方法的流程图;
图4示意性示出了根据本公开另一实施例的针对业务线程的处理方法的流程图;
图5示意性示出了根据本公开实施例的针对业务线程的处理方法的总框图;
图6示意性示出了根据本公开实施例的针对业务线程的处理装置的框图;以及
图7示意性示出了根据本公开实施例的适于实现上文描述的应用针对业务线程的处理方法及装置的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了前述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
在本公开中,需要理解的是,所涉及的术语包括异步处理。异步处理指示按照不同步的程序处理问题。与同步处理相对,多线程或多进程处理。异步处理可以提高设备使用率,在宏观上提升程序运行效率。在本公开中,异步处理是配合非阻塞使用的,这样才能发挥异步的效用。
此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
为了提高针对异步处理的业务内容的处理性能,为异步处理提供一种新的线程处理机制,使得线程资源可以灵活配置、精确调优。
本公开的实施例提供了一种针对业务线程的处理方法,包括:首先可以获取待处理业务。该待处理业务是按照预定业务流程执行的。然后,基于预定业务流程,可以将待处理业务划分为多个有序待处理子任务。接着,可以为每个待处理子任务设置处理线程,其中,与每个待处理子任务对应的处理线程独立于与其他待处理子业务对应的处理线程。最后,可以通过处理线程处理对应的待处理子任务。
图1示意性示出了本公开实施例的针对业务线程的处理方法和装置的系统架构100。需要说明的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如金融机构提供的各种支付应用,购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的针对业务线程的处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的针对业务线程的处理装置一般可以设置于服务器105中。本公开实施例所提供的针对业务线程的处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的针对业务线程的处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的针对业务线程的处理方法的流程图。
如图2所示,该方法可以包括操作S210~操作S240。
在操作S210,获取待处理业务。
在操作S220,基于预定业务流程,将待处理业务划分为多个有序待处理子业务。
根据本公开的实施例,待处理业务可以是异步处理的业务。按照预定的业务流程执行,该待处理业务可以完成某业务场景的全套流程。因此,在本公开中,可以采用对业务流程进行分组的策略。分组的规则可根据具体的业务视具体情形而定,本公开对此不做限定。
具体地,可以根据预定业务流程,将待处理子业务划分为多个有序的待处理子业务,按序执行可以完成整个待处理业务。每个待处理子业务可以由业务操作单元执行,待处理子业务的具体业务内容可以根据实际的业务场景而定,可以是单一的数据库读取数据的业务,也可以是针对一组数据的数据加工业务,本公开对此不做限定。每个待处理子业务之间相互独立,仅执行与自身业务相关的操作。
例如,按照数据处理流程的先后顺序,可以将一待处理业务,划分成三个待处理子业务,分别是待处理子业务1(数据准备子业务),待处理子业务2(数据处理子业务)以及待处理子业务3(数据更新子业务)。其中,待处理子业务1仅执行与数据准备相关的操作,待处理子业务2仅执行与数据处理相关的操作,待处理子业务3仅执行与数据更新相关的操作。
在操作S230,为每个待处理子业务设置处理线程。
根据本公开的实施例,针对每个待处理子业务都设置特定的线程进行处理。需要说明的是,与每个待处理子业务对应的处理线程独立于与其它待处理子业务对应的处理线程。
需要说明的是,线程过多会导致调度开销,进而影响缓存局部性和整体性能。因此,在本公开中,处理线程也可以是多线程处理形式的线程池,线程池可以维护多个线程,等待着监督管理者分配可并发执行的任务。可以避免在处理短时间任务时创建与销毁线程的代价。线程池不仅可以充分利用内核,还可以防止过分调度。
在操作S240,通过处理线程处理对应的待处理子业务。
根据本公开的实施例,前述多个有序待处理子业务包括彼此相邻的前序待处理子业务和后序待处理子业务。通过处理线程处理对应的待处理子业务包括:通过前序处理线程处理前序待处理子业务;以及通过后序处理线程处理后序待处理子业务。
需要说明的是,彼此相邻的前序待处理子业务和后序待处理子业务是按照业务流程划分得到的。因此,“前序”和“后序”仅仅指示待处理子业务被执行的先后顺序,是相对的概念。
例如,以划分为待处理子业务1(数据准备子业务),待处理子业务2(数据处理子业务)以及待处理子业务3(数据更新子业务)的待处理业务为例。
待处理子业务1(数据准备子业务)是待处理子业务2(数据处理子业务)的前序待处理子任务。
待处理子业务2(数据处理子业务)是待处理子业务1(数据准备子业务)的后序待处理子任务。同时,待处理子业务2(数据处理子业务)也是待处理子业务3(数据更新子业务)的前序待处理子任务。
待处理子业务3(数据更新子业务)是待处理子业务2(数据处理子业务)的后序待处理子任务。
通过本公开的实施例,基于预定业务流程,将待处理业务划分为多个有序待处理子业务,为每个待处理子业务设置与其对应的,且独立于与其它待处理子业务对应的处理线程,通过多个相互独立的线程分别处理与其对应的待处理子任务的技术方案,可以至少部分地克服相关技术中利用单一线程处理整个待处理任务的处理过程中,出现的上述技术问题,实现处理线程的优化,提高业务处理的效率。
在针对每个业务操作单元都设置特定的线程进行处理的基础上,根据本公开的实施例,提供一种生产者-消费者的模式连接起所有的待处理子业务,即通过生产者-消费者模式连接起所有的业务处理单元。
在本公开中,生产者的作用是生产数据,消费者的作用是处理数据。仅仅抽象出生产者和消费者还够不上生产者-消费者模式,还需要由一个缓冲区处于生产者和消费者之间,作为一个中介,生产者把处理完成的数据放入缓冲区,而消费者从该缓冲区取出数据。
可以理解,在生产者-消费者模式中采用缓冲区有以下优势。
第一:解耦。生产者和消费者都依赖于缓冲区,两者之间不存在直接依赖的关系,使得耦合性降低,可以避免生产者直接调用消费者,造成的生产者对消费者产生的依赖。
第二:支持并发。作为两个独立的并发主体,生产者可以将生产出来的数据保存在缓存区中,继续生产下一个数据,可以不用依赖于消费者的处理速度。
图3示意性示出了根据本公开另一实施例的针对业务线程的处理方法的流程图。
如图3所示,该方法除了可以包括图2所示的前述操作S210~操作S240之外,还可以包括操作S310和操作S320。
在操作S310,检测前序处理线程是否将前序待处理子业务处理完成。
在操作S320,在前序待处理子业务处理完成的情况下,将处理完成的数据保存到有序阻塞队列中,以使得后序处理线程能获取处理完成的数据,以处理后序待处理子业务。
在本公开中,以有序阻塞队列作为缓冲区为例,结合本公开提供的上述处理方法,在前序处理线程(生产者)完成前序待处理子业务对应的业务操作单元内的处理业务之后,可以将处理完成后的数据保存到有序阻塞队列中,供后序处理线程(消费者)从该有序阻塞队列中获取数据,执行后序待处理子业务。
可以理解,有序是为了保证待处理数据能够按照约定的处理顺序依次执行而非抢占导致个别情况下少数数据长期得不到处理。
需要说明的是,作为生产者的前序处理线程按照约定的处理顺序将前序待处理子业务处理完成之后,依次将处理完成的数据保存到有序阻塞队列中。作为消费者的后序处理线程依次从该有序阻塞队列中取出数据进行消费。
作为一种可选的实施例,上述方法还可以包括:为有序阻塞队列设置预设队列深度。
通过本公开的实施例,为有序阻塞队列设置预设队列深度,即限定大小可以防止前序处理线程产生的数据远超过后序处理线程的消耗速度,从而导致队列深度过于庞大而产生大对象,占用大量内存空间,影响整个业务的处理性能。
作为一种可选的实施例,上述方法还可以包括:获取有序阻塞队列的当前队列深度;以及基于预设队列深度和当前队列深度,阻塞前序处理线程或后序处理线程。
作为一种可选的实施例,基于预设队列深度和当前队列深度,阻塞前序处理线程或后序处理线程包括:在当前队列深度等于预设队列深度的情况下,阻塞前序处理线程;以及在当前队列深度等于零的情况下,阻塞后序处理线程。
通过本公开的实施例,采用限定大小的有序阻塞队列,可以在当前队列深度等于预设队列深度,指示有序阻塞队列已满的情况下,阻塞前序处理线程,并可以释放前序处理线程的资源消耗。也可以在当前队列深度等于零,指示有序阻塞队列为空的情况下,阻塞后续处理线程,并释放后续处理线程的资源消耗。还可以在有序阻塞队列得到新的数据之后,可以及时通知后续处理线程。
图4示意性示出了根据本公开另一实施例的针对业务线程的处理方法的流程图。
如图4所示,该方法除了可以包括图2所示的前述操作S210~操作S240、图3所示的前述操作S310和操作S320之外,还可以包括操作S410,针对为每个待处理子业务设置的处理线程,动态调整处理线程中的线程数。
根据本公开的实施例,针对每个待处理子业务设置的处理线程,可以设置自身的线程保护机制。也可以设置动态调整线程数的机制。动态调整线程数的机制可以采用两种方式,分别是统一线程池的动态调整机制和独立线程池的动态调整机制。
首先,介绍统一线程池的动态调整机制。
作为一种可选的实施例,动态调整处理线程中的线程数包括:监控内存线程数是否发生变化;在内存线程数发生变化的情况下,获取总线程数;以及基于总线程数,动态调整处理线程中的线程数。
作为一种可选的实施例,基于总线程数,动态调整处理线程中的线程数包括:获取与每个待处理子业务对应的业务权重值;以及基于总线程数和业务权重值,动态调整处理线程中的线程数。
作为一种可选的实施例,基于总线程数和业务权重值,动态调整处理线程中的线程数包括:针对为每个待处理子业务设置的处理线程,获取初始线程数;基于总线程数和业务权重值,确定为每个待处理子业务设置的处理线程的目标线程数;以及将初始线程数调整为目标线程数。
通过本公开的实施例,统一线程池的动态调整机制,由业务主线程来同一分配线程数,即可以实现对总的线程数的调优,又可以通过分配权重对各处理线程分别调优。主线程监控相关的调优设置变动进行动态调整;采用此模式既可以保证应用的其他业务流程不会受到影响又可以在限定的资源内获取到最佳配置来保证性能的最优。
其次,介绍独立线程池的动态调整机制。
作为一种可选的实施例,针对为每个待处理子业务设置的处理线程,动态调整处理线程中的线程数包括:与待处理子业务对应的处理线程动态调整处理线程中的线程数。
通过本公开的实施例,独立线程池的动态调整机制,通过各个业务单元的线程各自申请线程池、设置线程数,此时线程调优就可以针对特定的业务单元独立进行,由主线程监控相关的调优设置变动来进行具体业务单元线程池的动态调整。采用此模式可以使应用将更大的资源偏重该业务处理流程,能够在单一节点上最大性能的处理某一特定业务。
通过本公开的实施例,提供统一线程池的动态调整机制和独立线程池的动态调整机制,实现线程池的动态调整,可以提高线程池的处理性能,提升业务处理效率。
图5示意性示出了根据本公开实施例的针对业务线程的处理方法的总框图。
如图5所示,针对待处理业务,基于对业务流程分组的策略,可以得到N(N>1)个业务操作单元,分别是业务操作单元1,业务操作单元2,......,业务操作单元N。
每个业务操作单元只处理对应的特定的业务单元。每个业务操作单元设置有特定的线程池,每个业务操作单元具有线程保护机制,每个业务操作单元还具有线程池动态调整机制。
通过生产者-消费者模式可以连接起所有的N个业务操作单元。前序业务操作单元可以作为生产者,通过前序处理线程,将处理完成的数据放到限定大小的有序阻塞队列中。后续业务操作单元可以作为消费者,通过后序处理线程,从限定大小的有序阻塞队列中获取待处理的数据。特别地,业务操作单元1仅可以作为生产者,业务操作单元N仅可以作为消费者。业务操作单元2至业务操作单元N-1之间的任一业务操作单元即可以作为生产者,也可以作为消费者。
业务操作单元1可以作为生产者,通过前序处理线程,将处理完成的数据放到限定大小的有序阻塞队列1中。
业务操作单元2可以作为消费者,通过后序处理线程,从限定大小的有序阻塞队列1中获取待处理的数据。同时,业务操作单元2还可以作为生产者,通过前序处理线程,可以将处理完成的数据放到限定大小的有序阻塞队列2中。
业务操作单元N可以作为消费者,通过后序处理线程,从限定大小的有序阻塞队列N-1中获取待处理的数据。
图6示意性示出了根据本公开实施例的针对业务线程的处理装置的框图。
如图6所示,该装置600可以包括第一获取模块610、划分模块620、设置模块630以及处理模块640。
第一获取模块610,被配置为执行例如前述操作S210,获取待处理业务。
划分模块620,被配置为执行例如前述操作S220,基于预定业务流程,将待处理业务划分为多个有序待处理子业务。
设置模块630,被配置为执行例如前述操作S230,为每个待处理子业务设置处理线程,其中,与每个待处理子业务对应的处理线程独立于与其它待处理子业务对应的处理线程。
处理模块640,被配置为执行例如前述操作S240,通过处理线程处理对应的待处理子业务。
通过本公开的实施例,基于预定业务流程,将待处理业务划分为多个有序待处理子业务,为每个待处理子业务设置与其对应的,且独立于与其它待处理子业务对应的处理线程,通过多个相互独立的线程分别处理与其对应的待处理子任务的技术方案,可以至少部分地克服相关技术中利用单一线程处理整个待处理任务的处理过程中,出现的上述技术问题,实现处理线程的优化,提高业务处理的效率。
根据本公开的实施例,前述多个有序待处理子业务包括彼此相邻的前序待处理子业务和后序待处理子业务,前述处理模块640可以包括:第一处理子模块,被配置为通过前序处理线程处理前述前序待处理子业务,以及第二处理子模块,被配置为通过后序处理线程处理前述后序待处理子业务。
根据本公开的实施例,前述处理模块640还可以包括:检测子模块,被配置为检测前述前序处理线程是否将前述前序待处理子业务处理完成,以及保存子模块,被配置为在前述前序待处理子业务处理完成的情况下,将处理完成的数据保存到有序阻塞队列中,以使得前述后序处理线程能获取前述处理完成的数据,以处理前述后序待处理子业务。
根据本公开的实施例,前述处理模块640还可以包括:设置子模块,被配置为为前述有序阻塞队列设置预设队列深度。
根据本公开的实施例,前述处理模块640还可以包括:第一获取子模块,被配置为获取前述有序阻塞队列的当前队列深度,以及阻塞子模块,被配置为基于前述预设队列深度和前述当前队列深度,阻塞前述前序处理线程和/或前述后序处理线程。
根据本公开的实施例,前述阻塞子模块可以包括:第一阻塞单元,被配置为在前述当前队列深度等于前述预设队列深度的情况下,阻塞前述前序处理线程,以及第二阻塞单元,被配置为在前述当前队列深度等于零的情况下,阻塞前述后序处理线程。
根据本公开的实施例,前述处理装置600还可以包括:动态调整模块,被配置为针对为每个待处理子业务设置的处理线程,动态调整前述处理线程中的线程数。
根据本公开的实施例,前述动态调整模块可以包括:监控子模块,被配置为监控内存线程数是否发生变化,第二获取子模块,被配置为在前述内存线程数发生变化的情况下,获取总线程数,以及第一调整子模块,被配置为基于前述总线程数,动态调整前述处理线程中的线程数。
根据本公开的实施例,前述第一调整子模块可以包括:获取单元,被配置为获取与每个待处理子业务对应的业务权重值,以及调整单元,被配置为基于前述总线程数和前述业务权重值,动态调整前述处理线程中的线程数。
根据本公开的实施例,前述调整单元可以包括:获取子单元,被配置为针对为每个待处理子业务设置的处理线程,获取初始线程数,确定子单元,被配置为基于前述总线程数和前述业务权重值,确定为每个待处理子业务设置的处理线程的目标线程数,以及调整子单元,被配置为将前述初始线程数调整为前述目标线程数。
根据本公开的实施例,前述动态调整模块可以包括:第二调整子模块,被配置为与前述待处理子业务对应的处理线程动态调整前述处理线程中的线程数。
需要说明的是,针对业务线程的处理装置部分的实施例方式与针对业务线程的处理方法部分的实施例方式对应类似,并且所达到的技术效果也对应类似,在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块610、划分模块620、设置模块630、处理模块640、第一处理子模块、第二处理子模块、检测子模块、保存子模块、设置子模块、第一获取子模块、阻塞子模块、第一阻塞单元、第二阻塞单元、动态调整模块、监控子模块、第二获取子模块、第一调整子模块、获取单元、调整单元、获取子单元、确定子单元、调整子单元、第二调整子模块中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块610、划分模块620、设置模块630、处理模块640、第一处理子模块、第二处理子模块、检测子模块、保存子模块、设置子模块、第一获取子模块、阻塞子模块、第一阻塞单元、第二阻塞单元、动态调整模块、监控子模块、第二获取子模块、第一调整子模块、获取单元、调整单元、获取子单元、确定子单元、调整子单元、第二调整子模块中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块610、划分模块620、设置模块630、处理模块640、第一处理子模块、第二处理子模块、检测子模块、保存子模块、设置子模块、第一获取子模块、阻塞子模块、第一阻塞单元、第二阻塞单元、动态调整模块、监控子模块、第二获取子模块、第一调整子模块、获取单元、调整单元、获取子单元、确定子单元、调整子单元、第二调整子模块中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于实现上文描述的应用针对业务线程的处理方法及装置的电子设备的框图。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的计算机系统700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、子模块、单元、子单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种针对业务线程的处理方法,包括:
获取待处理业务;
基于预定业务流程,将所述待处理业务划分为多个有序待处理子业务;
为每个待处理子业务设置处理线程,其中,与每个待处理子业务对应的处理线程独立于与其它待处理子业务对应的处理线程;以及
通过处理线程处理对应的待处理子业务。
2.根据权利要求1所述的方法,其中,所述多个有序待处理子业务包括彼此相邻的前序待处理子业务和后序待处理子业务;
所述通过处理线程处理对应的待处理子业务包括:
通过前序处理线程处理所述前序待处理子业务;以及
通过后序处理线程处理所述后序待处理子业务。
3.根据权利要求2所述的方法,其中,所述方法还包括:
检测所述前序处理线程是否将所述前序待处理子业务处理完成;以及
在所述前序待处理子业务处理完成的情况下,将处理完成的数据保存到有序阻塞队列中,以使得所述后序处理线程能获取所述处理完成的数据,以处理所述后序待处理子业务。
4.根据权利要求3所述的方法,其中,所述方法还包括:
为所述有序阻塞队列设置预设队列深度。
5.根据权利要求4所述的方法,其中,所述方法还包括:
获取所述有序阻塞队列的当前队列深度;以及
基于所述预设队列深度和所述当前队列深度,阻塞所述前序处理线程或所述后序处理线程。
6.根据权利要求5所述的方法,其中,所述基于所述预设队列深度和所述当前队列深度,阻塞所述前序处理线程或所述后序处理线程包括:
在所述当前队列深度等于所述预设队列深度的情况下,阻塞所述前序处理线程;以及
在所述当前队列深度等于零的情况下,阻塞所述后序处理线程。
7.根据权利要求1所述的方法,其中,所述方法还包括:
针对为每个待处理子业务设置的处理线程,动态调整所述处理线程中的线程数。
8.根据权利要求7所述的方法,其中,所述动态调整所述处理线程中的线程数包括:
监控内存线程数是否发生变化;
在所述内存线程数发生变化的情况下,获取总线程数;以及
基于所述总线程数,动态调整所述处理线程中的线程数。
9.根据权利要求8所述的方法,其中,所述基于所述总线程数,动态调整所述处理线程中的线程数包括:
获取与每个待处理子业务对应的业务权重值;以及
基于所述总线程数和所述业务权重值,动态调整所述处理线程中的线程数。
10.根据权利要求9所述的方法,其中,所述基于所述总线程数和所述业务权重值,动态调整所述处理线程中的线程数包括:
针对为每个待处理子业务设置的处理线程,获取初始线程数;
基于所述总线程数和所述业务权重值,确定为每个待处理子业务设置的处理线程的目标线程数;以及
将所述初始线程数调整为所述目标线程数。
11.根据权利要求7所述的方法,其中,所述动态调整所述处理线程中的线程数包括:
与所述待处理子业务对应的处理线程动态调整所述处理线程中的线程数。
12.一种针对业务线程的处理装置,包括:
第一获取模块,被配置为获取待处理业务;
划分模块,被配置为基于预定业务流程,将所述待处理业务划分为多个有序待处理子业务;
设置模块,被配置为为每个待处理子业务设置处理线程,其中,与每个待处理子业务对应的处理线程独立于与其它待处理子业务对应的处理线程;以及
处理模块,被配置为通过处理线程处理对应的待处理子业务。
13.一种电子设备,包括:
一个或多个处理器;以及
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现权利要求1至11中任一项所述的方法。
CN201910723547.7A 2019-08-06 2019-08-06 针对业务线程的处理方法及其装置、电子设备和介质 Pending CN110457124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910723547.7A CN110457124A (zh) 2019-08-06 2019-08-06 针对业务线程的处理方法及其装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910723547.7A CN110457124A (zh) 2019-08-06 2019-08-06 针对业务线程的处理方法及其装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN110457124A true CN110457124A (zh) 2019-11-15

Family

ID=68485213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910723547.7A Pending CN110457124A (zh) 2019-08-06 2019-08-06 针对业务线程的处理方法及其装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN110457124A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176806A (zh) * 2019-12-05 2020-05-19 中国银联股份有限公司 一种业务处理方法、装置及计算机可读存储介质
CN112445596A (zh) * 2020-11-27 2021-03-05 平安普惠企业管理有限公司 基于多线程的数据导入方法、系统及存储介质
CN113037875A (zh) * 2021-05-24 2021-06-25 武汉众邦银行股份有限公司 一种分布式实时业务系统中的异步网关的实现方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070773A1 (en) * 2007-09-10 2009-03-12 Novell, Inc. Method for efficient thread usage for hierarchically structured tasks
US8209702B1 (en) * 2007-09-27 2012-06-26 Emc Corporation Task execution using multiple pools of processing threads, each pool dedicated to execute different types of sub-tasks
CN106020954A (zh) * 2016-05-13 2016-10-12 深圳市永兴元科技有限公司 线程管理方法及装置
CN106358003A (zh) * 2016-08-31 2017-01-25 华中科技大学 一种基于线程级流水线的视频分析加速方法
CN106681840A (zh) * 2016-12-30 2017-05-17 郑州云海信息技术有限公司 一种云操作系统的任务调度方法及装置
CN106802826A (zh) * 2016-12-23 2017-06-06 中国银联股份有限公司 一种基于线程池的业务处理方法及装置
CN107783838A (zh) * 2017-03-13 2018-03-09 平安科技(深圳)有限公司 客户信息查询方法和装置
CN109426561A (zh) * 2017-08-29 2019-03-05 阿里巴巴集团控股有限公司 一种任务处理方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070773A1 (en) * 2007-09-10 2009-03-12 Novell, Inc. Method for efficient thread usage for hierarchically structured tasks
US8209702B1 (en) * 2007-09-27 2012-06-26 Emc Corporation Task execution using multiple pools of processing threads, each pool dedicated to execute different types of sub-tasks
CN106020954A (zh) * 2016-05-13 2016-10-12 深圳市永兴元科技有限公司 线程管理方法及装置
CN106358003A (zh) * 2016-08-31 2017-01-25 华中科技大学 一种基于线程级流水线的视频分析加速方法
CN106802826A (zh) * 2016-12-23 2017-06-06 中国银联股份有限公司 一种基于线程池的业务处理方法及装置
CN106681840A (zh) * 2016-12-30 2017-05-17 郑州云海信息技术有限公司 一种云操作系统的任务调度方法及装置
CN107783838A (zh) * 2017-03-13 2018-03-09 平安科技(深圳)有限公司 客户信息查询方法和装置
CN109426561A (zh) * 2017-08-29 2019-03-05 阿里巴巴集团控股有限公司 一种任务处理方法、装置及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH W. KESSLER: "Flexible scheduling and thread allocation for synchronous parallel tasks", 《ARCS 2012》 *
姜维: "《分布式网络系统与Multi-Agent系统编程框架》", 31 January 2015 *
苏庆刚: "《操作系统原理与应用教程》", 31 January 2012 *
马晓敏: "《Java网络编程原理与JSP Web开发核心技术(第二版)》", 31 August 2018 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176806A (zh) * 2019-12-05 2020-05-19 中国银联股份有限公司 一种业务处理方法、装置及计算机可读存储介质
CN111176806B (zh) * 2019-12-05 2024-02-23 中国银联股份有限公司 一种业务处理方法、装置及计算机可读存储介质
CN112445596A (zh) * 2020-11-27 2021-03-05 平安普惠企业管理有限公司 基于多线程的数据导入方法、系统及存储介质
CN112445596B (zh) * 2020-11-27 2024-02-02 上海睿量私募基金管理有限公司 基于多线程的数据导入方法、系统及存储介质
CN113037875A (zh) * 2021-05-24 2021-06-25 武汉众邦银行股份有限公司 一种分布式实时业务系统中的异步网关的实现方法
CN113037875B (zh) * 2021-05-24 2021-07-27 武汉众邦银行股份有限公司 一种分布式实时业务系统中的异步网关的实现方法

Similar Documents

Publication Publication Date Title
US20230130644A1 (en) Methods and systems of scheduling computer processes or tasks in a distributed system
US20180357255A1 (en) Data transformations with metadata
CN110096344A (zh) 任务管理方法、系统、服务器集群和计算机可读介质
CN110457124A (zh) 针对业务线程的处理方法及其装置、电子设备和介质
CN109308214A (zh) 数据任务处理方法和系统
CN109831478A (zh) 基于规则及模型的分布式实时处理智能决策系统及方法
KR20150084098A (ko) 스트림 데이터 분산 처리 시스템 및 그 방법
US20190354398A1 (en) Context aware prioritization in a distributed environment using tiered queue allocation
CN103778017B (zh) 改进虚拟处理器调度的亲和性
CN110019087A (zh) 数据处理方法及其系统
CN109408286A (zh) 数据处理方法、装置、系统、计算机可读存储介质
CN109697537A (zh) 数据审核的方法和装置
CN108255607A (zh) 任务处理方法、装置、电子终端及可读存储介质
US20170140160A1 (en) System and method for creating, tracking, and maintaining big data use cases
CN107463434A (zh) 一种分布式任务处理方法与设备
CN108021450A (zh) 基于yarn的作业分析方法和装置
CN110427304A (zh) 用于银行系统的运维方法、装置、电子设备以及介质
CN108984549A (zh) 一种基于动态配置数据库的分库分表数据抽取方法和装置
CN109726004A (zh) 一种数据处理方法及装置
CN110166507A (zh) 多资源调度方法和装置
CN109961331A (zh) 页面处理方法及其系统、计算机系统和可读存储介质
CN105786603A (zh) 一种基于分布式的高并发业务处理系统及方法
CN109002925A (zh) 业务量预测方法和装置
CN110019044A (zh) 大数据集群准实时Yarn任务监控分析方法
US20180210804A1 (en) System and method for dynamic scaling of concurrent processing threads

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115

RJ01 Rejection of invention patent application after publication