CN117539643B - 信用卡清分清算平台、批量任务处理方法及服务器 - Google Patents

信用卡清分清算平台、批量任务处理方法及服务器 Download PDF

Info

Publication number
CN117539643B
CN117539643B CN202410027686.7A CN202410027686A CN117539643B CN 117539643 B CN117539643 B CN 117539643B CN 202410027686 A CN202410027686 A CN 202410027686A CN 117539643 B CN117539643 B CN 117539643B
Authority
CN
China
Prior art keywords
dus
batch
batch task
tasks
load capacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410027686.7A
Other languages
English (en)
Other versions
CN117539643A (zh
Inventor
王鹏
周成鹏
赵怡彬
张俊阳
毛晓峰
崔广超
高振南
韦双双
李辉辉
赵鑫
陈玉杰
王翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chenqin Information Technology Service Co ltd
Original Assignee
Shanghai Chenqin Information Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chenqin Information Technology Service Co ltd filed Critical Shanghai Chenqin Information Technology Service Co ltd
Priority to CN202410027686.7A priority Critical patent/CN117539643B/zh
Publication of CN117539643A publication Critical patent/CN117539643A/zh
Application granted granted Critical
Publication of CN117539643B publication Critical patent/CN117539643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5017Task decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本申请提供一种信用卡清分清算平台、批量任务处理方法及服务器。涉及信用卡清分清算技术领域。该方法包括:C‑DUS接收到批量处理请求后,确定批量处理请求对应的批量任务集合;C‑DUS基于批量任务集合、多个B‑DUS以及预先定义的第一分片规则,将批量任务集合切分成多个第一批量任务子集合,并将第一批量任务子集合发送至对应的B‑DUS;基于B‑DUS对应的多个实例以及预先定义的第二分片规则,将第一批量任务子集合切分为多个第二批量任务子集合,并将第二批量任务子集合发送至对应的实例。以此可以将业务数据以及处理流程分片化,并将分片任务通过单元化架构进行执行,可以提升调度效率。

Description

信用卡清分清算平台、批量任务处理方法及服务器
技术领域
本申请涉及信用卡清分清算技术领域,具体而言,涉及一种信用卡清分清算平台、批量任务处理方法及服务器。
背景技术
信用卡清分清算平台,是实现与VISA、JCB、AMEX、MASTERCARD国际信用卡组织间的数据对接,完成卡组织的文件下载解析,并对接信用卡核心交易入账系统,完成入账数据生成、文件处理上传、争端交易处理及相关数据查询功能。
在企业生产中,需要处理海量的业务数据,针对这些数据的处理效率直接影响服务的用户体验。
发明内容
本申请实施例的目的在于提供一种信用卡清分清算平台、批量任务处理方法及服务器,用以提升处理效率。
第一方面,本发明提供一种基于信用卡清分清算平台的批量任务处理方法,所述信用卡清分清算平台包括公共管理域M-DUS、业务公共域C-DUS以及多个业务服务域B-DUS;所述方法包括:
所述M-DUS确定批量处理请求,并将所述批量处理请求发送至所述C-DUS;
所述C-DUS接收到所述批量处理请求后,确定所述批量处理请求对应的批量任务集合;
所述C-DUS基于所述批量任务集合、多个所述B-DUS以及预先定义的第一分片规则,将所述批量任务集合切分成多个第一批量任务子集合,并将所述第一批量任务子集合发送至对应的B-DUS;
所述B-DUS接收到所述第一批量任务子集合后,基于该B-DUS对应的多个实例以及预先定义的第二分片规则,将所述第一批量任务子集合切分为多个第二批量任务子集合,并将所述第二批量任务子集合发送至对应的实例。
在可选的实施方式中,所述M-DUS确定批量处理请求,包括:
提供M-DUS管理界面,所述管理界面包括批量处理控件;响应于针对所述批量处理控件触发的批量处理操作,确定批量处理请求;
或者,基于预设的规则,在达到触发条件时,确定批量处理请求。
在可选的实施方式中,所述第一分片规则包括:根据批量任务集合中的任务数量、所述B-DUS的数量以及各个所述B-DUS的当前负载能力进行分片。
在可选的实施方式中,所述B-DUS包括多个线程,所述第二分片规则包括:根据第一批量任务子集合中的任务数量、所述B-DUS的实例的数量、所述B-DUS的实例的线程数量以及各个所述B-DUS的实例的线程的负载能力进行分片。
在可选的实施方式中,各个所述B-DUS的实例的线程的负载能力为默认值,所述B-DUS的当前负载能力根据所述B-DUS包括的所有的空闲的线程的数量确定。
在可选的实施方式中,多个所述B-DUS包括活跃的B-DUS和休眠的B-DUS,活跃的所述B-DUS对应有多个活跃的实例,休眠的B-DUS未对应有实例;所述第一分片规则包括:
当确定所述批量任务集合中的任务数量未超出当前活跃的所述B-DUS的最大总负载能力时,根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片;
当确定所述批量任务集合中的任务数量超出当前活跃的所述B-DUS的最大总负载能力时,确定超出负载能力的部分所需要的B-DUS的数量;
基于超出负载能力的部分所需要的B-DUS的数量,将对应数量的休眠的B-DUS唤醒成为活跃的B-DUS;根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片。
在可选的实施方式中,所述B-DUS包括活跃的实例和休眠的实例,休眠的实例的数量根据所述B-DUS能负载的实例的最大数量与当前活跃的实例的数量的差值确定,所述休眠的实例不占用资源;所述第二分片规则包括:
确定所述第一批量任务子集合中的任务所需要的负载能力与所述预先定义的B-DUS负载等级的对应关系;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级等于所述B-DUS当前负载等级时,根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;其中,不同的负载等级对应的活跃的实例的数量不同。
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级大于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并将对应数量的休眠的实例唤醒成为活跃的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级小于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并释放对应数量的活跃的实例的资源成为休眠的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片。
第二方面,本发明提供一种基于信用卡清分清算平台,所述信用卡清分清算平台包括公共管理域M-DUS、业务公共域C-DUS以及多个业务服务域B-DUS;
所述M-DUS,用于确定批量处理请求,并将所述批量处理请求发送至所述C-DUS;
所述C-DUS,用于接收到所述批量处理请求后,确定所述批量处理请求对应的批量任务集合;
所述C-DUS,用于基于所述批量任务集合、多个所述B-DUS以及预先定义的第一分片规则,将所述批量任务集合切分成多个第一批量任务子集合,并将所述第一批量任务子集合发送至对应的B-DUS;
所述B-DUS,用于接收到所述第一批量任务子集合后,基于该B-DUS对应的多个实例以及预先定义的第二分片规则,将所述第一批量任务子集合切分为多个第二批量任务子集合,并将所述第二批量任务子集合发送至对应的实例。
在可选的实施方式中,所述M-DUS具体用于:
提供M-DUS管理界面,所述管理界面包括批量处理控件;响应于针对所述批量处理控件触发的批量处理操作,确定批量处理请求;
或者,基于预设的规则,在达到触发条件时,确定批量处理请求。
在可选的实施方式中,所述第一分片规则包括:根据批量任务集合中的任务数量、所述B-DUS的数量以及各个所述B-DUS的当前负载能力进行分片。
在可选的实施方式中,所述B-DUS包括多个线程,所述第二分片规则包括:根据第一批量任务子集合中的任务数量、所述B-DUS的实例的数量、所述B-DUS的实例的线程数量以及各个所述B-DUS的实例的线程的负载能力进行分片。
在可选的实施方式中,各个所述B-DUS的实例的线程的负载能力为默认值,所述B-DUS的当前负载能力根据所述B-DUS包括的所有的空闲的线程的数量确定。
在可选的实施方式中,多个所述B-DUS包括活跃的B-DUS和休眠的B-DUS,活跃的所述B-DUS对应有多个活跃的实例,休眠的B-DUS未对应有实例;所述第一分片规则包括:
当确定所述批量任务集合中的任务数量未超出当前活跃的所述B-DUS的最大总负载能力时,根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片;
当确定所述批量任务集合中的任务数量超出当前活跃的所述B-DUS的最大总负载能力时,确定超出负载能力的部分所需要的B-DUS的数量;
基于超出负载能力的部分所需要的B-DUS的数量,将对应数量的休眠的B-DUS唤醒成为活跃的B-DUS;根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片。
在可选的实施方式中,所述B-DUS包括活跃的实例和休眠的实例,休眠的实例的数量根据所述B-DUS能负载的实例的最大数量与当前活跃的实例的数量的差值确定,所述休眠的实例不占用资源;所述第二分片规则包括:
确定所述第一批量任务子集合中的任务所需要的负载能力与所述预先定义的B-DUS负载等级的对应关系;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级等于所述B-DUS当前负载等级时,根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;其中,不同的负载等级对应的活跃的实例的数量不同。
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级大于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并将对应数量的休眠的实例唤醒成为活跃的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级小于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并释放对应数量的活跃的实例的资源成为休眠的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片。
第三方面,本发明提供一种服务器,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述前述实施方式任一项所述的方法。
本发明提供一种信用卡清分清算平台、批量任务处理方法及服务器,该信用卡清分清算平台包括公共管理域M-DUS、业务公共域C-DUS以及多个业务服务域B-DUS;通过所述M-DUS确定批量处理请求,并将所述批量处理请求发送至所述C-DUS;所述C-DUS接收到所述批量处理请求后,确定所述批量处理请求对应的批量任务集合;所述C-DUS基于所述批量任务集合、多个所述B-DUS以及预先定义的第一分片规则,将所述批量任务集合切分成多个第一批量任务子集合,并将所述第一批量任务子集合发送至对应的B-DUS;所述B-DUS接收到所述第一批量任务子集合后,基于该B-DUS对应的多个实例以及预先定义的第二分片规则,将所述第一批量任务子集合切分为多个第二批量任务子集合,并将所述第二批量任务子集合发送至对应的实例。以此可以将业务数据以及处理流程分片化,并将分片任务通过单元化架构进行执行,可以提升调度效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于信用卡清分清算平台的批量任务处理方法流程示意图;
图2为本申请实施例提供的另一种基于信用卡清分清算平台的批量任务处理方法流程示意图;
图3为本申请实施例提供的一种信用卡清分清算平台结构示意图;
图4为本申请实施例提供的一种服务器结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
图1为本申请实施例提供的一种基于信用卡清分清算平台的批量任务处理方法流程示意图。其中,为了提升信用卡清分清算平台的处理能力,可以对信用卡清分清算平台进行域化布置;可以将信用卡清分清算平台按照功能划分为多个执行域,其中,不同的域可以用于实现相同或不同的功能。所谓域,是指一个能完成所有业务操作的自包含集合。在这个集合中包含了所有业务所需的所有服务,以及分配给这个域的数据。域化架构是把域作为系统部署的最基本单位,在全站所有机房中部署数个域,每个机房中的域数目不定,任意一个域部署了系统所需的所有应用,数据则是全量数据按照某种维度切分后的一部分。所以合理的分片策略和合理的分片规模是域化架构可落地性的基准考量。
该信用卡清分清算平台可以包括公共管理域(M-DUS)、业务公共域(C-DUS)以及业务服务域(B-DUS),该公共管理域可以包括批量管控节点,该业务公共域可以包括业务公共区批量节点,该业务服务域可以包括多个,每个均包括批量服务节点。该业务公共域(C-DUS)可以包括多个第一执行域,用于执行公共任务。该业务服务域(B-DUS)可以对应有多个,每个业务服务域(B-DUS)可以包括多个第二执行域,用于执行批量业务。
该域的种类可以包括调度域以及执行域,每个域上可以运行多个实例,该实例用于执行任务。
如图1所示,该方法可以包括:
S110,M-DUS确定批量处理请求,并将批量处理请求发送至C-DUS;
作为一个示例,可以提供M-DUS管理界面,管理界面包括批量处理控件;响应于针对批量处理控件触发的批量处理操作,确定批量处理请求。
作为另一个示例,可以基于预设的规则,在达到触发条件时,确定批量处理请求。
如图2所示,M-DUS可以提供多种功能或应用。例如可以提供批量管控端的应用,该应用可以包括流程编排、批量管理、批量启停、管控端高可用、批量监控、批量重提、批量任务跟踪、批量调度/二级调度以及批量执行器故障转移等等。基于上述应用,可以触发相应的批量处理请求。M-DUS确定批量处理请求,并将批量处理请求发送至C-DUS执行域。
S120,C-DUS在接收到批量处理请求后,确定批量处理请求对应的批量任务集合。
其中,如图2所示,该C-DUS执行域可以包括多个批量执行器,该多个批量执行器可以基于高可用策略进行运行。C-DUS执行域可以根据高可用策略确定批量执行器进行执行确定批量处理请求对应的批量任务集合。其中,每个批量处理请求均可以对应多个任务。例如,每个批量处理请求可以预先设定有执行范围,该执行范围可以对应有多个账户,每个账户可以对应一个任务,该多个账户则对应的任务则构成批量任务集合。
例如,如图2所示,批量执行器在执行任务时,可以执行公共批量任务、文件拉取、文件拆分、文件合并以及文件下发等等操作,具体可以通过下述步骤实现。
S130,C-DUS基于批量任务集合、多个B-DUS以及预先定义的第一分片规则,将批量任务集合切分成多个第一批量任务子集合,并将第一批量任务子集合发送至对应的B-DUS。
其中,该第一分片规则可以包括:根据批量任务集合中的任务数量、B-DUS的数量以及各个B-DUS的当前负载能力进行分片。
S140,B-DUS在接收到第一批量任务子集合后,基于该B-DUS对应的多个实例以及预先定义的第二分片规则,将第一批量任务子集合切分为多个第二批量任务子集合,并将第二批量任务子集合发送至对应的实例。
例如,如图2所示,该实例可以为图2中所示的B-DUS中的批量执行器。该B-DUS中也可以包括多个批量执行器,该多个批量执行器运行高可用策略。该B-DUS中的批量执行器可以用于执行批量服务,例如,文件读取、文件解析、批量执行、批量幂等处理以及文件生成。
其中,B-DUS可以包括多个线程,基于此,该第二分片规则可以包括:根据第一批量任务子集合中的任务数量、B-DUS的实例的数量、B-DUS的实例的线程数量以及各个B-DUS的实例的线程的负载能力进行分片。
其中,可以预先确定批量任务运行规则,可以基于批量任务运行规则进行动态分片。例如,该批量任务运行规则可以包括按照日常任务的繁忙程度进行时段划分,例如,可以划分为闲时和忙时,该闲时通为凌晨,忙时通常为白天;对于忙时可以设定第一比例阈值,需要保证运行批量任务的实例的数量以及线程数量均不超过对应总数的第一比例阈值,闲时可以将全部剩余负载能力用来进行批量任务的执行。
在一些实施例中,各个B-DUS的实例的线程的负载能力可以为默认值,B-DUS的当前负载能力可以根据B-DUS包括的所有的空闲的线程的数量确定,其中,空闲的线程的数量越多,B-DUS的当前负载能力越大,例如,该B-DUS的当前负载能力可以等于空闲的线程的数量、默认值以及冗余系数的乘积。
在一些实施例中,多个B-DUS可以包括活跃的B-DUS和休眠的B-DUS,活跃的B-DUS对应有多个活跃的实例,休眠的B-DUS未对应有实例,也就是未占用有实例资源,但是该休眠的B-DUS的数量,可以用于指示该平台中还未启用的能力的多少;基于此,该第一分片规则可以包括:
当确定批量任务集合中的任务数量未超出当前活跃的B-DUS的最大总负载能力时,根据批量任务集合中的任务数量、当前活跃的B-DUS的数量以及各个当前活跃的B-DUS的当前负载能力进行分片;
当确定批量任务集合中的任务数量超出当前活跃的B-DUS的最大总负载能力时,确定超出负载能力的部分所需要的B-DUS的数量;
基于超出负载能力的部分所需要的B-DUS的数量,将对应数量的休眠的B-DUS唤醒成为活跃的B-DUS;根据批量任务集合中的任务数量、当前活跃的B-DUS的数量以及各个当前活跃的B-DUS的当前负载能力进行分片。
其中,该负载能力可以为单位时间内可处理的最大任务数量以及预期处理时间之间的乘积。该预期的处理时间可以预先确定,也可以由用户指定,例如可以在M-DUS管理界面中指定。
进一步地,B-DUS可以包括活跃的实例和休眠的实例,休眠的实例的数量根据B-DUS能负载的实例的最大数量与当前活跃的实例的数量的差值确定,休眠的实例不占用资源,但是该休眠的实例的数量,可以用于指示该B-DUS中还未启用的能力的多少;基于此,该第二分片规则可以包括:
确定第一批量任务子集合中的任务所需要的负载能力与预先定义的B-DUS负载等级的对应关系;
第一批量任务子集合中的任务所需要的负载能力所需要的负载等级等于B-DUS当前负载等级时,根据批量任务集合中的任务数量、当前活跃的实例的数量以及各个当前活跃的实例的当前负载能力进行分片;其中,不同的负载等级对应的活跃的实例的数量不同。
第一批量任务子集合中的任务所需要的负载能力所需要的负载等级大于B-DUS当前负载等级时,将B-DUS的当前负载等级切换为第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并将对应数量的休眠的实例唤醒成为活跃的实例;根据批量任务集合中的任务数量、当前活跃的实例的数量以及各个当前活跃的实例的当前负载能力进行分片;
第一批量任务子集合中的任务所需要的负载能力所需要的负载等级小于B-DUS当前负载等级时,将B-DUS的当前负载等级切换为第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并释放对应数量的活跃的实例的资源成为休眠的实例;根据批量任务集合中的任务数量、当前活跃的实例的数量以及各个当前活跃的实例的当前负载能力进行分片。
图3为本申请实施例提供的一种基于信用卡清分清算平台结构示意图。如图3所示,该信用卡清分清算平台包括公共管理域M-DUS301、业务公共域C-DUS302以及多个业务服务域B-DUS303;
M-DUS301,用于确定批量处理请求,并将批量处理请求发送至C-DUS302;
C-DUS302,用于接收到批量处理请求后,确定批量处理请求对应的批量任务集合;
C-DUS302,用于基于批量任务集合、多个B-DUS303以及预先定义的第一分片规则,将批量任务集合切分成多个第一批量任务子集合,并将第一批量任务子集合发送至对应的B-DUS303;
B-DUS303,用于接收到第一批量任务子集合后,基于该B-DUS303对应的多个实例以及预先定义的第二分片规则,将第一批量任务子集合切分为多个第二批量任务子集合,并将第二批量任务子集合发送至对应的实例。
在一些实施例中, M-DUS303具体用于:
提供M-DUS管理界面,管理界面包括批量处理控件;响应于针对批量处理控件触发的批量处理操作,确定批量处理请求;
或者,基于预设的规则,在达到触发条件时,确定批量处理请求。
在一些实施例中,第一分片规则包括:根据批量任务集合中的任务数量、B-DUS的数量以及各个B-DUS的当前负载能力进行分片。
在一些实施例中,B-DUS303包括多个线程,第二分片规则包括:根据第一批量任务子集合中的任务数量、B-DUS的实例的数量、B-DUS的实例的线程数量以及各个B-DUS的实例的线程的负载能力进行分片。
在一些实施例中,各个B-DUS的实例的线程的负载能力为默认值, B-DUS的当前负载能力根据B-DUS包括的所有的空闲的线程的数量确定。
在一些实施例中,多个B-DUS包括活跃的B-DUS和休眠的B-DUS,活跃的B-DUS对应有多个活跃的实例,休眠的B-DUS未对应有实例;第一分片规则包括:
当确定批量任务集合中的任务数量未超出当前活跃的B-DUS的最大总负载能力时,根据批量任务集合中的任务数量、当前活跃的B-DUS的数量以及各个当前活跃的B-DUS的当前负载能力进行分片;
当确定批量任务集合中的任务数量超出当前活跃的B-DUS的最大总负载能力时,确定超出负载能力的部分所需要的B-DUS的数量;
基于超出负载能力的部分所需要的B-DUS的数量,将对应数量的休眠的B-DUS唤醒成为活跃的B-DUS;根据批量任务集合中的任务数量、当前活跃的B-DUS的数量以及各个当前活跃的B-DUS的当前负载能力进行分片。
在一些实施例中,B-DUS包括活跃的实例和休眠的实例,休眠的实例的数量根据B-DUS能负载的实例的最大数量与当前活跃的实例的数量的差值确定,休眠的实例不占用资源;第二分片规则包括:
确定第一批量任务子集合中的任务所需要的负载能力与预先定义的B-DUS负载等级的对应关系;
第一批量任务子集合中的任务所需要的负载能力所需要的负载等级等于B-DUS当前负载等级时,根据批量任务集合中的任务数量、当前活跃的实例的数量以及各个当前活跃的实例的当前负载能力进行分片;其中,不同的负载等级对应的活跃的实例的数量不同。
第一批量任务子集合中的任务所需要的负载能力所需要的负载等级大于B-DUS当前负载等级时,将B-DUS的当前负载等级切换为第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并将对应数量的休眠的实例唤醒成为活跃的实例;根据批量任务集合中的任务数量、当前活跃的实例的数量以及各个当前活跃的实例的当前负载能力进行分片;
第一批量任务子集合中的任务所需要的负载能力所需要的负载等级小于B-DUS当前负载等级时,将B-DUS的当前负载等级切换为第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并释放对应数量的活跃的实例的资源成为休眠的实例;根据批量任务集合中的任务数量、当前活跃的实例的数量以及各个当前活跃的实例的当前负载能力进行分片。
参阅图4所示,本申请实施例提供的服务器400至少包括:处理器401、存储器402和存储在存储器402上并可在处理器401上运行的计算机程序,处理器401执行计算机程序时实现本申请实施例提供的路面病害检测方法。
本申请实施例提供的服务器400还可以包括连接不同组件(包括处理器401和存储器402)的总线403。其中,总线403表示几类总线结构中的一种或多种,包括存储器总线、外围总线、局域总线等。
存储器402可以包括易失性存储器形式的可读存储介质,例如随机存储器(RandomAccess Memory,RAM)4021和/或高速缓存存储器4022,还可以进一步包括只读存储器(ReadOnly Memory,ROM)4023。存储器402还可以包括具有一组(至少一个)程序模块4024的程序工具4025,程序模块4024包括但不限于操作子系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器401可以是一个处理元件,也可以是多个处理元件的统称,例如,处理器401可以是中央处理器(Central Processing Unit,CPU),或者是被配置成实现本申请实施例提供的路面病害检测方法的一个或多个集成电路。具体的,处理器401可以是通用处理器,包括但不限于CPU、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
服务器400可以与一个或多个外部设备404(例如键盘、遥控器等)通信,还可以与一个或者多个使得用户能与服务器400交互的设备通信(例如手机、电脑等),和/或,与使得服务器400与一个或多个其它服务器400进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input /Output,I/O)接口405进行。并且,服务器400还可以通过网络适配器406与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器406通过总线403与服务器400的其它模块通信。应当理解,尽管图4中未示出,可以结合服务器400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是,图4所示的服务器400仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
下面对本申请实施例提供的计算机可读存储介质进行介绍。本申请实施例提供的计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现本申请实施例提供的路面病害检测方法。具体地,该计算机指令可以内置或者安装在处理器中,这样,处理器就可以通过执行内置或者安装的计算机指令实现本申请实施例提供的路面病害检测方法。
此外,本申请实施例提供的路面病害检测方法还可以实现为一种计算机程序产品,该计算机程序产品包括程序代码,该程序代码在处理器上运行时实现本申请实施例提供的路面病害检测方法。
本申请实施例提供的计算机程序产品可以采用一个或多个计算机可读存储介质,而计算机可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者以上任意合适的组合,具体地,计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者以上任意合适的组合。
本申请实施例提供的计算机程序产品可以采用CD-ROM并包括程序代码,还可以在例如道路管理设备等服务器上运行。然而,本申请实施例提供的计算机程序产品不限于此,本申请实施例中,计算机可读存储介质可以是任何包含或存储程序代码的有形介质,该程序代码可以被指令执行系统、装置或者器件使用或者与其结合使用。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种基于信用卡清分清算平台的批量任务处理方法,其特征在于,所述信用卡清分清算平台包括公共管理域M-DUS、业务公共域C-DUS以及多个业务服务域B-DUS;所述方法包括:
所述M-DUS确定批量处理请求,并将所述批量处理请求发送至所述C-DUS;
所述C-DUS在接收到所述批量处理请求后,确定所述批量处理请求对应的批量任务集合;
所述C-DUS基于所述批量任务集合、多个所述B-DUS以及预先定义的第一分片规则,将所述批量任务集合切分成多个第一批量任务子集合,并将所述第一批量任务子集合发送至对应的B-DUS;
所述B-DUS在接收到所述第一批量任务子集合后,基于该B-DUS对应的多个实例以及预先定义的第二分片规则,将所述第一批量任务子集合切分为多个第二批量任务子集合,并将所述第二批量任务子集合发送至对应的实例;
其中,所述第一分片规则包括:根据批量任务集合中的任务数量、所述B-DUS的数量以及各个所述B-DUS的当前负载能力进行分片;
其中,多个所述B-DUS包括活跃的B-DUS和休眠的B-DUS,活跃的所述B-DUS对应有多个活跃的实例,休眠的B-DUS未对应有实例;所述第一分片规则包括:
当确定所述批量任务集合中的任务数量未超出当前活跃的所述B-DUS的最大总负载能力时,根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片;
当确定所述批量任务集合中的任务数量超出当前活跃的所述B-DUS的最大总负载能力时,确定超出负载能力的部分所需要的B-DUS的数量;
基于超出负载能力的部分所需要的B-DUS的数量,将对应数量的休眠的B-DUS唤醒成为活跃的B-DUS;根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片;
其中,所述B-DUS包括活跃的实例和休眠的实例,休眠的实例的数量根据所述B-DUS能负载的实例的最大数量与当前活跃的实例的数量的差值确定,所述休眠的实例不占用资源;所述第二分片规则包括:
确定所述第一批量任务子集合中的任务所需要的负载能力与所述预先定义的B-DUS负载等级的对应关系;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级等于所述B-DUS当前负载等级时,根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;其中,不同的负载等级对应的活跃的实例的数量不同;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级大于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并将对应数量的休眠的实例唤醒成为活跃的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级小于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并释放对应数量的活跃的实例的资源成为休眠的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片。
2.根据权利要求1所述的方法,其特征在于,所述M-DUS确定批量处理请求,包括:
提供M-DUS管理界面,所述管理界面包括批量处理控件;响应于针对所述批量处理控件触发的批量处理操作,确定批量处理请求;
或者,基于预设的规则,在达到触发条件时,确定批量处理请求。
3.根据权利要求1所述的方法,其特征在于,所述B-DUS包括多个线程,所述第二分片规则包括:根据第一批量任务子集合中的任务数量、所述B-DUS的实例的数量、所述B-DUS的实例的线程数量以及各个所述B-DUS的实例的线程的负载能力进行分片。
4.根据权利要求3所述的方法,其特征在于,各个所述B-DUS的实例的线程的负载能力为默认值,所述B-DUS的当前负载能力根据所述B-DUS包括的所有的空闲的线程的数量确定。
5.一种基于信用卡清分清算平台,其特征在于,所述信用卡清分清算平台包括公共管理域M-DUS、业务公共域C-DUS以及多个业务服务域B-DUS;
所述M-DUS,用于确定批量处理请求,并将所述批量处理请求发送至所述C-DUS;
所述C-DUS,用于接收到所述批量处理请求后,确定所述批量处理请求对应的批量任务集合;
所述C-DUS,用于基于所述批量任务集合、多个所述B-DUS以及预先定义的第一分片规则,将所述批量任务集合切分成多个第一批量任务子集合,并将所述第一批量任务子集合发送至对应的B-DUS;
所述B-DUS,用于接收到所述第一批量任务子集合后,基于该B-DUS对应的多个实例以及预先定义的第二分片规则,将所述第一批量任务子集合切分为多个第二批量任务子集合,并将所述第二批量任务子集合发送至对应的实例;
其中,所述第一分片规则包括:根据批量任务集合中的任务数量、所述B-DUS的数量以及各个所述B-DUS的当前负载能力进行分片;
其中,多个所述B-DUS包括活跃的B-DUS和休眠的B-DUS,活跃的所述B-DUS对应有多个活跃的实例,休眠的B-DUS未对应有实例;所述第一分片规则包括:
当确定所述批量任务集合中的任务数量未超出当前活跃的所述B-DUS的最大总负载能力时,根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片;
当确定所述批量任务集合中的任务数量超出当前活跃的所述B-DUS的最大总负载能力时,确定超出负载能力的部分所需要的B-DUS的数量;
基于超出负载能力的部分所需要的B-DUS的数量,将对应数量的休眠的B-DUS唤醒成为活跃的B-DUS;根据所述批量任务集合中的任务数量、当前活跃的所述B-DUS的数量以及各个当前活跃的所述B-DUS的当前负载能力进行分片;
其中,所述B-DUS包括活跃的实例和休眠的实例,休眠的实例的数量根据所述B-DUS能负载的实例的最大数量与当前活跃的实例的数量的差值确定,所述休眠的实例不占用资源;所述第二分片规则包括:
确定所述第一批量任务子集合中的任务所需要的负载能力与所述预先定义的B-DUS负载等级的对应关系;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级等于所述B-DUS当前负载等级时,根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;其中,不同的负载等级对应的活跃的实例的数量不同;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级大于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并将对应数量的休眠的实例唤醒成为活跃的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片;
所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级小于所述B-DUS当前负载等级时,将B-DUS的当前负载等级切换为所述第一批量任务子集合中的任务所需要的负载能力所需要的负载等级,并释放对应数量的活跃的实例的资源成为休眠的实例;根据所述批量任务集合中的任务数量、当前活跃的所述实例的数量以及各个当前活跃的所述实例的当前负载能力进行分片。
6.一种服务器,包括存储器、处理器,所述存储器中存储有能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至4任一项所述的方法。
CN202410027686.7A 2024-01-09 2024-01-09 信用卡清分清算平台、批量任务处理方法及服务器 Active CN117539643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410027686.7A CN117539643B (zh) 2024-01-09 2024-01-09 信用卡清分清算平台、批量任务处理方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410027686.7A CN117539643B (zh) 2024-01-09 2024-01-09 信用卡清分清算平台、批量任务处理方法及服务器

Publications (2)

Publication Number Publication Date
CN117539643A CN117539643A (zh) 2024-02-09
CN117539643B true CN117539643B (zh) 2024-03-29

Family

ID=89796236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410027686.7A Active CN117539643B (zh) 2024-01-09 2024-01-09 信用卡清分清算平台、批量任务处理方法及服务器

Country Status (1)

Country Link
CN (1) CN117539643B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863096B1 (en) * 2011-01-06 2014-10-14 École Polytechnique Fédérale De Lausanne (Epfl) Parallel symbolic execution on cluster of commodity hardware
CN104978232A (zh) * 2014-04-09 2015-10-14 阿里巴巴集团控股有限公司 用于实时流式计算的计算资源扩容、释放方法及其装置
CN110008018A (zh) * 2019-01-17 2019-07-12 阿里巴巴集团控股有限公司 一种批量任务处理方法、装置及设备
CN110209496A (zh) * 2019-05-20 2019-09-06 中国平安财产保险股份有限公司 基于数据处理的任务分片方法、装置及分片服务器
WO2020206705A1 (zh) * 2019-04-10 2020-10-15 山东科技大学 一种基于集群节点负载状态预测的作业调度方法
CN114710563A (zh) * 2020-12-17 2022-07-05 华为技术有限公司 一种集群节能方法及装置
WO2022198524A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 服务实例部署方法、节点间的负载均衡方法及系统
CN115170321A (zh) * 2022-07-27 2022-10-11 中国工商银行股份有限公司 批量交易数据的处理方法和装置
CN116225662A (zh) * 2023-03-27 2023-06-06 平安科技(深圳)有限公司 一种任务处理系统以及任务处理方法
CN117251044A (zh) * 2023-09-13 2023-12-19 中电信数智科技有限公司 一种基于arima技术的云服务器动态能耗管理方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8136111B2 (en) * 2006-06-27 2012-03-13 International Business Machines Corporation Managing execution of mixed workloads in a simultaneous multi-threaded (SMT) enabled system
US10512053B2 (en) * 2016-05-10 2019-12-17 Servicenow, Inc. System and method for selectively hibernating and restarting a node of an application instance

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863096B1 (en) * 2011-01-06 2014-10-14 École Polytechnique Fédérale De Lausanne (Epfl) Parallel symbolic execution on cluster of commodity hardware
CN104978232A (zh) * 2014-04-09 2015-10-14 阿里巴巴集团控股有限公司 用于实时流式计算的计算资源扩容、释放方法及其装置
CN110008018A (zh) * 2019-01-17 2019-07-12 阿里巴巴集团控股有限公司 一种批量任务处理方法、装置及设备
WO2020206705A1 (zh) * 2019-04-10 2020-10-15 山东科技大学 一种基于集群节点负载状态预测的作业调度方法
CN110209496A (zh) * 2019-05-20 2019-09-06 中国平安财产保险股份有限公司 基于数据处理的任务分片方法、装置及分片服务器
CN114710563A (zh) * 2020-12-17 2022-07-05 华为技术有限公司 一种集群节能方法及装置
WO2022198524A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 服务实例部署方法、节点间的负载均衡方法及系统
CN115170321A (zh) * 2022-07-27 2022-10-11 中国工商银行股份有限公司 批量交易数据的处理方法和装置
CN116225662A (zh) * 2023-03-27 2023-06-06 平安科技(深圳)有限公司 一种任务处理系统以及任务处理方法
CN117251044A (zh) * 2023-09-13 2023-12-19 中电信数智科技有限公司 一种基于arima技术的云服务器动态能耗管理方法和系统

Also Published As

Publication number Publication date
CN117539643A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US7890712B2 (en) Method, apparatus and program product for managing memory in a virtual computing system
US11252220B2 (en) Distributed code execution involving a serverless computing infrastructure
US8656404B2 (en) Statistical packing of resource requirements in data centers
US9038068B2 (en) Capacity reclamation and resource adjustment
US6711616B1 (en) Client-server task distribution system and method
US8639816B2 (en) Distributed computing based on multiple nodes with determined capacity selectively joining resource groups having resource requirements
US11507417B2 (en) Job scheduling based on job execution history
US7818621B2 (en) Data center boot order control
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
US20170017511A1 (en) Method for memory management in virtual machines, and corresponding system and computer program product
US7627662B2 (en) Transaction request processing system and method
US20210240575A1 (en) Dynamic backup management
CN114546587A (zh) 一种在线图像识别服务的扩缩容方法及相关装置
CN101446906B (zh) 一种调度多批处理任务的方法及系统
CN114143327B (zh) 集群资源配额分配方法、装置及电子设备
CN117539643B (zh) 信用卡清分清算平台、批量任务处理方法及服务器
KR102188987B1 (ko) 서버 관리 장치를 구비한 클라우드 서버 및 로컬 서버를 이용하는 제로클라이언트 단말기용 클라우드 컴퓨팅 시스템의 운영 방법
CN116719623A (zh) 作业调度方法、作业结果处理方法及其装置
US11983578B2 (en) Provisioning a computing subsystem including disaggregated hardware resources that comply with a power domain requirement for a workload
CN106888244B (zh) 一种业务处理方法及装置
CN112612579B (zh) 虚拟机部署方法、存储介质及计算机设备
Pandita et al. Fault tolerance aware scheduling for brokers in cloud computing datacenters
CN117539642B (zh) 一种信用卡分布式调度平台及调度方法
US20060101469A1 (en) Method, controller, program product and services for managing resource element queues
CN117853224A (zh) 信用卡清分清算平台、调度方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant