CN111679920A - 批量权益数据处理方法及装置 - Google Patents

批量权益数据处理方法及装置 Download PDF

Info

Publication number
CN111679920A
CN111679920A CN202010512097.XA CN202010512097A CN111679920A CN 111679920 A CN111679920 A CN 111679920A CN 202010512097 A CN202010512097 A CN 202010512097A CN 111679920 A CN111679920 A CN 111679920A
Authority
CN
China
Prior art keywords
subtasks
processing
message queue
batch
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010512097.XA
Other languages
English (en)
Inventor
黄倩颖
吴树海
林楷坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010512097.XA priority Critical patent/CN111679920A/zh
Publication of CN111679920A publication Critical patent/CN111679920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5066Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种批量权益数据处理方法及装置,该方法包括:根据预设参数条件将批量权益数据处理任务拆分成多个子任务;将多个子任务发送到消息队列中;多个服务器自消息队列中获取子任务,并对子任务进行处理,获取处理结果。本发明可以在多个服务器上进行作业,实现了对批量权益数据的并行处理,并且可以将处理压力通过扩展方式分散到多个服务器上,缩短了作业时间,提高了作业效率。

Description

批量权益数据处理方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种批量权益数据处理方法及装置。
背景技术
随着网络消费的盛行,为了增加用户数目、提升销量、扩大自身的影响力,业务方往往会因为推广和营销而使得用户获取一定的专属权益,如机场贵宾厅等,系统需要处理海量用户与权益配置的关系,目前比较常见的做法是对每位用户生成权益数据,并将该权益数据存入数据库,根据每种权益的附加条件限制进行处理,而用户数量基数大,需要对权益数据进行批量处理。
现有技术是将权益数据处理流程写成数据库脚本或存储过程,利用该数据库脚本或存储过程引导执行批量程序,进而完成对权益数据的批量处理。
发明人发现现有技术至少存在以下问题:
现有技术的数据处理过程都是在一个服务器上进行的,所有的操作只能串行处理,不能将处理压力通过扩展方式分散到其他机器,只能对升级本机配置解决。并且,在进行权益数据批量处理的过程中,如果出现任务失败,只能等任务失败之后定位到问题后重新执行整个任务,不能局部重启。
发明内容
本发明实施例提供一种批量权益数据处理方法,用以在多个服务器上进行作业,实现对批量权益数据的并行处理,同时将处理压力通过扩展方式分散到多个服务器上,缩短作业时间,提高作业效率,该方法包括:
根据预设参数条件将批量权益数据处理任务拆分成多个子任务;
将多个所述子任务发送到消息队列中;
多个服务器自消息队列中获取所述子任务,并对所述子任务进行处理,获取处理结果。
可选的,所述方法还包括:
判断所述处理结果是否为成功,若不成功,则将不成功的子任务发送到消息队列中。
可选的,所述方法还包括:
估算多个所述子任务的执行时间,根据所述执行时间重新编排多个所述子任务发送到消息队列中的顺序。
可选的,所述方法还包括:
根据所述处理结果判断多个服务器的处理能力;
根据所述处理能力配置多个服务器获取所述子任务的概率。
本发明实施例还提供一种批量权益数据处理装置,用以在多个服务器上进行作业,实现对批量权益数据的并行处理,同时将处理压力通过扩展方式分散到多个服务器上,缩短作业时间,提高作业效率,该装置包括:
任务拆分模块,用于根据预设参数条件将批量权益数据处理任务拆分成多个子任务;
任务发送模块,用于将多个所述子任务发送到消息队列中;
任务处理模块,用于使多个服务器自消息队列中获取所述子任务,并对所述子任务进行处理,获取处理结果。
可选的,所述装置还包括:
处理结果判断模块,用于判断所述处理结果是否为成功,若不成功,则将不成功的子任务发送到消息队列中。
可选的,所述装置还包括:
编排模块,用于估算多个所述子任务的执行时间,根据所述执行时间重新编排多个所述子任务发送到消息队列中的顺序。
可选的,所述装置还包括:
处理能力判断模块,用于根据所述处理结果判断多个服务器的处理能力;
概率配置模块,用于根据所述处理能力配置多个服务器获取所述子任务的概率。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明实施例中,通过根据预设参数条件将批量权益数据处理任务拆分成多个子任务,如果某个子任务出现问题,只需重新执行该子任务即可,无需重新执行整个批量权益数据处理任务,即可以实现局部重启。通过将多个子任务发送到消息队列中,使多个服务器自消息队列中获取子任务,并对子任务进行处理,获取处理结果,保证了本发明可以在多个服务器上进行作业,实现对批量权益数据的并行处理,可以将处理压力通过扩展方式分散到多个服务器上,缩短了作业时间,提高了作业效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中批量权益数据处理方法的流程图;
图2为本发明实施例中批量权益数据处理方法的又一流程图;
图3为本发明实施例中批量权益数据处理方法的再一流程图;
图4为本发明实施例中多个服务器配置获取子任务概率的流程图;
图5为本发明实施例中批量权益数据处理装置的结构示意图;
图6为本发明实施例中批量权益数据处理装置的又一结构示意图;
图7为本发明实施例中批量权益数据处理装置的再一结构示意图;
图8为本发明实施例中多个服务器配置获取子任务概率的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
在本说明书的描述中,所使用的“包含”、“包括”、“具有”、“含有”等,均为开放性的用语,即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施,其中的步骤顺序不作限定,可根据需要作适当调整。
图1为本发明实施例提供的批量权益数据处理方法的流程图,如图1所示,该方法包括:
步骤101、根据预设参数条件将批量权益数据处理任务拆分成多个子任务。
在本实施例中,预设参数条件可以为客户号段分组、客户等级、客户所属区域、配置对象等。对于批量权益数据处理任务,举例来说,该任务可以为:给客户等级为1-5级的用户赋予“机场贵宾厅”权益,则其子任务可以为:给客户号段在“0-1000000”的“深圳市”、1级的用户赋予“机场贵宾厅”权益;给客户号段在“0-1000000”的“深圳市”、2级的用户赋予“机场贵宾厅”权益等。
此外,由于该多个子任务是根据预设参数条件进行拆分的,若后续子任务处理出现异常,可以快速定位和分析影响范围。
步骤102、将多个所述子任务发送到消息队列中。
通过将多个所述子任务发送到消息队列中,保证了多个子任务能够实时被处理,提高了作业效率。
步骤103、多个服务器自消息队列中获取所述子任务,并对所述子任务进行处理,获取处理结果。
在本实施例中,每个服务器上有一个或多个处理单元,应用时,一个或多个处理单元自消息队列中获取子任务。为了在处理过程中不依赖其它的服务,处理不同的数据前后没有影响,该处理单元可以为无状态处理单元。无状态处理单元指的是:可以执行完整任务的计算机节点,只根据当前任务信息进行数据处理,不记录数据的状态,可以是同一台机器上的不同运行实例。
具体实施时,对子任务的处理操作包括计算、赋值、逻辑判断、数据库读写、缓存读写等。
由图1可知,本发明实施例提供的批量权益数据处理方法,通过根据预设参数条件将批量权益数据处理任务拆分成多个子任务,如果某个子任务出现问题,只需重新执行该子任务即可,无需重新执行整个批量权益数据处理任务,即可以实现局部重启。通过将多个子任务发送到消息队列中,使多个服务器自消息队列中获取子任务,并对子任务进行处理,获取处理结果,保证了本发明可以在多个服务器上进行作业,实现对批量权益数据的并行处理,可以将处理压力通过扩展方式分散到多个服务器上,缩短了作业时间,提高了作业效率。
图2为本发明实施例提供的批量权益数据处理方法的又一流程图,为了进一步提高作业效率,如图2所示,该方法还包括:
步骤201、判断所述处理结果是否为成功,若不成功,则将不成功的子任务发送到消息队列中。
具体实施时,判断所述处理结果为不成功,则可以在有限的次数内将不成功的子任务发送到消息队列中重新进行后续作业,若超过预设有限次数仍然不成功,则对该任务进行人工处理。
图3为本发明实施例提供的批量权益数据处理方法的再一流程图,为了提高任务处理速度,如图3所示,该方法还包括:
步骤301、估算多个所述子任务的执行时间,根据所述执行时间重新编排多个所述子任务发送到消息队列中的顺序。
图4为本发明实施例为多个服务器配置获取子任务概率的流程图,如图4所示,其包括:
步骤401、根据所述处理结果判断多个服务器的处理能力。
在本实施例中,处理能力可以为处理时长、处理速度等。
步骤402、根据所述处理能力配置多个服务器获取所述子任务的概率。
通过分析多个服务器的处理能力,对处理能力低或异常的服务器,降低其获取子任务的概率,或直接将其下线。
基于同一发明构思,本发明实施例中还提供了一种批量权益数据处理装置,如下面的实施例所述。由于批量权益数据处理装置解决问题的原理与批量权益数据处理方法相似,因此,批量权益数据处理装置的实施可以参见批量权益数据处理方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5为本发明实施例提供的批量权益数据处理装置的结构示意图,如图5所示,该装置包括:
任务拆分模块501,用于根据预设参数条件将批量权益数据处理任务拆分成多个子任务。
任务发送模块502,用于将多个所述子任务发送到消息队列中。
任务处理模块503,用于使多个服务器自消息队列中获取所述子任务,并对所述子任务进行处理,获取处理结果。
图6为本发明实施例提供的批量权益数据处理装置的又一结构示意图,如图6所示,该装置还包括:
处理结果判断模块601,用于判断所述处理结果是否为成功,若不成功,则将不成功的子任务发送到消息队列中。
图7为本发明实施例提供的批量权益数据处理装置的再一结构示意图,如图7所示,该装置还包括:
编排模块701,用于估算多个所述子任务的执行时间,根据所述执行时间重新编排多个所述子任务发送到消息队列中的顺序。
图8为本发明实施例中多个服务器配置获取子任务概率的结构示意图,如图8所示,其包括:
处理能力判断模块801,用于根据所述处理结果判断多个服务器的处理能力;
概率配置模块802,用于根据所述处理能力配置多个服务器获取所述子任务的概率。
本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
综上,本发明实施例提供的批量权益数据处理方法,通过根据预设参数条件将批量权益数据处理任务拆分成多个子任务,如果某个子任务出现问题,只需重新执行该子任务即可,无需重新执行整个批量权益数据处理任务,即可以实现局部重启。通过将多个子任务发送到消息队列中,使多个服务器自消息队列中获取子任务,并对子任务进行处理,获取处理结果,保证了本发明可以在多个服务器上进行作业,实现对批量权益数据的并行处理,可以将处理压力通过扩展方式分散到多个服务器上,缩短了作业时间,提高了作业效率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种批量权益数据处理方法,其特征在于,包括:
根据预设参数条件将批量权益数据处理任务拆分成多个子任务;
将多个所述子任务发送到消息队列中;
多个服务器自消息队列中获取所述子任务,并对所述子任务进行处理,获取处理结果。
2.如权利要求1所述的方法,其特征在于,还包括:
判断所述处理结果是否为成功,若不成功,则将不成功的子任务发送到消息队列中。
3.如权利要求1所述的方法,其特征在于,还包括:
估算多个所述子任务的执行时间,根据所述执行时间重新编排多个所述子任务发送到消息队列中的顺序。
4.如权利要求1所述的方法,其特征在于,还包括:
根据所述处理结果判断多个服务器的处理能力;
根据所述处理能力配置多个服务器获取所述子任务的概率。
5.一种批量权益数据处理装置,其特征在于,包括:
任务拆分模块,用于根据预设参数条件将批量权益数据处理任务拆分成多个子任务;
任务发送模块,用于将多个所述子任务发送到消息队列中;
任务处理模块,用于使多个服务器自消息队列中获取所述子任务,并对所述子任务进行处理,获取处理结果。
6.如权利要求5所述的装置,其特征在于,还包括:
处理结果判断模块,用于判断所述处理结果是否为成功,若不成功,则将不成功的子任务发送到消息队列中。
7.如权利要求5所述的装置,其特征在于,还包括:
编排模块,用于估算多个所述子任务的执行时间,根据所述执行时间重新编排多个所述子任务发送到消息队列中的顺序。
8.如权利要求5所述的装置,其特征在于,还包括:
处理能力判断模块,用于根据所述处理结果判断多个服务器的处理能力;
概率配置模块,用于根据所述处理能力配置多个服务器获取所述子任务的概率。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至4任一项所述方法的计算机程序。
CN202010512097.XA 2020-06-08 2020-06-08 批量权益数据处理方法及装置 Pending CN111679920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010512097.XA CN111679920A (zh) 2020-06-08 2020-06-08 批量权益数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010512097.XA CN111679920A (zh) 2020-06-08 2020-06-08 批量权益数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN111679920A true CN111679920A (zh) 2020-09-18

Family

ID=72435698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010512097.XA Pending CN111679920A (zh) 2020-06-08 2020-06-08 批量权益数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111679920A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732424A (zh) * 2020-12-30 2021-04-30 北京明朝万达科技股份有限公司 一种多任务处理方法方法、系统和介质
CN113407429A (zh) * 2021-06-23 2021-09-17 中国建设银行股份有限公司 一种任务处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012840A (zh) * 2010-12-23 2011-04-13 中国农业银行股份有限公司 一种数据的批量调度方法和系统
US20180232255A1 (en) * 2017-02-16 2018-08-16 Nasdaq Technology Ab Methods and systems of scheduling computer processes or tasks in a distributed system
CN110362401A (zh) * 2019-06-20 2019-10-22 深圳壹账通智能科技有限公司 数据跑批方法、装置、存储介质及集群中的成员主机
CN110443695A (zh) * 2019-07-31 2019-11-12 中国工商银行股份有限公司 数据处理方法及其装置、电子设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012840A (zh) * 2010-12-23 2011-04-13 中国农业银行股份有限公司 一种数据的批量调度方法和系统
US20180232255A1 (en) * 2017-02-16 2018-08-16 Nasdaq Technology Ab Methods and systems of scheduling computer processes or tasks in a distributed system
CN110362401A (zh) * 2019-06-20 2019-10-22 深圳壹账通智能科技有限公司 数据跑批方法、装置、存储介质及集群中的成员主机
CN110443695A (zh) * 2019-07-31 2019-11-12 中国工商银行股份有限公司 数据处理方法及其装置、电子设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732424A (zh) * 2020-12-30 2021-04-30 北京明朝万达科技股份有限公司 一种多任务处理方法方法、系统和介质
CN113407429A (zh) * 2021-06-23 2021-09-17 中国建设银行股份有限公司 一种任务处理方法和装置

Similar Documents

Publication Publication Date Title
CN109918184B (zh) 图片处理系统、方法及相关装置和设备
CN109995877B (zh) 信息推送方法和装置
US20110166952A1 (en) Facilitating dynamic construction of clouds
CN111679920A (zh) 批量权益数据处理方法及装置
CN111083013B (zh) 基于流量回放的测试方法、装置、电子设备及存储介质
CN113312072A (zh) 配置文件更新方法及装置、电子设备和介质
JP2020053013A (ja) 要求処理方法及び装置
CN111782404A (zh) 一种数据处理方法及相关设备
US10318343B2 (en) Migration methods and apparatuses for migrating virtual machine including locally stored and shared data
CN112506581A (zh) 渲染小程序的方法、装置、电子设备和可读存储介质
CN105868070A (zh) 确定任务消耗资源的方法及装置
CN110673959A (zh) 用于处理任务的系统、方法和装置
CN109800078B (zh) 一种任务处理方法、任务分发终端及任务执行终端
US11113117B2 (en) Clustering routines for extrapolating computing resource metrics
WO2019237239A1 (zh) 数据测试方法、装置、设备/终端/服务器及计算机可读存储介质
US11086606B2 (en) System and method for dynamic process flow control based on real-time events
CN111078560B (zh) 基于流量剪枝的测试方法、装置、电子设备及存储介质
CN110221910B (zh) 用于执行mpi作业的方法和装置
CN111597093B (zh) 一种异常处理方法、装置及其设备
CN113274736B (zh) 云游戏资源调度方法、装置、设备及存储介质
CN108062224A (zh) 基于文件句柄的数据读写方法、装置及计算设备
CN111679899B (zh) 任务调度方法、装置、平台设备及存储介质
US11061743B2 (en) Event loop optimization through event ordering
CN111367750B (zh) 一种异常处理方法、装置及其设备
CN116848580A (zh) 用于针对多方对话的话语解析的结构自感知模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918

RJ01 Rejection of invention patent application after publication