CN108846633A - 一种智能高效的卡任务处理方法 - Google Patents

Abstract

本发明公开了一种智能高效的卡任务处理方法，包括服务调度管理系统和任务执行系统，本发明在解决各种不同卡任务需求方面进行实时任务处理、查询处理、定时任务处理等，能在数十万张卡量上，做到及时、稳定的计算与业务控制，提供高效的实时与准实时能力。

Description

一种智能高效的卡任务处理方法

技术领域

本发明涉及卡片处理技术领域，具体为一种智能高效的卡任务处理方法。

背景技术

目前主要针对公司自有卡片进行交易、查询、分配、圈存、圈提等方面的管理，对每个发起的任务采用独立处理的方式，保证长链条任务能高效、完整、稳定的执行；目前同领域还没有相同解决方案。

发明内容

本发明的目的在于提供一种智能高效的卡任务处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种智能高效的卡任务处理方法，包括服务调度管理系统和任务执行系统，所述服务调度管理系统和任务执行系统之间设置中转系统。

优选的，处理方法包括服务调度管理系统处理和任务执行系统处理；所述服务调度管理系统处理包括如下步骤：

A、服务调度管理系统初始化加载所有卡信息，按照一定的条件对卡进行分组，每组对应多个处理相同任务的任务执行系统，当接收到一张卡的任务时，根据任务的优先级分别进入不的处理流程；

B、高优先级任务会直接下发任务明细到以卡名称作为key的队列中，然后通知任务执行系统立即处理任务；低优先级任务只会存储不会下发通知，当达到业务设置的各种触发标准，才会生成下发通知，处理任务；

C、为防止丢失任务，系统本身会产生一种“空”通知，确保任务执行系统不遗漏任何任务；

D、重组：会对低优先级任务进行相同相关任务合并，把多个任务合并成一个大的任务，再进行下发，避免大批量细小任务堵塞整体任务处理流程。

优选的，所述任务执行系统处理包括如下步骤：

A、任务执行系统接收到通知后会去相应的队列获取真正的任务信息，根据任务内容，进行任务处理；

B、可重入锁：为了使实时任务及时得到执行，研发了可重入锁方案，确保在定时与实时相同卡任务交替过程中，实时任务永远优先于定时任务，所有的定时任务必须给实时任务让行，不阻塞实时任务；

C、根据分组处理任务，多个执行相同组任务的任务执行系统具有主从功能，当主节点宕机后，由从节点立即接管原有主节点工作，不影响任务正常处理，主节点恢复后，主节点变更为从节点。

优选的，所述服务调度管理系统低优先级任务重组算法如下：

a、设定子任务数量阈值；

b、卡1下有相同类型的A任务5条，用A1、A2、A3、A4、A5表示，其中A1具有子任务8条，记为A1-S＝8，同理，假设A2-S＝7，A3-S＝4，A4-S＝10，A5-S＝3，此时若将A1-A5一起合并，那么子任务数量为8+7+4+10+3＝32，已经超过了15这个阈值，所以需要分开合并；

c、从A1-A5中选取A1，发现A1子任务数还没有超过15，那么继续选取A2，此时子任务数为8+7＝15，已经达到阈值，所以将A1、A2作为一个新的小组进行合并，同理，因为A3、A4的子任务数之和为14，还没到阈值，但是如果加上A5的子任务数，就会变成14+3＝17超过阈值，所以此时A5不能选取，只能将A3、A4取出作为新的小组，剩下的A5作为一个小组。

优选的，所述任务执行系统共享隔离锁算法如下：

a、当任务无竞争，直接获取锁，判断锁键是否存在，不存在直接存储当前线程信息并且设置过期时间，通知客户端直接获取到锁；

b、判断锁键是否存在，存在则将重入次数加1，并重新设置过期时间，通知客户端直接获取到锁；

c、被其它任务已经锁定，返回锁有效期的剩余时间，告诉客户端需要等待；

d、如锁键不存在，通知客户端锁已经可用。如果锁不是被当前线程锁定，则不通知客户端端；

e、支持可重入，在解锁时将重入次数需要减1；计算后的重入次数>0，则重新设置过期时间；计算后的重入次数<＝0，则通知客户端锁已经可用。

与现有技术相比，本发明的有益效果是：

(1)本发明在解决大量卡分配任务上的任务处理不及时，单个任务处理缓慢导致整体系统呈现拥堵状态的难点问题上，提出按照相同卡任务进行汇总分组的算法，解决任务处理缓慢，拥堵的问题。按照分组建立多个处理节点，单个任务只会阻塞相同信息的任务，不会影响其他的任务运行。

(2)本发明采用共享隔离锁算法，解决定时任务与实时任务相互影响的问题，保证任务在相互不影响的前提下，能快速最优执行，同时当实时任务到达时能立即挂起定时任务，让出通道给实时任务，直到实时任务执行完毕，恢复原定时任务执行场景。

(3)本发明基于频繁发起的实时任务，且单批次卡量较小的情况下，提出重组算法，把相同卡小批次且不是高优先级的任务按照一定的规则，汇总成为较大的任务，确保系统处理任务的效率。

(4)本发明具有很高的吞吐率以及良好的性能，使得系统能应对并发高，卡任务量大的情况。

附图说明

图1为本发明任务数据流向图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种智能高效的卡任务处理方法，包括服务调度管理系统和任务执行系统，所述服务调度管理系统和任务执行系统之间设置中转系统。处理方法包括服务调度管理系统处理和任务执行系统处理；所述服务调度管理系统处理包括如下步骤：

A、服务调度管理系统初始化加载所有卡信息，按照一定的条件对卡进行分组，每组对应多个处理相同任务的任务执行系统，当接收到一张卡的任务时，根据任务的优先级分别进入不的处理流程；

B、高优先级任务会直接下发任务明细到以卡名称作为key的队列中，然后通知任务执行系统立即处理任务；低优先级任务只会存储不会下发通知，当达到业务设置的各种触发标准，才会生成下发通知，处理任务；

C、为防止丢失任务，系统本身会产生一种“空”通知，确保任务执行系统不遗漏任何任务；

D、重组：会对低优先级任务进行相同相关任务合并，把多个任务合并成一个大的任务，再进行下发，避免大批量细小任务堵塞整体任务处理流程。

本发明中，任务执行系统处理包括如下步骤：

A、任务执行系统接收到通知后会去相应的队列获取真正的任务信息，根据任务内容，进行任务处理；

B、可重入锁：为了使实时任务及时得到执行，研发了可重入锁方案，确保在定时与实时相同卡任务交替过程中，实时任务永远优先于定时任务，所有的定时任务必须给实时任务让行，不阻塞实时任务；

C、根据分组处理任务，多个执行相同组任务的任务执行系统具有主从功能，当主节点宕机后，由从节点立即接管原有主节点工作，不影响任务正常处理，主节点恢复后，主节点变更为从节点。

服务调度管理系统启动是根据分组规则，按照相应策略，使用启动器对任务执行系统进行启动，同时在系统运行过程中，也可以根据任务量多少动态的启动任务执行系统。服务调度管理系统接收到任务后，会产生两种实体，即消息实体与任务实体。消息实体通过消息队列下发到相应的任务执行系统，任务执行系统获取到消息后，找到对应的存储队列获取任务、执行任务。

本发明中，服务调度管理系统低优先级任务重组算法如下：

a、设定子任务数量阈值；

b、卡1下有相同类型的A任务5条，用A1、A2、A3、A4、A5表示，其中A1具有子任务8条，记为A1-S＝8，同理，假设A2-S＝7，A3-S＝4，A4-S＝10，A5-S＝3，此时若将A1-A5一起合并，那么子任务数量为8+7+4+10+3＝32，已经超过了15这个阈值，所以需要分开合并；

c、从A1-A5中选取A1，发现A1子任务数还没有超过15，那么继续选取A2，此时子任务数为8+7＝15，已经达到阈值，所以将A1、A2作为一个新的小组进行合并，同理，因为A3、A4的子任务数之和为14，还没到阈值，但是如果加上A5的子任务数，就会变成14+3＝17超过阈值，所以此时A5不能选取，只能将A3、A4取出作为新的小组，剩下的A5作为一个小组。

本发明中，任务执行系统共享隔离锁算法如下：

a、当任务无竞争，直接获取锁，判断锁键是否存在，不存在直接存储当前线程信息并且设置过期时间，通知客户端直接获取到锁；

b、判断锁键是否存在，存在则将重入次数加1，并重新设置过期时间，通知客户端直接获取到锁；

c、被其它任务已经锁定，返回锁有效期的剩余时间，告诉客户端需要等待；

d、如锁键不存在，通知客户端锁已经可用。如果锁不是被当前线程锁定，则不通知客户端端；

e、支持可重入，在解锁时将重入次数需要减1；计算后的重入次数>0，则重新设置过期时间；计算后的重入次数<＝0，则通知客户端锁已经可用。

综上所述，本发明在解决大量卡分配任务上的任务处理不及时，单个任务处理缓慢导致整体系统呈现拥堵状态的难点问题上，提出按照相同卡任务进行汇总分组的算法，解决任务处理缓慢，拥堵的问题。按照分组建立多个处理节点，单个任务只会阻塞相同信息的任务，不会影响其他的任务运行；本发明采用共享隔离锁算法，解决定时任务与实时任务相互影响的问题，保证任务在相互不影响的前提下，能快速最优执行，同时当实时任务到达时能立即挂起定时任务，让出通道给实时任务，直到实时任务执行完毕，恢复原定时任务执行场景；本发明基于频繁发起的实时任务，且单批次卡量较小的情况下，提出重组算法，把相同卡小批次且不是高优先级的任务按照一定的规则，汇总成为较大的任务，确保系统处理任务的效率；本发明具有很高的吞吐率以及良好的性能，使得系统能应对并发高，卡任务量大的情况。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种智能高效的卡任务处理方法，其特征在于：包括服务调度管理系统和任务执行系统，所述服务调度管理系统和任务执行系统之间设置中转系统。

2.根据权利要求1所述的一种智能高效的卡任务处理方法，其特征在于：处理方法包括服务调度管理系统处理和任务执行系统处理；所述服务调度管理系统处理包括如下步骤：

A、服务调度管理系统初始化加载所有卡信息，按照一定的条件对卡进行分组，每组对应多个处理相同任务的任务执行系统，当接收到一张卡的任务时，根据任务的优先级分别进入不的处理流程；

B、高优先级任务会直接下发任务明细到以卡名称作为key的队列中，然后通知任务执行系统立即处理任务；低优先级任务只会存储不会下发通知，当达到业务设置的各种触发标准，才会生成下发通知，处理任务；

C、为防止丢失任务，系统本身会产生一种“空”通知，确保任务执行系统不遗漏任何任务；

D、重组：会对低优先级任务进行相同相关任务合并，把多个任务合并成一个大的任务，再进行下发，避免大批量细小任务堵塞整体任务处理流程。

3.根据权利要求2所述的一种智能高效的卡任务处理方法，其特征在于：所述任务执行系统处理包括如下步骤：

A、任务执行系统接收到通知后会去相应的队列获取真正的任务信息，根据任务内容，进行任务处理；

B、可重入锁：为了使实时任务及时得到执行，研发了可重入锁方案，确保在定时与实时相同卡任务交替过程中，实时任务永远优先于定时任务，所有的定时任务必须给实时任务让行，不阻塞实时任务；

C、根据分组处理任务，多个执行相同组任务的任务执行系统具有主从功能，当主节点宕机后，由从节点立即接管原有主节点工作，不影响任务正常处理，主节点恢复后，主节点变更为从节点。

4.根据权利要求1所述的一种智能高效的卡任务处理方法，其特征在于:所述服务调度管理系统低优先级任务重组算法如下：

a、设定子任务数量阈值；

b、卡1下有相同类型的A任务5条，用A1、A2、A3、A4、A5表示，其中A1具有子任务8条，记为A1-S＝8，同理，假设A2-S＝7，A3-S＝4，A4-S＝10，A5-S＝3，此时若将A1-A5一起合并，那么子任务数量为8+7+4+10+3＝32，已经超过了15这个阈值，所以需要分开合并；

c、从A1-A5中选取A1，发现A1子任务数还没有超过15，那么继续选取A2，此时子任务数为8+7＝15，已经达到阈值，所以将A1、A2作为一个新的小组进行合并，同理，因为A3、A4的子任务数之和为14，还没到阈值，但是如果加上A5的子任务数，就会变成14+3＝17超过阈值，所以此时A5不能选取，只能将A3、A4取出作为新的小组，剩下的A5作为一个小组。

5.根据权利要求1所述的一种智能高效的卡任务处理方法，其特征在于:所述任务执行系统共享隔离锁算法如下：

a、当任务无竞争，直接获取锁，判断锁键是否存在，不存在直接存储当前线程信息并且设置过期时间，通知客户端直接获取到锁；

b、判断锁键是否存在，存在则将重入次数加1，并重新设置过期时间，通知客户端直接获取到锁；

c、被其它任务已经锁定，返回锁有效期的剩余时间，告诉客户端需要等待；

d、如锁键不存在，通知客户端锁已经可用。如果锁不是被当前线程锁定，则不通知客户端端；

e、支持可重入，在解锁时将重入次数需要减1；计算后的重入次数>0，则重新设置过期时间；计算后的重入次数<＝0，则通知客户端锁已经可用。