CN110347513A

CN110347513A - 热点数据批量调度方法及装置

Info

Publication number: CN110347513A
Application number: CN201910634662.7A
Authority: CN
Inventors: 王前程; 温建波; 佘俊胜
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2019-07-15
Filing date: 2019-07-15
Publication date: 2019-10-18
Anticipated expiration: 2039-07-15
Also published as: CN110347513B

Abstract

本发明提供的热点数据批量调度方法及装置，首先通过对流水号进行取模处理和映射处理，进而得到预定值集合，将预定值集合划分为多个批次，进而将处于同一批次中的预定值所对应的交易数据发送给一个数据处理装置进行处理，从而使得一个热点数据分散至多个数据处理装置进行处理，并且预定值是根据虚拟地区数来确定，从而根据交易流水号可以将热点数据均匀分配，分区不再集中，联机交易插入不会所有记录都争抢同一个分区资源，每N笔交易的分区才相同，可有效降低联机插入热点，提高交易的成功率。

Description

热点数据批量调度方法及装置

技术领域

本发明涉及数据处理技术领域，更具体的，涉及一种热点数据批量调度方法及装置。

背景技术

随着互联网金融的发展，第三方快捷支付业务量呈现爆发式增长，如腾讯财付通“春节微信红包”活动，单日通过中国工商银行股份有限公司交易系统进行快捷支付的最高业务量已达5000多万笔，且第三方支付业务往往集中在某个地区，导致数据分布严重不均、业务热点集中、主机批量处理效率缓慢，这些问题已经成为第三方快捷支付业务的发展瓶颈，严重影响了银行和第三方支付机构的合作。

传统的数据处理方法的突出问题已经不能适应第三方快捷支付技术与应用领域发展的需要，亟待解决。

发明内容

为了解决解决上述不足的至少一个，本申请提供一种热点数据批量调度方法及装置。

在本申请一个方面实施例中，一种热点数据批量调度方法，包括：

从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；

使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；

根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；

按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。

在某些实施例中，在所述预设格式中，所述流水号为处于一设定位置的值，所述从预设格式的多个交易数据中读取各交易数据的流水号，包括：

识别多个交易数据中处于该设定位置的值。

在某些实施例中，所述N的取值范围为20至400。

在某些实施例中，所述根据设定的映射关系对所述取模结果集合进行映射处理，包括：

根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。

在某些实施例中，所述映射关系为：

f(E)＝Min(T_i)+E

其中，T_i表示各批次处理的地区范围，E为所述预定值。

在某些实施例中，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：

按照均匀划分规则将所述预定值集合划分为至少一个批次。

本申请另一方面实施例提供一种热点数据批量调度装置，包括：

读取模块，从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；

取模计算模块，使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；

映射处理模块，根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；

调度模块，按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。

在某些实施例中，在所述预设格式中，所述流水号为处于一设定位置的值，所述读取模块识别多个交易数据中处于该设定位置的值。

在某些实施例中，所述N的取值范围为20至400。

在某些实施例中，所述映射处理模块根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。

在某些实施例中，所述映射关系为：

f(E)＝Min(T_i)+E

其中，T_E表示各批次处理的地区范围，E为所述预定值。

按照均匀划分规则将所述预定值集合划分为至少一个批次。

本申请又一方面实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的方法的步骤。

本申请又一方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的方法的步骤。

本发明具有如下有益效果：

本发明提供的热点数据批量调度方法及装置，首先通过对流水号进行取模处理和映射处理，进而得到预定值集合，将预定值集合划分为多个批次，进而将处于同一批次中的预定值所对应的交易数据发送给一个数据处理装置进行处理，从而使得一个热点数据分散至多个数据处理装置进行处理，并且预定值时根据虚拟地区数来确定，从而根据交易流水号可以将热点数据均匀分配，分区不再集中，联机交易插入不会所有记录都争抢同一个分区资源，每N笔交易的分区才相同，可有效降低联机插入热点，提高交易的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明实施例中热点调度系统结构示意图。

图2示出本发明实施例中热点调度方法流程示意图。

图3示出本发明实施例中图1中热点调度装置的模块示意图。

图4示出本发明实施例中一热点调度场景的具体流程示意图。

图5示出发明实施例中热点数据调度方法与传统旧模式的对比示意图。

图6示出适于用来实现本申请实施例的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图5中旧模式所示，传统的数据分散方法一般是按照交易地区、账号归属地区或账号等进行分区，当某个地区或账号业务量增长较大时，易出现热点和数据严重分布不均，如腾讯财付通业务，数据全部集中在财付通账号归属的深圳地区所在的分区，尤其传统节日期间，量大频高，分区表空间严重不足，主机联机交易插入易形成热点，主机批量单批次处理数据量过大影响整体处理效率。

图1示出了一种热点数据调度处理系统，其包括终端1、第三方系统2、银行平台系统3、热点数据批量调度装置4以及多个数据处理装置5。

终端装置1，用于用户输入交易信息并发起指令，所述的交易信息包括客户卡号或账号、交易金额、交易对手、用途等信息，所述终端装置1包括手机、PAD、PC 等终端设备，所述终端装置1包括手机、PAD、PC等终端设备。

第三方系统2，用于接收、加工、传递终端装置1传入的信息，第三方支付平台从网关接收到信息后，提取交易要素，识别借贷方信息，并加工成一笔笔支付指令，然后将数据传送至银行平台系统3。

银行平台系统3，用于接收第三方系统加工后的数据，并进行进一步的加工，包括生成交易流水号、补充交易地区、网点、操作柜员等信息。加工处理后，将对应交易要素信息传送至主机处理系统的热点数据批量调度装置4。

热点数据批量调度装置4，用于接收银行平台系统3加工后的数据(即交易数据)，完成数据的接收、提取、分批、调度、存储等处理。所述的数据批量调度处理装置4 部署在主机上，该装置的结构将在图3中做进一步的详细说明。

多个数据处理装置5可以是各自对应一个区域，例如深圳、广州的服务器。

图2示出了本申请一个方面实施例热点数据批量调度方法的流程示意图，该具体步骤由上述的热点数据批量调度装置4执行，如图2所示，其具体包括：

S1：从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；

S2：使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；

S3：根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；

S4：按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。

本申请提供的热点数据批量调度方法，首先通过对流水号进行取模处理和映射处理，进而得到预定值集合，将预定值集合划分为多个批次，进而将处于同一批次中的预定值所对应的交易数据发送给一个数据处理装置进行处理，从而使得一个热点数据分散至多个数据处理装置进行处理，并且预定值时根据虚拟地区数来确定，从而根据交易流水号可以将热点数据均匀分配，分区不再集中，联机交易插入不会所有记录都争抢同一个分区资源，每N笔交易的分区才相同，可有效降低联机插入热点，提高交易的成功率。

在一些具体实施例中，在所述预设格式中，所述流水号为处于一设定位置的值，所述从预设格式的多个交易数据中读取各交易数据的流水号，包括：

识别多个交易数据中处于该设定位置的值。

此外，在另一些具体实施例中，所述根据设定的映射关系对所述取模结果集合进行映射处理，包括：

在一些实施例中，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：

按照均匀划分规则将所述预定值集合划分为至少一个批次。

下面结合图3对本申请中的热点数据批量调度装置4进行详细说明。

如图3所示，热点数据批量调度装置，具体包括：

一些实施例中，在所述预设格式中，所述流水号为处于一设定位置的值，所述读取模块识别多个交易数据中处于该设定位置的值。

一些实施例中，所述映射处理模块根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。

读取模块41，用于接收需要处理的数据，所述的数据是经过第三方系统2和银行平台系统3加工后的数据，所述数据包括交易地区号、交易网点号、交易流水号、卡号或账号、交易金额、柜员号等信息；然后从接收到的数据中提取出交易流水号S，所述的交易流水号是指根据第三方支付平台提供的交易指令生成的一个连续的数字，用来表示交易的先后顺序。

取模计算模块42，用于接收读取模块41提取出的交易流水号S，并对交易流水号S取模N，产生特定范围[0，N]内的预定值E。公式为：

E＝Mod(S,N)

其中N表示划分的虚拟地区数，即N为大于0的整数，一些实施例中，N取值的范围是[20，400]，在本发明的优选方案中，N取值为100。

映射处理模块43，对于经过取模计算模块42得到的预定值E，利用并行批量每个批次数据处理地区范围的最小值，并累加E，经过公式转换映射为一个预定值。公式为：

f(E)＝Min(T_i)+E

其中，所述并行批量每个批次，是指数据处理装置批量处理过程中，为提高处理效率，先将批量划分为多个批次以达到并行处理。划分批次的方法采用地区范围的方式，每个批次处理特定范围的记录，有一个地区最大值和地区最小值作为范围界定，不同批次间处理的地区范围无交叉，例如01批次处理数据的范围为[0，101]，02批次处理的数据范围为[102，299]，这样就可以达到并行处理的目标而且不同批次之间相互无影响。

调度模块44，用于对通过映射处理模块43进行映射后得到的预定值集划分批次。分批可采用均匀划分、根据预定规则划分等方法达到数据存储要求与处理时效要求平衡。

数据处理装置5中的调度单元，用于对通过调度模块44进行分批后的数据进行批量作业处理。

下面给出一适用于本申请的具体场景

图4为本发明一种热点数据批量调度处理方法的工作流程图，如图四所示，热点数据批量调度方法的详细步骤如下：

步骤S401：接收需要处理的数据，所述的数据是经过第三方系统2和银行平台系统3加工后的数据，所述数据包括交易地区号、交易网点号、交易流水号、卡号或账号、交易金额、柜员号等信息。

步骤S402：读取交易数据中固定位置的值，提取出交易数据中的交易流水号S，所述的交易流水号是指根据第三方支付平台提供的交易指令生成的一个连续的数字，用来表示交易的先后顺序。

步骤S403：对步骤402得到的交易流水号S对N进行取模运算，得到[0，N]范围的一个值，公式为：

E＝Mod(S,N)

其中N表示划分的虚拟地区数，取值的范围是[20，400]，在本发明的优选方案中，N取值为100。

步骤S404：对步骤S403得到的取模结果进行映射处理，得到特殊地区值。映射处理的方法是利用并行批量每个批次数据处理地区范围T_i，获取对应的最小值，并累加E，经过公式转换映射为一个预定值。公式为：

f(E)＝Min(T_i)+E

步骤S405：对通过步骤S404得到的预定值集进行批次划分，划分批次可采用均匀划分、通过规则划分等方法达到数据存储要求与处理时效要求平衡。

步骤S406：根据步骤S405划分的批次触发后台批量作业调度对数据进行批量作业调度。

步骤S407：对处理后的数据进行存储。

图5示出了本申请的新模式与传统的旧模式之间的对比，可以看出，本申请的数据调度模式使数据平均分配，多数据处理并行，解决了联机插入热点、数据分布不均和主机批量处理效率问题等问题，该发明主要具有如下效果与优点：

(一)有效降低插入热点，提高交易成功率

银行对于主机联机交易的相应时间要求较高，当插入形成热点时会导致部分交易失败。本发明中热点分散方案将顺序发起的联机交易记录均匀分布到到N个数据分区(本发明的优先方案中，N＝100)，如图5中的新模式所示，分区不再集中，联机交易插入不会所有记录都争抢同一个分区资源，每N笔交易的分区才相同，可有效降低联机插入热点，提高交易的成功率。

(二)数据分布均匀，提高空间利用率

针对地区敏感业务，交易往往集中在同一个地区，在此种情况下通过附图5可以看出，旧分区方案中所有数据集中在一个分区。当交易量大时，集中的分区易出现空间不足，而其他分区却可能无数据记录或数据记录极少，根据“木桶定律”，表空间利用率极低。本发明将表空间的所有分区均匀利用，可大大提高存储量，而且可以均匀利用每一个分区。

(三)提高批量处理效率

主机并行批量处理的运行时间取决于最大数据量的处理时间，旧分区方案中，所有数据集中在一个分区，并行时间较长。本发明将数据转换后数据均匀分布到每个分区，进而并行批量每个批次处理的数据量是均匀的，如果并行个数m，处理时间将是原来的1/m。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的由客户端执行的方法，或者，所述处理器执行所述程序时实现如上所述的由服务器执行的方法。

下面参考图6，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。

如图6所示，计算机设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器 (RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604 彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分 609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种热点数据批量调度方法，其特征在于，包括：

2.根据权利要求1所述的热点数据批量调度方法，其特征在于，在所述预设格式中，所述流水号为处于一设定位置的值，所述从预设格式的多个交易数据中读取各交易数据的流水号，包括：

识别多个交易数据中处于该设定位置的值。

3.根据权利要求1所述的热点数据批量调度方法，其特征在于，N的取值范围为20至400。

4.根据权利要求1所述的热点数据批量调度方法，其特征在于，所述根据设定的映射关系对所述取模结果集合进行映射处理，包括：

5.根据权利要求4所述的热点数据批量调度方法，其特征在于，所述映射关系为：

f(E)＝Min(T_i)+E

其中，T_i表示各批次处理的地区范围，E为所述预定值。

6.根据权利要求1所述的热点数据批量调度方法，其特征在于，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：

按照均匀划分规则将所述预定值集合划分为至少一个批次。

7.一种热点数据批量调度装置，其特征在于，包括：

8.根据权利要求7所述的热点数据批量调度装置，其特征在于，在所述预设格式中，所述流水号为处于一设定位置的值，所述读取模块识别多个交易数据中处于该设定位置的值。

9.根据权利要求7所述的热点数据批量调度装置，其特征在于，N的取值范围为20至400。

10.根据权利要求7所述的热点数据批量调度装置，其特征在于，所述映射处理模块根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。

11.根据权利要求10所述的热点数据批量调度装置，其特征在于，所述映射关系为：

f(E)＝Min(T_i)+E

其中，T_i表示各批次处理的地区范围，E为所述预定值。

12.根据权利要求7所述的热点数据批量调度装置，其特征在于，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：

按照均匀划分规则将所述预定值集合划分为至少一个批次。

13.一种热点数据调度处理系统，其特征在于，包括：

热点数据批量调度装置以及多个数据处理装置；

所述热点数据批量处理装置用于：

按照设定划分规则将所述预定值集合划分为至少一个批次；

每个所述数据处理装置接收同一批次中的预定值所对应的交易数据进行数据处理。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的方法的步骤。