CN110264329B

CN110264329B - 高频热点数据处理系统及方法

Info

Publication number: CN110264329B
Application number: CN201910554237.7A
Authority: CN
Inventors: 漆英; 李志勇; 徐忠民; 王卓成
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2022-03-04
Anticipated expiration: 2039-06-25
Also published as: CN110264329A

Abstract

一种高频热点数据处理系统及方法，具体包含：数据发起模块用于接收用户发出的账务处理请求；高频判断模块用于将账务处理请求与预定阈值比较，根据比较结果确认账务处理请求是否为高频请求；系统调度模块用于当账务处理请求为高频请求时，将账务处理请求移交至高频数据处理模块；以及，当账务处理请求不为高频请求时，将账务处理请求移交至原生数据处理系统；高频数据处理模块用于通过数据分布处理获得多个不同区间段的子表，其中子表中包含多条记录；以及判断接收到的账务处理请求类型，根据账务处理请求类型对子表或记录进行处理；原生数据处理系统用于对接收到的账务处理请求进行预设处理。

Description

高频热点数据处理系统及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种针对热点数据进行高频访问和更新的高频热点数据处理系统及方法。

背景技术

目前，许多数据处理系统中数据更新需要根据“基准值”(如账户余额)来判断。随着互联网业务的爆炸性发展，这种数据更新模式容易导致数据热点问题。当热点事件发生时，如热门纪念币发行，采用网上预约抢购方式，每次预约过程需要先访问纪念币库存剩余量，预约成功后需要再更新纪念币库存，由于预约时间相对比较集中，就会发生高并发数据请求，对纪念币库存判断和更新都面临锁等待，纪念币库存量即为“热点数据”，对热点数据的访问和更新，会严重影响整个系统数据处理系统的性能。

发明内容

本发明目的在于提供一种高频热点数据处理系统及方法，能够在不对原生数据处理系统做较大改变的基础上，通过将额度记录分成一系列不同区间段的子表，在每个子表中有若干条记录，并创新一种新模式的额度动态分配和归整策略，实现热点数据的分布处理，解决了热点数据锁瓶颈，提高了系统的并发处理能力。

为达上述目的，本发明所提供的高频热点数据处理系统，具体包含数据发起模块、原生数据处理系统、高频判断模块、系统调度模块和高频数据处理模块；所述数据发起模块用于接收用户发出的账务处理请求；所述高频判断模块用于将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；所述系统调度模块用于当所述账务处理请求为高频请求时，将所述账务处理请求移交至所述高频数据处理模块；以及，当所述账务处理请求不为高频请求时，将所述账务处理请求移交至所述原生数据处理系统；所述高频数据处理模块用于通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；所述原生数据处理系统用于对接收到的所述账务处理请求进行预设处理。

在上述高频热点数据处理系统中，优选的，所述高频数据处理模块包含收入处理模块和支付处理模块；所述收入处理模块用于当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；所述支付处理模块用于当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付。

在上述高频热点数据处理系统中，优选的，所述高频数据处理模块包含数据处理模块，所述数据处理模块包含热点数据初始化单元和数据拆分单元；所述热点数据初始化单元用于将所述账务处理请求中交易额度的数据值分为多个对应不同区间的子表；所述数据拆分单元用于当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。

在上述高频热点数据处理系统中，优选的，所述数据处理模块还包含数据汇集单元；所述数据汇集单元用于当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识。

在上述高频热点数据处理系统中，优选的，所述数据处理模块还包含数据清理单元，所述数据清理单元用于按预定周期清理包含有预定标识的所述记录和/或所述子记录。

在上述高频热点数据处理系统中，优选的，所述高频数据处理模块还包含数据监控模块，所述数据监控模块用于根据所述子表、数据收入的情况、数据支付的情况计算获得各子表中包含预定标识的记录和/或子记录之和，根据各子表中未用记录之和提供数据查询端口。

本发明还提供一种高频热点数据处理方法，所述方法包含：接收用户发出的账务处理请求；将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；当所述账务处理请求为高频请求时，通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；当所述账务处理请求不为高频请求时，通过原生数据处理系统对所述账务处理请求进行预设处理。

在上述高频热点数据处理方法中，优选的，所述判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理包含：当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付。

在上述高频热点数据处理方法中，优选的，当所述账务处理请求为高频请求时，通过数据分布处理获得多个不同区间段的子表包含：根据所述账务处理请求中交易额度的数据值，按预定规则分为多个对应不同区间的子表；当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。

在上述高频热点数据处理方法中，优选的，所述判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理还包含；当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识。

在上述高频热点数据处理方法中，优选的，根据所述账务处理请求类型对所述子表或所述记录进行处理还包含：按预定周期清理包含有预定标识的所述记录和/或所述子记录。

在上述高频热点数据处理方法中，优选的，所述方法还包含：根据所述子表、数据收入的情况、数据支付的情况计算获得各子表中包含预定标识的记录和/或子记录之和，根据各子表中未用记录之和提供数据查询端口。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明的有益技术效果在于：有效解决了高频并发数据处理时导致的关键资源锁等待机制导致的性能问题。且结合本发明可以衍生出变种可以满足不同场景的高频数据处理。如可结合大数据分析对余额进行分表操作，大大提高数据处理匹配命中率。还可以将余额分地区、分节点分配额度之后再分表，以响应不同地区不同的数据处理特点。同时，本发明能够通过提供所述高频数据处理系统的运用模式，在不需要对原有系统进行大规模技术改造的情况下，大大提高系统的数据并发处理能力。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1：一种高频热点数据处理系统的结构图；

图2：高频数据处理模块的结构图；

图3：数据处理模块的结构图；

图4：支付处理模块的功能实现图；

图5：一种高频热点数据处理方法的流程图；

图6：一种高频热点数据处理方法一实施例的的流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提供一种高频热点数据处理系统及方法，能够在不对原生数据处理系统做较大改变的基础上，提高数据处理能力，支持高并发数据处理能力，是一种灵活可插拔式的高频数据处理系统及方法。本技术方案将数据处理时需要判断的“数据基准值”，通过数据分布处理，形成一系列不同区间段的子表。在每个子表中有若干条记录。当发生新的数据请求时，判断数据请求类型及该数据值所处的区间，进行分布式差异化处理，从而避免“锁等待”。如果请求数据(如收入)，则根据该数据值所处的区间，将数据记录插入该子表。如果是输出数据(如支付)，则采用数据匹配的方式，找到一条合适的数据记录完成支付。此模式能够将基于“数据基准值”强判断模式转变为支持高并发的“数据匹配”模式，大大提高数据并发处理能力。

具体的，请参考图1所示，本发明所提供的高频热点数据处理系统，具体包含数据发起模块1、原生数据处理系统2、高频判断模块(未图示)、系统调度模块3和高频数据处理模块4；所述数据发起模块1用于接收用户发出的账务处理请求；所述高频判断模块用于将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；所述系统调度模块3用于当所述账务处理请求为高频请求时，将所述账务处理请求移交至所述高频数据处理模块；以及，当所述账务处理请求不为高频请求时，将所述账务处理请求移交至所述原生数据处理系统；所述高频数据处理模块4用于通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；所述原生数据处理系统2用于对接收到的所述账务处理请求进行预设处理。其中，系统调度模块3分别与原生数据处理系统2和高频数据处理模块4进行连接；系统可以实现可插拔的数据处理，系统调度模块3和高频数据处理模块4是作为旧模式处理系统的可插拔模块，可以大大提高旧模式数据处理的并发数据处理能力。

在上述实施例中，所述数据发起方1，是指提出数据请求方，如客户作为数据发起方向银行发起账务处理；所述原生数据处理系统2为业界传统的数据处理系统，例如银行业界通用的账务数据处理系统，其不具备高频并发数据处理能力，且存在数据热点的原有系统。这类系统在进行数据处理时，都必须基于热点数据进行判断并不断进行更新(update)才能进行数据处理，在并发数据有限的情况下，该类系统能够及时响应数据处理的要求，但当大量并发数据存在时，会因为热点数据“锁等待”导致交易缓慢。但通常产生热点的时刻不是常态，一般由特殊事件和特殊时点才会产生，如“双十一”购物、春节等特殊因素，导致出现交易峰值。所述系统调度模块3，负责协调所述原生数据处理系统2和所述高频数据处理模块4的关系，以及对热点及非热点进行路由；一个完整的数据处理系统既涉及热点(多个)账户也涉及非热点账户，而一个热点账户又通常是指该账户在一个热点时间段的场景(如表1)，故该系统调度模块3的主要功能为：

(1)根据热点账户数据处理切换调度时间表1，在热点时间段的起始点，针对该热点时间段的热点账户，初始化高频数据处理模块4，余额移行并分拆；

(2)在热点时间段，将热点账户的交易路由到高频数据处理模块4处理；

(3)热点时间段后，原热点账户不再是热点了，因此，需要将该账户的数据从高频数据处理模块4移行到原生数据处理系统2中，关闭高频数据处理模块4，该账户交易路由到原生数据处理系统2中处理。

表1

热点账户	热点时间段
		A	11月11日0：00至11月11日24：00
B	1月1日0：00至1月1日24：00
		...	...

所述高频数据处理模块4，通过数据分布处理，形成一系列不同区间段的子表。在每个子表中有若干条记录；当发生新的数据请求时，判断数据请求类型及该数据值所处的区间，进行分布式差异化处理，从而避免“锁等待”；如果请求数据是输入数据(如收入)，则根据该数据值所处的区间，将数据记录插入该子表；如果是输出数据(如支付)，则采用数据匹配的方式，找到一条合适的数据记录完成支付。此模式能够将基于“数据基准值”强判断模式转变为支持高并发的“数据匹配”模式，大大提高数据并发处理能力；后续将结合图2详述，在此不再一一说明。

在本发明一实施例中，所述高频数据处理模块包含收入处理模块和支付处理模块；所述收入处理模块用于当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；所述支付处理模块用于当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付。

在上述实施例中，所述高频数据处理模块还可包含数据处理模块，所述数据处理模块包含热点数据初始化单元和数据拆分单元；所述热点数据初始化单元用于将所述账务处理请求中交易额度的数据值分为多个对应不同区间的子表；所述数据拆分单元用于当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。其中，所述数据处理模块还包含数据汇集单元和数据清理单元；所述数据汇集单元用于当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识；所述数据清理单元用于按预定周期清理包含有预定标识的所述记录和/或所述子记录。

在上述实施例中，所述高频数据处理模块还可包含数据监控模块，所述数据监控模块用于根据所述子表、数据收入的情况、数据支付的情况计算获得各子表中包含预定标识的记录和/或子记录之和，根据各子表中未用记录之和提供数据查询端口。

以下将以实际情况为例对上述高频数据处理模块做进一步解释说明，本领域相关技术人员当可知，该实例仅为便于理解所述高频数据处理模块并不对其具体使用方式及要求做任何限定。

请参考图2所示，本发明所提供的高频数据处理模块，包括：数据存储阵列40、数据处理模块41、数据接收模块42、收入处理模块43、支付处理模块44和数据监控模块45。

所述数据存储阵列40，用于存储如下所述子表A₁，A₂，A₃，......，A_n。该子表均不建索引，各表为物理表。

A_k＝[a_k，a_k+1)中的记录设为x：

；

记录x满足a_k≤x＜a_k+1，并有三种状态：未用、正用、已用。“未用”状态是指表中记录或新增记录，未被处理过；“正用”状态时是指表中的记录满足条件，当需要用到该条记录进行处理时，锁定该条记录，将状态置为正用；“已用”状态是指表中某条记录已经被使用了，则其状态被修改为已用，后续通过一定机制清理。其中a_k、a_k+1为表A_k的边界值，所有a_k≤x＜a_k+1的记录置入表A_k中。

定义t_i，用来标识区间A_i中是否有“未用”的记录，_Ai，t_i存于关系表内，该关系表存储在数据存储阵列40中。

即形成如下判断：

该定义对t_i＝1的要求较弱，加锁情况大大减少：

当t_i＝0时，在对A_i有插入记录时，更新为t_i＝1。此处理无须加锁；当t_i＝1时，若发现无“未用”记录时，则先锁定子表A_i(避免其它并行的影响)，再次确认并更新为t_i＝0，再释放A_i的锁。即确保：当t_i＝0时，A_i中一定无“未用”记录，故处理是必须加锁。

初始化上述A_i及t_i，根据情况进行初始化，如下为实例：

1、此系统中新开的热点账户A，则A_i中无记录及t_i＝0；

2、此系统中热点账户A，由旧系统切换过来的，则应将该账户在旧系统中的余额分拆成若干，分别插入各A_i中，并设t_i＝1。

3、此系统中热点账户作为抢购的总额度(如，纪念币抢购)，则将此总额度视为2中的旧余额，按2处理。

所述数据处理模块41，用于对数据的处理，主要负责有四个功能：热点数据初始化、数据拆分、数据汇集、数据清理。如图3所示，具体说明如下：

所述热点数据初始化4101，将热点账户A依交易额度分为不同的区间，对应不同的子表：

即，定义子表A₁，A₂，A₃，……，A_n。

额度区间为：A_k＝[a_k,a_k+1)；

其中k＝1,2,3,…n，a₁＜a₂＜a₃＜…＜a_n＜a_n+1，且a₁＝0，a_n+1＝max(机器中的最大值，或账户金额最大值)。子区间系列是完备的，即覆盖了(0，max)。

子表对应的区间长度和记录条数不是均等的，可以根据大数据或数据处理预测等手段来确定。目的是为后续的支出，提供更多匹配的收入记录，提高数据处理性能。可根据账户的热度金额范围，对区间进行选取，例如，交易密度大的局部，可以进一步分窄，如，若交易在[1，10)中的密度集中在区间的左侧，则可分为[1，3)、[3，10)，即子表对应的区间不必是等长区间，即取等概率区间，能使其交易量在各区间均匀分布。

所述数据拆分4102，用于将收入子表中高区间的记录分拆成较小区间的记录。当较小区间的支出交易较为高频(是否高频由所述数据监控模块45确定，即交易请求达到监控阈值并持续时间T秒时，判定为高频交易)时，会主动发起分拆，以更好的响应支出：

①找到一条未用的记录a；

②将未用记录a的状态置为“正用”；

③记录b+c＝a，且a_k≤b＜a_k+1，a_k≤c＜a_k+1，则在子表A_k中插入记录b、c，状态为“未用”，修改记录a的状态为“已用”。

所述数据汇集4103，用于将收入子表中小区间的记录汇集成较大区间的记录。当较大区间的支出交易较为高频(是否高频由所述数据监控模块45确定，即交易请求达到监控阈值并持续时间T秒时，判定为高频交易)时，会主动或被动发起汇集，以更好的响应支出，以两条未用的记录为例：

①找到两条未用的记录a、b；

②将两条未用的记录a、b状态置为正用；

③记录c＝a+b，且a_k≤c＜a_k+1，则在子表A_k中插入记录c，状态为“未用”，修改记录a、b的状态为“已用”。

所述数据清理4104，用于对状态为“已用”的记录进行清理，该类记录可以视为“垃圾”数据，通过后台“清道夫”进程定时清理，即定时批量地将“已用”的记录delete掉，并转移到历史记录表中。

所述数据接收模块42，用于处理高频交易中的数据接收，此类数据可以分为两类，一类为入账的数据，以下统称为收入数据，一类为需要扣账的数据，以下统称为支付数据。

该模块主要有两个功能：

将接收到的数据转交给所述收入处理模块43或所述支付处理模块44处理，并将处理的结果反馈给前端用户。

维护并行环境，每收到一个数据，则开一个线程(或进程)处理，即多个收入处理模块43和多个支付处理模块44并行工作。

所述收入处理模块43，处理所述数据接收模块42中收到的收入数据。设所述数据接收模块42中收到的收入数据为x，则一定存在一个k值，使x满足a_k≤x＜a_k+1；

①在子表A_k中插入一条记录x；

②若t_i＝0，则更新为t_i＝1。

收入交易只有记录的插入动作，而表又无索引，所以，该方案支持收入交易在并发时不产生热点和瓶颈。

所述支付处理模块44，处理所述数据接收模块42中收到的支付数据，完成支付。其处理的过程如图4所示，具体描述如下：

所述步骤4401，收到支付交易y，定位支付y所处的区间A_k。即对于支付数据y，设a₁为0，a_n+1为max，且a₁＜a₂＜a₃＜…＜a_n＜a_n+1,可以找到一个k使y处于这个位置：a_k-1＜y≤a_k，即y在区间(a_k-1,a_k]，A_k＝[a_k,a_k+1)。

所述步骤4402，判断在A_k+i(i＝0,1,2...)是否能匹配记录x，为叙述方便，我们定义y的“左边”为A₁，A₂，…，A_k-1；y的“右边”为A_k，A_k+1，…，A_n。显然y“右边”的A_k，A_k+1，…，A_n中的任何记录x，均满足y≤x。下面函数在y“右边”寻找需要的x记录。

find_1(y){

for(A_i:i＝k,k+1,...n)//在y的右侧区间中寻找需要的x记录

{

若t_i＝0，则y“右边”的A_i中“一定”没有“未用”的记录，则看下一个：if(i<n)

{i＝i+1；continue}//继续向右寻找

else return(Not_Find)；//找到头了，没有找到需要的x

//定义Not_Find为null

(1)若t_i＝1，由t_i的意义，表明A_i中“可能”有“未用”的记录。

①若找到一条“未用”记录(Select*from A_i where标志＝“未用”fetch first 1row only成功)；则：

锁该记录；//若锁未成功，则可能是并行时已被其他交易锁定，则重查询

标记它为“正用”，即完成定位，退出定位的for过程，返回该记录x，即return(x)，进入所述步骤4405。

②若没有找到“未用”记录，则触发t_i的状态从t_i＝1向t_i＝0的转换，依前述：先锁定A_i(避免其它并行的影响)，再次确认并更新为t_i＝0，再释放A_i的锁。之后，再继续寻找：i＝i+1；continue；

}//for循环块

}//find_1，函数要么找到x，进入所述步骤4405，要么没有找到(返回Not_Find)，进入所述步骤4403。

所述步骤4403，用于当所述步骤4402未能匹配合适的记录x时，判断在A_k-1区间能否匹配记录x。即：

find_2(y) //已知A_k-1＝[a_k-1,a_k)、y∈(a_k-1,a_k]

{

If(t_k-1＝＝0 or y＝＝a_k)return(Not_Find)；//未找到记录x，进入所述步骤4404。

当y∈(a_k-1,a_k)时，看看在A_k-1中有无一条记录符合要求，即

Select*from A_k-1 where标志＝“未用”and x≥y fetch first 1row only；

若找到，则：

锁该记录； //若锁未成功，则可能是并行时被他人锁，则重查询

标记它为“正用”，即完成定位，退出定位的for过程，返回该记录x，即return(x)，进入所述步骤4405；

否则：return(Not_Find)，进入所述步骤4406。

}

所述步骤4404，是当步骤4403无法找到记录x时，则需对y的左侧区间的记录(该记录均小于y，单条记录无法完成支付)进行汇集：

find_3(y)

{

(1)若t₁，t₂，……，t_k-1全为0，即A₁，A₂，……，A_k-1中全没有“未用”记录。return(Not_Find)；

则退出转出交易，报余额不足。(注：由于是转入、转出大量并发，所以“余额不足”可能是“时点”情况)。

(2)若t₁，t₂，……，t_k-1不全为0，则：

初始：i＝1，x＝0，

While(i<k)//处理A_i，从左至右A₁，A₂，……，A_k-1

{

①若t_i＝0，则i++，continue；//跳过本节点t_i

②若t_i＝1，

调用数据处理模块41的数据汇集功能汇集A_i，并累计，即

且将A_i中参与汇集的x_j记录的状态变为“已用”；

//这里不主动去变更t_i＝0，因为并行可能有插入

if(x≥y){ //即额度“够了”

将x插入应插入的区间，即，若x∈[a_j,a_j+1)，则在A_j中插入纪录x，其状态为“正用”；

return(x)；//进入所述步骤4405。}

else i＝i+1；//不够，继续汇总下一个区间。

}//while

return(Not_Find)；//即搜索完但仍未凑够需要的额度，进入步骤4406。

}//find_3

所述步骤4405，是当所述步骤4402或所述步骤4403或所述步骤4404中存在合适的x时，既可以完成支付，设x₀＝x-y，则如下事务实现支付：

(1)将x记录的状态从“正用”改为“已用”，并释放该记录的锁；

(2)若x₀≠0；则在某A_i(x₀∈A_i)中插入x₀记录，状态为“未用”；

所述步骤4406，是当所述步骤4402、4403、4404均无法找到一个合适x时，则返回无法完成支付。

综上，上述完成过程如下：

对找到的x，设x₀＝x-y，则如下事务实现转出：

(3)将x记录的状态从“正用”改为“已用”，并释放该记录的锁；

(4)若x₀≠0；则在某A_i(x₀∈A_i)中插入x₀记录，状态为“未用”；

}//这样就完成了转出交易的记账。

else return(“当前余额不足”)； //未完成该支付

}

所述数据监控模块45，监控所述数据存储阵列40中的数据情况与所述数据接收模块42中的支付数据情况及所述支付处理模块44的支付情况。根据数据情况做出相应调整。此外数据监控模块45还提供查询“余额”功能，即汇总所述数据存储阵列中，未用数据记录x之和。

1、调节：前述算法中，find_1(y)的及时命中率与数据的分布相关，所述数据监控模块45启动一个后台进程，对数据存储阵列40中的子表A₁，A₂，A₃，……，A_n进行动态监控和调整，以提升前述find_1(y)的命中率。

(1)、收集近期支出额度所在的范围信息，得到支出额度分布；

(2)、定期查看A₁，A₂，A₃，……，A_n中的记录数，得到记录分布；

(3)、将支出额度分布与记录分布进行比较，利用数据处理模块41中的汇集和拆分功能，调整记录分布。

(4)、处理极端情况，例如：

若所述数据监控模块45监控到所述数据接收模块42中的支出数据，发现按前述find_1(y)寻找支付y所需的记录x时，大部分分布在所述数据存储阵列40的A_k区间，但A_k中“未用”的记录数较少或为0。为了提高支付交易的命中效率，则启动所述数据处理模块41进行数据拆分。即找到一条A_k+q(q＞0，k+q≤n)中的“未用”记录x_k+q，这时x_k+q会远远大于x(如x_k+q＞5x)，将x_k+q分拆出较小的若干收入记录x，并插入所述数据存储阵列A_k中。

若所述数据监控模块45监控到所述支付处理模块44中存在支付失败的情况，或者所述数据接收模块42收到的支付数据较多分布在大的数据区间，而所述数据存储阵列40中大区间的可用数据较少时，为了提高支付命中效率，则启动所述数据处理模块41的数据汇集功能对小区间的可用数据记录进行汇集。

待转出金额y，a_k-1＜y≤a_k，且y的“右边”各区间中没有“未用”的记录，这时，我们希望y的“左边”可凑出一个数x来满足y≤x。

2、查询余额，当客户查询该账户余额时或内部机制需要对余额进行定期汇总时，就对其收入账户的所有子区间A_i中的所有“未用”记录x_i进行求和。在大量的并发期间，余额仅仅是“时点”数据。特殊情况，当有大量并发查询余额时(如，国债发行时的余额查询)，可以采取公告牌方式。即按一定的时间间隔更新“余额公告牌”，并将余额查询引导到读取余额公告牌。

请参考图5所示，本发明还提供一种高频热点数据处理方法，所述方法包含：S501接收用户发出的账务处理请求；S502将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；S503当所述账务处理请求为高频请求时，通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；S504当所述账务处理请求不为高频请求时，通过原生数据处理系统对所述账务处理请求进行预设处理。

在上述实施例中，所述判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理包含：当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付。

在上述实施例中，当所述账务处理请求为高频请求时，通过数据分布处理获得多个不同区间段的子表包含：根据所述账务处理请求中交易额度的数据值，按预定规则分为多个对应不同区间的子表；当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。

在本发明一实施例中，所述判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理还包含；当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识。

在本发明一实施例中，根据所述账务处理请求类型对所述子表或所述记录进行处理还包含：按预定周期清理包含有预定标识的所述记录和/或所述子记录。

在本发明一实施例中，所述方法还包含：根据所述子表、数据收入的情况、数据支付的情况计算获得各子表中包含预定标识的记录和/或子记录之和，根据各子表中未用记录之和提供数据查询端口。

为便于理解本发明所提供的高频热点数据处理方法的各实施例，以下请参考图6所示，在此以图6为例对上述各实施例做整体说明：

所述步骤S001数据发起方是指数据请求方，如客户作为数据发起方向银行发起账务处理。

所述步骤S002是否高频请求，主要是系统运维人员根据业务监控或特定事件做出的判断。

所述步骤S003是当运维人员判断当前业务请求不高，则继续在所述2原生数据处理系统进行业务处理。

所述步骤S004是指当系统运维人员根据业务监控或者特定事件判断业务请求频繁且持续一定时间时，则启动所述系统调度模块3，进行初始化所述高频数据处理模块4，余额移行并分拆，数据发起方接入所述数据接收模块42。

所述步骤S005是指当系统运维人员确认是高频数据请求时，启动所述系统调度模块3，将数据发起方路由到所述数据接收模块42。

所述步骤S006是指当数据接收模块接收到数据请求是收入数据x时，则根据x的值找到相应的子表区间A_x。

所述步骤S007具体处理参见所述收入处理模块43的相关处理，主要是指在区间A_x中插入记录x，若A_x区间的可用数据标识t_A＝0，则更改t_A＝1，完成交易。

所述步骤S008收到支付交易y时，则定位支付y所处的区间A_k。即对于支付数据y，设a₁为0，a_n+1为max，且a₁＜a₂＜a₃＜…＜a_n＜a_n+1,可以找到一个k使y处于这个位置：a_k-1＜y≤a_k，即y在区间(a_k-1,a_k]，A_k＝[a_k,a_k+1)。

所述步骤S009判断在A_k+i(i＝0,1,2...)是否能匹配记录x，为叙述方便，我们定义y的“左边”为A₁，A₂，…，A_k-1；y的“右边”为A_k，A_k+1，…，A_n。显然y“右边”的A_k，A_k+1，…，A_n中的任何记录x，均满足y≤x；下面函数在y“右边”寻找需要的x记录，可参考表2所示。

find_1(y){

for(A_i:i＝k,k+1,...n)//在y的右侧区间中寻找需要的x记录

{

(1)若t_i＝0，则y“右边”的A_i中“一定”没有“未用”的记录，则看下一个：if(i<n)

{i＝i+1；continue}//继续向右寻找

else return(Not_Find)；//找到头了，没有找到需要的x

//定义Not_Find为null

(2)若t_i＝1，由t_i的意义，表明A_i中“可能”有“未用”的记录。

标记它为“正用”，即完成定位，退出定位的for过程，返回该记录x，即return(x)，进入所述步骤S012。

}//for循环块

}//find_1，函数要么找到x，进入所述步骤S012，要么没有找到(返回Not_Find)，进入所述步骤S010。

实施例：在支付数据y的右侧找到合适的支付数据x：

表2

所述步骤S010，用于当所述步骤S009未能匹配合适的记录x时，判断在A_k-i区间能否匹配记录x。即：

find_2(y) //已知A_k-1＝[a_k-1,a_k)、y∈(a_k-1,a_k]

{

If(t_k-1＝＝0 or y＝＝a_k) return(Not_Find)； //未找到记录x，进入所述步骤3404。

当y∈(a_k-1,a_k)时，看看在A_k-1中有无一条记录符合要求，即：

Select*from A_k-1where标志＝“未用”and x≥y fetch first 1row only；

若找到，则：

锁该记录； //若锁未成功，则可能是并行时被他人锁，则重查询标记它为“正用”，即完成定位，退出定位的for过程，返回该记录x，即return(x)，进入所述步骤S012；

否则：return(Not_Find)，进入所述步骤S011。

}

实施例：当支付数据y的右侧找不到合适的数据x时，在y所在的区间寻找合适的数据x，请参考表3所示：

表3

所述步骤S011，是当步骤S010无法找记录x时，则需对y的左侧区间的记录(该记录均小于y，单条记录无法完成支付)进行汇集：

find_3(y)

{

(3)若t₁，t₂，……，t_k-1全为0，即A₁，A₂，……，A_k-1中全没有“未用”记录。return(Not_Find)；

(4)若t₁，t₂，……，t_k-1不全为0，则：

初始：i＝1，x＝0，

While(i<k)//处理A_i，从左至右A₁，A₂，……，A_k-1

{

①若t_i＝0，则i++，continue；//跳过本节点t_i

②若t_i＝1，

调用模块10的数据汇集功能汇集A_i，并累计，即

且A_i中参与汇集的x_j记录的状态变为“已用”；

//这里不主动去变更t_i＝0，因为并行可能有插入

if(x≥y){ //即额度“够了”

return(x)； //进入所述步骤S012。}

else i＝i+1； //不够，继续汇总下一个区间。

}//while

return(Not_Find)；//即搜索完但仍未凑够需要的额度，未能完成支付结束交易。

}//find_3

实施例：当支付数据y的右侧和y所在的区间均找不到合适的数据x时，汇集数据记录，形成可支付的记录x，请参考表4所示。

表4

所述步骤S012，是当所述步骤S009或所述步骤S010或所述步骤S011中存在合适的x时，既可以完成支付，设x₀＝x-y，则如下事务实现支付：

(5)将x记录的状态从“正用”改为“已用”，并释放该记录的锁；

若x₀≠0；则在某A_i(x₀∈A_i)中插入x₀记录，状态为“未用”。

本发明所提供的高频热点数据处理系统及方法，有效解决了高频并发数据处理时导致的关键资源锁等待机制导致的性能问题。且结合本发明可以衍生出变种可以满足不同场景的高频数据处理。如可结合大数据分析对余额进行分表操作，大大提高数据处理匹配命中率。还可以将余额分地区、分节点分配额度之后再分表，以响应不同地区不同的数据处理特点。同时，本发明能够通过提供所述高频数据处理系统的运用模式，在不需要对原有系统进行大规模技术改造的情况下，大大提高系统的数据并发处理能力。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种高频热点数据处理系统，其特征在于，所述系统包含数据发起模块、原生数据处理系统、高频判断模块、系统调度模块和高频数据处理模块；

所述数据发起模块用于接收用户发出的账务处理请求；

所述高频判断模块用于将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；

所述系统调度模块用于当所述账务处理请求为高频请求时，将所述账务处理请求移交至所述高频数据处理模块；以及，当所述账务处理请求不为高频请求时，将所述账务处理请求移交至所述原生数据处理系统；

所述高频数据处理模块用于通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；

所述原生数据处理系统用于对接收到的所述账务处理请求进行预设处理；

所述高频数据处理模块包含收入处理模块和支付处理模块；

所述收入处理模块用于当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；

所述支付处理模块用于当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付；

所述高频数据处理模块包含数据处理模块，所述数据处理模块包含热点数据初始化单元和数据拆分单元；

所述热点数据初始化单元用于将所述账务处理请求中交易额度的数据值分为多个对应不同区间的子表；

所述数据拆分单元用于当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。

2.根据权利要求1所述的高频热点数据处理系统，其特征在于，所述数据处理模块还包含数据汇集单元；

所述数据汇集单元用于当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识。

3.根据权利要求1所述的高频热点数据处理系统，其特征在于，所述数据处理模块还包含数据清理单元，所述数据清理单元用于按预定周期清理包含有预定标识的所述记录和/或所述子记录。

4.根据权利要求1所述的高频热点数据处理系统，其特征在于，所述高频数据处理模块还包含数据监控模块，所述数据监控模块用于根据所述子表、数据收入的情况、数据支付的情况计算获得各子表中包含预定标识的记录和/或子记录之和，根据各子表中未用记录之和提供数据查询端口。

5.一种高频热点数据处理方法，其特征在于，所述方法包含：

接收用户发出的账务处理请求；

将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；

当所述账务处理请求为高频请求时，通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；

当所述账务处理请求不为高频请求时，通过原生数据处理系统对所述账务处理请求进行预设处理；

所述判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理包含：

当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；

当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付；

当所述账务处理请求为高频请求时，通过数据分布处理获得多个不同区间段的子表包含：

根据所述账务处理请求中交易额度的数据值，按预定规则分为多个对应不同区间的子表；

当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。

6.根据权利要求5所述的高频热点数据处理方法，其特征在于，所述判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理还包含；

当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识。

7.根据权利要求5所述的高频热点数据处理方法，其特征在于，根据所述账务处理请求类型对所述子表或所述记录进行处理还包含：按预定周期清理包含有预定标识的所述记录和/或所述子记录。

8.根据权利要求5所述的高频热点数据处理方法，其特征在于，所述方法还包含：根据所述子表、数据收入的情况、数据支付的情况计算获得各子表中包含预定标识的记录和/或子记录之和，根据各子表中未用记录之和提供数据查询端口。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求5至8任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求5至8任一所述方法的计算机程序。