CN105786973A - 基于大数据技术的数据并发处理方法及系统 - Google Patents

Abstract

本发明提供的基于大数据技术的数据并发处理方法及系统，其方法包括：a.通过计数器进行并发计数，所述计数器包括多个计数单元；c.批量读取消息队列，查询数据库并删除存在的重复数据；d.对多维度数据进行分组汇总；e.对分组数据进行更新处理；本发明通过超大规模并发处理系统来解决互联网超大规模的用户并发访问的问题，不仅能够通过简单的运维配置实现对平台各种高并发活动的即时支持，而且还能在高并发的同时支持百万级别数据的实时处理。

Description

基于大数据技术的数据并发处理方法及系统

技术领域

本发明涉及通信领域，尤其涉及一种基于大数据技术的数据并发处理方法及系统。

背景技术

电子商务是以信息网络技术为手段，以商品交换为中心的商务活动，通常是指在全球各地广泛的商业贸易活动中，在因特网开放的网络环境下，基于浏览器/服务器应用方式，买卖双方不谋面地进行各种商贸活动，实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动、交易活动、金融活动和相关的综合服务活动的一种新型的商业运营模式。目前，电子商务在我国发展十分迅速，但随着我国网络用户的不断增加，使用电子商务的用户的数量增长速度非常快，相应的需要满足对十分庞大的业务量进行有效的支撑，然而目前我国市场上的主流技术，无法实现在高并发的同时支持大量数据的实时处理(如：微信的发红包等，对单个红包的投放上限有限制)，因此，亟需一种新的方法和系统，来解决上述问题。

发明内容

有鉴于此，本发明提供一种基于大数据技术的数据并发处理方法，以解决上述问题。

本发明提供的基于大数据技术的数据并发处理方法，包括

a.通过计数器进行并发计数，所述计数器包括多个计数单元；

c.批量读取消息队列，查询数据库并删除存在的重复数据；

d.对多维度数据进行分组汇总；

e.对分组数据进行更新处理。

进一步，步骤c之前还包括：

b.计数成功后，触发消息队列发送消息。

进一步，步骤e之后还包括

f.获取所有维度保存成功的队列消息。

进一步，所述步骤e具体包括：

e1.带事务循环批量写入分组数据，以及该组维度下的明细信息，更新汇总值。

进一步，所述步骤e还包括：

e2.写入成功后，在消息中标识对应维度下更新成功，若写入不成功，则调用计数器，延迟时间戳至隐藏时长；

e3.检查是否存在只更新了部分维度的消息，确定是否存在需反冲的数据

e4.若存在，则删除数据库明细，反冲汇总数据。

进一步，所述步骤c还包括，获取出队次数大于1的消息集合，按照队列的消息编号查询数据库。

进一步，所述步骤e3之后还包括：

判断是否存在维度全更新的消息，若存在则批量删除消息。

本发明还提供一种基于大数据技术的数据并发处理系统，包括数据库单元、计数器和调度任务单元；

所述计数器中包括多个串行的计数单元；

所述调度任务单元包括队列消息查询模块、队列消息读取模块、多维度统计分析模块和数据反冲模块。

所述调度任务单元包括消息队列模块、消息读取模块、查询模块、用于对分组数据进行更新处理的写入模块、用于对多维度数据进行分组汇总的分组模块和用于检查是否只更新部分维度消息的检查模块。

进一步，所述调度任务模块还包括消费数据存储模块和用于在所述写入模块写入失败时调用计数器延迟时间戳至隐藏时长的延时模块。

进一步，还包括用于记录反冲数据和删除失败消息的日志模块。

本发明的有益效果：本发明支持大数据下井喷式高并发请求的快速响应，满足了数据的完整、精确性，适用于各种高并发业务、多请求的业务场景，保证了快速响应、高并发处理能力、数值的正确计算，解决了互联网超大规模的用户并发访问的问题，保证了数据各维度的统一性、完整性，不仅能够对平台各种高并发活动的即时支持，而且还能在高并发的同时支持百万级别数据的实时处理。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1是本发明的调度任务流程示意图。

图2是本发明的原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述：图1是本发明的调度任务流程示意图，图2是本发明的原理示意图。

如图1所示，本实施例中的基于大数据技术的数据并发处理方法，包括

a.通过计数器进行并发计数，所述计数器包括多个计数单元；

b.计数成功后，触发消息队列发送消息；

c.批量读取消息队列，查询数据库并删除存在的重复数据；

d.对多维度数据进行分组汇总；

e.对分组数据进行更新处理；

f.获取所有维度保存成功的队列消息。

在本实施例中，计数器包括多个计数单元，多个计数单元采用串行模式，计数器提供一种高效的、精准的、高处理能力的并发处理解决方案，既支持大数据下井喷式高并发请求的快速响应，又满足了数据的完整、精确性，实用于类似于商品抢购、红包发放、在线订单、广告播放这样的高并发业务、多请求的业务场景，保证了快速响应、高并发处理能力、数值的正确计算。计数器由多个串联结构的计数单元组成，本实施例中的计数单元只关心请求对该单元相应维度下数值带来的影响，而不关心请求的复杂度、延伸性操作、数据的如何存储等，通过将业务数据的复杂度、延伸性、时长花费大的存储开销与计数单元隔离开来，减少计数单元与业务间的耦合，才能真正提高处理性能，以支持大数据下高并发请求。当计数单元请求成功后，才会将请求传递给下一个计数单元，直至所有计数单元请求成功后，再将业务环境产生的数据存储至消息队列中，由独立的调度任务单元集中调度最终实现对消息统一、高效的处理。如果某计数单元请求失败时，将自动终止整个业务请求；当某个节点请求失败后，自动终止后续处理，当前节点处理成功后，会将请求传递给后续节点。同时还能将节点间前后影响的数据传递给下一个节点；节点间的调用能支持双向执行，可以从前到后执行，也可从后到前反向执行，通过多个计数单元进行计数操作，如成功则触发队列单元发送消息，完成队列消息的生产。若不成功，则执行反冲操作。发送消息成功后返回操作成功消息，若发送消息失败须告知哪个计数单元出错，及出错的具体原因。

在本实施例中，步骤e具体包括：

e1.带事务循环批量写入分组数据，以及该组维度下的明细信息，更新汇总值。

e2.写入成功后，在消息中标识对应维度下更新成功，若写入不成功，则调用计数器，延迟时间戳至隐藏时长；

e3.检查是否存在只更新了部分维度的消息，确定是否存在需反冲的数据。

e4.若存在，则删除数据库明细，反冲汇总数据。

事务是并发控制的单位，是用户定义的一个操作序列。这些操作是一个不可分割的工作单位。通过事务，SQLServer能将逻辑相关的一组操作绑定在一起，以便服务器保持数据的完整性、一致性。在本实施例中，当系统收到调度请求后，开始批量读取队列消息，成功读取一条及以上的消息后，检查是否存在重复消费的消息数据，当存在重复消费且已处理过的数据，则直接从队列消息中进行删除操作。如果某一维度数据存储失败，其他维度数据不再存储，同时该批操作中对之前成功保存维度的数据进行还原或反冲操作，以保证业务数据在各维度下的一致性、统一性。若所有维度都存储成功，则批量对相应的队列消息进行删除操作，以完成整个消息数据的消费过程。反冲是指一个业务操作会对关联的多个或多组业务数据带来影响，这种影响多个维度间应保持一致性、完整性的原则。当部分维度更新，而部分维度未更新，则违反了一致性原则，此时需要对已更新的维度进行还原处理，这个还原处理过程就称为反冲。在本实施例中，队列中的消息拉取后，在未删除前自动切换为非活跃状态，而非活跃状态时长周期即称为隐藏期，隐藏期内正适用于业务的正常处理。

如图2所示，在本实施例中，步骤c还包括，获取出队次数大于1的消息集合，按照队列的消息编号查询数据库，通过获取出队次数大于1的消息集合，判断是否存在出队的消息，确定存在出队的消息后，开始进行遍历，按照队列的消息编号查询数据库，判断是否存在重复消费的消费数据，若存在则对重复消费的数据进行删除清理。接下来，处理没有被重复消费的消息数据：按照业务需求的多个维度对消息数据进行归类、分析、统计、汇总等操作。并按照各自维度和该维度下要求的事实数据进行逐一存储。如果某一维度数据存储失败，其他维度数据不再存储，同时该批操作中对之前成功保存维度的数据进行还原或反冲操作，以保证业务数据在各维度下的一致性、统一性，若存在需要反冲的数据，则删除数据库明细，反冲汇总数据，并异步记录反冲数据的日志。若所有维度都存储成功，即维度全更新，则批量对相应的队列消息进行删除操作，以完成整个消息数据的消费过程，如果存在部分消息删除失效，则异步删除失败消息的日志。

相应地，本实施例还提供了一种基于大数据技术的数据并发处理系统，包括数据库单元、计数器和调度任务单元；

所述计数器中包括多个串行的计数单元；

所述调度任务单元包括队列消息查询模块、队列消息读取模块、多维度统计分析模块和数据反冲模块。

所述调度任务单元包括消息队列模块、消息读取模块、查询模块、用于对分组数据进行更新处理的写入模块、用于对多维度数据进行分组汇总的分组模块、用于检查是否只更新部分维度消息的检查模块、消费数据存储模块和用于在所述写入模块写入失败时调用计数器延迟时间戳至隐藏时长的延时模块。

本实施例中的基础数据存储使用传统意义上的数据库来保证核心数据的存储、验证、消费日志等数据。为了提高查询与并发效能，还可按业务场景将基础数据存储至中间媒介(如内存块、分布式缓存等)。计数器提供一种高效的、精准的、高处理能力的并发处理解决方案，既支持大数据下井喷式高并发请求的快速响应，又满足了数据的完整、精确性，实用于类似于商品抢购、红包发放、在线订单、广告播放这样的高并发业务、多请求的业务场景，保证了快速响应、高并发处理能力、数值的正确计算。计数器由多个采取串联模式的计数单元组成，计数单元只关心请求对该单元相应维度下数值带来的影响，而不关心请求的复杂度、延伸性操作、数据的如何存储等，只有将业务数据的复杂度、延伸性、时长花费大的存储开销与计数单元隔离开来，减少计数单元与业务间的耦合，才能真正提高处理性能，以支持大数据下高并发请求。当计数单元请求成功后，才会将请求传递给下一个计数单元，直至所有计数单元请求成功后，才将业务环境产生的数据存储至消息队列中，由独立的调度任务单元集中调度最终实现对消息统一、高效的处理。如果某计数单元请求失败时，将自动终止整个业务请求。调度任务单元包括队列消息查询模块、队列消息读取模块、消费数据存储模块、多维度统计分析模块、数据反冲模块等。主要实现对计数器请求生成的业务数据进行存储、分析、汇总、清理、转移、恢复功能。调度任务单元不仅支持对大数据的快速分析与存储等，同时也保证了数据各维度的统一性、完整性，还可对处理频率、数据量、处理周期等进行自定义设置和监控。

在本实施例中，还包括用于记录反冲数据和删除失败消息的日志模块，用于异步记录反冲数据的日志和删除失败消息的记录日志。

在本实施例中，通过简单的运维配置就可以实现对平台各种高并发活动的即时支持，在本实施例中对大数据并发解决方案，提供了专门用于监控、管理和控制的运营维护平台。平台中可监控各主体业务下计数器以及计数单元运行状态，业务值间是否有偏差，偏差的校验与调整。以及对调度任务单元的监控、执行频率的设置、异常跟踪与报警、业务数据统计、执行能力与周期分析，以及调度任务的任务数、开始暂停结束命令的控制等。通过本实施例中的大数据并发处理方法及系统，可以广泛应用于其他各种需要大数据并发处理的互联网平台，可以提高其处理性能，支持大数据下高并发请求。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于大数据技术的数据并发处理方法，其特征在于：包括

a.通过计数器进行并发计数，所述计数器包括多个计数单元；

c.批量读取消息队列，查询数据库并删除存在的重复数据；

d.对多维度数据进行分组汇总；

e.对分组数据进行更新处理。

2.根据权利要求1所述的基于大数据技术的数据并发处理方法，其特征在于：步骤c之前还包括：

b.计数成功后，触发消息队列发送消息。

3.根据权利要求2所述的基于大数据技术的数据并发处理方法，其特征在于：步骤e之后还包括

f.获取所有维度保存成功的队列消息。

4.根据权利要求1所述的基于大数据技术的数据并发处理方法，其特征在于：所述步骤e具体包括：

e1.带事务循环批量写入分组数据，以及该组维度下的明细信息，更新汇总值。

5.根据权利要求4所述的基于大数据技术的数据并发处理方法，其特征在于：所述步骤e还包括：

e2.写入成功后，在消息中标识对应维度下更新成功，若写入不成功，则调用计数器，延迟时间戳至隐藏时长；

e3.检查是否存在只更新了部分维度的消息，确定是否存在需反冲的数据；

e4.若存在，则删除数据库明细，反冲汇总数据。

6.根据权利要求1所述的基于大数据技术的数据并发处理方法，其特征在于：所述步骤c还包括，获取出队次数大于1的消息集合，按照队列的消息编号查询数据库。

7.根据权利要求4所述的基于大数据技术的数据并发处理方法，其特征在于：所述步骤e3之后还包括：

判断是否存在维度全更新的消息，若存在则批量删除消息。

8.一种基于大数据技术的数据并发处理系统，其特征在于：包括数据库单元、计数器和调度任务单元；

所述计数器中包括多个串行的计数单元；

所述调度任务单元包括队列消息查询模块、队列消息读取模块、多维度统计分析模块和数据反冲模块；

所述调度任务单元包括消息队列模块、消息读取模块、查询模块、用于对分组数据进行更新处理的写入模块、用于对多维度数据进行分组汇总的分组模块和用于检查是否只更新部分维度消息的检查模块。

9.根据权利要求8所述的基于大数据技术的数据并发处理系统，其特征在于：所述调度任务模块还包括消费数据存储模块和用于在所述写入模块写入失败时调用计数器延迟时间戳至隐藏时长的延时模块。

10.根据权利要求8所述的基于大数据技术的数据并发处理系统，其特征在于：还包括用于记录反冲数据和删除失败消息的日志模块。