CN110222118A - 基于队列的异步数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种基于队列的异步数据处理方法及装置。该方法包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。该装置包括：获取模块、投递模块、判断模块、读取模块、存储模块。本申请解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。

Description

基于队列的异步数据处理方法及装置

技术领域

本申请涉及物联网技术领域，具体而言，涉及一种基于队列的异步数据处理方法及装置。

背景技术

使用同步的方式上传成绩数据，服务采集数据的并发能力严重受限，一般都要等一个连接处理完成绩数据的统计工作之后，才可以处理下一个的请求，以这种方式处理大量数据上报的情况，必然会遇到服务处理不过来，或者数据丢失的情况，最终影响榜单数据的准确性。

针对相关技术中使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于队列的异步数据处理方法及装置，以解决使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于队列的异步数据处理方法及装置。

根据本申请的基于队列的异步数据处理方法，包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。

进一步的，获取日志数据包括：接收客户端提交的成绩数据；依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

进一步的，判断所述日志数据是否投递成功之后还包括：如果不是，则比对日志数据和原始数据；根据比对结果对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。

进一步的，对所述日志数据执行投递至异步队列的操作包括：使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

进一步的，完成所述日志数据的存储之后还包括：从数据库中解析出成绩数据用于生成榜单排行数值。

为了实现上述目的，根据本申请的另一方面，提供了一种基于队列的异步数据处理装置。

根据本申请的基于队列的异步数据处理装置包括：获取模块，用于获取日志数据；第一投递模块，用于对所述日志数据执行投递至异步队列的操作；第一判断模块，用于判断所述日志数据是否投递成功；第一读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第一存储模块，用于完成所述日志数据的存储。

进一步的，所述获取模块包括：接收单元，用于接收客户端提交的成绩数据；存储单元，用于依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

进一步的，所述判断模块之后还包括：比对模块，用于如果不是，则比对日志数据和原始数据；第二投递模块，用于根据比对结果对所述日志数据执行投递至异步队列的操作；第二判断模块，用于判断所述日志数据是否投递成功；第二读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第二存储模块，用于完成所述日志数据的存储。

进一步的，所述投递模块包括：处理单元，用于使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

进一步的，所述存储模块之后还包括：生成模块，用于从数据库中解析出成绩数据用于生成榜单排行数值。

在本申请实施例中，采用异步数据处理的方式，通过获取日志数据；对日志数据执行投递至异步队列的操作；判断日志数据是否投递成功；如果是，则在异步队列中读取并分析日志数据；完成日志数据的存储，达到了异步数据处理的目的，从而实现了提高服务器处理效率和准确率的技术效果，进而解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的基于队列的异步数据处理方法示意图；

图2是根据本申请第二实施例的基于队列的异步数据处理方法示意图；

图3是根据本申请第三实施例的基于队列的异步数据处理方法示意图；

图4是根据本申请第四实施例的基于队列的异步数据处理方法示意图；

图5是根据本申请第五实施例的基于队列的异步数据处理方法示意图；

图6是根据本申请第一实施例的基于队列的异步数据处理装置示意图；

图7是根据本申请第二实施例的基于队列的异步数据处理装置示意图；

图8是根据本申请第三实施例的基于队列的异步数据处理装置示意图；

图9是根据本申请第四实施例的基于队列的异步数据处理装置示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种基于队列的异步数据处理方法，如图1所示，该方法包括如下的步骤S100至步骤S108：

步骤S100、获取日志数据；

服务器获取日志数据；

服务器通过客户端的成绩数据请求，接收成绩第一用户的成绩数据；

客户端上安装有软件，可以是APP，也可以是h5，通过第一用户在应用软件上的操作，能够实现答题的作用；

外部设备可以为鼠标、触摸屏和声控输入设备；

客户端通过第一用户在应用软件上的操作，将第一用户答题的成绩和答题的时间进行上报请求，服务器进行成绩数据的接收。

比如：当第一用户通过外部设备在应用软件上操作完成后，客户端将第一用户的答题成绩和答题时间一起通过上报请求的方式，上传给远程服务器，从而服务器获取日志数据。

根据本发明实施例，优选的，如图2所示，在步骤S100中，获取日志数据包括：

步骤S200、接收客户端提交的成绩数据；

步骤S202、依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

服务器接收客户端提交的成绩数据，从而实现成绩数据的接收；依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据，通过将成绩数据存储为日志数据，能够实现服务器恢复异常关闭的数据库和保证数据的完整性、一致性，还有可恢复近期丢失的数据，从而提高数据的可靠性。

步骤S102、对所述日志数据执行投递至异步队列的操作；

服务器对日志数据进行执行投递到异步队列，通过投递到异步队列的方式，能够提升服务器的数据处理能力，从而避免因使用同步上传的方式，造成服务器工作效率低下的情况。

根据本发明实施例，优选的，如图4所示，在步骤S102中，对所述日志数据执行投递至异步队列的操作包括：

步骤S400、使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

通过使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去，能够提高服务器的工作效率，同时，通过多种方式进行投递，确保日志数据投递的成功率。

步骤S104、判断所述日志数据是否投递成功；

服务器通过判断，识别日志数据是否投递成功，从而能够实现准确判断的效果，进而提高效率。

根据本发明实施例，优选的，如图3所示，在步骤S104中，判断所述日志数据是否投递成功之后还包括：

步骤S300、如果不是，则比对日志数据和原始数据；

步骤S302、根据比对结果对所述日志数据执行投递至异步队列的操作；

步骤S304、判断所述日志数据是否投递成功；

步骤S306、如果是，则在所述异步队列中读取并分析所述日志数据；

步骤S308、完成所述日志数据的存储。

如果服务器发现投递过程出现错误，则马上可以通过与原始的日志数据比对，根据比对的结果对日志数据执行投递至异步队列的操作，判断所述日志数据是否投递成功，如果是，则在所述异步队列中读取并分析所述日志数据，完成所述日志数据的存储，从而能够实现在投递发生错误时，进行即时的更正，最终完成日志数据的正确存储。

步骤S106、如果是，则在所述异步队列中读取并分析所述日志数据；

如果服务器判断日志数据投递成功，则在异步队列中读取并分析日志数据，能够实现对日志数据的读取和分析，从而完成数据的处理。

步骤S108、完成所述日志数据的存储。

服务器读取和分析完成之后，对日志数据进行存储，从而实现数据保存和防止数据丢失的作用，进而实现可靠的存储效果。

根据本发明实施例，优选的，如图5所示，在步骤S108之后，完成所述日志数据的存储之后还包括：

步骤S110、从数据库中解析出成绩数据用于生成榜单排行数值。

服务器从数据库中解析出成绩数据，从而生成榜单排行数值，进而实现生成准确和高性能的榜单。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用异步数据处理的方式，通过获取日志数据；对日志数据执行投递至异步队列的操作；判断日志数据是否投递成功；如果是，则在异步队列中读取并分析日志数据；完成日志数据的存储，达到了异步数据处理的目的，从而实现了提高服务器处理效率和准确率的技术效果，进而解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。

根据本发明实施例，提供了用于实施上述基于队列的异步数据处理装置，如图6所示，该装置包括：获取模块1，用于获取日志数据；第一投递模块2，用于对所述日志数据执行投递至异步队列的操作；第一判断模块3，用于判断所述日志数据是否投递成功；第一读取模块4，用于如果是，则在所述异步队列中读取并分析所述日志数据；第一存储模块5，用于完成所述日志数据的存储。

服务器获取日志数据；

服务器通过客户端的成绩数据请求，接收成绩第一用户的成绩数据；

客户端上安装有软件，可以是APP，也可以是h5，通过第一用户在应用软件上的操作，能够实现答题的作用；

外部设备可以为鼠标、触摸屏和声控输入设备；

客户端通过第一用户在应用软件上的操作，将第一用户答题的成绩和答题的时间进行上报请求，服务器进行成绩数据的接收。

比如：当第一用户通过外部设备在应用软件上操作完成后，客户端将第一用户的答题成绩和答题时间一起通过上报请求的方式，上传给远程服务器，从而服务器获取日志数据。

服务器对日志数据进行执行投递到异步队列，通过投递到异步队列的方式，能够提升服务器的数据处理能力，从而避免因使用同步上传的方式，造成服务器工作效率低下的情况。

服务器通过判断，识别日志数据是否投递成功，从而能够实现准确判断的效果，进而提高效率。

如果服务器判断日志数据投递成功，则在异步队列中读取并分析日志数据，能够实现对日志数据的读取和分析，从而完成数据的处理。

服务器读取和分析完成之后，对日志数据进行存储，从而实现数据保存和防止数据丢失的作用，进而实现可靠的存储效果。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用异步数据处理的方式，通过获取日志数据；对日志数据执行投递至异步队列的操作；判断日志数据是否投递成功；如果是，则在异步队列中读取并分析日志数据；完成日志数据的存储，达到了异步数据处理的目的，从而实现了提高服务器处理效率和准确率的技术效果，进而解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。

根据本发明实施例，优选的，如图7所示，所述获取模块1包括：接收单元11，用于接收客户端提交的成绩数据；存储单元12，用于依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。服务器接收客户端提交的成绩数据，从而实现成绩数据的接收；依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据，通过将成绩数据存储为日志数据，能够实现服务器恢复异常关闭的数据库和保证数据的完整性、一致性，还有可恢复近期丢失的数据，从而提高数据的可靠性。。

根据本发明实施例，优选的，如图8所示，所述判断模块之后还包括：比对模块，用于如果不是，则比对日志数据和原始数据；第二投递模块7，用于根据比对结果对所述日志数据执行投递至异步队列的操作；第二判断模块8，用于判断所述日志数据是否投递成功；第二读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第二存储模块10，用于完成所述日志数据的存储。如果服务器发现投递过程出现错误，则马上可以通过与原始的日志数据比对，根据比对的结果对日志数据执行投递至异步队列的操作，判断所述日志数据是否投递成功，如果是，则在所述异步队列中读取并分析所述日志数据，完成所述日志数据的存储，从而能够实现在投递发生错误时，进行即时的更正，最终完成日志数据的正确存储。

根据本发明实施例，优选的，如图9所示，所述投递模块包括：处理单元21，用于使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。通过使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去，能够提高服务器的工作效率，同时，通过多种方式进行投递，确保日志数据投递的成功率。

根据本发明实施例，优选的，如图6所示，所述存储模块之后还包括：生成模块13，用于从数据库中解析出成绩数据用于生成榜单排行数值。服务器从数据库中解析出成绩数据，从而生成榜单排行数值，进而实现生成准确和高性能的榜单。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于队列的异步数据处理方法，其特征在于，包括：

获取日志数据；

对所述日志数据执行投递至异步队列的操作；

判断所述日志数据是否投递成功；

如果是，则在所述异步队列中读取并分析所述日志数据；

完成所述日志数据的存储。

2.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，获取日志数据包括：

接收客户端提交的成绩数据；

依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

3.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，判断所述日志数据是否投递成功之后还包括：

如果不是，则比对日志数据和原始数据；

根据比对结果对所述日志数据执行投递至异步队列的操作；

判断所述日志数据是否投递成功；

如果是，则在所述异步队列中读取并分析所述日志数据；

完成所述日志数据的存储。

4.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，对所述日志数据执行投递至异步队列的操作包括：

使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

5.根据权利要求1所述的基于队列的异步数据处理方法，其特征在于，完成所述日志数据的存储之后还包括：

从数据库中解析出成绩数据用于生成榜单排行数值。

6.一种基于队列的异步数据处理装置，其特征在于，包括：

获取模块，用于获取日志数据；

第一投递模块，用于对所述日志数据执行投递至异步队列的操作；

第一判断模块，用于判断所述日志数据是否投递成功；

第一读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；

第一存储模块，用于完成所述日志数据的存储。

7.根据权利要求6所述的基于队列的异步数据处理装置，其特征在于，所述获取模块包括：

接收单元，用于接收客户端提交的成绩数据；

存储单元，用于依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

8.根据权利要求6所述的基于队列的异步数据处理装置，其特征在于，所述判断模块之后还包括：

比对模块，用于如果不是，则比对日志数据和原始数据；

第二投递模块，用于根据比对结果对所述日志数据执行投递至异步队列的操作；

第二判断模块，用于判断所述日志数据是否投递成功；

第二读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；

第二存储模块，用于完成所述日志数据的存储。

9.根据权利要求6所述的基于队列的异步数据处理装置，其特征在于，所述投递模块包括：

处理单元，用于使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

10.根据权利要求6所述的基于队列的异步数据处理装置，其特征在于，所述存储模块之后还包括：

生成模块，用于从数据库中解析出成绩数据用于生成榜单排行数值。