CN107833051A - 一种数据统计方法以及系统 - Google Patents

Abstract

本发明提供一种数据统计方法、系统、计算机设备以及计算机可读存储介质，涉及数据处理技术领域。所述方法包括所述信息采集装置监听一目标系统；当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置；当所述数据通道装置有交易写入时，所述数据处理装置取出所述交易，根据所述交易更新所述数据处理装置中的时间变量；将所述交易进行统计计算，将统计结果持续写入数据存储装置。本发明采用了分布式计算和存储思想，使数据处理速度、吞吐量、存取速度有了大幅提高，节省了时间。

Description

一种数据统计方法以及系统

技术领域

本发明关于数据处理技术领域，特别是关于大数据的处理技术，具体的讲是一种数据统计方法、数据统计系统、计算机设备以及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

现有技术中的大数据技术，一般通过扫描日志、流水表的方式取得数据。因为目标系统写日志、记流水表的时间点一般比较靠后，而去读取这些数据的时候，无论是日志还是流水表，基于日志文件和关系表的查询耗时也会比较长，频繁的查询更是会影响到目标系统，所以这种取数据的方式本身就有很大的局限性。通过日志采集、解析、归档等方式来展示数据，技术架构一般采用单点模式。这种方式对目标系统没有改造要求，主动获取需要的信息，进行归纳、统计、展现，仅仅完成了基本功能，各方面性能一般。另外，传统的单点模式技术框架在处理少量交易数据的时候与分布式模式并没有太大差别，但是随着交易量的不断提高，它会越来越无法满足实时统计的要求。

因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。

发明内容

有鉴于此，本发明提供了一种数据统计方法、数据统计系统、计算机设备以及计算机可读存储介质，通过在一目标系统中安装信息采集装置，监听交易并主动发送交易至第三方消息中间件即数据通道装置，采用流式处理方式，及时取得消息中间件的交易，每秒统计交易量，及时写入临时存储介质及数据存储装置，由于在交易发生后的第一时间主动获取并返回交易，采用了分布式计算和存储思想，使数据处理速度、吞吐量、存取速度有了大幅提高，节省了时间。

为了实现上述目的，本发明提供了一种数据统计方法，所述方法包括：

所述信息采集装置监听一目标系统；

当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置；

当所述数据通道装置有交易写入时，所述数据处理装置取出所述交易，根据所述交易更新所述数据处理装置中的时间变量；

将所述交易进行统计计算，将统计结果持续写入数据存储装置。

在本发明的优选实施方式中，根据所述交易更新所述数据处理装置中的时间变量包括：

对所述交易标记时间戳；

判断所述时间戳与所述数据处理装置中的时间变量是否一致；

当判断为是时，将所述交易放入所述数据处理装置的容器中；

当判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置。

在本发明的优选实施方式中，根据所述交易更新所述数据处理装置中的时间变量还包括：

定时器模块每秒触发一次，得到当前时间；

判断所述当前时间与所述时间变量的差值是否小于1；

当判断为是时，返回执行所述定时器模块每秒触发一次，得到当前时间的步骤；

当判断为否时，执行对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置的步骤。

在本发明的优选实施方式中，所述方法还包括：所述协调服务装置协调所述数据通道装置以及数据处理装置。

在本发明的优选实施方式中，所述方法还包括：所述服务器读取所述统计结果。

在本发明的优选实施方式中，所述方法还包括：所述客户端实时展示所述统计结果。

在本发明的优选实施方式中，所述数据通道装置为kafka队列，所述数据处理装置为Storm集群，所述数据存储装置为MongoDB集群，所述协调服务装置为Zookeeper集群。

本发明的目的之一是，提供了一种数据统计系统，所述系统包括信息采集装置、数据通道装置、数据处理装置以及数据存储装置，

其中，所述信息采集装置，用于监听一目标系统，当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置；

所述数据处理装置，用于当所述数据通道装置有交易写入时，取出所述交易，根据所述交易更新所述数据处理装置中的时间变量，并将所述交易进行统计计算，将统计结果持续写入数据存储装置。

在本发明的优选实施方式中，所述数据处理装置包括：

交易标记模块，用于对所述交易标记时间戳；

第一判断模块，用于判断所述时间戳与所述数据处理装置中的时间变量是否一致；

第一处理模块，用于当所述第一判断模块判断为是时，将所述交易放入所述数据处理装置的容器中；

第二处理模块，用于当所述第一判断模块判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置。

在本发明的优选实施方式中，所述数据处理装置还包括：

定时器模块，用于每秒触发一次，得到当前时间；

第二判断模块，用于判断所述当前时间与所述时间变量的差值是否小于1；

第三处理模块，用于当所述第二判断模块判断为是时，返回执行所述定时器模块；

第四处理模块，用于当所述第二判断模块判断为否时，执行所述第二处理模块。

在本发明的优选实施方式中，所述系统还包括协调服务装置，用于协调所述数据通道装置以及数据处理装置。

所述系统还包括服务器，用于读取所述数据存储装置的统计结果。

在本发明的优选实施方式中，所述系统还包括客户端，用于实时展示所述统计结果。

本发明的目的之一是，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种数据统计方法。

本发明的目的之一是，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行一种数据统计方法。

本发明的有益效果在于，提供了一种数据统计方法、数据统计系统、计算机设备以及计算机可读存储介质，通过在一目标系统中安装信息采集装置，监听交易并主动发送交易至第三方消息中间件即数据通道装置，采用流式处理方式，及时取得消息中间件的交易，每秒统计交易量，及时写入临时存储介质及数据存储装置，由于在交易发生后的第一时间主动获取并返回交易，采用了分布式计算和存储思想，使数据处理速度、吞吐量、存取速度有了大幅提高，节省了时间。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据统计系统的结构示意图；

图2为本发明实施例提供的一种数据统计系统中数据处理装置的实施方式一的结构示意图；

图3为本发明实施例提供的一种数据统计系统中数据处理装置的实施方式二的结构示意图；

图4为本发明实施例提供的一种数据统计系统的实施方式二的结构示意图；

图5为本发明提供的具体实施例中数据统计系统的技术架构图；

图6为本发明实施例提供的一种数据统计方法的流程图；

图7为图6中的步骤S103的实施方式一的流程示意图；

图8为图6中的步骤S103的实施方式二的流程示意图；

图9为本发明实施例提供的一种数据统计方法的实施方式二的流程图；

图10为本发明提供的具体实施例中数据统计方法的处理逻辑图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、方法或计算机程序产品。因此，本发明公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

现有技术中，一般是通过日志采集、解析、归档等方式来展示数据，技术架构一般采用单点模式。这种方式对目标系统没有改造要求，主动获取需要的信息，进行归纳、统计、展现，仅仅完成了基本功能，各方面性能一般。

本发明提供一种数据统计系统，对目标系统进行实时数据统计分析，以便及时快速地发现异常、从而降低生产风险。

大数据技术的快速发展，分布式计算、存储和非关系型数据库的广泛应用，为快速计算、快速存取提供了技术支撑，本发明建立在大数据基础之上，针对于传统解决方案的一次创新。

对大数据相关技术科学地整合利用，组合成一个高吞吐和高可用能力的技术架构，结合本发明科学的数据处理逻辑，可以做到交易发生后1秒内完成计算，2秒内展示在统计图表中，比起传统产品在性能上有大幅的提高。本发明主要包含两个层面：一、组建了一个健壮的、高吞吐的技术框架。二、设计了一种快速的数据处理流程。

具体的，图1为本发明实施例提供的一种数据统计系统的结构示意图，请参阅图1，本发明提供的数据统计系统包括信息采集装置101、数据通道装置102、数据处理装置103以及数据存储装置104，

其中，所述信息采集装置101，用于监听一目标系统，当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置102。本发明采用对目标系统安装信息采集装置的方式，在交易发生后的第一时间主动获取并返回数据，节省了时间。

所述数据处理装置103，用于当所述数据通道装置102有交易写入时，取出所述交易，根据所述交易更新所述数据处理装置中的时间变量，并将所述交易进行统计计算，将统计结果持续写入数据存储装置104。

在具体的实施方式中，所述数据通道装置诸如为kafka队列，所述数据处理装置诸如为Storm集群，所述数据存储装置诸如为MongoDB集群。

图2为本发明实施例提供的一种数据统计系统中数据处理装置的实施方式一的结构示意图，请参阅图2，在实施方式一中，所述数据处理装置103包括：

交易标记模块201，用于对所述交易标记时间戳；

第一判断模块202，用于判断所述时间戳与所述数据处理装置中的时间变量是否一致；

第一处理模块203，用于当所述第一判断模块判断为是时，将所述交易放入所述数据处理装置的容器中；

第二处理模块204，用于当所述第一判断模块判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置。

本发明对接收到的交易标记当时的时间戳(精确到秒)，使用一个容器接收交易并统计交易量，当前时间进入下一秒时，就把前一秒的交易清空并写入数据库，这种思路达到的效果就是刚进入当前这一秒时，上一秒的数据已经统计完毕，最大限度上缩短了计算时间。

图3为本发明实施例提供的一种数据统计系统中数据处理装置的实施方式二的结构示意图，请参阅图3，在实施方式二中，数据处理装置还包括：

定时器模块25，用于每秒触发一次，得到当前时间；

第二判断模块206，用于判断所述当前时间与所述时间变量的差值是否小于1；

第三处理模块207，用于当所述第二判断模块判断为是时，返回执行所述定时器模块；

第四处理模块208，用于当所述第二判断模块判断为否时，执行所述第二处理模块。

图4为本发明实施例提供的一种数据统计系统的实施方式二的结构示意图，请参阅图4，在实施方式二中，该系统还包括：

协调服务装置105，用于协调所述数据通道装置以及数据处理装置。由于所述数据通道装置可为kafka队列，所述数据处理装置可为Storm集群，因此在具体的实施例中，可设置协调服务装置(诸如为Zookeeper集群)进行协调处理。

服务器106，用于读取所述数据存储装置的统计结果；

客户端107，用于实时展示所述统计结果。

因此，本发明在目标系统中安装信息采集装置，监听交易并主动发送信息到第三方消息中间件，采用流式处理方式，及时取得消息中间件的数据，每秒统计交易量，及时写入临时存储介质，每秒查询一次临时存储介质，取最新数据后，刷新动态图表。

本发明是一个高实时性、高吞吐、高可用、易扩展的交易信息统计分析方法和系统，用于分析系统的交易运行状况，将统计的交易量、成功率、异常等信息通过动态图表实时地进行展现，为系统的安全运行保驾护航。对大数据相关技术科学地整合利用，形成一个健壮的、快速的技术架构，结合本发明独创的数据处理逻辑，可以做到交易发生后1秒内完成计算，2秒内展示在统计图表中，比起传统产品在性能上有大幅的提高。

本发明使用了分布式的消息队列Kafka、分布式的数据处理框架Storm，它们易于扩展，处理能力强大，不仅具备稳定快速进行数据统计和存储的能力，而且具备高吞吐和高可用能力。

图5为本发明提供的具体实施例中数据统计系统的技术架构图，如图5所示，在该实施例中，所述数据通道装置为kafka队列，所述数据处理装置为Storm集群，所述数据存储装置为MongoDB集群，所述协调服务装置为Zookeeper集群。在本发明的其他实施方式中，storm可被spark streaming替代，后者吞吐设计更高，但是前者实时性高，本实施例中选择storm。

图5所示的具体的实施例中，在目标系统中安装信息采集装置，信息采集装置监听交易，当有交易发生时，立即把交易数据发送至分布式消息队列Kafka。Kafka获得新消息后立即通知Storm读取，进入Storm流式处理：提取、整合、归纳、统计，然后保存至MongoDB中。展示界面使用定时器每隔1000ms读取一次MongoDB，不断取得最新数据刷新动态图表。

本发明采用的大数据具体技术说明如下：

1、Kafka是一个分布式的消息中间件，负责系统间的消息传递，它接收和读取信息的速度非常之快，耗时近乎于零，而且吞吐能力很强，每秒可以处理千万级数据。

2、Storm是一个分布式的流式处理框架，负责监听、接收来自Kafka的数据，并对其分类、统计、持久化等工作，它的处理速度非常快，耗时近乎于零，而且永不宕机，具有自我恢复能力。

3、Zookeeper是一个分布式的分布式应用程序协调服务，它是Kafka和Strom运行的基础软件。

4、MongoDB是一个基于分布式文件存储的数据库，它非常适合实时的插入、更新域查询操作。

因此，本发明采用kafka队列作为第三方消息中间件，它是一个分布式、可扩展的优秀产品，可以满足每秒几千万的数据流入流出。采用Storm作为流式处理的技术框架，它是一个分布式、可扩展的优秀产品，它不仅计算能力强、快，而且高可用，有自动恢复功能，整合使用大数据相关技术，设计了一个合理架构，提供了高效、高吞吐、高可用的技术支撑，发明了一种科学的数据处理流程，最大限度缩短了交易发生到交易展示的时间差，大幅提高实时性能。本发明对大数据相关技术科学地整合利用，组合成一个高吞吐和高可用能力的技术架构，以“快”为目标的数据处理逻辑设计，可以做到交易发生后1秒内完成计算，2秒内展示到动态图表，比起传统产品在性能上有大幅的提高。

此外，尽管在上文详细描述中提及了系统的若干单元模块，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。以上所使用的术语“模块”和“单元”，可以是实现预定功能的软件和/或硬件。尽管以下实施例所描述的模块较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

在介绍了本发明示例性实施方式的验证系统之后，接下来，参考附图对本发明示例性实施方式的方法进行介绍。该方法的实施可以参见上述整体的实施，重复之处不再赘述。

图6为本发明实施例提供的一种数据统计方法的流程图，请参阅图6，该方法包括：

S101：所述信息采集装置101监听一目标系统；

S102：当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置102。

本发明采用对目标系统安装信息采集装置的方式，在交易发生后的第一时间主动获取并返回数据，节省了时间。

S103：当所述数据通道装置102有交易写入时，所述数据处理装置103:取出所述交易，根据所述交易更新所述数据处理装置中的时间变量；

S104：将所述交易进行统计计算，将统计结果持续写入数据存储装置104。

在具体的实施方式中，所述数据通道装置诸如为kafka队列，所述数据处理装置诸如为Storm集群，所述数据存储装置诸如为MongoDB集群。

图7为步骤S103的实施方式一的流程示意图，请参阅图7，在实施方式一中，步骤S103包括：

S201：对所述交易标记时间戳；

S202，判断所述时间戳与所述数据处理装置中的时间变量是否一致；

S203，当判断为是时，将所述交易放入所述数据处理装置的容器中；

S204，当判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置。

本发明对接收到的交易标记当时的时间戳(精确到秒)，使用一个容器接收交易并统计交易量，当前时间进入下一秒时，就把前一秒的交易清空并写入数据库，这种思路达到的效果就是刚进入当前这一秒时，上一秒的数据已经统计完毕，最大限度上缩短了计算时间。

图8为步骤S103的实施方式二的流程示意图，请参阅图8，在实施方式二中，步骤S103还包括：

S301：定时器模块每秒触发一次，得到当前时间；

S302：判断所述当前时间与所述时间变量的差值是否小于1；

S303：当判断为是时，返回执行步骤S301；

S304：当判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置的步骤。

图9为本发明实施例提供的一种数据统计方法的实施方式二的流程图，在实施方式二中，该方法还包括：

S105，协调服务装置协调所述数据通道装置以及数据处理装置。由于所述数据通道装置可为kafka队列，所述数据处理装置可为Storm集群，因此在具体的实施例中，可设置协调服务装置(诸如为Zookeeper集群)进行协调处理。

S106，服务器读取所述数据存储装置的统计结果；

S107，客户端实时展示所述统计结果。

因此，本发明在目标系统中安装信息采集装置，监听交易并主动发送信息到第三方消息中间件，采用流式处理方式，及时取得消息中间件的数据，每秒统计交易量，及时写入临时存储介质，每秒查询一次临时存储介质，取最新数据后，刷新动态图表。

图10为本发明提供的具体实施例中数据统计方法的处理逻辑图，请参阅图10，本发明的数据处理流程包括：

S1：信息采集装置监听中，执行S2

S2：当有交易时，执行S3，没交易时，执行S1。

S3：发送交易到kafka队列。执行S4。

S4：消息队列是否有新数据写入，如果是，执行S5，如果不是，执行S4。

S5：Storm取出消息队列的新数据，标记时间戳，执行S6。

S6：判断时间戳是否与时间变量一致，如果是，执行S7。如果不是执行S8。

S7：把数据放入容器。

S8：把容器中的所有数据写入MongoDB，清空容器。执行S11。

S10：取当前时间戳与之前数据的时间戳判断是否一致，如果一致，执行S8，如果不一致，执行S9。

S9：定时器每秒执行一次，

S11：时间变量更新为最新数据的时间戳。

服务器的定时器，每秒触发一次，查询MongoDB数据，当客户端登录之后，页面展示统计结果。

本发明使用了分布式的消息队列Kafka、分布式的数据处理框架Storm，它们易于扩展，处理能力强大，不仅具备稳定快速进行数据统计和存储的能力，而且具备高吞吐和高可用能力。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种数据统计方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行一种数据统计方法。

本发明技术方案带来的有益效果包括：

1、采用对目标系统安装信息采集装置的方式，在交易发生后的第一时间主动获取并返回数据，节省了时间。

2、采用了分布式计算和存储思想，使数据处理速度、吞吐量、存取速度有了大幅提高，节省了时间。

3、对接收到的数据标记当时的时间戳(精确到秒)，使用一个容器接收数据并统计交易量，当前时间进入下一秒时，就把前一秒的数据清空并写入数据库，这种思路达到的效果就是刚进入当前这一秒时，上一秒的数据已经统计完毕，最大限度上缩短了计算时间。

综上所述，本发明不仅健壮且吞吐量大，而且做到了延时仅两秒就可展现当前真实交易状况，当出现问题时会被更及时发现，从而给运维人员争取到更充裕的应对时间。

对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java HardwareDescription Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated CircuitHardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络系统等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持系统或便携式系统、平板型系统、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子系统、网络PC、小型计算机、大型计算机、包括以上任何系统或系统的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理系统来执行任务。在分布式计算环境中，程序模块可以位于包括存储系统在内的本地和远程计算机存储介质中。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (16)

1.一种数据统计系统，其特征是，所述系统包括信息采集装置、数据通道装置、数据处理装置以及数据存储装置，

其中，所述信息采集装置，用于监听一目标系统，当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置；

所述数据处理装置，用于当所述数据通道装置有交易写入时，取出所述交易，根据所述交易更新所述数据处理装置中的时间变量，并将所述交易进行统计计算，将统计结果持续写入数据存储装置。

2.根据权利要求1所述的系统，其特征是，所述数据处理装置包括：

交易标记模块，用于对所述交易标记时间戳；

第一判断模块，用于判断所述时间戳与所述数据处理装置中的时间变量是否一致；

第一处理模块，用于当所述第一判断模块判断为是时，将所述交易放入所述数据处理装置的容器中；

第二处理模块，用于当所述第一判断模块判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置。

3.根据权利要求2所述的系统，其特征是，所述数据处理装置还包括：

定时器模块，用于每秒触发一次，得到当前时间；

第二判断模块，用于判断所述当前时间与所述时间变量的差值是否小于1；

第三处理模块，用于当所述第二判断模块判断为是时，返回执行所述定时器模块；

第四处理模块，用于当所述第二判断模块判断为否时，执行所述第二处理模块。

4.根据权利要求2或3所述的系统，其特征是，所述系统还包括协调服务装置，用于协调所述数据通道装置以及数据处理装置。

5.根据权利要求4所述的系统，其特征是，所述系统还包括服务器，用于读取所述数据存储装置的统计结果。

6.根据权利要求5所述的系统，其特征是，所述系统还包括客户端，用于实时展示所述统计结果。

7.根据权利要求6所述的系统，其特征是，所述数据通道装置为kafka队列，所述数据处理装置为Storm集群，所述数据存储装置为MongoDB集群，所述协调服务装置为Zookeeper集群。

8.一种通过权利要求1至7任意一项所述的数据统计系统进行数据统计的方法，其特征是，所述方法包括：

所述信息采集装置监听一目标系统；

当所述目标系统有交易时，采集所述交易，并将所述交易发送至所述数据通道装置；

当所述数据通道装置有交易写入时，所述数据处理装置取出所述交易，根据所述交易更新所述数据处理装置中的时间变量；

将所述交易进行统计计算，将统计结果持续写入数据存储装置。

9.根据权利要求8所述的方法，其特征是，根据所述交易更新所述数据处理装置中的时间变量包括：

对所述交易标记时间戳；

判断所述时间戳与所述数据处理装置中的时间变量是否一致；

当判断为是时，将所述交易放入所述数据处理装置的容器中；

当判断为否时，对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置。

10.根据权利要求9所述的方法，其特征是，根据所述交易更新所述数据处理装置中的时间变量还包括：

定时器模块每秒触发一次，得到当前时间；

判断所述当前时间与所述时间变量的差值是否小于1；

当判断为是时，返回执行所述定时器模块每秒触发一次，得到当前时间的步骤；

当判断为否时，执行对所述容器的所有交易进行统计计算，得到统计结果，将所述时间变量更新为所述时间戳，清空所述容器，并将所述统计结果写入所述数据存储装置的步骤。

11.根据权利要求9或10所述的方法，其特征是，所述方法还包括：所述协调服务装置协调所述数据通道装置以及数据处理装置。

12.根据权利要求11所述的方法，其特征是，所述方法还包括：所述服务器读取所述统计结果。

13.根据权利要求12所述的方法，其特征是，所述方法还包括：客户端实时展示所述统计结果。

14.根据权利要求13所述的方法，其特征是，所述数据通道装置为kafka队列，所述数据处理装置为Storm集群，所述数据存储装置为MongoDB集群，所述协调服务装置为Zookeeper集群。

15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8至14任一所述方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求8至14任一所述方法的计算机程序。