CN206021244U - 一种分布式计算机集群下的数据采集系统 - Google Patents

Abstract

一种分布式计算机集群下的数据采集系统，包含：消息转发模块、存储模块和多个信息收集模块；多个消息收集模块分别设置于多个业务系统的应用服务器上，用于检测应用服务器的数据状态，当数据状态发生变化时，采集应用服务器上的增量数据；消息转发模块与多个消息收集模块相连，用于收集多个消息收集模块获得的增量数据，将多个增量数据分别补充处理后合并为更新数据；存储模块与消息转发模块相连，用于将更新数据与存储的历史数据比对合并后根据数据类型存储。通过并发提升了数据传输的效率；通过内存队列为大集群的数据传输提供了顺序性、完整性和可靠性；以“只读+监控”的方式访问数据流，极大的降低了本系统与各业务系统的耦合度。

Description

一种分布式计算机集群下的数据采集系统

技术领域

本实用新型涉及计算机数据传输领域，尤指一种分布式计算机集群下的数据采集系统。

背景技术

随着分布式计算、网格计算和并行计算等技术的发展，银行计算机系统越来越朝着分布式集群方向演化，由多台不同类型的计算机协作配合，完成对业务的处理。

在银行系统的计算机集群中，数据分散在各个计算机上，数据的集中采集比较困难，比如日志信息。目前通用的数据采集方法是设立专门的应用系统去集中采集数据，为避免给计算机集群系统带来性能压力，该类数据采集系统一般都是定期、批量方式去获取各计算机上的源数据，数据获取不及时；同时，为了能准确获取各类数据，还必须人工区分各类数据的来源路径、采集频率等，流程复杂且容易出错，一旦数据出错，又很难发现错误源来自哪个环节。因此，现有的分布式计算机集群环境下的数据采集方法存在不及时、易出错的缺陷，已经无法满足实际应用需要。

实用新型内容

本实用新型提出了一种分布式计算机集群下的数据采集系统，可以及时在集群中不同的计算机上获取多种来源数据，大幅缩短数据采集的时间，提高数据采集的效率，同时采用负载均衡单元和内存队列等技术手段，不影响计算机集群系统的稳定性，在具有通用性的前提下，与业务系统隔离，降低了业务系统的改造成本。

为达上述目的，本实用新型所提供的一种分布式计算机集群下的数据采集系统，具体包含：消息转发模块、存储模块和复数个信息收集模块；所述复数个消息收集模块分别设置于复数个业务系统的应用服务器上，用于检测所述应用服务器的数据状态，当所述数据状态发生变化时，采集所述应用服务器上的增量数据；所述消息转发模块与所述复数个消息收集模块相连，用于收集所述复数个消息收集模块获得的增量数据，将复数个增量数据分别补充处理后合并为更新数据；所述存储模块与所述消息转发模块相连，用于将所述更新数据与存储的历史数据比对合并后根据数据类型存储。

在上述分布式计算机集群下的数据采集系统中，优选的，所述系统还包含数据加工模块，所述数据加工模块与所述存储模块相连，用于分析处理所述更新数据和历史数据合并后的数据。

在上述分布式计算机集群下的数据采集系统中，优选的，所述数据加工模块包含分析单元、计算单元和归档单元；所述分析单元用于分析获取所述更新数据和历史数据合并后的数据的数据属性；所述计算单元与所述归档单元用于根据所述数据属性将所述更新数据和历史数据合并后的数据归档处理。

在上述分布式计算机集群下的数据采集系统中，优选的，所述消息转发模块还包含补充单元，所述补充单元用于将发送所述增量数据的应用服务器的发送端信息和发送时间补充至所述增量数据中。

在上述分布式计算机集群下的数据采集系统中，优选的，所述消息转发模块还包含负载均衡单元和复数台内存队列单元；所述负载均衡单元分别与所述信息收集模块和内存队列单元相连，用于接收所述增量数据以及周期检查复数个内存队列单元使用状态，当所述负载均衡单元接收到所述增量数据后，根据所述内存队列单元使用状态分配至少两台内存队列单元对所述增量数据进行处理；所述内存队列单元用于将所述增量数据转发至所述存储模块。

在上述分布式计算机集群下的数据采集系统中，优选的，所述负载均衡单元包含状态收集装置、通信装置和分配装置；所述状态收集装置用于获取当前内存队列单元的使用状态；所述通信装置用于提供所述消息转发模块与复数个信息收集模块的短连接数据通道；所述分配状态用于根据内存队列单元的使用状态分配内存队列。

在上述分布式计算机集群下的数据采集系统中，优选的，状态收集装置包含计时器，所述计时器用于根据预置周期触发所述状态收集装置获取当前内存队列单元的使用状态。

在上述分布式计算机集群下的数据采集系统中，优选的，所述信息收集模块包含监控单元，所述监控单元用于监控应用服务器的数据状态，当所述数据状态发生变化时输出触发信号。

在上述分布式计算机集群下的数据采集系统中，优选的，所述信息收集模块包含信息采集单元，所述信息采集单元用于根据所述触发信号采集所述应用服务器上的增量数据。

在上述分布式计算机集群下的数据采集系统中，优选的，所述增量数据包含业务类型信息以及交易数据。

本实用新型的有益技术效果在于：通过并发提升了数据传输的效率；通过内存队列为大集群的数据传输提供了顺序性、完整性和可靠性；以“只读+监控”的方式访问数据流，无论业务系统如何设计，只要有可读的数据流，即可实现增量的数据收集；极大的降低了本系统与各业务系统的耦合度。

附图说明

此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分，并不构成对本实用新型的限定。在附图中：

图1为本实用新型所提供的分布式计算机集群下的数据采集系统结构示意图；

图2A为本实用新型所提供的分布式计算机集群下的数据采集方法流程示意图；

图2B为本实用新型所提供的分布式计算机集群下的数据采集方法一实例流程示意图；

图3为本实用新型所提供的分布式计算机集群下的数据采集方法中增量获取数据流程示意图；

图4为本实用新型所提供的分布式计算机集群下的数据采集方法中消息转发流程示意图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本实用新型做进一步详细说明。在此，本实用新型的示意性实施例及其说明用于解释本实用新型，但并不作为对本实用新型的限定。

请参考图1所示，本实用新型还提供一种分布式计算机集群下的数据采集系统，所述系统包含：消息转发模块、存储模块和复数个信息收集模块；所述复数个消息收集模块分别设置于复数个业务系统的应用服务器上，用于检测所述应用服务器的数据状态，当所述数据状态发生变化时，采集所述应用服务器上的增量数据；所述消息转发模块与所述复数个消息收集模块相连，用于收集所述复数个消息收集模块获得的增量数据，将复数个增量数据分别补充处理后合并为更新数据；所述存储模块与所述消息转发模块相连，用于将所述更新数据与存储的历史数据比对合并后根据数据类型存储。其中，所述增量数据包含业务类型信息以及交易数据。

在上述实施例中，所述信息收集模块包含监控单元和信息采集单元，所述监控单元用于监控应用服务器的数据状态，当所述数据状态发生变化时输出触发信号；所述信息采集单元用于根据所述触发信号采集所述应用服务器上的增量数据。

在上述实施例中，所述系统还包含数据加工模块，所述数据加工模块与所述存储模块相连，用于分析处理所述更新数据和历史数据合并后的数据。其中，所述数据加工模块可根据实际需要选择添加，其作用在于帮助进一步处理存储的数据，便于后期其他业务系统使用时，能够较快读取。其中，所述数据加工模块还可包含分析单元、计算单元和归档单元；所述分析单元用于分析获取所述更新数据和历史数据合并后的数据的数据属性；所述计算单元与所述归档单元用于根据所述数据属性将所述更新数据和历史数据合并后的数据归档处理。

在上述实施例中，所述消息转发模块还包含负载均衡单元和复数台内存队列单元；所述负载均衡单元分别与所述信息收集模块和内存队列单元相连，用于接收所述增量数据以及周期检查复数个内存队列单元使用状态，当所述负载均衡单元接收到所述增量数据后，根据所述内存队列单元使用状态分配至少两台内存队列单元对所述增量数据进行处理；所述内存队列单元用于将所述增量数据转发至所述存储模块。

在上述实施例中，所述负载均衡单元包含状态收集装置、通信装置、补充单元和分配装置；所述状态收集装置用于获取当前内存队列单元的使用状态；所述通信装置用于提供所述消息转发模块与复数个信息收集模块的短连接数据通道；所述分配状态用于根据内存队列单元的使用状态分配内存队列；所述补充单元用于将发送所述增量数据的应用服务器的发送端信息和发送时间补充至所述增量数据中。

其中，所述状态收集装置还可包含计时器，所述计时器用于根据预置周期触发所述状态收集装置获取当前内存队列单元的使用状态。

为更清楚的说明上述实施例，以下结合图1对本实用新型所提供的分布式计算机集群下的数据采集系统做进一步说明。

本实用新型所提供的系统由信息收集模块101、消息转发模块102、存储模块103、数据加工模块104构成，其中：

信息收集模块101：部署于多台业务系统的应用服务器上，用于获取该服务器的交易数据等；信息收集模块101从服务器日志中读取数据信息，并为每一笔日志数据补充数据源信息，如服务器信息、业务类型信息，再转发到消息转发模块102；该信息收集模块101通过监控数据流的状态及数据位置，实现在各应用服务器上对数据的增量获取，以较小的代价，获得新增数据，减少了数据的判断量和传输量；有利于在大规模集群中收集数据。

消息转发模块102：负责接收信息收集模块101发送来的消息数据，并进行转发；消息转发模块102通过负载均衡单元与各应用服务器的信息收集模块101实现短连接，负载均衡单元后设置了多台消息队列单元，以支持海量的连接请求。各消息队列会将接收到的数据信息记录到内存而非磁盘上，以保证快速的读写性能。一条消息会记录到两个不同的队列上，以保证消息的可靠性。

存储模块103：从消息转发模块102获取增量数据，并将增量数据保存到外部存储，保存过程需进行增量数据与存量数据的合并。

数据加工模块104：负责对采集的数据进行加工处理，包括分析、计算及归档，以提供给后续系统使用数据。

更进一步的，上述消息转发器102包括负载均衡单元、内存队列单元，其中：

负载均衡单元分别与信息收集装置101和内存队列单元连接，定期检查内存队列单元中各内存队列的可用性；当负载均衡单元接收到信息收集装置101发送的信息，即从可用的内存队列中随机挑选空闲或负荷压力较小的两台，将信息转发到这两台内存队列；如此可将信息收集模块101发送的信息均匀地分摊到多台内存队列上，可极大提升消息转发模块102的吞吐能力。

内存队列由定制的分布式消息队列组成，每个消息队列的实例从信息数据收集装置101获得新消息，并转发到存储器103。该内存队列自行维护一块内存，并将收到的消息保存到内存中，以保证读写性能。为了防止宕机引起内存中的消息丢失，在写入消息时，将消息写到两条不同的内存队列上。

为更清楚的解释上述分布式计算机集群下的数据采集系统的使用方法，以下以图2A所示的分布式计算机集群下的数据采集系统的使用流程图作简要说明，该数据采集系统的使用方法具体包含：复数个消息收集模块分别检测复数个应用服务器的数据状态，当任一所述应用服务器的所述数据状态发生变化时，对应的所述消息收集模块采集所述应用服务器上的增量数据；通过消息转发模块将所述消息收集模块发送的复数个增量数据分别补充处理后合并为更新数据；存储模块将所述更新数据与存储的历史数据比对合并后根据数据类型存储。

在上述实施例中，所述数据状态发生变化时，对应的所述消息收集模块采集所述应用服务器上的增量数据包含：所述信息收集模块初始化后获取交易数据的数据来源；根据所述数据来源以数据流的方式访问数据源并记录数据流状态及读取位置；监控所述数据流状态，当所述数据发生变化时获得所述增量数据。

其中将复数个增量数据分别补充处理后合并为更新数据包含：将补充处理后且为同一消息收集模块发送的多条增量数据按时间先后顺序合并一条更新数据和/或将补充处理后且为复数个消息收集模块发送的多条增量数据按时间先后顺序合并一条更新数据；例如，根据时间顺序先后，将多个增量数据整合为一条数据，以此降低发送数据量，或者根据应用服务器的标识信息，将各应用服务器发送的增量数据分别整合，使其发送的多条增量数据归为一条，以此后期补充标注时，仅需补充增量数据的发送时间即可；其中，上述增量数据包含业务类型信息以及交易数据。

为更便于理解上述实施例，请参考图2B所示，将本实用新型所提供的分布式计算机集群下的数据采集方法运用到实际工作中，具体可如下操作：

步骤201：部署在应用服务器上的信息收集模块检测服务器的数据变动状态，每当有变动事件，即触发数据采集过程；

步骤202：信息收集模块获取变化的增量数据，并以数据流的方式，将增量数据发送到消息转发模块。

步骤203：消息转发模块收集来自各个应用服务器信息收集模块发送的增量数据，并将这些数据按时间顺序合并到一条数据流中。

步骤204：在消息转发模块中，需要对收集的数据做处理，主要是为各条数据补充来源信息，标注数据的来源、时间、类型等。

步骤205：存储模块从消息转发模块中读出一条消息，以消息来源、时间为主键，将消息记入数据库，做持久化。

步骤206：数据加工模块根据业务需要，以异步方式，对数据做分析和计算。

在本实用新型一优选的实施例中，所述通过消息转发模块将所述消息收集模块发送的复数个增量数据分别补充处理后合并为更新数据包含：所述消息转发模块获取所述增量数据的日志；根据所述增量数据，对所述日志中每行记录补充发送所述增量数据的应用服务器的发送端信息和发送时间；其后，将补充处理后的所述记录按时间顺序合并为更新数据；查询当前所有内存队列的使用状态，根据所述内存队列使用状态分配至少两个内存队列发送所述更新数据；所述两个内存队列包含第一内存队列和第二内存队列；以时间先后顺序将所述更新数据中所有记录依次写入所述第一内存队列，当写入第一内存队列成功时，将写入成功的记录写入第二内存队列中，当写入第二内存队列成功后转存至存储模块；其中，当所述更新数据中的记录写入第一内存队列失败时或写入第二内存队列失败时，将写入失败的记录重新写入所述第一内存队列。

在上述实施例中，所述增量数据的获取流程可如图3所示，具体步骤如下：

步骤301：信息收集模块启动后，需做初始化，以清除非必要的数据残留，其后明确需监控的数据来源。

步骤302：信息收集模块搜索每一个目标数据来源，以数据流的方式访问每一个数据源，并记录数据流状态及读取位置。

步骤303：信息收集模块不断监控数据流的状态和数据的状态：如果目标服务器的操作系统支持，可以监控数据变动事件；否则以轮询方式查询是否有数据变化。

步骤304：如果数据发生变化，意味着同一条数据流中有新数据写入，需获取增量数据，则返回步骤302重新记录数据流状态和读取位置进行监控。

步骤305：如果数据流发生了变化，意味着旧数据流被关闭，并生成了新的数据流；则将监控转移到新的数据流上，重新获取并记录数据流状态及数据位置，并返回步骤302。

在上述实施例中，所述消息转发模块的工作流程可如图4所示，具体步骤如下：

步骤403：消息转发模块从消息源中按行获取增量的日志，每行日志为一条记录。

步骤404：消息转发模块为每条记录补充发送端的信息，主要是发送机器的MAC及发送时间。

步骤405：消息转发模块通过负载均衡单元，获得至少两条可用的内存队列。

步骤406：消息转发模块尝试将记录写入内存队列1，如失败，则本条记录发送失败；如成功，则继续尝试将消息写入内存队列2。

步骤407：消息转发模块尝试将记录写入内存队列2，如失败，则本条记录发送失败；如成功，则认为该记录记入队列。

步骤408：消息在记入内存队列时失败，稍候将尝试继续发送该消息。

步骤409：消息成功记入内存队列，等待转存到存储模块。

其中，内存队列数量可根据实际需要预置不同数量，工作流程依然如上操作，日志中每一条记录依次流经第一内存队列、第二内存队列等，最后再转存至存储模块。

本实用新型所提供的分布式计算机集群下的数据采集系统与现有的传输方式相比，其优点主要从以下几个方面：

1)提高数据传输效率。大规模的计算机集群往往拥有各种不同类型的服务器、网络、操作系统及应用系统，由于通信协议、数据格式、应用版本不统一，传统方法只能按业务将大集群划分为组，在组内实现数据收集和分析。本实用新型提供了一种在大型计算机集群中并发传输数据的方法，通过并发提升了数据传输的效率。

2)保证了信息的顺序性和完整性。在大规模集群中传输数据，数据的顺序和完整非常重要，数据错序、遗漏或重复会得到错误的分析结果。传统方法难以避免人为误差、系统误差带来的错序、遗漏或重复。本方法通过内存队列为大集群的数据传输提供了顺序性、完整性和可靠性。

实现了与各应用系统的无缝结合。传统方法需要关闭数据流才能获取增量数据，否则就需将数据流中的全部信息读出再过滤；导致需停止应用服务器上的业务系统方可获取数据，或业务系统与收集系统有紧耦合的设计，不利于运维、部署和升级。本实用新型的一个重大特点是以“只读+监控”的方式访问数据流，无论业务系统如何设计，只要有可读的数据流，即可实现增量的数据收集；极大的降低了本系统与各业务系统的耦合度。

以上所述的具体实施例，对本实用新型的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施例而已，并不用于限定本实用新型的保护范围，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (10)

1.一种分布式计算机集群下的数据采集系统，其特征在于，所述系统包含：消息转发模块、存储模块和复数个信息收集模块；

所述复数个消息收集模块分别设置于复数个业务系统的应用服务器上，用于检测所述应用服务器的数据状态，当所述数据状态发生变化时，采集所述应用服务器上的增量数据；

所述消息转发模块与所述复数个消息收集模块相连，用于收集所述复数个消息收集模块获得的增量数据，将复数个增量数据分别补充处理后合并为更新数据；

所述存储模块与所述消息转发模块相连，用于将所述更新数据与存储的历史数据比对合并后根据数据类型存储。

2.根据权利要求1所述的分布式计算机集群下的数据采集系统，其特征在于，所述系统还包含数据加工模块，所述数据加工模块与所述存储模块相连，用于分析处理所述更新数据和历史数据合并后的数据。

3.根据权利要求2所述的分布式计算机集群下的数据采集系统，其特征在于，所述数据加工模块包含分析单元、计算单元和归档单元；

所述分析单元用于分析获取所述更新数据和历史数据合并后的数据的数据属性；

所述计算单元与所述归档单元用于根据所述数据属性将所述更新数据和历史数据合并后的数据归档处理。

4.根据权利要求1所述的分布式计算机集群下的数据采集系统，其特征在于，所述消息转发模块还包含补充单元，所述补充单元用于将发送所述增量数据的应用服务器的发送端信息和发送时间补充至所述增量数据中。

5.根据权利要求1所述的分布式计算机集群下的数据采集系统，其特征在于，所述消息转发模块还包含负载均衡单元和复数台内存队列单元；

所述负载均衡单元分别与所述信息收集模块和内存队列单元相连，用于接收所述增量数据以及周期检查复数个内存队列单元使用状态，当所述负载均衡单元接收到所述增量数据后，根据所述内存队列单元使用状态分配至少两台内存队列单元对所述增量数据进行处理；所述内存队列单元用于将所述增量数据转发至所述存储模块。

6.根据权利要求5所述的分布式计算机集群下的数据采集系统，其特征在于，所述负载均衡单元包含状态收集装置、通信装置和分配装置；

所述状态收集装置用于获取当前内存队列单元的使用状态；

所述通信装置用于提供所述消息转发模块与复数个信息收集模块的短连接数据通道；

所述分配状态用于根据内存队列单元的使用状态分配内存队列。

7.根据权利要求6所述的分布式计算机集群下的数据采集系统，其特征在于，状态收集装置包含计时器，所述计时器用于根据预置周期触发所述状态收集装置获取当前内存队列单元的使用状态。

8.根据权利要求1所述的分布式计算机集群下的数据采集系统，其特征在于，所述信息收集模块包含监控单元，所述监控单元用于监控应用服务器的数据状态，当所述数据状态发生变化时输出触发信号。

9.根据权利要求8所述的分布式计算机集群下的数据采集系统，其特征在于，所述信息收集模块包含信息采集单元，所述信息采集单元用于根据所述触发信号采集所述应用服务器上的增量数据。

10.根据权利要求1到9中任意一项权利要求所述的分布式计算机集群下的数据采集系统，其特征在于，所述增量数据包含业务类型信息以及交易数据。