CN104866528A - 多平台数据采集方法及系统 - Google Patents

Abstract

本发明公开一种多平台数据采集方法及系统，其中，多平台数据采集方法包括：通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；以异步处理方式对所述上报数据进行处理，得到存储数据；将所述存储数据提交至网关；及通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储。多平台数据采集系统包括：代理模块、异步处理模块、发送模块及网关。本发明通过异步处理方式能有效加快服务器与平台之间的连接资源的释放，并且也能加快服务器对平台的响应速度，从而避免服务器采集性能差的问题。

Description

多平台数据采集方法及系统

技术领域

本发明涉及数据采集技术领域，尤其涉及一种多平台数据采集方法及系统。

背景技术

目前，数据采集方法通常包括以下步骤：1、平台上报数据；2、服务器通过互联网以同步阻塞方式接收该上报数据，并进行相应的处理；3、处理完毕后，服务器返回响应报文给平台，并释放与平台的连接资源。

该种数据采集方法不仅造成了服务器与平台之间的连接资源的浪费，而且仅适用于平台类型单一的应用场景，例如，平台仅为平板电脑，从而导致了服务器的采集性能较差。

发明内容

本发明在于提供一种多平台数据采集方法及系统，用于解决现有技术中服务器的采集性能较差的问题。

为了解决上述技术问题，本发明所采用的技术方案为：

一种多平台数据采集方法，其包括：通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；以异步处理方式对所述上报数据进行处理，得到存储数据；将所述存储数据提交至网关；及通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储。

在一实施例中，所述以异步处理方式对所述上报数据进行处理，得到存储数据的步骤包括：将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据。

在一实施例中，所述通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储的步骤包括：缓存提交至所述网关的所述存储数据；将读取到的所述存储数据添加至写入任务阻塞队列；从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据以对所述存储数据进行分布式存储。

在一实施例中，所述写入提取到的所述存储数据，以对所述存储数据进行分布式存储的步骤包括：接收所述网关写入的所述存储数据，并将其分成至少一个数据块；建立并保存所述数据块与存储块之间的映射关系；及根据所述映射关系将所述数据块复制到对应的所述存储块中。

在一实施例中，所述通过与平台的连接接收上报数据的步骤之前，所述多平台数据采集方法还包括：将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。

一种多平台数据采集系统，其包括：代理模块，用于通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；异步处理模块，用于以异步处理方式对所述上报数据进行处理，得到存储数据；发送模块，用于将所述存储数据提交至网关；及网关，用于写入所述存储数据，以进行所述存储数据的分布式存储。

在一实施例中，所述异步处理模块包括：文件信息阻塞单元，用于将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及数据清洗单元，用于从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据。

在一实施例中，所述网关包括：数据缓存单元，用于缓存提交至所述网关的所述存储数据；缓存管理器单元，用于将读取到的所述存储数据添加至写入任务阻塞队列；及写入任务单元，用于从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据，以对所述存储数据进行分布式存储。

在一实施例中，所述多平台数据采集系统还包括：服务器集群，所述服务器集群包括：接收单元，用于接收所述网关写入的所述存储数据，并将其分成至少一个数据块；映射单元，用于建立并保存所述数据块与存储块之间的映射关系；及复制单元，用于根据所述映射关系将所述数据块复制到对应的所述存储块中。

在一实施例中，所述多平台数据采集系统还包括：数据源，用于将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。

与现有技术相比，本发明具有以下有益效果：

在异步处理方式的作用下，快速接收平台的上报数据之后立即释放其与平台的连接资源，然后再对接收到的上报数据进行处理，有效加快了服务器与平台之间的连接资源的释放，并且也加快了服务器对平台的响应速度，提高了服务器的采集性能。

附图说明

图1为一实施例的多平台数据采集方法的流程图。

图2为图1中以异步处理方式处理上报数据的步骤的流程图。

图3为图2中多线程并发处理的步骤的流程图。

图4为图1中通过网关写入存储数据的步骤的流程图。

图5为图4中对存储数据进行分布式存储的步骤的流程图。

图6为另一实施例的多平台数据采集方法的应用场景。

图7为一实施例的多平台数据采集系统的结构框图。

图8为图7中异步处理模块的结构框图。

图9为图7中网关的结构框图。

图10为另一实施例的多平台数据采集系统的服务器集群的结构框图。

具体实施方式

以下参考附图，对本发明予以进一步地详尽阐述。

请参阅图1，在一实施例中，一种多平台数据采集方法包括以下步骤：

步骤110，通过与平台的连接接收上报数据。其中，上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的。

本实施例中，与各平台连接的是代理服务器，由代理服务器提供统一的上报接口供相同或者不相同的多个平台上报数据。其中，该接口规范可以是http协议、ftp协议或者socks协议等等。

平台可以是平板电脑、手机、服务器等等，平台所上报的上报数据是符合与其连接的代理服务器的接口规范的，本实施例中并未对此加以限制。

例如，若平台为平板电脑，上报数据可以是其中某个应用中的相关数据等；若平台为手机，上报数据则可以是联系人信息或者通话记录等，在此不进行一一列举，该上报数据可根据实际运行或者调试的需要进行获取。

在本实施例中，通过在后台的服务器中进行步骤110的与平台的连接设置，对于多个平台所上报的上报数据而言，提供了统一的上报接口，后台的服务器中的接收方式对于多个平台而言是无差别的，可同时实现接收多个平台的上报数据，从而能够适用于多种不同类型的平台，提高了服务器的采集性能。

步骤130，以异步处理方式对上报数据进行处理，得到存储数据。

本实施例中，异步处理方式有别于现有技术中的同步阻塞方式，后台的服务器在快速接收上报数据后立即释放其与平台的连接资源，然后才对接收到的上报数据进行处理，例如，对该上报数据进行初步的加工及数据清洗。通过对上报数据的接收与处理的隔离，提高了服务器对平台的响应速度，避免了服务器与平台之间的连接资源的浪费，提高了服务器的采集性能。

步骤150，将存储数据提交至网关。

本实施例中，存储数据存储于后台的服务器，该服务器与网关的交互方式可以采用网络传输协议，但也可以根据传输需求采用其他传输协议，采用何种协议将取决于服务器与网关的交互方式。例如，将存储数据提交至网关可以通过网络传输协议中的http协议进行数据传输。

步骤170，通过网关写入存储数据，以进行存储数据的分布式存储。

本实施例中，网管将存储数据写入服务器集群，服务器集群采用Hadoop集群，该Hadoop集群仅支持单进程写入单个HDFS文件，故而网关将存储数据缓存后，利用其中的缓存管理器对缓存的存储数据进行读取，再单个写入Hadoop集群，以进行存储数据的分布式存储。

同时，本实施例中采用双机热备的方案，即作为网关的服务器的数量为二，以避免Hadoop集群单点故障的问题。该两台服务器共享同一个IP地址，同一时刻只有其中一台服务器处理业务，另一台服务器则进入待机状态。当处理业务的服务器出现故障时，待机状态的服务器马上争夺IP使用权，将业务引导至其上进行处理，从而保证了Hadoop集群可以长时期不间断地提供安全可靠的服务。

请参阅图2，在一实施例中，步骤130具体包括以下步骤：

步骤131，将接收到的上报数据依次添加至文件信息阻塞队列后，释放与平台的连接资源。

本实施例中，文件信息阻塞队列用于隔离上报数据的接收过程与处理过程，以使上报数据的接收过程与处理过程相互独立、互不影响。也就是说，海量平台不断上报的上报数据将通过文件信息阻塞队列为上报数据的处理提供缓冲，进而达到海量上报数据的接收与处理的相对隔离的目的，提高了后台的服务器的采集性能，同时增强了后台的服务器对数据的处理能力。

接收到的上报数据被添加至文件信息阻塞队列中，若要处理该上报数据则需要先将其从文件信息阻塞队列中提取出，即上报数据的接收与处理并非同步完成。通过该种异步处理方式，对上报数据的接收与处理的隔离，以及接收后立即释放与平台的连接资源，提高了服务器对平台的响应速度，避免了服务器与平台之间的连接资源的浪费，提高了服务器的采集性能。

步骤133，从文件信息阻塞队列中逐一提取上报数据，对提取到的上报数据进行数据清洗，以得到存储数据。

本实施例中，对提取到的上报数据进行的数据清洗包括：添加IP地域信息以利于存储于统一的数据仓库供后期分析使用、修正触发时间以过滤无效的上报数据、以及转换上报数据的存储格式以利于后期的分布式存储。例如，将上报数据的存储格式转换为hive存储格式后，可存储于Hadoop集群中。

同时，本实施例中采用多线程并发处理上报数据，如图3所示，接收上报数据的线程310由文件信息阻塞队列完成，处理上报数据的线程330由Handler线程池中各Handler线程完成，数据提交线程350则负责将存储数据提交至网关。在异步处理方式的作用下，使得接收上报数据的线程310、处理上报数据的线程330、以及数据提交线程350相互独立、各不相关，处理上报数据的线程330只负责对提取到的上报数据进行数据清洗，而不必考虑上报数据的冲突问题，从而提高了对上报数据的处理效率，进一步提高了服务器的采集性能。

请参阅图4，在一实施例中，步骤170具体包括以下步骤：

步骤171，缓存提交至网关的存储数据。

本实施例中，存储数据缓存于网关所在的服务器，存储数据的传输方式则采用网络传输协议中的http协议。当然，在其他实施例中，也可以根据传输需求采用其他传输协议，采用何种协议将取决于存储数据收发端之间的交互方式。

步骤173，将读取到的存储数据添加至写入任务阻塞队列。

本实施例中，通过网关的缓存管理器将存储数据添加至写入任务阻塞队列，添加方式有两种：一为定时添加存储数据，二为缓存区域满时添加存储数据。通过该两种添加方式的相互配合，提高了网关的缓存管理器对存储数据的读写效率，有利于提高服务器的采集性能。

步骤175，从写入任务阻塞队列中提取存储数据，并写入提取到的存储数据，以对存储数据进行分布式存储。

本实施例中，提取到的存储数据被写入服务器集群，通过该服务器集群对存储数据进行分布式存储。

其中，服务器集群采用Hadoop集群，该Hadoop集群仅支持单进程写入单个HDFS文件，故而提取到的存储数据以hive存储格式为存储格式被单个写入Hadoop集群。该Hadoop集群由主节点设备与从节点设备组成，从节点设备用于存储数据的存储，主节点设备用于控制存储数据的存储操作，例如，该存储操作包括：新建、删除、移动、查找或者复制等等。

同时，本实施例中的Hadoop集群包括两台主节点设备与多台从节点设备，以避免主节点设备单点失效的问题。同一时刻只有其中一台主节点设备处理业务，另一台主节点设备则进入待机状态。当处理业务的主节点设备出现故障时，待机状态的主节点设备马上替代原先的主节点设备对外提供服务，从而保证了Hadoop集群可以长时期不间断地提供安全可靠的服务。

请参阅图5，在一实施例中，步骤175具体包括以下步骤：

步骤1751，接收网关写入的存储数据，并将其分成至少一个数据块。

本实施例中，服务器集群采用Hadoop集群时，网关与该Hadoop集群的所有通信都基于标准的TCP/IP协议。

数据块的大小与数量在网关写入的时候决定，主节点设备控制所有数据块的存储操作，而从节点设备则用于存储所有数据块。

步骤1753，建立并保存数据块与存储块之间的映射关系。

本实施例中，Hadoop集群提供存储块以对数据块进行分布式存储，该Hadoop集群由至少一个主节点设备与多个从节点设备组成。主节点设备保存了数据块与从节点设备的存储块之间的映射关系，以便于在后期分析使用存储数据时，能够根据主节点设备中保存的映射关系在从节点设备的存储块中得到与之有映射关系的数据块。

步骤1755，根据映射关系将数据块复制到对应的存储块中。

在一实施例中，步骤110之前，多平台数据采集方法还包括：

将与平台类型对应的平台标识添加至待上报数据，以形成上报数据。

本实施例中，平台标识用于指示平台类型，例如，平台可以包括：平板电脑、手机、服务器等等类型。平台标识是能够与平台类型唯一对应的，用以通过数据的形式对平台类型进行标识。例如，平台标识可以是其对应设备所拥有的设备识别码。

将该平台标识与待上报数据进行数据包组包操作以形成上报数据，所形成的上报数据中包含的该平台标识即可用于后期接收端采集到的海量的上报数据中唯一地标识出平台类型，从而区分出不同平台的上报数据供后期分析使用，以适用于多种不同类型的平台，从而提高服务器的采集性能。

请参阅图6，在一实施例中，采用多平台数据采集方法的系统架构600可分为五层：数据源层610、反向代理层620、数据清洗层630、HDFS网关层640及Hadoop集群650。

本实施例中，数据源层610由相同或者不相同的多个平台组成，平台可以为平板电脑611、手机612、服务器613等等。该数据源层610与反向代理层620连接，以将其中任一平台的上报数据上报至反向代理层620。

反向代理层620包括对外暴露的一个Nginx服务器621，将其作为反向代理，其为数据源层610中的各平台提供统一的上报接口，只要平台所上报的是符合该Nginx服务器621的接口规范的上报数据，都可以由反向代理层620通过该统一的上报接口接收。

数据清洗层630与反向代理层620连接，包括多个接收实例服务器631，用于对上报数据进行初步的加工及数据清洗，以便于后期的分布式存储，同时，将清洗后的存储数据提交至HDFS网关层640。

HDFS网关层640与数据清洗层630连接，包括分布式文件系统HDFS 641，用于将存储数据写入HDFS 641。其中，分布式文件系统HDFS 641所在服务器的数量为二，以避免Hadoop集群650单点故障的问题。

Hadoop集群650与HDFS网关层640基于TCP/IP协议通信，并向上提供分布式存储，该Hadoop集群650包括两台主节点设备651与多台从节点设备652，主节点设备651负责存储数据的存储操作，机架式结构的从节点设备652负责存储数据的存储。其中，两台主节点设备651能够避免主节点设备651单点失效的问题。

请参阅图7，在一实施例中，一种多平台数据采集系统700包括：代理模块710、异步处理模块730、发送模块750及网关770。

本实施例中，代理模块710，用于通过与平台的连接接收上报数据。其中，上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的。

异步处理模块730，用于以异步处理方式对上报数据进行处理，得到存储数据。

发送模块750，用于将存储数据提交至网关。

网关770，用于通过网关写入存储数据，以进行存储数据的分布式存储。

请参阅图8，在一实施例中，异步处理模块730包括：文件信息阻塞单元731及数据清洗单元733。

本实施例中，文件信息阻塞单元731，用于将接收到的上报数据依次添加至文件信息阻塞队列后，释放与平台的连接资源。

数据清洗单元733，用于从文件信息阻塞队列中逐一提取上报数据，对提取到的上报数据进行数据清洗，以得到存储数据。

请参阅图9，在一实施例中，网关770包括：数据缓存单元771、缓存管理器单元773及写入任务单元775。

本实施例中，数据缓存单元771，用于缓存提交至网关的存储数据。

缓存管理器单元773，用于将读取到的存储数据添加至写入任务阻塞队列。

写入任务单元775，用于从写入任务阻塞队列中提取存储数据，并写入提取到的存储数据，以

对存储数据进行分布式存储。

请参阅图10，在一实施例中，多平台数据采集系统700还包括：服务器集群790，该服务器集群790包括：接收单元791、映射单元793及复制单元795。

本实施例中，接收单元791，用于接收网关写入的存储数据，并将其分成至少一个数据块。

映射单元793，用于建立并保存数据块与存储块之间的映射关系。

复制单元795，用于根据映射关系将数据块复制到对应的存储块中。

在一实施例中，多平台数据采集系统700还包括：数据源。

本实施例中，数据源用于将与平台类型对应的平台标识添加至待上报数据，以形成上报数据。

上述内容，仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1.一种多平台数据采集方法，其特征在于，包括：

通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；

以异步处理方式对所述上报数据进行处理，得到存储数据；

将所述存储数据提交至网关；及

通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储。

2.如权利要求1所述的多平台数据采集方法，其特征在于，所述以异步处理方式对所述上报数据进行处理，得到存储数据的步骤包括：

将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及

从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据。

3.如权利要求1所述的多平台数据采集方法，其特征在于，所述通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储的步骤包括：

缓存提交至所述网关的所述存储数据；

将读取到的所述存储数据添加至写入任务阻塞队列；

从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据以对所述存储数据进行分布式存储。

4.如权利要求3所述的多平台数据采集方法，其特征在于，所述写入提取到的所述存储数据，以对所述存储数据进行分布式存储的步骤包括：

接收所述网关写入的所述存储数据，并将其分成至少一个数据块；

建立并保存所述数据块与存储块之间的映射关系；及

根据所述映射关系将所述数据块复制到对应的所述存储块中。

5.如权利要求1所述的多平台数据采集方法，其特征在于，所述通过与平台的连接接收上报数据的步骤之前，所述多平台数据采集方法还包括：

将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。

6.一种多平台数据采集系统，其特征在于，包括：

代理模块，用于通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；

异步处理模块，用于以异步处理方式对所述上报数据进行处理，得到存储数据；

发送模块，用于将所述存储数据提交至网关；及

网关，用于写入所述存储数据，以进行所述存储数据的分布式存储。

7.如权利要求6所述的多平台数据采集系统，其特征在于，所述异步处理模块包括：

文件信息阻塞单元，用于将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及

数据清洗单元，用于从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据。

8.如权利要求6所述的多平台数据采集系统，其特征在于，所述网关包括：

数据缓存单元，用于缓存提交至所述网关的所述存储数据；

缓存管理器单元，用于将读取到的所述存储数据添加至写入任务阻塞队列；及

写入任务单元，用于从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据，以对所述存储数据进行分布式存储。

9.如权利要求6所述的多平台数据采集系统，其特征在于，还包括：服务器集群，所述服务器集群包括：

接收单元，用于接收所述网关写入的所述存储数据，并将其分成至少一个数据块；

映射单元，用于建立并保存所述数据块与存储块之间的映射关系；及

复制单元，用于根据所述映射关系将所述数据块复制到对应的所述存储块中。

10.如权利要求6所述的多平台数据采集系统，其特征在于，还包括：

数据源，用于将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。