CN105743676B - 一种多数据源综合采集装置及方法 - Google Patents

Abstract

本发明涉及计算机数据处理技术领域，尤其涉及一种多数据源综合采集装置及方法。一种多数据源综合采集装置，包括：接口模块，用于与IT设备相连，并通过IT设备的网络接口与不同的外部应用服务进行数据通信；管理模块，通过IT设备调用，用于将IT设备配置成数据采集端或数据服务端；采集接收模块，针对不同的外部应用服务进行数据采集或数据接收；数据处理模块，用于对采集接收模块采集到的数据或接收到的数据进行数据处理；管理模块，还用于将数据处理模块处理后的数据发送到指定的服务端；本发明将以往采集用的应用程序植入到硬件上，形成独立运行的采集装置，使对多数据源进行采集数据或接收数据时软件部署变得简单、方便维护。

Description

一种多数据源综合采集装置及方法

技术领域

本发明涉及计算机数据处理技术领域，尤其涉及一种多数据源综合采集装置及方法。

背景技术

通常IT环境中在处理多类型数据源的采集或接收时，大多会通过人工把采集软件上传到服务器；在服务器进行环境和应用的部署，并需要调试大量的参数配置。尤其在大数据量的采集接收以及处理时，不仅部署难度大，采集配置繁琐，维护的成本也比较高，整个流程需要人为操作，而且容易出现软件BUG或软件运行时的一些自身的故障。

发明内容

针对上述现有技术存在的不足，本发明的目的在于提供一种多数据源综合采集装置及方法。

一方面，本发明公开了一种多数据源综合采集装置，该采集装置包括：

接口模块，用于与IT设备相连，并通过IT设备的网络接口与不同的外部应用服务进行数据通信；

管理模块，通过IT设备调用，用于将IT设备配置成数据采集端或数据服务端；

采集接收模块，植有多数据源综合采集用的应用程序，用于将IT设备配置成数据采集端后，针对不同的外部应用服务进行数据采集，或用于将IT设备配置成数据服务端后，针对不同的外部应用服务进行数据接收；

数据处理模块，用于对采集接收模块采集到的数据或接收到的数据进行数据处理；

管理模块，还用于将数据处理模块处理后的数据发送到指定的服务端；

其中，所述接口模块分别与所述管理模块和所述采集接收模块相连；

所述数据处理模块分别与所述采集接收模块与所述管理模块相连。

可选的，该采集装置还包括：

数据缓存模块，用于缓存所述数据处理模块处理后的数据；

其中，所述数据处理模块通过所述数据缓存模块与所述管理模块相连。

可选的，所述采集接收模块包括：文件传输协议FTP模块、套接字SOCKET模块、Web服务WEBSERVICE模块中的一种或多种，每种模块实现相应的协议类型。

可选的，所述管理模块将IT设备配置成数据采集端的配置项目包括：采集源地址、服务端地址、服务接口类型和采集频率。

可选的，所述数据处理模块对所述采集接收模块采集到的数据进行的数据处理包括：数据归一化、异常数据剔除和敏感数据脱敏。

可选的，所述管理模块将IT设备配置成数据服务端的配置项目包括：服务类型、服务属性配置和存储地址。

可选的，所述数据处理模块对所述采集接收模块接收到的数据进行的数据处理包括：数据统一、数据汇总和数据标准化。

另一方面，本发明还公开了一种多数据源综合采集方法，应用于上述多数据源综合采集装置，该采集方法包括：

将上述的多数据源综合采集装置通过接口模块与IT设备连接，并通过IT设备的网络接口与不同的外部应用服务进行数据通信，在采集接收模块中植有多数据源综合采集用的应用程序；

通过IT设备调用管理模块，由管理模块将IT设备配置成数据采集端或数据服务端；

在管理模块将IT设备配置成数据采集端后，由采集接收模块针对不同的外部应用服务进行数据采集，或在管理模块将IT设备配置成数据服务端后，由采集接收模块针对不同的外部应用服务进行数据接收；

数据处理模块对采集接收模块采集到的数据或接收到的数据进行数据处理；

管理模块将数据处理模块处理后的数据发送到指定的服务端。

可选的，该采集方法还包括：

将两个多数据源综合采集装置分别与两个IT设备连接；

由所述两个多数据源综合采集装置分别将所述两个IT设备配置成一对匹配的数据采集端和数据服务端；

所述两个多数据源综合采集装置中，其中一个对从不同的外部应用服务采集到的数据进行数据处理和数据发送，另一个对从不同的外部应用服务接收到的数据进行数据处理和数据发送。

可选的，该采集方法还包括：

将多个多数据源综合采集装置同时与一个IT设备连接；

由所述多个多数据源综合采集装置将所述IT设备配置成一个数据采集端或一个数据服务端；

在将所述IT设备配置成一个数据采集端后，所述多个多数据源综合采集装置分别对采集到的数据进行数据处理和数据发送，或在将所述IT设备配置成一个数据服务端后，所述多个多数据源综合采集装置分别对接收到的数据进行数据处理和数据发送。

与现有技术相比，本发明的有益效果为：

本发明将以往采集用的应用程序植入到硬件上，形成独立运行的多数据源综合采集装置，只需要把多数据源综合采集装置与IT设备相连，通过管理模块进行简单的参数配置，既可以把IT设备成数据服务端并通过多数据源综合采集装置接收数据，又可以把IT设备配置成数据采集端并通过多数据源综合采集装置采集数据。省去了以往数据采集或数据接收时需要进行多台服务器的部署和配置等人工操作环节，从而解决了之前在对多数据源进行采集数据或数据接收时软件部署的繁琐、维护的困难，以及人为操作风险等不足的情况，使对多数据源进行采集数据或接收数据时软件部署变得简单、方便维护。独立运行的多数据源综合采集装置内部集成的数据处理模块和采集接收模块，大大增强大数据采集或接收能力、采集或接收适配能力，不仅能提供不同的外部应用服务的独特数据所需，而且保证了数据在传输过程中的质量。

附图说明

图1是本发明实施例一多数据源综合采集装置的结构示意图；

图2是本发明实施例二多数据源综合采集方法的流程图；

图3是本发明实施例三多数据源综合采集方法的流程图；

图4是本发明实施例四多数据源综合采集方法的流程图；

图5是本发明实施例五的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

图1是本发明实施例一多数据源综合采集装置的结构示意图，如图1所示，本发明实施例公开了一种多数据源综合采集装置，该采集装置包括：

接口模块101，用于与IT设备相连，并通过IT设备的网络接口与不同的外部应用服务进行数据通信。

管理模块102，通过IT设备调用，用于将IT设备配置成数据采集端或数据服务端；

其中，管理模块102将IT设备配置成数据采集端的配置项目可以包括：采集源地址、服务端地址、服务接口类型和采集频率。

其中，管理模块102将IT设备配置成数据服务端的配置项目可以包括：服务类型、服务属性配置和存储地址。

采集接收模块103，植有多数据源综合采集用的应用程序，用于将IT设备配置成数据采集端后，针对不同的外部应用服务进行数据采集，或用于将IT设备配置成数据服务端后，针对不同的外部应用服务进行数据接收；

其中，采集接收模块103中可包括：文件传输协议FTP模块、套接字SOCKET模块、Web服务WEB SERVICE模块中的一种或多种，每种模块实现相应的协议类型，每种模块分别与接口模块和数据处理模块相连。采集用的应用程序即有采集数据的能力，又有接收数据的能力。

数据处理模块104，用于对采集接收模块103采集到的数据或接收到的数据进行数据处理；

其中，数据处理模块104对采集接收模块103采集到的数据进行的数据处理可以包括：数据归一化、异常数据剔除和敏感数据脱敏。

其中，数据处理模块104对采集接收模块103接收到的数据进行的数据处理包括：数据统一、数据汇总和数据标准化。

管理模块，还用于将数据处理模块104处理后的数据发送到指定的服务端；

其中，接口模块101分别与管理模块102和采集接收模块103相连；

数据处理模块104分别与采集接收模块103与管理模块102相连。

在一具体实施例中，仍如图1所示，该采集装置还包括：数据缓存模块105，用于缓存数据处理模块104处理后的数据；其中，数据处理模块104通过数据缓存模块105与管理模块102相连。

本发明实施例一公开的多数据源综合采集装置将以往采集用的应用程序植入到硬件上，形成独立运行的多数据源综合采集装置，只需要把多数据源综合采集装置与IT设备相连，通过管理模块既可以把IT设备成数据服务端，并通过多数据源综合采集装置接收数据，又可以把IT设备配置成数据采集端并通过多数据源综合采集装置采集数据。省去了以往数据采集或数据接收时需要进行多台服务器的部署和配置等人工操作环节，使对多数据源进行采集数据或接收数据时软件部署变得简单、方便维护。独立运行的多数据源综合采集装置内部集成的数据处理模块和采集接收模块，大大增强大数据采集或接收能力、采集或接收适配能力，不仅能提供不同的外部应用服务的独特数据所需，而且保证了数据在传输过程中的质量。

实施例二

图2是本发明实施例二多数据源综合采集方法的流程图，如图2所示，本发明实施例二公开了一种多数据源综合采集方法，采用的是实施例一中的多数据源综合采集装置，该采集方法包括：

步骤201，将多数据源综合采集装置通过接口模块101与IT设备连接，并通过IT设备的网络接口与不同的外部应用服务进行数据通信，在采集接收模块中植有多数据源综合采集用的应用程序，采集用的应用程序即有采集数据的能力，又有接收数据的能力。

步骤202，通过IT设备调用管理模块102，由管理模块10将IT设备配置成数据采集端或数据服务端。

在该步骤202中，当IT设备与多数据源综合采集装置连接后，通过IT设备调用管理模块102，自动启动管理模块102中的配置管理程序，将IT设备配置成数据采集端或数据服务端。

步骤203，在管理模块102将IT设备配置成数据采集端后，由采集接收模块103针对不同的外部应用服务进行数据采集，或在管理模块102将IT设备配置成数据服务端后，由采集接收模块103针对不同的外部应用服务进行数据接收。

步骤204，数据处理模块104对采集接收模块103采集到的数据或接收到的数据进行数据处理。

步骤205，管理模块102将数据处理模块104处理后的数据发送到指定的服务端。

本发明实施例二公开的多数据源综合采集方法，将以往采集用的应用程序植入到硬件上，形成独立运行的多数据源综合采集装置，只需要把多数据源综合采集装置与IT设备相连，既可以把IT设备成数据服务端，又可以把IT设备配置成数据采集端，省去了以往数据采集时需要进行多台服务器的部署和配置等人工操作环节，使对多数据源进行采集数据或接收数据时软件部署变得简单、方便维护。

实施例三

图3是本发明实施例三多数据源综合采集方法的流程图，如图3所示，本发明实施三公开了一种多数据源综合采集方法，采用的是实施例一中的多数据源综合采集装置将IT设备配置成数据采集端。该采集方法包括：

步骤301，将多数据源综合采集装置通过接口模块101与IT设备连接，通过IT设备的网络接口与不同的外部应用服务进行数据通信。

步骤302，通过IT设备调用管理模块102，由管理模块102将IT设备配置成数据采集端。其中，管理模块102将IT设备配置成数据采集端的配置项目包括：采集源地址、服务端地址、服务接口类型和采集频率；在该步骤302中，当IT设备与多数据源综合采集装置连接后，通过IT设备调用管理模块102，自动启动管理模块102中的配置管理程序，将IT设备配置成数据采集端，并进行配置项目中的参数配置。

步骤303，在管理模块102将IT设备配置成数据采集端后，由采集接收模块103针对不同的外部应用服务进行数据采集，并对是否采集到数据进行判断：若否，则采集接收模块103依据管理模块102中配置的采集频率，则重新执行步骤303，直到数据全部采集完成；若是，则执行步骤304。

步骤304，数据处理模块104对采集接收模块103采集到的数据进行数据处理。其中，数据处理模块104对采集接收模块103采集到的数据进行的数据处理包括：数据归一化、异常数据剔除和敏感数据脱敏。

步骤305，管理模块102将数据处理模块104处理后的数据发送到指定的服务端，并对是否发送成功进行判断：若否，则执行步骤306：将数据缓存在数据缓存模块105中，并重新执行步骤305。若是，则执行步骤307：发送数据结束。

需要说明的是，在步骤305中，管理模块102将数据处理模块104处理后的数据发送到指定的服务端之前，管理模块102需要调用IT设备上与指定的服务端相连接的网络接口，确保建立连接。

还需要说明的是，管理模块102将数据处理模块104处理后的数据发送到指定的服务端时，发送的数据是不落地的，当发送数据不成功时，数据才会落地，即缓存在数据缓存模块105中。

另外，一种具体应用方案可以为：

将多个多数据源综合采集装置同时与一个IT设备连接；由多个多数据源综合采集装置将IT设备配置成一个数据采集端。在将IT设备配置成一个数据采集端后，多个多数据源综合采集装置分别对采集到的数据进行数据处理和数据发送，实现负载均衡。

实施例四

图4是本发明实施例四多数据源综合采集方法的流程图。如图4所示，本发明实施例四公开的一种多数据源综合采集方法，采用的是实施例一中的多数据源综合采集装置将IT设备配置成数据服务端，该采集方法包括：

步骤401，将多数据源综合采集装置通过接口模块101与IT设备连接，并通过IT设备的网络接口与不同的外部应用服务进行数据通信。

步骤402，通过IT设备调用管理模块102，由管理模块102将IT设备配置成数据服务端。其中，管理模块102将IT设备配置成数据服务端的配置项目包括：服务类型、服务属性配置和存储地址。在该步骤402中，当IT设备与多数据源综合采集装置连接后，通过IT设备调用管理模块102，自动启动管理模块102中的配置管理程序，将IT设备配置成数据服务端，并进行配置项目中的参数配置。

步骤403，在管理模块102将IT设备配置成数据服务端后，由采集接收模块103针对不同的外部应用服务进行数据接收，并对是否接收到数据进行判断：若否，则重新执行步骤403，直到数据全部接收成功；若是，则执行步骤404。

步骤404，对采集接收模块103接收到的数据由数据处理模块104进行数据处理。其中，数据处理模块104对采集接收模块103接收到的数据进行的数据处理包括：数据统一、数据汇总和数据标准化。

步骤405，将数据处理模块104处理后的数据由管理模块102发送到指定的服务端，并对是否发送成功进行判断：若否，则执行步骤406：将数据缓存在数据缓存模块105中，并重新执行步骤405。若是，则执行步骤407：发送数据结束。

需要说明的是，在步骤403中采集接收模块针对不同的外部应用服务进行数据接收之前，管理模块102需要调用IT设备上与不同的外部应用服务相连接的网络接口，确保建立连接。

还需要说明的是，管理模块102将数据处理模块104处理后的数据发送到指定的服务端时，发送的数据是不落地的，当发送数据不成功时，数据才会落地，即缓存在数据缓存模块105中；在步骤405中将数据发送到指定的服务端是为了对数据进行存储。

另外，一种具体应用方案可以为：

将多个多数据源综合采集装置同时与一个IT设备连接；由多个多数据源综合采集装置将IT设备配置成一个数据服务端；在将IT设备配置成一个数据服务端后，多个多数据源综合采集装置对接收到的数据进行数据处理和数据发送，实现负载均衡。

实施例五

图5是本发明实施例五的结构示意图，图5中的虚线表示的是有线或者无线的连接方式。如图5所示，将两个多数据源综合采集装置分别与两个IT设备连接；由两个多数据源综合采集装置分别将两个IT设备配置成一对匹配的数据采集端和数据服务端，其中：两个多数据源综合采集装置分别为：第一多数据源综合采集装置501和第二多数据源综合采集装置502，两个IT设备分别为：第一IT设备503和第二IT设备504；第一多数据源综合采集装置501与第一IT设备503相连，第二多数据源综合采集装置502与第二IT设备504相连；第一IT设备503被配置成数据采集端，第二IT设备504被配置成数据服务端。

第一IT设备503和第二IT设备504之间可以通过有线方式或者无线方式实现数据通信：第一IT设备503通过与之相连的第一多数据源综合采集装置501，针对不同的外部应用服务505进行数据采集、数据处理和数据发送；第二IT设备504通过与之相连的第二多数据源综合采集装置502，进行数据接收、数据处理和数据发送，其中被配置成数据服务端的第二IT设备504接收的数据为被配置成数据采集端的第一IT设备503所发送的数据。

综上所述，本发明实施例的多数据源综合采集装置和方法，通过将以往采集用的应用程序植入到硬件上，形成独立运行的多数据源综合采集装置，使对多数据源进行采集数据或数据接收时软件部署变得简单、方便维护。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种多数据源综合采集装置，其特征在于，该采集装置包括：

接口模块，用于与IT设备相连，并通过IT设备的网络接口与不同的外部应用服务进行数据通信；

管理模块，通过IT设备调用，用于将IT设备配置成数据采集端或数据服务端；

采集接收模块，植有多数据源综合采集用的应用程序，用于将IT设备配置成数据采集端后，针对不同的外部应用服务进行数据采集，或用于将IT设备配置成数据服务端后，针对不同的外部应用服务进行数据接收；

数据处理模块，用于对采集接收模块采集到的数据或接收到的数据进行数据处理；

管理模块，还用于将数据处理模块处理后的数据发送到指定的服务端；

其中，所述接口模块分别与所述管理模块和所述采集接收模块相连；

所述数据处理模块分别与所述采集接收模块和所述管理模块相连。

2.根据权利要求1所述的多数据源综合采集装置，其特征在于，该采集装置还包括：

数据缓存模块，用于缓存所述数据处理模块处理后的数据；

其中，所述数据处理模块通过所述数据缓存模块与所述管理模块相连。

3.根据权利要求2所述的多数据源综合采集装置，其特征在于，所述采集接收模块包括：文件传输协议FTP模块、套接字SOCKET模块、Web服务WEBSERVICE模块中的一种或多种，每种模块实现相应的协议类型。

4.根据权利要求3所述的多数据源综合采集装置，其特征在于，所述管理模块将IT设备配置成数据采集端的配置项目包括：采集端地址、服务端地址、服务接口类型和采集频率。

5.根据权利要求4所述的多数据源综合采集装置，其特征在于，所述数据处理模块对所述采集接收模块采集到的数据进行的数据处理包括：数据归一化、异常数据剔除和敏感数据脱敏。

6.根据权利要求1-5中任一所述的多数据源综合采集装置，其特征在于，所述管理模块将IT设备配置成数据服务端的配置项目包括：服务类型、服务属性配置和存储地址。

7.根据权利要求6所述的多数据源综合采集装置，其特征在于，所述数据处理模块对所述采集接收模块接收到的数据进行的数据处理包括：数据统一、数据汇总和数据标准化。

8.一种多数据源综合采集方法，其特征在于，应用于所述权利要求1-7中任一项所述的多数据源综合采集装置，该采集方法包括：

将所述多数据源综合采集装置通过接口模块与IT设备连接，并通过IT设备的网络接口与不同的外部应用服务进行数据通信，在采集接收模块中植有多数据源综合采集用的应用程序；

通过IT设备调用管理模块，由管理模块将IT设备配置成数据采集端或数据服务端；

在管理模块将IT设备配置成数据采集端后，由采集接收模块针对不同的外部应用服务进行数据采集，或在管理模块将IT设备配置成数据服务端后，由采集接收模块针对不同的外部应用服务进行数据接收；

数据处理模块对采集接收模块采集到的数据或接收到的数据进行数据处理；

管理模块将数据处理模块处理后的数据发送到指定的服务端。

9.根据权利要求8所述的多数据源综合采集方法，其特征在于，该采集方法还包括：

将两个多数据源综合采集装置分别与两个IT设备连接；

由所述两个多数据源综合采集装置分别将所述两个IT设备配置成一对匹配的数据采集端和数据服务端；

所述两个多数据源综合采集装置中，其中一个对从不同的外部应用服务采集到的数据进行数据处理和数据发送，另一个对从不同的外部应用服务接收到的数据进行数据处理和数据发送。

10.根据权利要求8所述的多数据源综合采集方法，其特征在于，该采集方法还包括：

将多个多数据源综合采集装置同时与一个IT设备连接；

由所述多个多数据源综合采集装置将所述IT设备配置成一个数据采集端或一个数据服务端；

在将所述IT设备配置成一个数据采集端后，所述多个多数据源综合采集装置分别对采集到的数据进行数据处理和数据发送，或在将所述IT设备配置成一个数据服务端后，所述多个多数据源综合采集装置分别对接收到的数据进行数据处理和数据发送。