CN103220188B - 一种http数据采集设备 - Google Patents

Abstract

本发明公开了一种HTTP数据采集设备，用于加装在业务服务器与业务终端之间的通讯线路上，该HTTP数据采集设备包括：数据采集及处理单元：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；数据接收服务器：用于接收所述数据采集及处理单元传送的数据接收服务器。本发明所述HTTP数据采集设备，可以克服现有技术中数据采集可靠性低、数据共享不方便和工作效率低等缺陷，以实现数据采集可靠性高、数据共享方便和工作效率高的优点。

Description

一种HTTP数据采集设备

技术领域

本发明涉及通信技术领域，具体地，涉及一种HTTP数据采集设备。

背景技术

当前在电子政务领域中存在着大量的信息系统，在实际业务中同一套数据需要在多个信息系统中共享，但很多电子政务系统都是由条线部门的上级统一开发，本级只是使用，系统的数据也都存储在上级部门的服务器中，无法直接获取使用，造成了多次重复录入，降低了行政效能。

另外，由于当前电子政务领域信息系统大多采用B/S架构来实现，所有客户端与服务器的数据传输都是通过HTTP协议进行，可以通过采集客户端与服务器的HTTP数据来获取所需要的共享数据。

目前要获取客户端与服务器的HTTP数据采用的解决方案，一般是通过在浏览器端安装插件或对操作系统的Socket通讯进行监听拦截，此类方案存在的不足是都需要在系统上安装额外的软件，对原有环境侵入性大，可靠性无保障，往往会被安全类软件当成木马进行拦截，从而造成数据采集失败。

在实现本发明的过程中，发明人发现现有技术中至少存在数据采集可靠性低、数据共享不方便和工作效率低等缺陷。

发明内容

本发明的目的在于，针对上述问题，提出一种HTTP数据采集设备，以实现数据采集可靠性高、数据共享方便和工作效率高的优点。

为实现上述目的，本发明采用的技术方案是：一种HTTP数据采集设备，用于加装在业务服务器与业务终端之间的通讯线路上，该HTTP数据采集设备包括：

数据采集及处理单元：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；

数据接收服务器：用于接收所述数据采集及处理单元传送的数据接收服务器。

进一步地，所述数据采集及处理单元，包括：

数据交换器：用于负责多个相应通讯子线路之间的通讯数据交换，以及复制各通讯子线路的通讯数据并发送至HTTP监听器；

HTTP监听器：用于捕获所述数据交换器发送来的通讯数据中的所有以太网数据包，提取HTTP数据并发送至数据分析器；

数据分析器：按照预设的分析加工规则，对所述HTTP监听器发送来的HTTP数据进行分析加工，获取所需业务数据，打包并发送至数据传送器；

数据传送器：用于经过预先设置的数据传输途径，将所述数据分析器发送的业务数据传输至数据接收服务器。

进一步地，所述数据采集及处理单元，还包括：

采集配置工具：用于预先设置所述数据分析器的分析加工规则。

进一步地，所述预先设置所述数据分析器的分析加工规则的操作，具体包括下列一种或多种：

设置需要采集的HTTPURL地址；

采样得到所有发往该HTTPURL的包；

选择需要采集的数据包；

针对相应数据包使用脚本，定义相应的数据加工逻辑；

定义发送到数据接收服务器的数据传输途径；

保存所定义的配置信息。

进一步地，所述数据采集及处理单元，还包括：

管理控制台：用于负责所述数据分析器的所有采集服务的监控、定义和管理。

进一步地，所述负责所述数据分析器的所有采集服务的监控、定义和管理的操作，具体包括下列一种或多种：

显示所有采集服务运行状态；

新建采集服务定义；

修改采集服务定义；

删除采集服务定义；

停止采集服务；

启动采集服务。

进一步地，所述数据交换器，具体包括：

数据交换模块：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，每个通讯子线路对应一个数据端口；通过相应数据端口，实现相应通讯子线路之间的通讯数据交换；

复制及发送模块：用于在所述数据交换模块进行通讯数据交换的同时，复制各通讯子线路的通讯数据并发送至HTTP监听器。

进一步地，所述HTTP监听器，具体包括：

数据解码模块：用于接收自所述数据交换器的各数据端口传送来的通讯数据，进行解码；

规则分析模块：用于判断所述数据解码模块解码后的相应通讯数据是否为HTTP数据包，若是，则将相应通讯数据进行规则分析；否则，抛弃接收到的通讯数据并中止处理；

数据提取模块：用于在所述规则分析模块将相应通讯数据进行规则分析后，判断规则分析后的相应通讯数据对应的HTTPURL地址是否为已定义的采集地址，若是，则从相应通讯数据中提取HTTP数据，并发送至数据分析器；否则，抛弃解码所得HTTP数据包。

进一步地，所述数据分析器，具体包括：

分析加工模块：用于按照预设的分析加工规则，对所述HTTP监听器传送过来的HTTP数据使用预定义的分析加工规则进行分析加工处理，形成所需业务数据；

打包及发送模块：用于对所述分析加工模块形成的业务数据打包，将得到的业务数据包发送至数据发送器。

进一步地，所述预先设置的数据传输途径，包括有线网络或无线蓝牙。

本发明各实施例的HTTP数据采集设备，包括数据采集及处理单元和数据接收服务器，其中，数据采集及处理单元用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；数据接收服务器用于接收所述数据采集及处理单元传送的数据接收服务器；可以加装在业务服务器与业务终端之间的通讯线路上，通过对直接网络上传输的HTTP数据进行采集并传送到其他系统，不需要在业务终端或业务服务器上安装任何软件，避免了对原有业务环境的侵入性，提高了数据采集的可靠性；从而可以克服现有技术中数据采集可靠性低、数据共享不方便和工作效率低的缺陷，以实现数据采集可靠性高、数据共享方便和工作效率高的优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明HTTP数据采集设备的工作原理示意图。

结合附图，本发明实施例中附图标记如下：

A1-业务服务器；A2-业务终端；B1-数据交换器；B2-管理控制台；B3-采集配置工具；B4-HTTP监听器；B5-数据分析器；B6-数据传送器；C1、C2、C3-通讯线路；D-接收服务器；F-数据传输途径；P1、P2-数据端口。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

根据本发明实施例，如图1所示，提供了一种HTTP数据采集设备，用于加装在业务服务器（如业务服务器A1）与业务终端（如业务终端A2）之间的通讯线路（如通讯线路C1）上，可以对网线的数据进行监听并提炼出其中的HTTP数据，之后采集分发到其他业务系统的过程，从而避免上述弊端，解决了信息孤岛问题。

参见图1，本实施例的HTTP数据采集设备，包括：

数据采集及处理单元：用于将业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；该预先设置的数据传输途径，包括有线网络或无线蓝牙；

数据接收服务器（如数据接收服务器D）：用于接收数据采集及处理单元传送的数据接收服务器。

其中，数据采集及处理单元，包括：

数据交换器（如数据交换器B1）：用于负责多个相应通讯子线路之间的通讯数据交换，以及复制各通讯子线路的通讯数据并发送至HTTP监听器；

HTTP监听器（如HTTP监听器B4）：用于捕获数据交换器发送来的通讯数据中的所有以太网数据包，提取HTTP数据并发送至数据分析器；

数据分析器（如数据分析器B5）：按照预设的分析加工规则，对HTTP监听器发送来的HTTP数据进行分析加工，获取所需业务数据，打包并发送至数据传送器；

数据传送器（如数据传送器B6）：用于经过预先设置的数据传输途径，将数据分析器发送的业务数据传输至数据接收服务器；

采集配置工具（如采集配置工具B3）：用于预先设置数据分析器的分析加工规则；

管理控制台（如管理控制台B2）：用于负责数据分析器的所有采集服务的监控、定义和管理。

在上述实施例中，采集配置工具预先设置数据分析器的分析加工规则的操作，具体包括下列一种或多种：

设置需要采集的HTTPURL地址；

采样得到所有发往该HTTPURL的包；

选择需要采集的数据包；

针对相应数据包使用脚本，定义相应的数据加工逻辑；

定义发送到数据接收服务器的数据传输途径；

保存所定义的配置信息。

管理控制台负责数据分析器的所有采集服务的监控、定义和管理的操作，具体包括下列一种或多种：

显示所有采集服务运行状态；

新建采集服务定义；

修改采集服务定义；

删除采集服务定义；

停止采集服务；

启动采集服务。

在上述实施例中，数据交换器，具体包括：

数据交换模块：用于将业务服务器与业务终端之间的通讯线路分成多个通讯子线路（如两个通讯子线路，即通讯线路C2和通讯线路C3），每个通讯子线路对应一个数据端口（如通讯线路C2对应的数据端口P1，通讯线路C3对应的数据端口P2）；通过相应数据端口，实现相应通讯子线路之间的通讯数据交换；

复制及发送模块：用于在数据交换模块进行通讯数据交换的同时，复制各通讯子线路的通讯数据并发送至HTTP监听器。

在上述实施例中，HTTP监听器，具体包括：

数据解码模块：用于接收自数据交换器的各数据端口传送来的通讯数据，进行解码；

规则分析模块：用于判断数据解码模块解码后的相应通讯数据是否为HTTP数据包，若是，则将相应通讯数据进行规则分析；否则，抛弃接收到的通讯数据并中止处理；

数据提取模块：用于在规则分析模块将相应通讯数据进行规则分析后，判断规则分析后的相应通讯数据对应的HTTPURL地址是否为已定义的采集地址，若是，则从相应通讯数据中提取HTTP数据，并发送至数据分析器；否则，抛弃解码所得HTTP数据包。

在上述实施例中，数据分析器，具体包括：

分析加工模块：用于按照预设的分析加工规则，对HTTP监听器传送过来的HTTP数据使用预定义的分析加工规则进行分析加工处理，形成所需业务数据；

打包及发送模块：用于对分析加工模块形成的业务数据打包，将得到的业务数据包发送至数据发送器。

上述实施例的HTTP数据采集设备，可以加装在业务服务器A1与业务终端A2之间的通讯线路C1上。将原有的通讯线路C1由一条线路分成C2、C3两条线路，分别接到数据交换器B1的数据端口P1和数据端口P2上，数据交换器B1负责将通讯线路C2和通讯线路C3的数据进行连通交换的同时，把所有数据复制一份发送到HTTP监听器B4。HTTP监听器B4捕获所有以太网数据包，将其中的HTTP数据提取出来传递到数据分析器B5。由数据分析器B5按照采集配置工具B3定义好的规则对数据进行分析加工，获取所需要的业务数据并将数据打包传递给数据传送器B6。数据传送器B6经由数据传输途径F传输到数据接收服务器D，数据传输途径F可以是有线网络或无线蓝牙等。管理控制台B2负责所有采集服务的监控、定义和管理。

具体地，在上述实施例的HTTP数据采集设备中，关于对各处理模块的具体工作内容，可参见下面的说明。

数据交换器B1的工作内容，包括：

⑴将通讯线路C2和通讯线路C3的通讯数据进行交换；

⑵将通讯线路C2和通讯线路C3的通讯数据复制一份，发送给HTTP监听器B4。

管理控制台B2的工作内容，包括：

⑴显示所有采集服务运行状态；

⑵新建采集服务定义；

⑶修改采集服务定义；

⑷删除采集服务定义；

⑸停止采集服务；

⑹启动采集服务。

采集配置工具B3的工作内容，包括：

⑴通过采集配置工具B3，设置需要采集的HTTPURL地址；

⑵开始采样得到所有发往该HTTPURL的包；

⑶选择需要采集的数据包；

⑷针对此数据包使用脚本定义数据加工逻辑；

⑸定义发送到接收服务器D的数据传输途径F（有线网络或无线蓝牙等）；

⑹保存所定义的配置信息。

HTTP监听器B4的工作内容，包括：

⑴接收所有数据端口P1和数据端口P2的交换数据；

⑵对接收到的数据进行解码，判断接收到的数据是否为HTTP数据包，若是HTTP数据包，则进入下一步即第⑶步；否则，抛弃接收到的数据并中止处理；

⑶对解码出来的HTTP数据包进行规则分析，判断HTTPURL地址是否为已定义的采集地址，若是，则提取出HTTP数据内容并传递给数据分析器B5；否则，抛弃解码出来的HTTP数据包。

数据分析器B5的工作内容：

⑴对HTTP监听器B4传送过来的HTTP数据使用预定义的脚本（即分析加工规则）进行加工处理，形成所需业务数据；

⑵将形成的业务数据打包，将业务数据包传递给数据传送器B6。

数据传送器B6的工作内容，包括：按采集配置工具B3预先定义的传送途径（即数据传输途径），将业务数据包传送到数据接收服务器D。

本发明上述各实施例的HTTP数据采集设备，通过对直接网络上传输的HTTP数据进行采集并传送到其他系统，不需要在业务终端或业务服务器上安装任何软件，避免了对原有业务环境的侵入性，提高了数据采集的可靠性。该HTTP数据采集设备，可以解决基于B/S架构的电子政务系统间的数据共享问题，消除了信息孤岛，提高了行政效能。该HTTP数据采集设备，可广泛应于各政务系统的数据互通、电子监察、联合审批，也可作为数据监控、安全审计等业务系统的基础硬件设备。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种HTTP数据采集设备，其特征在于，用于加装在业务服务器与业务终端之间的通讯线路上，该HTTP数据采集设备包括：

数据采集及处理单元：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；

数据接收服务器：用于接收所述数据采集及处理单元传送的数据；

所述数据采集及处理单元，包括：

数据交换器：用于负责多个相应通讯子线路之间的通讯数据交换，以及复制各通讯子线路的通讯数据并发送至HTTP监听器；

HTTP监听器：用于捕获所述数据交换器发送来的通讯数据中的所有以太网数据包，提取HTTP数据并发送至数据分析器；

数据分析器：按照预设的分析加工规则，对所述HTTP监听器发送来的HTTP数据进行分析加工，获取所需业务数据，打包并发送至数据传送器；

数据传送器：用于经过预先设置的数据传输途径，将所述数据分析器发送的业务数据传输至数据接收服务器；所述数据采集及处理单元，还包括：

采集配置工具：用于预先设置所述数据分析器的分析加工规则；所述HTTP监听器，具体包括：

数据解码模块：用于接收自所述数据交换器的各数据端口传送来的通讯数据，进行解码；

规则分析模块：用于判断所述数据解码模块解码后的相应通讯数据是否为HTTP数据包，若是，则将相应通讯数据进行规则分析；否则，抛弃接收到的通讯数据并中止处理；

数据提取模块：用于在所述规则分析模块将相应通讯数据进行规则分析后，判断规则分析后的相应通讯数据对应的HTTPURL地址是否为已定义的采集地址，若是，则从相应通讯数据中提取HTTP数据，并发送至数据分析器；否则，抛弃解码所得HTTP数据包；

所述数据分析器，具体包括：

分析加工模块：用于按照预设的分析加工规则，对所述HTTP监听器传送过来的HTTP数据使用预定义的分析加工规则进行分析加工处理，形成所需业务数据；

打包及发送模块：用于对所述分析加工模块形成的业务数据打包，将得到的业务数据包发送至数据传送器；

所述预先设置所述数据分析器的分析加工规则的操作，具体包括下列一种或多种：

设置需要采集的HTTPURL地址；

采样得到所有发往该HTTPURL的包；

选择需要采集的数据包；

针对相应数据包使用脚本，定义相应的数据加工逻辑；

定义发送到数据接收服务器的数据传输途径；

保存所定义的配置信息。

2.根据权利要求1所述的HTTP数据采集设备，其特征在于，所述数据采集及处理单元，还包括：

管理控制台：用于负责所述数据分析器的所有采集服务的监控、定义和管理。

3.根据权利要求2所述的HTTP数据采集设备，其特征在于，所述负责所述数据分析器的所有采集服务的监控、定义和管理的操作，具体包括下列一种或多种：

显示所有采集服务运行状态；

新建采集服务定义；

修改采集服务定义；

删除采集服务定义；

停止采集服务；

启动采集服务。

4.根据权利要求2-3中任一项所述的HTTP数据采集设备，其特征在于，所述数据交换器，具体包括：

数据交换模块：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，每个通讯子线路对应一个数据端口；通过相应数据端口，实现相应通讯子线路之间的通讯数据交换；

复制及发送模块：用于在所述数据交换模块进行通讯数据交换的同时，复制各通讯子线路的通讯数据并发送至HTTP监听器。

5.根据权利要求1所述的HTTP数据采集设备，其特征在于，所述预先设置的数据传输途径，包括有线网络或无线蓝牙。