CN106354723B - 一种在线数据采集系统 - Google Patents

Abstract

本申请提供了一种在线数据采集系统包括可视化任务编辑器和分布式数据采集引擎，其中，可视化任务编辑器用于展示图形编辑界面，并基于用户在图形编辑界面上进行的操作，生成数据采集任务，分布式数据采集引擎用于依据所述数据采集任务，执行数据采集的过程，因为可以依据用于在图形编辑界面上进行的操作生成数据采集任务，并且图形编辑界面中包括图元库，所述图元库中包括第一类图元和第二类图元，所述第一类图元可配置不同的源数据库和/或目标数据库，所述第二类图元分别对应数据采集的子环节，可见，本实施例中所述的系统，使得用户直观灵活地创建数据采集任务，针对在线数据的特点，用户也可以通过对图元的操作灵活地创建数据采集任务。

Description

一种在线数据采集系统

技术领域

本申请涉及计算机领域，尤其涉及一种在线数据采集系统。

背景技术

数据采集是指，将数据从源数据库，以全量或增量的采集方式，复制到目标数据库的过程。

目前，传统的数据采集绝大多数均基于本地数据进行，而随着互联网的发展，在线状态的数据库日益增多。与本地数据相比，在线数据具有跨地和跨域的特点，对于数据采集而言，目的地址同样也是在线的，因此，目的地址具有灵活可变的特点。

因此，基于以上在线数据的特点，如何实现数据的在线采集，成为目前亟待解决的问题。

发明内容

本申请提供了一种在线数据采集系统，目的在于解决如何实现数据的在线采集的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种在线数据采集系统，包括：

可视化任务编辑器，用于展示图形编辑界面，并基于用户在图形编辑界面上进行的操作，生成数据采集任务，所述图形编辑界面中包括图元库，所述图元库中包括第一类图元和第二类图元，所述第一类图元可配置不同的源数据库和/或目标数据库，所述第二类图元分别对应数据采集的子环节；

分布式数据采集引擎，用于依据所述数据采集任务，执行数据采集的过程。

可选地，所述可视化任务编辑器具体包括：

显示单元，用于向用户显示图形编辑界面，所述图像编辑界面中包括图元库、格式编辑选项以及任务管理选项；其中，所述图元库中包括第一类图元和第二类图元，其中第一类图元包括输入和输出图元，所述第二类图元包括统计图元、脚本图元和计算图元，所述格式编辑选项包括图元在所述图形编辑界面上的格式控制选项，所述任务管理选项包括对数据采集任务进行管理的选项；

任务生成单元，用于响应于用户在所述图形编辑界面上的操作，生成数据采集任务；

发送单元，用于发送所述数据采集任务。

可选地，所述分布式数据采集引擎包括：

对外API接口，用于向外提供采集任务执行器的执行、启动、停止、环境配置和资源注册功能，并接收所述可视化任务编辑器发送的所述数据采集任务；

引擎核心，用于执行所述数据采集任务；

引擎扩展，用于为所述引擎核心提供数据来源、数据标的以及相应的业务功能实现。

可选地，所述引擎核心具体包括：

数据库扩展接口，用于识别不同数据库的驱动；

采集任务执行器，用于将数据从源数据库复制到目标数据库中；

服务器协同管理单元，用于在使用多个服务器的情况下，对多个服务器进行协同管理；

采集扩展接口，用于提供数据采集功能的扩展；

采集环节消息管理单元，用于对所述数据采集过程中各个环节见的消息的传递进行控制管理。

可选地，还包括：

可视化任务状态监控模块，用于监控所述数据采集的过程。

可选地，所述可视化任务状态监控模块包括：

状态数据展示单元，用于展示所述数据采集任务的实时运行状态；

故障定位单元，用于当所述数据采集任务的执行过程发生异常时，通过图形化方式显示故障环节，并通过日志显示导致故障发生的数据；

性能日志分析单元，用于通过图形显示的方式展示在所述数据采集任务的执行过程中每个环节消耗的处理时间。

可选地，还包括：

公共资源管理模块，用于为所述数据采集的过程提供权项管理和资源复用控制。

可选地，所述公共资源管理模块具体包括：

数据库连接管理单元，用于对所述数据采集任务的源数据库和目标数据库进行类型选择与资源配置；

任务管理单元，用于提供数据采集任务的共享服务；

权限控制单元，用于为使用者分配使用权限，以避免多人使用时的修改冲突。

可选地，所述公共资源管理模块还包括：

数据通道管理单元，用于在需要多通道处理所述数据采集任务的情况下，进行数据通道的配置；

集群管理单元，用于在所述数据采集任务的需要多台服务器协作的情况下，提供服务器的配置功能。

本申请所述的在线数据采集系统包括可视化任务编辑器和分布式数据采集引擎，其中，可视化任务编辑器用于展示图形编辑界面，并基于用户在图形编辑界面上进行的操作，生成数据采集任务，分布式数据采集引擎用于依据所述数据采集任务，执行数据采集的过程，因为可以依据用于在图形编辑界面上进行的操作生成数据采集任务，并且图形编辑界面中包括图元库，所述图元库中包括第一类图元和第二类图元，所述第一类图元可配置不同的源数据库和/或目标数据库，所述第二类图元分别对应数据采集的子环节，可见，本实施例中所述的系统，使得用户直观灵活地创建数据采集任务，针对在线数据的特点，用户也可以通过对图元的操作灵活地创建数据采集任务。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种在线数据采集系统图的结构示意图；

图2为本申请实施例公开的可视化任务编辑器的结构示意图；

图3为本申请实施例公开的在设计界面拖入行转列、表输入、排序、表输出图元的示意图；

图4为本申请实施例公开的表输入图元的页面设置示意图；

图5为本申请实施例公开的排序图元的页面设置示意图；

图6为本申请实施例公开的行转列图元的页面设置示意图；

图7为本申请实施例公开的表输出图元的页面设置示意图；

图8为本申请实施例公开的又一种在线数据采集系统的结构示意图；

图9为本申请实施例公开的分布式数据采集引擎的结构示意图；

图10为本申请实施例公开的可视化任务状态监控模块的结构示意图；

图11为本申请实施例公开的公共资源管理模块的结构示意图。

具体实施方式

本申请实施例提供了一种在线数据采集系统，可以用于采集在线数据，其目的在于贴合在线数据的特点。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开的一种在线数据采集系统，如图1所示，包括：

可视化任务编辑器101以及分布式数据采集引擎102。

其中，可视化任务编辑器101用于展示图形编辑界面，并基于用户在图形编辑界面上进行的操作，生成数据采集任务。

具体地，所述图形编辑界面中包括图元库，所述图元库中包括第一类图元和第二类图元，所述第一类图元可配置不同的源数据库和/或目标数据库，所述第二类图元分别对应数据采集的子环节。

分布式数据采集引擎102用于依据所述数据采集任务，执行数据采集的过程。

如图2所示，可视化任务编辑器可以基于flash技术实现图形功能，具体包括：显示单元201、任务生成单元202以及发送单元203。

具体地，显示单元201用于向用户显示图形编辑界面，所述图像编辑界面中包括图元库、格式编辑选项以及图元管理选项；

其中，所述图元库中包括第一类图元和第二类图元，其中第一类图元包括输入和输出图元，所述第二类图元包括统计图元、脚本图元和计算图元，各类图元分别对应数据采集的数据导入、数据的质量校验、数据处理及数据导出四个阶段，并且，对数据采集中比较常见的增量采集、出错采集等需求提供针对性的解决方案。

所述格式编辑选项包括图元在所述图形编辑界面上的格式控制选项，例如，格式控制选项可以包括图元的左右对齐、网格线对齐、左右对齐、放大、缩小等外观类设置的选项。

所述任务管理选项包括对任务进行管理的选项，例如，已有任务的展示、编辑后任务的校验、任务的保存和解析等。

任务生成单元202用于响应于用户在所述图形编辑界面上的操作，生成数据采集任务；

具体地，用户可以在图形界面上进行图元的拖拽、多个图元的排列、选择及连接等操作。

发送单元203用于发送所述数据采集任务。

例如，使用本实施例所述的系统可以实现以下数据采集过程：

采集前准备：执行bamtest.sql数据库脚本，数据库中已存在bamtest数据库，并且存在按“测试数据”准备的相关表。

采集过程：

1.新建数据采集任务“测试”；

2.在“测试”任务所对应的采集任务列表中新建“测试任务”，选择“测试任务”任务，点击“设计任务模型”；

3、在设计界面拖入行转列、表输入、排序、表输出图元，如图3所示，并将上述图元按照执行逻辑进行连接；

4、点击打开表输入图元，页面设置如图4所示；点击打开排序图元，页面设置如图5所示；点击打开行转列图元，页面设置如图6所示；点击打开表输出图元，页面设置如图7所示；

5、完成图元配置后，点击“保存”按钮，数据采集任务建立完毕。

效果展示：

1)Bam_test_hzl原表中的数据，如表1所示。

表1

2)Bam_test_hzl原表经排序图元转换后的数据，如表2所示：

表2

3)保存执行后结果，bam_output_hzl表中数据如表3所示：

表3

该步骤的主要作用：将单独展示的“chinese”，“math”，“english”字段中的数据整合在一个“subject”字段中，且单独产生一个“score”字段，存放数据，继而实现将行展示的数据以列的方式来展示。

可见，本实施例中所述的在线数据采集系统，可视化任务编辑器可以为用户提供在线可视化的采集任务编辑，从而可以依据在线数据的状态变化，灵活设计数据采集任务，满足在线数据采集的需求。

本申请实施例公开的又一种在线数据采集系统，如图8所示，包括：

可视化任务编辑器、分布式数据采集引擎、可视化任务状态监控模块以及公共资源管理模块。

其中，可视化任务编辑器的功能及其具体结构如上述实施例所述，这里不再赘述。

具体地，如图9所示，分布式数据采集引擎可以具体包括：对外API接口、引擎核心以及引擎扩展。

其中，对外API接口用于向外提供采集任务执行器的执行、启动、停止、环境配置和资源注册功能，并接收所述可视化任务编辑器发送的所述数据采集任务。

引擎核心用于执行所述数据采集任务，引擎核心具体可以包括：数据库扩展接口，用于识别不同数据库的驱动；采集任务执行器，用于将数据从源数据库复制到目标数据库中；服务器协同管理单元，用于在使用多个服务器的情况下，对多个服务器进行协同管理；采集扩展接口，用于提供数据采集功能的扩展；以及采集环节消息管理单元，用于对所述数据采集过程中各个环节见的消息的传递进行控制管理。

引擎扩展用于为所述引擎核心提供数据来源、数据标的以及相应的业务功能实现。

如图10所示，可视化任务状态监控模块包括：状态数据展示单元，用于展示所述数据采集任务的实时运行状态；故障定位单元，用于当所述数据采集任务的执行过程发生异常时，通过图形化方式显示故障环节，并通过日志显示导致故障发生的数据；性能日志分析单元，用于通过图形显示的方式展示在所述数据采集任务的执行过程中每个环节消耗的处理时间。用显示图形方式展示整个数据采集过程中每个环节所消耗的处理时间，可以使得运维人员快速的定位整个处理过程的性能瓶颈，采取相应的手段完成任务运行的性能调优工作。

如图11所示，公共资源管理模块具体包括：数据库连接管理单元，用于对所述数据采集任务的源数据库和目标数据库进行类型选择与资源配置；任务管理单元，用于提供数据采集任务的共享服务；权限控制单元，用于为使用者分配使用权限，以避免多人使用时的修改冲突。

本实施例所述的在线数据采集系统，结合最新的在线显示技术，给出一个可视化任务编辑器。可视化任务编辑器一方面可以和采集数据架构无缝融合，另一方面可也作为一个独立的在线编辑器而独立部署和使用，从而增加了灵活性。并且，集任务编辑、数据采集、运维管理于一体，能够方便用户的使用。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种在线数据采集系统，其特征在于，包括：

可视化任务编辑器，用于展示图形编辑界面，并基于用户在图形编辑界面上进行的操作，生成数据采集任务，所述图形编辑界面中包括图元库，所述图元库中包括第一类图元和第二类图元，所述第一类图元可配置不同的源数据库和/或目标数据库，所述第二类图元分别对应数据采集的子环节；

分布式数据采集引擎，用于依据所述数据采集任务，执行数据采集的过程。

2.根据权利要求1所述的系统，其特征在于，所述可视化任务编辑器具体包括：

显示单元，用于向用户显示图形编辑界面，所述图形编辑界面中包括图元库、格式编辑选项以及任务管理选项；其中，所述图元库中包括第一类图元和第二类图元，其中第一类图元包括输入和输出图元，所述第二类图元包括统计图元、脚本图元和计算图元，所述格式编辑选项包括图元在所述图形编辑界面上的格式控制选项，所述任务管理选项包括对数据采集任务进行管理的选项；

任务生成单元，用于响应于用户在所述图形编辑界面上的操作，生成数据采集任务；

发送单元，用于发送所述数据采集任务。

3.根据权利要求1或2所述的系统，其特征在于，所述分布式数据采集引擎包括：

对外API接口，用于向外提供采集任务执行器的执行、启动、停止、环境配置和资源注册功能，并接收所述可视化任务编辑器发送的所述数据采集任务；

引擎核心，用于执行所述数据采集任务；

引擎扩展，用于为所述引擎核心提供数据来源、数据标的以及相应的业务功能实现。

4.根据权利要求3所述的系统，其特征在于，所述引擎核心具体包括：

数据库扩展接口，用于识别不同数据库的驱动；

采集任务执行器，用于将数据从源数据库复制到目标数据库中；

服务器协同管理单元，用于在使用多个服务器的情况下，对多个服务器进行协同管理；

采集扩展接口，用于提供数据采集功能的扩展；

采集环节消息管理单元，用于对所述数据采集过程中各个环节的消息的传递进行控制管理。

5.根据权利要求3所述的系统，其特征在于，还包括：

可视化任务状态监控模块，用于监控所述数据采集的过程。

6.根据权利要求5所述的系统，其特征在于，所述可视化任务状态监控模块包括：

状态数据展示单元，用于展示所述数据采集任务的实时运行状态；

故障定位单元，用于当所述数据采集任务的执行过程发生异常时，通过图形化方式显示故障环节，并通过日志显示导致故障发生的数据；

性能日志分析单元，用于通过图形显示的方式展示在所述数据采集任务的执行过程中每个环节消耗的处理时间。

7.根据权利要求3所述的系统，其特征在于，还包括：

公共资源管理模块，用于为所述数据采集的过程提供权项管理和资源复用控制。

8.根据权利要求7所述的系统，其特征在于，所述公共资源管理模块具体包括：

数据库连接管理单元，用于对所述数据采集任务的源数据库和目标数据库进行类型选择与资源配置；

任务管理单元，用于提供数据采集任务的共享服务；

权限控制单元，用于为使用者分配使用权限，以避免多人使用时的修改冲突。

9.根据权利要求8所述的系统，其特征在于，所述公共资源管理模块还包括：

数据通道管理单元，用于在需要多通道处理所述数据采集任务的情况下，进行数据通道的配置；

集群管理单元，用于在所述数据采集任务的需要多台服务器协作的情况下，提供服务器的配置功能。