CN115454773A - 数据采集方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供数据采集方法、装置、电子设备和存储介质。该方法包括：获取数据采集指令，所述数据采集指令包括用于关联源端数据表的关联信息；根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息；利用所述关联信息关联所述源端数据表，从而能够用于对该源端数据表进行数据采集。

Description

数据采集方法、装置、电子设备和存储介质

技术领域

本申请涉及互联网技术领域，具体而言，涉及数据采集方法、装置、电子设备和存储介质。

背景技术

随着科学技术的不断发展，大数据分析在产品推广、用户喜好分析、媒体传播等领域的应用越来越广泛。在进行大数据分析之前，通常需要先进行数据的采集，因此数据采集对大数据分析而言至关重要。

发明内容

本申请实施例的目的在于提供数据采集方法、装置、电子设备和存储介质，用于解决现有技术中的问题。

本申请实施例第一方面提供了一种数据采集方法，其特征在于，包括：

获取数据采集指令，所述数据采集指令包括用于关联源端数据表的关联信息；

根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息；

利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集。

于一实施例中，获取数据采集指令，具体包括：获取定时任务触发下所产生的数据采集指令。

于一实施例中，利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集，具体包括：

利用所述关联信息，对数据采集平台中数据源信息配置页面进行信息配置；

在进行信息配置之后，利用所述数据采集平台关联所述源端数据表；以及，

通过所述数据采集平台对所述源端数据表进行数据采集。

于一实施例中，所述方法还包括：将所采集的数据存储至目标数据表。

于一实施例中，所述方法还包括：

预先设置所述目标数据表的文件属性信息，以及所述目标数据表的表内字段信息。

于一实施例中，根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息，具体包括：

根据所述源端数据表所属数据库的数据库类型，从所述数据采集平台的驱动文件中调用所述驱动信息，其中，所述驱动文件存储有多种不同数据库类型分别所对应的驱动信息。

于一实施例中，所述方法还包括：在监测到所述源端数据表发生数据变更的情况下，针对数据库操作日志所变更的日志内容进行数据采集，其中，所述数据库操作日志用于对所述源端数据表的数据变更进行记录；或，

在监测到数据源中业务日志发生数据变更的情况下，针对该业务日志所变更的日志内容进行数据采集。

本申请实施例第二方面提供了一种数据采集装置，包括：

获取单元，用于获取数据采集指令，所述数据采集指令包括用于关联源端数据表的关联信息；

调用单元，用于根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息；

关联采集单元，用于利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集

本申请实施例第三方面提供了一种电子设备，包括：

存储器，用以存储计算机程序；

处理器，用以执行本申请方法实施例中任一项所述的方法。

本申请实施例第四方面提供了一种存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行本申请方法实施例中任一项所述的方法。

采用本申请实施例所提供的数据采集方法，包括先获取数据采集指令，该数据采集指令包括用于关联源端数据表的关联信息，然后根据该源端数据表所属数据库的数据库类型，调用与该数据库类型对应的驱动信息，然后利用该关联信息关联源端数据表，从而能够用于对源端数据表进行数据采集。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的，数据采集平台的具体结构示意图；

图2为本申请一实施例提供的，数据采集平台与数据源的结构示意图

图3为本申请一实施例提供的，数据采集方法的流程示意图；

图4为本申请一实施例提供的，数据采集装置的具体结构示意图；

图5为本申请一实施例提供的电子设备的具体结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，诸如“第一”、“第二”、“第三”等术语仅用于区分描述，而不能理解为指示或暗示相对重要性或先后顺序。

如前所述，在进行大数据分析之前，通常需要先进行数据的采集，因此数据采集对大数据分析而言至关重要。

基于此，本申请实施例提供了一种数据采集方法、装置、电子设备和存储介质，能够用于进行数据的采集。其中，该方法能够应用于本申请实施例所提供的数据采集平台，如图1所示为该数据采集平台10的具体结构示意图，该数据采集平台10可以包括离线数据采集模块11和实时数据采集模块12，该离线数据采集模块11能够用于针对源端数据表进行数据采集，比如针对该源端数据表进行数据的批量采集，在实际应用中，该源端数据表通常用于存储业务数据或其他类型的数据。

而实时数据采集模块12通常还可以进一步包括数据库操作日志采集子模块和业务日志采集子模块，其中，该数据库操作日志采集子模块，用于在源端数据表即时发生了数据的增、删、改等数据变更时，能够对数据库操作日志(比如，binlog日志)进行采集，该数据库操作日志用于对源端数据表的数据变更进行记录。

该业务日志采集子模块，用于在数据源的业务日志即时发生了增加日志文件、追加日志内容等数据变更时，针对该业务日志进行数据采集，其中，该业务日志可以用于记录数据源中实际业务操作的相关信息，包括用户行为数据、操作数据和其他业务日志记录等。

如图2所示为如图1所示的数据采集平台10，与数据源之间的连接示意图，其中，该数据采集平台10能够连接多个数据源20，从而利用该数据采集平台10中的离线数据采集模块11或实时数据采集模块12，从数据源20中采集数据。在实际应用中，该数据源20可以是能够产生业务数据的业务服务器，也可以是其他类型的能够产生数据的服务器、服务器集群或客户端等。

如图3所示为本申请实施例所提供的数据采集方法的具体流程示意图，该方法可以由图1所示的数据采集平台10来执行，具体来说可以由该数据采集平台10中的离线数据采集模块11来执行，该方法包括如下步骤：

步骤S31：获取数据采集指令，该数据采集指令包括用于关联源端数据表的关联信息。

其中，该源端数据表是指数据源中的一个或多个数据表，需要从该源端数据表进行数据采集。关联信息能够用于关联该源端数据表，该关联信息比如可以包括数据源的主机、端口号、数据库名称、数据源的名称、数据源的标识、数据源所属的域、源端数据表的名称以及源端数据表的URL等，因此能够通过该关联信息关联具体数据源中的该源端数据表。其中，在实际应用中，为了便于对不同业务所产生的数据进行隔离，通常利用域对不同业务进行隔离，使得不同的业务对应不同的域，同一个域中可以包括一个或多个数据源，这些数据源均用于存储对应业务所产生的数据。

在实际应用中，为了便于对数据源中的源端数据表进行数据采集，特别是在有多个数据源，并且各个数据源中分别包括多个源端数据表的情况下进行的数据采集，通常可以预先设置多个定时任务，各个定时任务分别配置为针对对应的源端数据表进行数据采集，这样在某个定时任务被触发的情况下，能够获取该定时任务触发下所产生的数据采集指令，并且该数据采集指令包括用于关联对应源端数据表的关联信息。

比如，多个数据源分比为A、B和C，数据源A包括A1和A2两个源端数据表，数据源B包括B1、B2和B3三个源端数据表，数据源C包括C1和C2两个源端数据表。需要针对A1、A2、B1、B2、B3、C1和C2进行数据采集，此时能够设置7个定时任务，各个定时任务分别配置为针对对应的源端数据表(即A1、A2、B1、B2、B3、C1和C2)进行数据采集，这样在某个定时任务被触发的情况下，能够获取该定时任务触发下所产生的数据采集指令，并且该数据采集指令包括用于关联对应源端数据表的关联信息。

其中，通常在达到相应的任务执行时刻时，定时任务被触发；当然，操作人员在需要时，也可以主动触发定时任务。

需要进一步说明的是，对于上述图1所提供的数据采集平台10，通常还可以设置定时任务管理模块，用于对定时任务进行添加、修改、暂定等管理，比如当需要针对某个源端数据表进行数据采集时，可以通过定时任务管理模块添加新的定时任务；或，当需要调整某个定时任务的执行时刻、优先等级等信息时，可以通过定时任务管理模块，对该定时任务的执行时刻、优先等级等信息进行修改；当然，在需要暂停某个定时任务时，比如在检测到某个定时任务执行失败的次数大于预设阈值，此时为了避免任务阻塞，可以通过定时任务管理模块暂定该定时任务。

步骤S32：根据关联信息所关联的源端数据表所属数据库的数据库类型，调用与该数据库类型对应的驱动信息。

在实际应用中，数据库类型可以有多种，包括Oracle、SQLServer、DB2、PostgreSQL、MySQL等，不同数据库类型的数据库之间的驱动信息通常并不相同，因此在该步骤S32中，为了能够从源端数据表中采集数据，需要调用该源端数据表所属数据库的数据库类型，所对应的驱动信息。

对于具体调用该驱动信息的方式，比如可以在图1所示的数据采集平台中进一步设置驱动管理模块，该驱动管理模块中包括驱动文件，其中，该驱动文件存储有多种不同数据库类型分别所对应的驱动信息；这样在该步骤S32中，能够通过该驱动管理模块，来根据源端数据表所属数据库的数据库类型，调用与该数据库类型对应的驱动信息。比如，该驱动管理模块能够提供驱动配置页面，预先根据源端数据表所属数据库的数据库类型，在该驱动配置页面填写对应的驱动信息的关联信息(包括该驱动信息的名称、URL、驱动类型、驱动文件包等)，然后提交该驱动配置页面，使驱动管理模块基于驱动配置页面中所提交的信息进行配置和保存，这样在该步骤S32中，能够根据关联信息所关联的源端数据表所属数据库的数据库类型，从驱动文件中匹配出相应的驱动信息，并对该驱动信息进行调用。

步骤S33：利用关联信息关联源端数据表，以用于对源端数据表进行数据采集。

在调用源端数据表所属数据库的数据库类型，所对应的驱动信息之后，能够利用关联信息关联源端数据表，从而对源端数据表进行数据采集。比如，可以在数据采集平台设置数据源信息配置页面，在利用关联信息关联源端数据表时，可以先利用该关联信息，对数据采集平台中数据源信息配置页面进行信息配置，包括将关联信息中的数据源的主机、端口号、数据库名称、数据源的名称、数据源的标识、数据源所属的域、源端数据表的名称以及源端数据表的URL等，分别填写至该数据源信息配置页面中对应的字段；并且，在进行信息配置之后，使利用数据采集平台能够利用该关联信息关联源端数据表，进而对源端数据表进行数据采集。

采用本申请实施例所提供的数据采集方法，包括先获取数据采集指令，该数据采集指令包括用于关联源端数据表的关联信息，然后根据该源端数据表所属数据库的数据库类型，调用与该数据库类型对应的驱动信息，然后利用该关联信息关联源端数据表，从而能够用于对源端数据表进行数据采集。

需要进一步说明的是，在通过上述步骤S33进行数据采集之后，该方法还可以进一步包括将所采集的数据存储至目标数据表，该目标数据表可以为数据仓库中预先创建的的某个或多个数据表，从而将所采集的数据存储至数据仓库。

另外，在创建该目标数据表时，由于需要利用该目标数据表来存储所采集的数据，因此该方法通常还可以包括预先设置该目标数据表的文件属性信息，以及该目标数据表的表内字段信息。

其中，该目标数据表的文件属性信息可以包括该目标数据表的名称、标识、所属的域或数据仓库、数据同步策略、访问权限等，该文件属性信息从数据表的层面反映该目标数据表的文件的相关属性。

目标数据表的表内字段信息，反映该目标数据表表内字段的相关信息，比如反映目标数据表表内字段的名称、数量、字段描述信息等，比如，目标数据表表内字段的名称和数量，可以与源端数据表的字段名称和数量相同，从而将所采集数据作为目标数据表对应的字段的字段值进行存储。当然，目标数据表表内字段的名称和数量，也可以与源端数据表的字段名称和数量不同，比如只针对源端数据表中部分字段的数据进行采集，并将所采集的数据存储至目标数据表，此时目标数据表表内字段的数量可以少于源端数据表字段的数量，当然目标数据表表内字段的名称也可以进行重新命名。

上述主要是利用本申请实施例所提供数据采集平台10中的离线数据采集模块11，针对源端数据表进行数据采集，在实际应用中，还可以利用该数据采集平台10中的实时数据采集模块12，进行相应的数据采集。比如，可以利用该实时数据采集模块12中的数据库操作日志采集子模块进行数据采集，此时，该方法还可以进一步包括：在监测到源端数据表发生数据变更的情况下，利用该数据库操作日志采集子模块针对数据库操作日志中所变更的日志内容，进行数据采集。

当然，数据库操作日志采集子模块进行数据采集的具体方式可以是直接采集，也可以是间接采集；比如，可以先通过该数据采集平台10在数据源安装第一客户端，比如该数据采集平台10向数据源发送该第一客户端的安装指令，从而指示该数据源安装该第一客户端，进而通过该第一客户端对数据源中的源端数据表的数据变更情况进行监控，并在监控到该源端数据表中的数据发生增、删、改等数据变更时，可以直接利用该数据库操作日志采集子模块，针对数据库操作日志中所变更的日志内容，进行数据采集；而间接采集的方式，比如可以是利用该第一客户端作为执行引擎，针对数据库操作日志中所变更的日志内容，进行数据采集，然后将所采集的数据生成消息，然后利用数据库操作日志采集子模块获取该消息，并进一步将该消息添加到消息队列进行存储，从而实现该数据采集。其中，该消息队列可以为KAFKA消息队列，也可以为其他类型的消息队列。

在实际应用中，通常可以在KAFKA中可以创建多个KAFKA消息队列，各个KAFKA消息队列分别用于存储不同源端数据表，因数据变更所采集到的数据。因此，在某个源端数据表发生数据变更的情况下，可以利用第一客户端针对数据库操作日志中所变更的日志内容，进行数据采集，然后生成消息，然后利用数据库操作日志采集子模块获取该消息，并进一步将该消息添加到对应的KAFKA消息队列。

通过实时数据采集模块12中的业务日志采集子模块，对业务日志发生数据变更时，针对该业务日志进行数据采集，该过程也可以是直接采集或间接采集；比如，可以先通过数据采集平台10在数据源安装第二客户端，比如该数据采集平台10向数据源发送该第二客户端的安装指令，从而指示该数据源安装该第二客户端，进而通过该第二客户端对数据源中的业务日志的数据变更情况进行监控，并在监控到发生增、删、改等数据变更时，可以直接利用该业务日志采集子模块，针对业务日志中所变更的日志内容进行数据采集；而间接采集的方式，比如可以是利用该第二客户端作为执行引擎，针对业务日志中所变更的日志内容，进行数据采集，然后将所采集的数据生成消息，然后利用业务日志采集子模块获取该消息，并进一步将该消息添加到消息队列进行存储，从而实现该数据采集。其中，该消息队列可以为KAFKA消息队列，也可以为其他类型的消息队列。

需要说明的是，在利用实时数据采集模块12中的数据库操作日志采集子模块或业务日志采集子模块，进行实时的数据采集之前，通常也可以预先进行采集任务的配置，比如在实时数据采集模块12配置该数据源的相关信息、采集任务的开始时刻等，并在该采集任务的开始时刻启动采集任务，该采集任务可以是针对源端数据表或业务日志的数据采集任务，然后利用数据源的相关信息来连接到该数据源，然后进行持续的监控和实时的数据采集。其中，该数据源的相关信息可以包括服务器地址、端口、监控客户端安装目录、数据采集目录、用户名、密码等。

基于与本申请实施例所提供的数据采集方法相同的发明构思，本申请实施例还提供了一种数据采集装置。对于该装置实施例，如有不清楚之处，可以参考方法实施例的相应内容。如图4所示为该装置40的具体结构示意图，该装置40包括：获取单元401、调用单元402和关联采集单元403，其中：

获取单元401，用于获取数据采集指令，所述数据采集指令包括用于关联源端数据表的关联信息；

调用单元402，用于根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息；

关联采集单元403，用于利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集。

采用本申请实施例所提供的装置40，由于该装置40采用与本申请实施例所提供的数据采集方法相同的发明构思，在该方法能够解决技术问题的前提下，该装置40也能够解决技术问题，这里对此不再赘述。

另外，在实际应用中，通过将该装置40与具体硬件设备、云技术等相结合所取得的技术效果，也在本申请的保护范围之内，比如采用分布式集群的方式将该装置40中的不同单元布设于分布式集群中的不同节点中，从而提高效率等。

在实际应用中，获取单元401可以具体包括获取子单元401，用于获取定时任务触发下所产生的数据采集指令。

关联采集单元403可以具体包括关联采集子单元，用于利用所述关联信息，对数据采集平台中数据源信息配置页面进行信息配置；在进行信息配置之后，利用所述数据采集平台关联所述源端数据表；以及，通过所述数据采集平台对所述源端数据表进行数据采集。

该装置40还可以包括存储单元，用于将所采集的数据存储至目标数据表。

该装置40还可以包括设置单元，用于预先设置所述目标数据表的文件属性信息，以及所述目标数据表的表内字段信息。

调用单元可以具体包括调用子单元，用于根据所述源端数据表所属数据库的数据库类型，从所述数据采集平台的驱动文件中调用所述驱动信息，其中，所述驱动文件存储有多种不同数据库类型分别所对应的驱动信息。

该装置40还可以包括监控采集单元，用于在监测到所述源端数据表发生数据变更的情况下，针对数据库操作日志所变更的日志内容进行数据采集，其中，所述数据库操作日志用于对所述源端数据表的数据变更进行记录；或，在监测到数据源中业务日志发生数据变更的情况下，针对该业务日志所变更的日志内容进行数据采集。

如图5所示，本实施例还提供一种电子设备5，包括：至少一个处理器51和存储器52，图5中以一个处理器为例。处理器51和存储器52可以通过总线50连接，存储器52存储有可被处理器51执行的指令，指令被处理器51执行，以使电子设备5可执行下述的实施例中方法的全部或部分流程。

该电子设备5可以是手机、笔记本电脑、台式电脑或其组成的后端服务器或服务器集群等。

本发明实施例还提供了一种存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

获取数据采集指令，所述数据采集指令包括用于关联源端数据表的关联信息；

根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息；

利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集。

2.根据权利要求1所述的方法，其特征在于，获取数据采集指令，具体包括：获取定时任务触发下所产生的数据采集指令。

3.根据权利要求1所述的方法，其特征在于，利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集，具体包括：

利用所述关联信息，对数据采集平台中数据源信息配置页面进行信息配置；

在进行信息配置之后，利用所述数据采集平台关联所述源端数据表；以及，

通过所述数据采集平台对所述源端数据表进行数据采集。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所采集的数据存储至目标数据表。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

预先设置所述目标数据表的文件属性信息，以及所述目标数据表的表内字段信息。

6.根据权利要求1所述的方法，其特征在于，根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息，具体包括：

根据所述源端数据表所属数据库的数据库类型，从所述数据采集平台的驱动文件中调用所述驱动信息，其中，所述驱动文件存储有多种不同数据库类型分别所对应的驱动信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在监测到所述源端数据表发生数据变更的情况下，针对数据库操作日志所变更的日志内容进行数据采集，其中，所述数据库操作日志用于对所述源端数据表的数据变更进行记录；或，

在监测到数据源中业务日志发生数据变更的情况下，针对该业务日志所变更的日志内容进行数据采集。

8.一种数据采集装置，其特征在于，包括：

获取单元，用于获取数据采集指令，所述数据采集指令包括用于关联源端数据表的关联信息；

调用单元，用于根据所述源端数据表所属数据库的数据库类型，调用与所述数据库类型对应的驱动信息；

关联采集单元，用于利用所述关联信息关联所述源端数据表，以用于对所述源端数据表进行数据采集。

9.一种电子设备，其特征在于，包括：

存储器，用以存储计算机程序；

处理器，用以执行如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，包括：程序，当其在电子设备上运行时，使得电子设备可执行如权利要求1至7中任一项所述的方法。

Images