CN111475505B - 一种数据采集的方法及设备 - Google Patents

Abstract

本申请适用于数据处理技术领域，提供了一种数据采集的方法及设备，包括：获取目标数据库的示例数据；基于所述示例数据生成用于采集目标数据的脚本运行参量；根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本；调用所述数据采集脚本从目标数据库下载目标数据。本申请能提高实现自动调整数据采集脚本，无需人为手动为每个数据库配置对应的数据采集脚本，提高了数据采集的自动化程度，也能够减少人工操作，提高了数据采集的效率。

Description

一种数据采集的方法及设备

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据采集的方法及设备。

背景技术

随着电子化进程的不断推进，越来越多的数据通过电子文档的形式存储，并且在日常使用的过程中，行为记录也逐渐数据化，为了方便数据的整理以及查找，可以将各个数据存储于数据库内。在需要对电子商品进行数据整理时，可以通过编写对应的脚本，从数据库中采集相应的数据，并生成数据表，以实现产品管理以及产品监控。

然而随着电子产品的类型以及分析任务的数量不断增加，数据库的总量不断提高，若在每一次生成数据表时，均需要为不同的数据库配置对应的脚本，则大大增加了数据统计的工作量，降低了数据管理的效率，增加了处理难度。

发明内容

有鉴于此，本申请实施例提供了一种数据采集的方法及设备，以解决现有的数据采集技术，在每一次生成数据表时，均需要为不同的数据库配置对应的脚本，则大大增加了数据统计的工作量，降低了数据管理的效率，增加了处理难度的问题。

本申请实施例的第一方面提供了一种数据采集的方法，包括：

获取目标数据库的示例数据；

基于所述示例数据生成用于采集目标数据的脚本运行参量；

根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本；

调用所述数据采集脚本从目标数据库下载目标数据。

本申请实施例的第二方面提供了一种数据采集的设备，包括：

示例数据获取单元，用于获取目标数据库的示例数据；

脚本运行参量获取单元，用于基于所述示例数据生成用于采集目标数据的脚本运行参量；

数据采集脚本生成单元，用于根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本；

目标数据采集单元，用于调用所述数据采集脚本从目标数据库下载目标数据。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。

实施本申请实施例提供的一种数据采集的方法及设备具有以下有益效果：

本申请实施例通过从目标数据库下载示例数据，并根据示例数据确定脚本运行参量，由于脚本运行参量是基于目标数据库所存储的数据生成的，因此基于脚本运行参量生成的数据采集脚本会与目标数据库相匹配，继而通过数据采集脚本从目标数据库下载目标数据，实现了自动调整数据采集脚本的目的。与现有的数据采集技术相比，本申请实施例能够根据目标数据库内存储的示例数据，确定目标数据的数据格式以及数据库类型，并生成与目标数据库相匹配的脚本运行参量，基于该脚本运行参量调整通用脚本模板，实现了自动调整数据采集脚本，无需人为手动为每个数据库配置对应的数据采集脚本，提高了数据采集的自动化程度，也能够减少人工操作，提高了数据采集的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例提供的一种数据采集的方法的实现流程图；

图2是本申请第二实施例提供的一种数据采集的方法具体实现流程图；

图3是本申请第三实施例提供的一种数据采集的方法S103具体实现流程图；

图4是本申请第四实施例提供的一种数据采集的方法S101具体实现流程图；

图5是本申请第五实施例提供的一种数据采集的方法S403具体实现流程图；

图6是本申请第六实施例提供的一种数据采集的方法具体实现流程图；

图7是本申请第七实施例提供的一种数据采集的方法S104具体实现流程图；

图8是本申请一实施例提供的一种数据采集的设备的结构框图；

图9是本申请另一实施例提供的一种终端设备的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例通过从目标数据库下载示例数据，并根据示例数据确定脚本运行参量，由于脚本运行参量是基于目标数据库所存储的数据生成的，因此基于脚本运行参量生成的数据采集脚本会与目标数据库相匹配，继而通过数据采集脚本从目标数据库下载目标数据，实现了自动调整数据采集脚本的目的，解决了数据采集技术，在每一次生成数据表时，均需要为不同的数据库配置对应的脚本，则大大增加了数据统计的工作量，降低了数据管理的效率，增加了处理难度的问题。

在本申请实施例中，流程的执行主体为终端设备。该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够执行数据采集的任务的设备。图1示出了本申请第一实施例提供的数据采集的方法的实现流程图，详述如下：

在S101中，获取目标数据库的示例数据。

在本实施例中，终端设备为了调整通用脚本模板，以使调整后生成的数据采集脚本与目标数据库相匹配，可以从目标数据库内获取示例数据，根据示例数据确定目标数据库内存储数据时，各个字段所对应的数据类型以及数据格式等数据存储格式。举例性地，表1示出了本申请一实施例提供的示例数据的数据表。参见表1可以确定，该目标数据库中的产品信息包含有4个不同的产品字段，其中第一个产品字段用于标记“产品编号”，而第二个产品字段用于标记“产品状态”，以此类推。终端设备可以根据示例数据确定不同字段对应的产品维度信息，从而可以根据产品分析任务，获取产品全部字段或部分字段的数据，从而生成对应的数据报表。

产品编号	产品状态	更新时间	使用量
				F001DF	使用中	2019.01.02	192MB
F001DG	使用中	2019.01.02	85MB
				F001DH	维护中	2019.01.02	0MB

表1

在本实施例中，终端设备可以根据用户发送的采集任务，确定目标数据库，并执行目标数据的采集流程。可选地，该采集任务可以包含有目标数据所属产品的产品标识以及数据采集范围。终端设备可以根据产品标识确定目标数据，并基于目标数据库的示例数据以及数据采集范围，生成脚本运行参量。上述采集任务可以由用户终端发送给终端设备，用户也可以在终端设备的交互界面上进行手动配置。

在一种可能的实现方式中，终端设备可以在存储器内存储有各个产品对应的采集任务，并为每个采集任务配置对应的采集时刻，终端设备在检测到当前时刻到达任一采集任务对应的采集时刻时，则根据该采集任务确定目标数据库，并获取该目标数据库的示例数据。

在一种可能的实现方式中，终端设备可以为每个产品配置对应的管控周期，即以预设的时间间隔获取各个周期内该产品产生的数据，将上述数据作为目标数据，并基于目标数据生成产品在该管控周期内的产品报表。在该情况下，终端设备可以为不同的产品配置对应的管控计时器，该管控计时器的计时阈值与上述管控周期的周期时长一致，若检测到某一管控计时器的计时值到达与之关联的计时阈值，则识别需要获取该产品的在管控周期内产生的数据，识别该产品为目标产品，并将存储目标产品的产品数据的数据库作为目标数据库，执行S101至S104的操作。

在一种可能的实现方式中，不同的产品的产品数据可以存储于不同的数据库内，在该情况下，终端设备可以存储有数据库索引表，该数据库索引表记录有产品标识与数据库标识之间的对应关系。终端设备在需要获取某一产品的产品数据时，可以获取对应的产品标识，并查询上述的数据库索引表，确定与之关联的数据库标识，继而将上述数据库标识对应的数据库识别为目标数据库。

在一种可能的实现方式中，终端设备在对一个目标数据库采集完成一次目标数据后，可以将目标数据库对应的数据采集脚本存储于存储器内，并建立采集脚本索引表。在终端设备在执行数据采集任务时，可以根据目标数据库的数据库标识，从上述的采集脚本索引表内查询是否存在已经创建的数据采集脚本，若是，则直接从存储器内提取该目标数据库对应的数据采集脚本，执行目标数据的采集操作；反之，若采集脚本索引表内未存储有该目标数据库的数据采集脚本，则执行S101～S103的操作，以创建关于该目标数据库的数据采集脚本，并在生成该数据采集脚本后，添加到上述的采集脚本索引表内。

在S102中，基于所述示例数据生成用于采集目标数据的脚本运行参量。

在本实施例中，终端设备在获取了示例数据后，可以确定该目标数据库内目标数据的数据格式以及数据库类型等相关数据存储信息，并基于数据存储格式生成对应的脚本运行参量。

在一种可能的实现方式中，确定脚本运行参量的方式可以为：终端设备识别存储示例数据的文件格式，获取与该文件格式对应的解析算法，具体地，若该示例数据是以数据库对应的文件格式，例如对于Oracle数据库，其导出的示例数据的数据格式可以为CSV格式的文件，SQL数据库，其导出的示例数据的数据格式可以为SQL格式的文件，基于此，终端设备可以根据文件格式确定与之关联的文件读取程序，通过上述文件读取程序读取示例数据，并通过语义分析算法提取示例数据内包含的数据关键词，基于各个数据关键词确定各个字段的数据类型以及该字段对应的产品信息维度，基于数据类型以及产品信息维度配置脚本运行参量。

在一种可能的实现方式中，终端设备可以根据采集任务，确定所需采集的目标数据，例如确定目标数据库内某个或某几个特定的字段对应的数据，作为目标数据。在该情况下，终端设备可以根据示例数据确定所需采集字段的字段编号，例如第一字段至第三字段的数据为目标数据，终端设备可以根据上述确定的字段编号配置脚本运行参量，从而能够通过数据采集脚本获取对应字段的目标数据，从而能够较少无效数据的采集操作，提高了采集效率。

在一种可能的实现方式中，若终端设备是以预设的监控周期采集产品数据，则可以基于本次监控周期的持续时长，确定有效时间段，将上述有效时间段导入到脚本运行参量内，以通过数据采集脚本采集数据创建时间在上述有效时间段内的目标数据，从而能够基于时间维度对目标数据进行筛选。

在S103中，根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本。

在本实施例中，终端设备存储有预先配置的通用脚本模板，该通用脚本模板可以从云端服务器处下载得到，也可以通过解析各个数据库对应的已有采集脚本，对各个已有采集脚本进行逻辑抽象分析，由于数据库的采集过程的处理逻辑基本相同，因此通过对各个已有脚本进行逻辑抽象分析，可以确定提取出通用语句，并基于各个通用语句进行封装，得到上述的通用脚本模板。

在一种可能的实现方式中，若对应同一个采集逻辑，不同的数据库对应的采集语句不同，在该情况下，终端设备可以将各个数据库对应的采集语句均封装到上述的通用脚本模板内，在后续生成数据脚本时，可以根据目标数据库的数据库类型，选取与之对应的采集语句，从而生成上述的数据采集脚本。

在本实施例中，终端设备有脚本运行参数包含有所需采集的目标数据的字段信息以及对应的字段关键词等信息，终端设备可以将上述信息导入到通用脚本模板内，并根据目标数据库的数据库类型，调整通用脚本模板内各个语段所应适用的编译语言以及编译函数，从而能够生成与目标数据库相匹配的数据采集脚本。

在一种可能的实现方式中，通用脚本模板内配置有多个自定义参数项，终端设备可以根据与目标数据相匹配的运行脚本参量，对通用脚本模板内对应的自定义参数项进行调整。举例性地，该通用脚本可以是基于sql语言构成的脚本，则可以将所需采集的数据项的数据名添加到公用脚本内，并定义采集的数据范围，例如需要每日进行数据爬取的情况下，该数据范围为处于同一日的数据；又例如是基于增量爬取的情况下，则可以根据上一采集周期最后采集的目标数据的数据编号，以及当前目标数据库内最新采集数据的数据编号，确定上述的数据范围，基于数据范围对通用脚本模板内的参数进行配置，从而生成与本次采集任务所对应的数据采集脚本。

在S104中，调用所述数据采集脚本从目标数据库下载目标数据。

在本实施例中，终端设备在生成了目标数据库对应的数据采集脚本后，可以创建一条数据采集线程运行上述数据采集脚本，通过上述数据采集脚本内的数据采集语段，从目标数据库内获取与采集语段相匹配的数据，将所有采集得到的数据进行封装，生成目标数据。

在一种可能的实现方式中，终端设备可以通过运行上述数据采集脚本，与目标数据库建立通信链路，并根据数据采集脚本内包含的SQL语句，从目标数据库中查询与上述SQL语句匹配的数据，将其作为目标数据下载至终端设备。在获取得到目标数据后，可以对目标数据进行清洗，即检测出无效数据，例如通过校验各个目标数据中是否包含关键数据项，以及目标数据在各个数据项中的参数值是否在预设的有效范围值内，从而能够实现对目标数据的预处理，提高后续数据整理的效率。

可选地，终端设备在对目标数据进行清洗过程中，可以统计无效数据与有效数据之间的异常比例。若上述异常比例大于预设的比例阈值，则生成异常信息，以便根据异常信息对数据异常情况进行处理。该异常可能是上报数据的方式存在异常，也可以能是从目标数据库采集目标数据并存储的过程发生的异常，通过在采集过程中进行异常检测，能够提高异常检测的及时性。

在一种可能的实现方式中，在S104之后，终端设备可以对目标数据进行数据分析，终端设备可以通过预设的解析算法，将各个目标数据内对应字段的参数值导入到关联的解析算法内，确定各个产品维度的特征参量，基于各个特征参量生成关于目标数据的数据报告，从而实现了自动对产品进行数据分析的目的，提高了数据处理的自动化程度。

以上可以看出，本申请实施例提供的一种数据采集的方法通过从目标数据库下载示例数据，并根据示例数据确定脚本运行参量，由于脚本运行参量是基于目标数据库所存储的数据生成的，因此基于脚本运行参量生成的数据采集脚本会与目标数据库相匹配，继而通过数据采集脚本从目标数据库下载目标数据，实现了自动调整数据采集脚本的目的。与现有的数据采集技术相比，本申请实施例能够根据目标数据库内存储的示例数据，确定目标数据的数据格式以及数据库类型，并生成与目标数据库相匹配的脚本运行参量，基于该脚本运行参量调整通用脚本模板，实现了自动调整数据采集脚本，无需人为手动为每个数据库配置对应的数据采集脚本，提高了数据采集的自动化程度，也能够减少人工操作，提高了数据采集的效率。

图2示出了本申请第二实施例提供的一种数据采集的方法的具体实现流程图。参见图2，相对于图1所述实施例，本实施例提供的一种数据采集的方法中在S102之前还包括：S201～S205，具体详述如下：

进一步地，在所述根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本之前，包括：

在S201中，识别各个候选数据库的数据库类型，并根据所述数据库类型确定所述候选数据库存储数据的数据格式。

在本实施例中，终端设备可以通过自动化的方式生成通用脚本模板，由于通用脚本模板需要兼容各个数据库，基于此，终端设备需要获取各个候选数据库的数据库类型，从而能够根据各个数据库类型的数据存储特性，以调整通用脚本模板，以使通用脚本模板与不同的数据库类型相匹配。

在本实施例中，数据采集系统可以包含有多个采用不同数据库类型的数据库，不同数据库可以用于存储不同产品的产品数据，由于不同产品所对应的数据类型不同，因此可以根据产品数据的数据类型特点，采用与数据类型相匹配的数据库类型来存储不同产品的产品数据。举例性地，对于产品数据主要为位置信息数据，则可以使用基于MongoDB搭建的数据库，而对于产品数据主要为图片数据类型，则可以使用基于HDFS搭建的数据库，而对于产品数据为日志数据类型，则可以采用基于ElasticSearch集群搭建的数据库，从而能够提高检索以及查询的效率。因此，不同数据库对于不同类型的数据的处理能力不同，数据采集系统可以根据产品数据的数据类型，选择匹配的数据库类型来搭建用于存储该产品数据的数据库。

在本实施例中，上述候选数据库具体为数据采集系统内所有在用数据库，即上述候选数据库包含有本次采集中用于存储非目标产品的产品数据的数据库以及包含有本次采集中用于存储目标产品的产品数据的数据库。

在一种可能的实现方式中，终端设备可以向数据采集系统发送广播，以使数据采集系统内的各个接收到上述广播的候选服务器向终端设备反馈包含自身的数据库类型的反馈信息，终端设备接收到各个反馈信息后，则可以确定各个候选服务器的数据库类型。终端设备可以根据各个数据库类型，从互联网或预先配置的索引表，确定不同数据库所存储数据时对应的数据格式。

在S202中，下载各个所述候选数据库对应的数据表，并基于所述数据表，确定各个所述候选数据库存储的数据类型。

在本实施例中，终端设备除了确定各个候选数据库存储数据的数据格式外，还需要确定各个候选数据库所存储数据的所包含的数据类型。该数据类型具体为图像类型、音频类型、地理位置类型、消费凭证类型等不同类型的数据。举例性地，基于ElasticSearch集群搭建的数据库可以用于存储产品的交易记录，而交易记录中可以包含有字符信息、图片信息以及位置信息等，即包含有不同类型的数据，而不同数据类型的搜索策略不同，因此在获取了数据格式的情况下，还需要确定数据库所存储数据的数据类型。确定数据类型的方式具体为：终端设备可以从各个候选数据库下载对应的数据表，即每个数据库对应的示例数据，并根据各个数据表内各个字段所存储的数据，确定该数据库所存储的数据类型。

需要说明的是，S201以及S202两个步骤之间并不存在先后关系，即终端设备可以基于预先的操作次序，执行S201以及S202，也可以同时执行上述两个操作，即获取数据格式的同时，确定该候选数据库存储的数据类型。

在S203中，根据所有所述候选数据库的所述数据格式以及所述数据类型提取通用参量。

在本实施例中，终端设备可以根据各个候选数据库的所存储数据的数据格式以及数据类型，获取采集数据时所使用的检索语句，将采集同一数据类型的不同数据格式的检索语句识别为同一语句组，并基于同一语句组内的所有检索语句，提取出通用参量，从而能够生成得到关于不同的数据类型的通用参量。

在S204中，根据所述通用参量生成多个标准检索语句；所述标准检索语句包含有所述通用参量以及自定义参量。

在本实施例中，终端设备在获取了不同数据类型的通用参量后，可以为不同的数据类型配置对应的标准检索语句，该标准检索语句内可以包含有上述确定的通用参量，以及在后续检索操作中根据数据库类型进行调整以及所需采集的数据的字段名进行调整的自定义参量。

在S205中，对所有所述标准检索语句进行封装，生成所述通用脚本模板。

在本实施例中，终端设备在获取了各个数据类型的标准检索语句后，可以对所有标准检索语句进行封装，从而生成了通用脚本模板。在后续进行检索的过程中，可以根据所需采集的数据类型以及数据库所存数据的数据格式，从通用脚本模板内选取对应的标准检索语句，并对各个标准检索语句进行调整，从而生成数据采集脚本。

在本申请实施例中，通过识别各个候选数据库所存储数据的数据格式以及数据类型，确定通用参量，并配置对应的标准检索语句，生成通用脚本模板，从而实现了自动生成通用脚本模板的目的，提高了数据采集过程的自动化。特别地，在检测到数据采集系统内存在新增数据库后，可以自动执行S201至S205的操作，更新通用脚本模板，从而减少了人工手动调整的内容，减少了数据采集的难度，以及扩容操作的便捷性。

图3示出了本申请第三实施例提供的一种数据采集的方法S103的具体实现流程图。参见图3，相对于图2所述的实施例，本实施例提供的一种数据采集的方法中S103包括：S301～S303，具体详述如下：

进一步地，所述根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本，包括：

在S301中，从所述通用脚本模板内选取与所述脚本运行参量匹配的所述标准检索语句。

在本实施例中，终端设备在获取得的与目标数据库对应的脚本运行参量后，可以确定该脚本运行参量中用于采集不同数据类型对应的参数，例如关键词、采集范围以及数据编号等。由于在生成标准检索语句时，终端设备可以关联有对应的数据类型，终端设备可以根据脚本运行参量中各个参数的数据类型，从通用脚本模板内选取得到对应的标准检索语句。

在S302中，将所述脚本运行参量导入到所述标准检索语句内的所述自定义参量，生成与所述脚本运行参量对应的目标检索语句。

在本实施例中，每个标准检索语句包含有通用参量以及自定义参量，而自定义参量可以根据目标数据库的数据格式以及所需采集的数据范围等与本次采集操作相关的信息进行调整，因此，终端设备可以额将脚本运行参量中与该数据类型对应的参数值，例如关键词以及数据采集范围等信息导入到与数据类型对应的标准检索语句中的自定义参量对应的字段中，从而生成了目标检索语句。

在S303中，基于所有所述目标检索语句，生成所述数据采集脚本。

在本实施例中，终端设备可以根据所需采集的所有数据类型对应的目标检索语句进行封装，生成了数据采集脚本。

在本申请实施例中，通过脚本运行参量中不同数据类型的参数值，调整通用脚本模板内对应的标准检索语句，生成目标检索语句，并将所有目标检索语句进行封装，生成数据采集脚本，实现了自动配置数据采集脚本的目的，减少了人工配置的操作，提高了数据采集过程的自动化程度，进一步提高了数据采集的效率。

图4示出了本申请第四实施例提供的一种数据采集的方法S101的具体实现流程图。参见图4，相对于图1所述实施例，本实施例提供的一种数据采集的方法S101包括：S401～S403，具体详述如下：

进一步地，所述获取目标数据库的示例数据，包括：

在S401中，获取关于目标数据的采集任务；所述采集任务包含所述目标数据所属产品的产品标识。

在本实施例中，用户可以通过本地的用户终端向数据采集的终端设备发送关于目标数据的采集任务，还可以在终端设备的交互模块上进行输入，生成上述采集任务。上述采集任务可以包含有目标数据所属产品的产品标识，可选地，上述采集任务还可以包含有目标数据的采集范围，例如数据编号范围或者有效时间范围等。终端设备在获取到上述目标数据的采集任务后，可以通过对采集任务进行解析，从而提取得到关于该目标数据所述产品的产品标识。上述产品标识可以为产品型号或者产品编码等用于唯一标识各个产品的信息。

在S402中，基于所述产品标识，确定存储所述目标数据所属产品的所述目标数据库。

在本实施例中，不同的产品可以通过不同的数据库存储该产品的所有产品数据，终端设备可以根据产品标识唯一确定用于存储该目标产品的产品数据的目标数据库。其中，确定目标数据库的方式可以为：终端设备可以存储由产品数据索引表，该产品数据索引表内可以包含有的产品标识以及数据库之间的对应关系，终端设备可以查询上述的索引表确定目标数据所属产品对应的目标数据库。

在一种可能的实现方式中，数据采集系统可以配置有寻址服务器，每个产品的产品数据可以分布式存储于多个不同的数据库内，终端设备在确定目标产品的产品标识后，可以基于产品标识生成对应的寻址请求，上述寻址请求可以包含有产品标识，可选地，还可以包含有产品数据范围。在该情况下，寻址服务器在接收到寻址请求后，可以根据产品标识确定对应的分布式节点，并将各个分布式节点的通信地址反馈给终端设备，从而使得终端设备可以确定用于存储目标数据所属产品的目标数据库。

在S403中，从所述目标数据库中提取与所述目标数据所属产品关联的产品记录，将所述产品记录作为所述示例数据。

在本实施例中，终端设备在确定了目标数据库后，可以与目标数据库建立通信连接，并从目标数据库提取关于目标数据所属产品已创建任一产品记录，将该产品记录作为上述的示例数据。

在本申请实施例中，通过接收采集任务，并根据采集任务确定目标数据库，并从目标数据库获取目标数据所属产品的一个产品记录作为示例数据，从而能够提高后续脚本运行参数获取的准确性。

图5示出了本申请第五实施例提供的一种数据采集的方法S403的具体实现流程图。参见图5，相对于图4述实施例，本实施例提供的一种数据采集的方法S403包括：S4031～S4033，具体详述如下：

进一步地，所述从所述目标数据库中提取与所述目标数据所属产品关联的产品记录，将所述产品记录作为所述示例数据，包括：

在S4031中，基于所述采集任务内的监控周期，从所述目标数据库中提取记录时间在所述监控周期内的多个所述产品记录。

在本实施例中，采集任务除了包含有产品标识外，还包含有监控周期，终端设备可以以上述的监控周期间隔获取目标产品在监控周期内采集的产品数据作为目标数据，并且，由于产品在使用过程中会存在更新的情况，为了提高示例数据采集的准确性，终端设备可以采集在当前监控周期内产生的产品记录生成示例数据。

在本实施例中，终端设备可以识别各个产品记录的记录时间，并判断各个记录时间是否在上述的监控周期内，若是，则识别该产品记录为目标记录，并从所有目标记录中选取预设数量的多个产品记录。

在S4032中，分别获取各个所述产品记录在多个产品维度的参数值，并基于多个所述参数值确定各个所述产品维度的采集精度。

在本实施例中，终端设备对获取得到的产品记录进行解析，确定各个产品维度内的参数值，并通过多个参数值确定每个产品维度的采集精度。举例性地，若某一产品维度为产品购买地址，在一产品记录中产品购买地址为中国广东省深圳市，而另一产品记录中产品购买地址为中国北京市，则可以确定该产品购买地址的采集精度为市级，依次类推，对于其他不同的产品维度可以通过上述多个产品记录的参数值进行采集精度的确定。

在S4033中，基于各个所述产品维度的所述采集精度，生成所述示例数据。

在本实施例中，终端设备可以根据不同产品维度的采集精度，生成上述的示例数据。具体地，上述示例数据可以只包含有采集精度信息，而不包含具体的参数值。终端设备在配置运行脚本时，可以根据采集精度配置检索关键词，从而提高采集数据的准确性。

在本申请实施例中，终端设备可以根据监控周期，获取与监控周期关联的产品记录，从而能够提高提取得到的产品记录与后续目标数据之间的匹配度，并基于多个产品记录确定采集精度，进一步提高了采集操作的准确性。

图6示出了本申请第六实施例提供的一种数据采集的方法的具体实现流程图。参见图6，相对于图1至图5任一所述实施例，本实施例提供的一种数据采集的方法中在所述调用所述数据采集脚本从目标数据库下载目标数据之后，还包括：S601～S603，具体详述如下：

进一步地，在所述调用所述数据采集脚本从目标数据库下载目标数据之后，还包括：

在S601中，解析所述数据采集脚本包含的采集关键词，并获取各个采集关键词对应的说明语段。

在本实施例中，终端设备可以确定数据采集脚本内包含的采集关键词，数据采集脚本可以根据采集关键词从目标数据库内获取关联字段的数据，例如采集关键词可以为地点、金额等，并为每个采集关键词配置对应的说明语段，从而可以提高数据表的可读性。

在S602中，基于各个所述采集关键词确定在所述目标数据内对应的数据项目的项目次序。

在本实施例中，终端设备在生成目标数据时，可以将各个产品记录的不同数据项的参数值以预设的次序进行排列，为每个数据项的参数值是通过对应的采集关键词采集得的，终端设备可以识别各个采集关键词所对应的数据项在目标数据内的项目次序。

在S603中，根据所述项目次序依次封装各个所述说明语段，生成关于所述目标数据的数据表。

在本实施例中，终端设备可以将各个说明语段根据关联的项目次序添加到对应的数据项内，并生成关于目标数据的数据表，用户在阅读数据表时，可以根据各个数据项的说明语段，确定各个数据项的项目含义，从而提高了数据表的可读性。

在一种可能的实现方式中，生成目标数据表可以为：上述通用采集脚本为：shUNLOAD_MULTI_FILES.sh 3000crt'CLMS_CRD-DAILY-TXN_ACC'62 100-1 20190604。通过解析SQL语句可以确定各个字段对应的参数名，该目标产品为信用卡，上述采集过程为获取信用卡的消费记录，通过上述数据采集脚本获取得的数据中，第一个参数3000：用于标识产品型号，其中3000用于表示是信用卡，用来取批量日期；第二个参数crt：表示信用卡目录，默认会转换成/clms/bin/batch/crt。卸数时此处的路径会转换成/clms/bin/batch/crt/exp；第三个参数CLMS_CRD-DAILY-TXN_ACC：表示生成的文件名，不包含日期、序号、文件后缀，也代表卸数时使用的数据sql文件(CLMS_CRD-DAILY-TXN_ACC.sql)、生成ok文件的sql文件(CLMS_CRD-DAILY-TXN_ACC_OK.sql)，如果ok文件是空文件则不需要写生成ok文件的sql。根据上述的对应关系，生成数据表。

在本申请实施例中，通过获取不同数据项对应的说明语段，生成目标数据的数据表，从而提高了数据表的可读性。

图7示出了本申请第七实施例提供的一种数据采集的方法的具体实现流程图。参见图7，相对于图1至图5任一所述实施例，本实施例提供的一种数据采集的方法中S104包括：S701-S702，具体详述如下：

在S701中，调用脚本服务器运行所述数据采集脚本，通过所述脚本服务器从所述目标数据库提取所述目标数据。

在本实施例中，数据采集系统内包含有用于存储产品数据的数据库服务器，以及用于采集数据的脚本服务器。其中，脚本服务器与数据库服务器可以是相互独立的两个设备。

在本实施例中，终端设备可以通过脚本服务器对应的调用接口，向脚本服务器发起一个采集请求。具体地，终端设备可以在预设的采集应用中选择对应的目标数据库，并发起采集请求。在采集应用接收到用户发起的采集请求后，可以激活脚本服务器对应的调用接口，将采集请求内的数据采集脚本发送给脚本服务器，脚本服务器可以根据终端设备上报的数据采集脚本生成对应的采集任务，并从目标数据库中下载对应的数据，并将下载后的数据反馈给终端设备，通过脚本服务器响应各个采集请求，能够提高采集与存数的逻辑分离，提高了采集效率。

在S702中，接收所述脚本服务器反馈的所述目标数据。

在本实施例中，脚本服务器根据数据采集脚本从目标数据库中获取得到目标数据，并将目标数据反馈给终端设备。

在本申请实施例中，通过配置脚本服务器以及数据库服务器，实现了存储以及采集操作的分离，从而提高了采集效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图8示出了本申请一实施例提供的一种数据采集的设备的结构框图，该数据采集的设备包括的各单元用于执行图1对应的实施例中的各步骤。具体请参阅图8与图1所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。

参见图8，所述数据采集的设备包括：

示例数据获取单元81，用于获取目标数据库的示例数据；

脚本运行参量获取单元82，用于基于所述示例数据生成用于采集目标数据的脚本运行参量；

数据采集脚本生成单元83，用于根据所述脚本运行参数调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本；

目标数据采集单元84，用于调用所述数据采集脚本从目标数据库下载目标数据。

可选地，所述数据采集的设备还包括：

数据格式确定单元，用于识别各个候选数据库的数据库类型，并根据所述数据库类型确定所述候选数据库存储数据的数据格式；

数据类型确定单元，用于下载各个所述候选数据库对应的数据表，并基于所述数据表，确定各个所述候选数据库存储的数据类型；

通用参量确定单元，用于根据所有所述候选数据库的所述数据格式以及所述数据类型提取通用参量；

标准检索语句生成单元，用于根据所述通用参量生成多个标准检索语句；所述标准检索语句包含有所述通用参量以及自定义参量；

通用脚本模板生成单元，用于对所有所述标准检索语句进行封装，生成所述通用脚本模板。

可选地，所述数据采集脚本生成单元83包括：

标准检索语句匹配单元，用于从所述通用脚本模板内选取与所述脚本运行参量匹配的所述标准检索语句；

目标检索语句生成单元，用于将所述脚本运行参量导入到所述标准检索语句内的所述自定义参量，生成与所述脚本运行参量对应的目标检索语句；

目标检索语句封装单元，用于基于所有所述目标检索语句，生成所述数据采集脚本。

可选地，所述示例数据获取单元81包括：

采集任务获取单元，用于获取关于目标数据的采集任务；所述采集任务包含所述目标数据所属产品的产品标识；

目标数据库确定单元，用于基于所述产品标识，确定存储所述目标数据所属产品的所述目标数据库；

产品记录提取单元，用于从所述目标数据库中提取与所述目标数据所属产品关联的产品记录，将所述产品记录作为所述示例数据。

可选地，所述产品记录提取单元包括：

产品记录选取单元，用于基于所述采集任务内的监控周期，从所述目标数据库中提取记录时间在所述监控周期内的多个所述产品记录；

采集精度确定单元，用于分别获取各个所述产品记录在多个产品维度的参数值，并基于多个所述参数值确定各个所述产品维度的采集精度；

示例数据配置单元，用于基于各个所述产品维度的所述采集精度，生成所述示例数据。

可选地，所述数据采集的设备还包括：

说明语段选取单元，用于解析所述数据采集脚本包含的采集关键词，并获取各个采集关键词对应的说明语段；

说明语段配置单元，用于基于各个所述采集关键词确定在所述目标数据内对应的数据项目的项目次序；

数据表生成单元，用于根据所述项目次序依次封装各个所述说明语段，生成关于所述目标数据的数据表。

可选地，所述目标数据采集单元84包括：

脚本服务器调用单元，用于调用脚本服务器运行所述数据采集脚本，通过所述脚本服务器从所述目标数据库提取所述目标数据；

目标数据接收单元，用于接收所述脚本服务器反馈的所述目标数据。

因此，本申请实施例提供的数据采集的设备同样可以根据目标数据库内存储的示例数据，确定目标数据的数据格式以及数据库类型，并生成与目标数据库相匹配的脚本运行参量，基于该脚本运行参量调整通用脚本模板，实现了自动调整数据采集脚本，无需人为手动为每个数据库配置对应的数据采集脚本，提高了数据采集的自动化程度，也能够减少人工操作，提高了数据采集的效率。

图9是本申请另一实施例提供的一种终端设备的示意图。如图9所示，该实施例的终端设备9包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如数据采集的程序。所述处理器90执行所述计算机程序92时实现上述各个数据采集的方法实施例中的步骤，例如图1所示的S101至S104。或者，所述处理器90执行所述计算机程序92时实现上述各装置实施例中各单元的功能，例如图8所示模块81至84功能。

示例性的，所述计算机程序92可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器91中，并由所述处理器90执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如，所述计算机程序92可以被分割成示例数据获取单元、脚本运行参量获取单元、数据采集脚本生成单元以及目标数据采集单元，各单元具体功能如上所述。

所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种数据采集的方法，其特征在于，包括：

获取目标数据库的示例数据；

基于所述示例数据生成用于采集目标数据的脚本运行参量；

根据所述脚本运行参量调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本；

调用所述数据采集脚本从目标数据库下载目标数据；

在所述根据所述脚本运行参量调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本之前，包括：

识别各个候选数据库的数据库类型，并根据所述数据库类型确定所述候选数据库存储数据的数据格式；

下载各个所述候选数据库对应的数据表，并基于所述数据表，确定各个所述候选数据库存储的数据类型；

根据所有所述候选数据库的所述数据格式以及所述数据类型提取通用参量；

根据所述通用参量生成多个标准检索语句；所述标准检索语句包含有所述通用参量以及自定义参量；

对所有所述标准检索语句进行封装，生成所述通用脚本模板_；

所述根据所述脚本运行参量调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本，包括：

从所述通用脚本模板内选取与所述脚本运行参量匹配的所述标准检索语句；

将所述脚本运行参量导入到所述标准检索语句内的所述自定义参量，生成与所述脚本运行参量对应的目标检索语句；

基于所有所述目标检索语句，生成所述数据采集脚本。

2.根据权利要求1所述的方法，其特征在于，所述获取目标数据库的示例数据，包括：

获取关于目标数据的采集任务；所述采集任务包含所述目标数据所属产品的产品标识；

基于所述产品标识，确定存储所述目标数据所属产品的所述目标数据库；

从所述目标数据库中提取与所述目标数据所属产品关联的产品记录，将所述产品记录作为所述示例数据。

3.根据权利要求2所述的方法，其特征在于，所述从所述目标数据库中提取与所述目标数据所属产品关联的产品记录，将所述产品记录作为所述示例数据，包括：

基于所述采集任务内的监控周期，从所述目标数据库中提取记录时间在所述监控周期内的多个所述产品记录；

分别获取各个所述产品记录在多个产品维度的参数值，并基于多个所述参数值确定各个所述产品维度的采集精度；

基于各个所述产品维度的所述采集精度，生成所述示例数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，在所述调用所述数据采集脚本从目标数据库下载目标数据之后，还包括：

解析所述数据采集脚本包含的采集关键词，并获取各个采集关键词对应的说明语段；

基于各个所述采集关键词确定在所述目标数据内对应的数据项目的项目次序；

根据所述项目次序依次封装各个所述说明语段，生成关于所述目标数据的数据表。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述调用所述数据采集脚本从目标数据库下载目标数据，包括：

调用脚本服务器运行所述数据采集脚本，通过所述脚本服务器从所述目标数据库提取所述目标数据；

接收所述脚本服务器反馈的所述目标数据。

6.一种数据采集的设备，其特征在于，包括：

示例数据获取单元，用于获取目标数据库的示例数据；

脚本运行参量获取单元，用于基于所述示例数据生成用于采集目标数据的脚本运行参量；

数据采集脚本生成单元，用于根据所述脚本运行参量调整预设的通用脚本模板，生成与所述目标数据库匹配的数据采集脚本；

目标数据采集单元，用于调用所述数据采集脚本从目标数据库下载目标数据；

所述数据采集的设备还包括：

数据格式确定单元，用于识别各个候选数据库的数据库类型，并根据所述数据库类型确定所述候选数据库存储数据的数据格式；

数据类型确定单元，用于下载各个所述候选数据库对应的数据表，并基于所述数据表，确定各个所述候选数据库存储的数据类型；

通用参量确定单元，用于根据所有所述候选数据库的所述数据格式以及所述数据类型提取通用参量；

标准检索语句生成单元，用于根据所述通用参量生成多个标准检索语句；所述标准检索语句包含有所述通用参量以及自定义参量；

通用脚本模板生成单元，用于对所有所述标准检索语句进行封装，生成所述通用脚本模板_；

所述数据采集脚本生成单元包括：

标准检索语句匹配单元，用于从所述通用脚本模板内选取与所述脚本运行参量匹配的所述标准检索语句；

目标检索语句生成单元，用于将所述脚本运行参量导入到所述标准检索语句内的所述自定义参量，生成与所述脚本运行参量对应的目标检索语句；

目标检索语句封装单元，用于基于所有所述目标检索语句，生成所述数据采集脚本。

7.一种终端设备，其特征在于，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时如权利要求1至5任一项所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。

Images