CN110457312A - 多类型数据的采集方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开一种多类型数据的采集方法、装置、设备及可读存储介质，所述方法包括：当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。本方案基于大数据处理技术将需要采集的各类型数据配置为多个任务，从预设存储单元中抓取的与各任务对应的字段数据即为需要采集的各类型数据，节省了多类型数据采集的人力成本，提高了采集效率。

Description

多类型数据的采集方法、装置、设备及可读存储介质

技术领域

本发明主要涉及数据处理技术领域，具体地说，涉及一种多类型数据的采集方法、装置、设备及可读存储介质。

背景技术

目前，为了实现对数据的规范管理，针对不同类型的数据通常进行分类管理，将不同类型的数据存放在不同的数据表中，使得同一用户的不同数据存储在不同数据表中。如设定数据表A1用于存储姓名，数据表A2用于存储性别，则将用户W的姓名数据存储在A1中，而将其性别数据存储在A2中。

当具有针对同一用户采集多种类型数据的需求时，则先到存放该各类数据的各数据表中进行逐一读取，得到各个读取结果；再由人工将分别读取得到的各个读取结果组合，形成所需要采集的多类型数据；该通过读取和组合对各种类型数据进行采集的方式需要耗费较多的人力成本，且采集效率低。

发明内容

本发明的主要目的是提供一种多类型数据的采集方法、装置、设备及可读存储介质，旨在解决现有技术中通过读取和组合的方式对多类型数据的采集，耗费人力成本高，采集效率低的问题。

为实现上述目的，本发明提供一种多类型数据的采集方法，所述多类型数据的采集方法包括以下步骤：

当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

优选地，所述根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存的步骤包括：

调用所述预设表格模板，并根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

将各所述关联字段添加到所述预设表格模板中与所述关联字段名所对应的关联位置；

根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置，以对各所述字段数据进行保存。

优选地，所述根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中的步骤包括：

读取所述预设表格模板的表头中的初始单元格变量，并根据所述初始单元格变量确定所述表头中的初始单元格，将各所述关联字段对应的关联字段名添加到所述初始单元格中；

判断所述顺序标识是否为预设默认标识，若为所述预设默认标识，则根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

若不是所述预设默认标识，则根据与各所述任务对应的任务字段名在所述顺序标识中的排列顺序，将各所述任务字段名添加到所述预设表格模板的表头中。

优选地，所述根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中的步骤包括：

根据与各所述任务对应的各字段数据的抓取时间，对与各所述任务对应的任务字段名的先后顺序进行排列，生成第一排列顺序；

读取所述表头中字段单元格变量的第二排列顺序，根据所述第一排列顺序和所述第二排列顺序的对应关系，将各所述任务字段名添加到各所述字段单元格变量对应的字段单元格中。

优选地，所述根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置的步骤包括：

根据各所述字段数据对应的各所述任务，以及各所述任务对应的任务字段名，在各所述字段数据和各所述字段任务名之间建立关联关系；

将与各所述任务对应的各所述字段数据形成字段数据列，并根据所述关联关系中各所述任务字段名所在的字段单元格，将各所述字段数据列添加到预设表格模板中与各所述字段单元格对应的数据列中。

优选地，所述根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤之前包括：

将各所述任务标识符和预设敏感标识符对比，判断各所述任务标识符中是否存在所述预设敏感标识符；

若存在所述预设敏感标识符，则读取所述任务配置指令对应用户账户的账户标识，并判断所述账户标识是否为高级权限标识；

若所述账户标识为高级权限标识，则执行根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤；

若所述账户标识不是高级权限标识，则将各所述任务标识符中存在的所述预设敏感标识符设为待修改标识符，并输出对所述待修改标识符进行修改的提示信息。

优选地，所述根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存的步骤之后包括：

读取保存各所述字段数据的预设表格模板的地址信息以及命名信息，并将所述地址信息和命名信息添加到预设下载语句中，生成下载链接；

将所述下载链接输出，以对采集的与各所述任务对应各个类型的数据进行下载。

此外，为实现上述目的，本发明还提出一种多类型数据的采集装置，所述多类型数据的采集装置包括：

读取模块，用于当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

关联模块，用于根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

采集模块，用于从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

此外，为实现上述目的，本发明还提出一种多类型数据的采集设备，所述多类型数据的采集设备包括：存储器、处理器、通信总线以及存储在所述存储器上的多类型数据的采集程序；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述多类型数据的采集程序，以实现以下步骤：

当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：

当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

本实施例的多类型数据的采集方法，当接收到任务配置指令时，先读取与该任务配置指令对应的任务标识符、关联字段以及顺序标识；再根据各关联字段，对各任务标识符对应的任务进行关联，并将顺序标识添加到关联后的各任务中；进而从预设存储单元中抓取与各任务对应的字段数据，并根据顺序标识，将抓取的各字段数据添加到预设表格模板中保存，实现对与各任务对应的各类型数据的采集。本方案将需要采集的各类型数据配置为多个任务，且各任务之间通过关联字段关联；从预设存储单元中抓取的与各个任务对应的字段数据即为所需要采集的各类型数据，避免了针对各类型数据的逐一读取；同时将抓取的各字段数据依据顺序标识进行保存，避免对读取的各类型数据的组合，节省了多类型数据采集的人力成本，提高了采集效率。

附图说明

图1是本发明的多类型数据的采集方法第一实施例的流程示意图；

图2是本发明的多类型数据的采集装置第一实施例的功能模块示意图；

图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种多类型数据的采集方法。

请参照图1，图1为本发明多类型数据的采集方法第一实施例的流程示意图。在本实施例中，所述多类型数据的采集方法包括：

步骤S10，当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

本发明的多类型数据的采集方法应用于服务器，适用于通过服务器对存储在不同数据表中的各种类型的数据进行采集。为了便于各类数据的规范管理，数据库中的各类数据均按照主题分类进行存储；如与承保主题相关的数据和与理赔主题相关的数据，作为两个不同类型的数据存储在不同的数据表中。在对数据库中的各数据进行采集时，所需要采集的数据可能涉及到多个主题分类，如某个保单号在承保主题中的数据和在理赔主题中的数据等。为了对各主题分类中各类数据的采集，设置有任务配置机制；具体地，服务器与显示录入装置通信连接，显示录入装置的显示界面中设置有任务选择选项和关联字段选项。其中任务选择选项所选择的内容可以是存储某一类数据的数据表本身，也可以是存储某一类数据的数据表中的某些字段信息，表征采集数据的类型；关联字段选项用于选择对由任务选择选项所选择的任务进行关联的字段，所选择的关联字段为各任务所需要采集的各类数据的查询依据，可以是保单号也可以是投保人。如任务选择选项所选择的内容为投保金额和理赔金额，而关联字段选项所选择的内容为保单号a，则从投保金额所在数据表中查找与保单号a相关的投保金额，同时从理赔金额所在数据表中查找与保单号a相关的理赔金额，由保单号a在投保金额和理赔金额之间进行关联。

当有对各不同主题分类中的数据进行采集的需求时，对任务选择选项以及关联字段选项进行选择，并在选择完成后，对所选择的内容进行上传。考虑到关联字段可能涉及到多项，如对多个保单号的投保金额和理赔金额进行采集，对关联字段的选择方式设置直接输入和上传EXCEL表两种方式。对于直接输入即直接将关联的字段输入到显示界面的关联字段输入框并点击查询虚拟按键，当显示界面显示出与输入的字段对应的字段时，对该对应的字段进行选择，即完成关联字段的直接输入；对于上传EXCEL表即将所需要选择的关联字段输入到EXCEL表中，以EXCEL表的形式进行上传。此后触发任务配置指令，由任务选择选项所选择的各项内容以任务标识符的方式存在于任务配置指令中；服务器在接收到该任务配置指令时，则可对其中的任务标识符、关联字段以及顺序标识进行读取；其中顺序标识用于表征采集的各类型数据在存储时的排列顺序，且设置有默认的排列顺序。当在对采集的各类数据进行存储时，对排列顺序没有要求，则在触发任务配置指令时，不对排列顺序进行设定，任务配置指令中所携带的顺序标识为默认标识；而当在对采集的各类数据进行存储时，对排列顺序有要求，则在触发任务配置指令时，对排列顺序进行设定，所设定的顺序以顺序标识存在于任务配置指令中。通过对任务配置指令中的任务标识符、关联字段以及顺序标识进行读取，以确定所需要采集的数据类型、对各类数据采集的依据以及对采集到的各类数据的排列方式。

步骤S20，根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

进一步地，基于各关联字段对各任务标识符对应的任务进行关联，即通过关联字段建立各任务标识符表征的任务之间的关联关系；如关联字段包括保单号w1和w2，而与任务标识对应的任务包括数据表A和数据表B中的字段b1，则通过w1和w2在A与b1之间建立关联关系，以采集数据表A中与保单号w1、w2具有相关关系的所有字段数据，以及采集字段b1中与保单号w1、w2具有相关关系的字段数据。在通过各关联字段对各任务均进行关联之后，再将顺序标识添加到关联的各任务中，形成该次采集操作的总任务；以便于在对总任务的各任务中的字段数据进行采集后，将各字段数据按照顺序标识所表征的顺序进行排列存储。

步骤S30，从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

更进一步地，数据库划分有多个存储单元以对不同类型的数据进行存储，将该划分的各个存储单元作为预设存储单元；在形成总任务后，则对总任务进行执行。将总任务中各任务表征需要采集的数据类型所在数据表的第一表标识和各预设存储单元中所存储各数据表的第二表标识对比，确定各第二表标识中和各第一表标识一致的目标表标识；各个目标表标识对应数据表所在的预设存储单元，即为所需要采集数据所存储的预设存储单元。进而将各关联字段和该预设存储单元所存放数据表中的同类型字段进行对比，确定数据表中和各关联字段一致的目标字段，该目标字段在数据表中与任务所对应的字段数据即为所需要采集的数据。如对于上述关联字段w1和w2，因w1和w2为保单后，则将w1和w2和数据表B中的各保单号对比，确定数据表B中和w1和w2对应的数据；因任务表征的需要采集数据表B的字段b1中与保单号w1、w2具有相关关系的字段数据，在确定数据表B中和w1和w2对应的数据后，需要对各数据进行筛选，确定其中来源于字段b1的数据。因该来源于字段b1的数据，从数据表B中和w1、w2对应的数据筛选而来，其即为字段b1中与保单号w1、w2具有相关关系的字段数据，完成该任务所对应数据类型的采集。

进一步地，预先设置有对采集的各类数据进行存储的预设表格模板，在抓取到与各任务所对应的字段数据后，可依据顺序标识所表征的需求排列顺序，将各字段数据添加到预设表格模板中进行保存，完成总任务中与各任务对应的各类型数据的采集。考虑到所采集的数据类型众多，为了在存储时对各类数据进行区分，预设表格模板中设置有表头；先将表征各字段数据所属数据类型的字段名添加到表头中，再将各字段数据依据其对应字段名在表头中的位置进行添加。具体地，根据顺序标识，将各字段数据添加到预设表格模板中保存的步骤包括：

步骤S31，调用所述预设表格模板，并根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

更进一步地，关联字段表征各类数据的采集依据，其本身为某一类型的数据，具有对应的字段名；如关联字段为保单号，则其字段名即为保单号；将与各关联字段对应的字段名作为关联字段名进行读取。同时各任务对各类数据进行采集，采集的各类数据均对应有字段名，将该字段名作为与各任务对应的任务字段名进行读取。对预先设定的预设表格模板进行调用，并将关联字段名和各任务字段名添加到该预设表格模板的表头中。预设表格模板中的第一行为表头信息，表头中设置有序号以及用于表征所需要采集的各类数据的数据类型的字段名，该类字段名在表头中以变量的形式存在。将关联字段名和各任务字段名添加到表头中，其实质为用关联字段名和各任务字段名替换各变量的过程；且在添加过程中，依据顺序标识所表征的排列顺序进行添加，以使得添加的关联字段名和各任务字段名在表头中的排列顺序，和采集所需求的排列顺序对应。具体地，根据顺序标识，将各关联字段对应的关联字段名，以及与各任务对应的任务字段名添加到预设表格模板的表头中的步骤包括：

步骤S311，读取所述预设表格模板的表头中的初始单元格变量，并根据所述初始单元格变量确定所述表头中的初始单元格，将各所述关联字段对应的关联字段名添加到所述初始单元格中；

进一步地，为了便于对所采集的各类数据进行查看，以及验证各类数据的正确性，将关联字段名设定排列在初始单元格中；该初始单元格为表头中与序号字段名相邻的单元格，使得关联字段位于预设表格模板中与序号的相邻列。读取表头中表征初始单元格的初始单元格变量，由该初始单元格变量确定初始单元格所在的位置；进而将读取的与各关联字段对应的关联字段名添加到初始单元格变量所对应的初始单元格中，以实现将关联字段名添加到初始单元格中。

步骤S312，判断所述顺序标识是否为预设默认标识，若为所述预设默认标识，则根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

更进一步地，在将关联字段名添加到表头中之后，再依据顺序标识，将各任务字段名添加到表头中；因顺序标识分为默认标识和非默认标识两类，在对各任务字段名进行排列时，需要依据默认标识和非默认标识进行区分。具体地，将默认标识作为预先设置的预设默认标识，将顺序标识和该预设默认标识对比，判断顺序标识是否为预设默认标识。如果经判定顺序标识为预设默认标识，则说明在触发任务配置指令时，没有对排列顺序进行设定，对采集的各类数据的排列顺序没有要求。此时按照默认顺序对采集的各类数据进行排列，默认顺序为依据各类数据采集的时间先后顺序进行。因将任务字段名添加到表头中为对各采集数据添加的在先步骤，从而将任务字段名添加到表头中同样依据各类数据采集的时间先后顺序进行。从预设存储单元中抓取的各字段数据为采集到的各类数据，与各任务对应的各字段数据的抓取时间即为各类数据采集的时间；根据该抓取时间，将与各任务对应的任务字段名添加到预设表格模板的表头中。当各字段数据的抓取时间在前，则将该字段数据所来源任务的任务字段名排列在表头的前列，而当字段数据的抓取时间在后，则将该字段数据所来源任务的任务字段名排列在表头的后列；其中表头的前列和后列由表头中各变量的排列顺序表征。具体地，根据与各任务对应的各字段数据的抓取时间，将与各任务对应的任务字段名添加到预设表格模板的表头中的步骤包括：

步骤a，根据与各所述任务对应的各字段数据的抓取时间，对与各所述任务对应的任务字段名的先后顺序进行排列，生成第一排列顺序；

可理解地，在对与各任务对应的各字段数据进行抓取时，会对抓取的时间进行记录；对该各个抓取时间进行读取，并依据读取的抓取时间，对与各任务对应的任务字段名的先后顺序进行排列，生成第一排列顺序。如对于任务a和b，各自对应的抓取时间分别为t和t+a；则将与任务a对应的任务字段名n1排列在与任务b对应字段名n2的前列，生成[n1、n2]的第一排列顺序。

步骤b，读取所述表头中字段单元格变量的第二排列顺序，根据所述第一排列顺序和所述第二排列顺序的对应关系，将各所述任务字段名添加到各所述字段单元格变量对应的字段单元格中。

进一步地，表头中的字段单元格变量预先设置有表征其各自前后顺序的第二排列顺序，如表头中的字段单元格变量包括xx和yy，且表征各自前后顺序的第二排列顺序为[xx、yy]；即具有字段单元格变量xx的字段单元格X排列在yy的字段单元格Y的前列，按照从左到右的顺序，字段单元格X相对位于字段单元格Y的左侧，而字段单元格Y相对位于字段单元格X的右侧。对表头中字段单元格变量的第二排列顺序进行读取，并根据第一排列顺序和第二排列顺序的对应关系，将各任务字段名添加到各字段单元格变量对应的字段单元格中。其中第一排列顺序和第二排列顺序之间的对应关系为第一排列顺序中各元素与第二排列顺序中各元素之间的排列位置之间的对应关系，即第一排列顺序中排列在第一位的任务字段名与第二排列顺序中排列在第一位的字段单元格变量之间对应，第一排列顺序中排列在第二位的任务字段名与第二排列顺序中排列在第二位的字段单元格变量之间对应，依次类推各个任务字段名均对应有字段单元格变量。从而依据各个对应关系，即可将各任务字段名添加到各自对应的字段单元格变量所表征的字段单元格中，直到对各任务字段名排列并添加完成。

步骤S313，若不是所述预设默认标识，则根据与各所述任务对应的任务字段名在所述顺序标识中的排列顺序，将各所述任务字段名添加到所述预设表格模板的表头中。

更进一步地，当经判断顺序标识不是预设默认标识，则说明在触发任务配置指令时，有对排列顺序进行设定，对采集的各类数据的排列顺序有要求，此时按照顺序标识所表征的字段数据顺序对采集的各类数据进行排列。因将任务字段名添加到表头中为对各采集数据添加的在先步骤，从而将任务字段名添加到表头中同样依据顺序标识所表征的排列顺序进行。依据顺序标识所表征的字段数据顺序，确定各任务字段名第三排列顺序；当顺序标识所表征的字段顺序在前列，则将该字段顺序所来源任务的任务字段名排列在前列；当顺序标识所表征的字段顺序在后列，则将该字段顺序所来源任务的任务字段名排列在后列，在各任务字段名均排列完成后即可形成第三排列顺序。此后同样的读取第二排列顺序，并根据第二排列顺序和第三排列顺序的对应关系，将各任务字段名添加到第二排列顺序所表征的各字段单元格变量对应的字段单元格中，实现将各任务字段名添加到预设表格模板的表头中。

步骤S32，将各所述关联字段添加到所述预设表格模板中与所述关联字段名所对应的关联位置；

进一步地，在将关联字段名添加到预设表格模板的表头中之后，即可将各关联字段添加到预设表格模板中与关联字段名对应的关联位置；该关联位置为关联字段名在预设表格模板中所对应的位置。因关联字段名添加在初始单元格中，从而该关联位置为初始单元格所在的数据列；将各关联字段依次添加到该数据列，实现将各关联字段添加到预设表格模板中。

步骤S33，根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置，以对各所述字段数据进行保存。

更进一步地，在将各任务字段名添加到预设表格模板的表头中之后，即可将各字段数据添加到预设表格模板中与各任务字段名对应的任务位置；该任务位置为任务字段名在预设表格模板中所对应的位置。因任务字段名添加在各字段单元格中，从而该任务位置为各字段单元格所在的数据列；依据各字段数据所对应来源任务的任务字段名，确定各任务字段名所在的字段单元格，进而将各字段数据添加到各字段单元格对应的数据列中。具体地，根据各字段数据对应的各任务，将各字段数据添加到预设表格模板中与各任务字段名对应的任务位置的步骤包括：

步骤S331，根据各所述字段数据对应的各所述任务，以及各所述任务对应的任务字段名，在各所述字段数据和各所述字段任务名之间建立关联关系；

进一步地，因将各字段数据添加到预设表格模板的任务位置进行保存，依据各字段数据所来源的任务以及该任务的任务字段名所在字段单元格的位置进行；从而在添加时可依据字段数据对应的各任务，以及各任务对应的任务字段名，在各字段数据和各字段任务名之间建立关联关系。即在各任务所具有的字段数据和各任务所具有的字段任务名之间建立关联关系，如字段数据D1和D2所来源的任务分别为p1和p2，且任务p1和p2对应的任务字段名为q1和q2，则依据任务p1和p2，在D1和q1以及D2和q2之间建立关联关系。

步骤S332，将与各所述任务对应的各所述字段数据形成字段数据列，并根据所述关联关系中各所述任务字段名所在的字段单元格，将各所述字段数据列添加到预设表格模板中与各所述字段单元格对应的数据列中。

更进一步地，关联关系中的字段任务名所在的字段单元格对应的数据列，即为关联关系中各字段数据所需要添加的数据列；从而可根据各关联关系中的字段数据和字段任务名，将各字段数据添加到任务名所对应的数据列中。因各任务所采集的数据涉及到多个，使得每个关联关系的字段数据中均涉及到多个数据；在对各字段数据进行添加时，可先将由各任务所采集的各字段数据形成字段数据列，即各关联关系中的各字段数据形成字段数据列；再依据各关联关系中各任务字段名所在的字段单元格，将各字段数据列添加到各字段单元格对应的数据列中。如对于上述字段数据D1和D2，若q1和q2所在的字段单元格为K1和K2，则将D1作为字段数据列添加到字段单元格K1所对应的数据列中，同时将D2作为字段数据列添加到字段单元格K2所对应的数据列中。在各字段数据列均添加到各个数据列之后，则将由各任务所采集的字段数据保存在预设表格模板中，完成对各个类型数据的采集。

本实施例的多类型数据的采集方法，当接收到任务配置指令时，先读取与该任务配置指令对应的任务标识符、关联字段以及顺序标识；再根据各关联字段，对各任务标识符对应的任务进行关联，并将顺序标识添加到关联后的各任务中；进而从预设存储单元中抓取与各任务对应的字段数据，并根据顺序标识，将抓取的各字段数据添加到预设表格模板中保存，实现对与各任务对应的各类型数据的采集。本方案将需要采集的各类型数据配置为多个任务，且各任务之间通过关联字段关联；从预设存储单元中抓取的与各个任务对应的字段数据即为所需要采集的各类型数据，避免了针对各类型数据的逐一读取；同时将抓取的各字段数据依据顺序标识进行保存，避免对读取的各类型数据的组合，节省了多类型数据采集的人力成本，提高了采集效率。

进一步地，在本发明多类型数据的采集方法另一实施例中，所述根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤之前包括：

步骤S40，将各所述任务标识符和预设敏感标识符对比，判断各所述任务标识符中是否存在所述预设敏感标识符；

可理解地，数据库中存储的数据类型多种多样，涉及到隐私数据或重要数据，将该隐私数据和重要数据统一为敏感数据，并针对敏感数据预先设定预设敏感标识符。将表征所需要采集数据类型的任务标识符和各预设敏感标识符对比，判断各任务标识符中是否存在预设敏感标识符，以确定所需要采集的各类数据中是否涉及到敏感数据。

步骤S50，若存在所述预设敏感标识符，则读取所述任务配置指令对应用户账户的账户标识，并判断所述账户标识是否为高级权限标识；

进一步地，当经对比确定各任务标识符中存在预设敏感标识符时，则说明所需要采集的各类数据中存在敏感数据；而当各任务标识符中不存在预设敏感标识符时，则说明所需要采集的各类数据中不存在敏感数据；此时依据各关联字段、对各任务标识符对应的任务进行关联，以依据各关联字段，采集与各任务对应的各个类型的数据。在所需要采集的各类数据中存在敏感数据时，为了数据的安全性，设置有权限检测机制。具体地，任务采集指令通过用户账户进行触发，权限检测机制即为检测该用户账户是否具有对敏感数据进行采集的权限。不同的用户账户设置有表征其权限的账户标识，其中具有对敏感数据采集权限的用户账户的账户标识为高级权限标识，而不具有对敏感数据采集权限的用户账户的账户标识为普通权限标识。对任务配置指令对应用户账户的账户标识进行读取，并判断该账户标识是否为高级权限标识，以确定该用户账户是否具有对敏感数据采集的权限。

步骤S60，若所述账户标识为高级权限标识，则执行根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤；

步骤S70，若所述账户标识不是高级权限标识，则将各所述任务标识符中存在的所述预设敏感标识符设为待修改标识符，并输出对所述待修改标识符进行修改的提示信息。

更进一步地，若经判断账户标识为高级权限标识，说明用户具有对敏感数据采集的权限，则依据各关联字段、对各任务标识符对应的任务进行关联，以依据各关联字段，采集与各任务对应的各个类型的数据。而当判断出用户标识不是高级权限标识时，则说明用户不具有对敏感数据采集的权限，用户账户对该敏感数据进行采集可能导致敏感数据泄露；从而将各任务标识符中所存在的预设敏感标识符作为待修改标识符，并针对该待修改标识符输出提示信息，以提示对该待修改标识进行修改，避免对敏感数据的采集。

进一步地，在本发明多类型数据的采集方法另一实施例中，所述根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存的步骤之后包括：

步骤S80，读取保存各所述字段数据的预设表格模板的地址信息以及命名信息，并将所述地址信息和命名信息添加到预设下载语句中，生成下载链接；

步骤S90，将所述下载链接输出，以对采集的与各所述任务对应各个类型的数据进行下载。

更进一步地，在将抓取的各字段数据添加到预设表格模板中保存，完成对各类型数据的采集之后，为了便于查看采集的各类数据，设置有下载机制。具体地，保存各字段数据的预设表格模板存储在服务器中的存储单元中，且其以预设的规则进行命名；将该存储单元的位置作为地址信息，并将该命名作为命名信息进行读取。同时预先设置有用于生成下载链接的预设下载语句，对该预设下载语句进行调用，并将读取的地址信息和命名信息添加到预设下载语句中，生成下载链接。此后将下载链接输出到任务配置指令对应的用户账户，以便于用户账户对应的用户对采集的各个类型数据进行下载，实现对存储在不同数据表中的各种类型数据的采集需求。

此外，请参照图2，本发明提供一种多类型数据的采集装置，在本发明多类型数据的采集装置第一实施例中，所述多类型数据的采集装置包括：

读取模块10，用于当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

关联模块20，用于根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

采集模块30，用于从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

本实施例的多类型数据的采集装置，当接收到任务配置指令时，读取模块10先读取与该任务配置指令对应的任务标识符、关联字段以及顺序标识；关联模块20再根据各关联字段，对各任务标识符对应的任务进行关联，并将顺序标识添加到关联后的各任务中；进而采集模块30从预设存储单元中抓取与各任务对应的字段数据，并根据顺序标识，将抓取的各字段数据添加到预设表格模板中保存，实现对与各任务对应的各类型数据的采集。本方案将需要采集的各类型数据配置为多个任务，且各任务之间通过关联字段关联；从预设存储单元中抓取的与各个任务对应的字段数据即为所需要采集的各类型数据，避免了针对各类型数据的逐一读取；同时将抓取的各字段数据依据顺序标识进行保存，避免对读取的各类型数据的组合，节省了多类型数据采集的人力成本，提高了采集效率。

进一步地，在本发明多类型数据的采集装置另一实施例中，所述采集模块还包括：

调用单元，用于调用所述预设表格模板，并根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

添加单元，用于将各所述关联字段添加到所述预设表格模板中与所述关联字段名所对应的关联位置；

保存单元，用于根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置，以对各所述字段数据进行保存。

进一步地，在本发明多类型数据的采集装置另一实施例中，所述调用单元还用于：

读取所述预设表格模板的表头中的初始单元格变量，并根据所述初始单元格变量确定所述表头中的初始单元格，将各所述关联字段对应的关联字段名添加到所述初始单元格中；

判断所述顺序标识是否为预设默认标识，若为所述预设默认标识，则根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

若不是所述预设默认标识，则根据与各所述任务对应的任务字段名在所述顺序标识中的排列顺序，将各所述任务字段名添加到所述预设表格模板的表头中。

进一步地，在本发明多类型数据的采集装置另一实施例中，所述调用单元还用于：

根据与各所述任务对应的各字段数据的抓取时间，对与各所述任务对应的任务字段名的先后顺序进行排列，生成第一排列顺序；

读取所述表头中字段单元格变量的第二排列顺序，根据所述第一排列顺序和所述第二排列顺序的对应关系，将各所述任务字段名添加到各所述字段单元格变量对应的字段单元格中。

进一步地，在本发明多类型数据的采集装置另一实施例中，所述保存单元还用于：

根据各所述字段数据对应的各所述任务，以及各所述任务对应的任务字段名，在各所述字段数据和各所述字段任务名之间建立关联关系；

将与各所述任务对应的各所述字段数据形成字段数据列，并根据所述关联关系中各所述任务字段名所在的字段单元格，将各所述字段数据列添加到预设表格模板中与各所述字段单元格对应的数据列中。

进一步地，在本发明多类型数据的采集装置另一实施例中，所述多类型数据的采集装置还包括：

对比模块，用于将各所述任务标识符和预设敏感标识符对比，判断各所述任务标识符中是否存在所述预设敏感标识符；

判断模块，用于若存在所述预设敏感标识符，则读取所述任务配置指令对应用户账户的账户标识，并判断所述账户标识是否为高级权限标识；

执行模块，用于若所述账户标识为高级权限标识，则执行根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤；

第一输出模块，用于若所述账户标识不是高级权限标识，则将各所述任务标识符中存在的所述预设敏感标识符设为待修改标识符，并输出对所述待修改标识符进行修改的提示信息。

进一步地，在本发明多类型数据的采集装置另一实施例中，所述多类型数据的采集装置还包括：

生成模块，用于读取保存各所述字段数据的预设表格模板的地址信息以及命名信息，并将所述地址信息和命名信息添加到预设下载语句中，生成下载链接；

第二输出模块，用于将所述下载链接输出，以对采集的与各所述任务对应各个类型的数据进行下载。

其中，上述多类型数据的采集装置的各虚拟功能模块存储于图3所示多类型数据的采集设备的存储器1005中，处理器1001执行多类型数据的采集程序时，实现图2所示实施例中各个模块的功能。

参照图3，图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明实施例多类型数据的采集设备可以是PC(personal computer，个人计算机)，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等终端设备。

如图3所示，该多类型数据的采集设备可以包括：处理器1001，例如CPU(CentralProcessing Unit，中央处理器)，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM(random accessmemory，随机存取存储器)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该多类型数据的采集设备还可以包括用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi(Wireless Fidelity，无线宽带)模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图3中示出的多类型数据的采集设备结构并不构成对多类型数据的采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图3所示，作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块以及多类型数据的采集程序。操作系统是管理和控制多类型数据的采集设备硬件和软件资源的程序，支持多类型数据的采集程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与多类型数据的采集设备中其它硬件和软件之间通信。

在图3所示的多类型数据的采集设备中，处理器1001用于执行存储器1005中存储的多类型数据的采集程序，实现上述多类型数据的采集方法各实施例中的步骤。

本发明提供了一种可读存储介质，所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述多类型数据的采集方法各实施例中的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种多类型数据的采集方法，其特征在于，所述多类型数据的采集方法包括以下步骤：

当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

2.如权利要求1所述的多类型数据的采集方法，其特征在于，所述根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存的步骤包括：

调用所述预设表格模板，并根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

将各所述关联字段添加到所述预设表格模板中与所述关联字段名所对应的关联位置；

根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置，以对各所述字段数据进行保存。

3.如权利要求2所述的多类型数据的采集方法，其特征在于，所述根据所述顺序标识，将各所述关联字段对应的关联字段名，以及与各所述任务对应的任务字段名添加到所述预设表格模板的表头中的步骤包括：

读取所述预设表格模板的表头中的初始单元格变量，并根据所述初始单元格变量确定所述表头中的初始单元格，将各所述关联字段对应的关联字段名添加到所述初始单元格中；

判断所述顺序标识是否为预设默认标识，若为所述预设默认标识，则根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中；

若不是所述预设默认标识，则根据与各所述任务对应的任务字段名在所述顺序标识中的排列顺序，将各所述任务字段名添加到所述预设表格模板的表头中。

4.如权利要求3所述的多类型数据的采集方法，其特征在于，所述根据与各所述任务对应的各字段数据的抓取时间，将与各所述任务对应的任务字段名添加到所述预设表格模板的表头中的步骤包括：

根据与各所述任务对应的各字段数据的抓取时间，对与各所述任务对应的任务字段名的先后顺序进行排列，生成第一排列顺序；

读取所述表头中字段单元格变量的第二排列顺序，根据所述第一排列顺序和所述第二排列顺序的对应关系，将各所述任务字段名添加到各所述字段单元格变量对应的字段单元格中。

5.如权利要求4所述的多类型数据的采集方法，其特征在于，所述根据各所述字段数据对应的各所述任务，将各所述字段数据添加到所述预设表格模板中与各所述任务字段名对应的任务位置的步骤包括：

根据各所述字段数据对应的各所述任务，以及各所述任务对应的任务字段名，在各所述字段数据和各所述字段任务名之间建立关联关系；

将与各所述任务对应的各所述字段数据形成字段数据列，并根据所述关联关系中各所述任务字段名所在的字段单元格，将各所述字段数据列添加到预设表格模板中与各所述字段单元格对应的数据列中。

6.如权利要求1-6任一项所述的多类型数据的采集方法，其特征在于，所述根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤之前包括：

将各所述任务标识符和预设敏感标识符对比，判断各所述任务标识符中是否存在所述预设敏感标识符；

若存在所述预设敏感标识符，则读取所述任务配置指令对应用户账户的账户标识，并判断所述账户标识是否为高级权限标识；

若所述账户标识为高级权限标识，则执行根据各所述关联字段，对各所述任务标识符对应的任务进行关联的步骤；

若所述账户标识不是高级权限标识，则将各所述任务标识符中存在的所述预设敏感标识符设为待修改标识符，并输出对所述待修改标识符进行修改的提示信息。

7.如权利要求6所述的多类型数据的采集方法，其特征在于，所述根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存的步骤之后包括：

读取保存各所述字段数据的预设表格模板的地址信息以及命名信息，并将所述地址信息和命名信息添加到预设下载语句中，生成下载链接；

将所述下载链接输出，以对采集的与各所述任务对应各个类型的数据进行下载。

8.一种多类型数据的采集装置，其特征在于，所述多类型数据的采集装置包括：

读取模块，用于当接收到任务配置指令时，读取与所述任务配置指令对应的任务标识符、关联字段以及顺序标识；

关联模块，用于根据各所述关联字段，对各所述任务标识符对应的任务进行关联，并将所述顺序标识添加到关联后的各所述任务中；

采集模块，用于从预设存储单元中抓取与各所述任务对应的字段数据，并根据所述顺序标识，将各所述字段数据添加到预设表格模板中保存，以对与各所述任务对应的各个类型的数据进行采集。

9.一种多类型数据的采集设备，其特征在于，所述多类型数据的采集设备包括：存储器、处理器、通信总线以及存储在所述存储器上的多类型数据的采集程序；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述多类型数据的采集程序，以实现如权利要求1-7中任一项所述的多类型数据的采集方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有多类型数据的采集程序，所述多类型数据的采集程序被处理器执行时实现如权利要求1-7中任一项所述的多类型数据的采集方法的步骤。