CN110502515B - 数据采集方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种数据采集方法、装置、设备及计算机可读存储介质，所述方法包括：当接收到基于预设采集口径上传的自助报表时，读取自助报表的目标匹配字段以及预设采集口径的类型标识；判断目标匹配字段是否和类型标识对应，若和类型标识对应，则根据自助报表，生成待采集报表；当接收到包含待采集字段的指令时，则根据目标匹配字段在待采集报表中对应数据列的采集依据信息，采集与各待采集字段对应的字段数据，并将各字段数据返回到所述待采集报表的空白列。本方案将基于大数据处理技术所采集到的字段数据返回到待采集报表的空白列进行存储，使所采集得到的数据和待采集报表中的原有数据均存在于待采集报表中，简化了采集过程，提高了采集效率。

Description

数据采集方法、装置、设备及计算机可读存储介质

技术领域

本发明主要涉及数据处理技术领域，具体地说，涉及一种数据采集方法、装置、设备及计算机可读存储介质。

背景技术

目前，在对大量数据进行采集时，通常将包含有采集依据的数据表作为采集报表，进而根据该采集报表中的采集依据进行所需要采集数据的采集；如对多个用户的年龄进行采集，则将包含有多个用户姓名的数据表作为采集报表，以对与各用户姓名对应的用户年龄进行采集。

但是，在根据采集报表进行采集的过程中，仅保留其中的采集依据，而将其他的数据删除；如对于上述包含有多个姓名的数据表中，还包括有用户电话号码，在采集过程中，仅依据其中的用户姓名进行采集，而将其中的用户电话号码进行删除。如此一来，导致了采集报表中原有数据的丢失；而为了保留原有的数据，在采集之前先对采集报表中的各数据进行备份操作，采集之后再由人工将采集到的数据添加到备份的采集报表中，对两者进行合并；数据采集的过程繁琐，采集效率低。

发明内容

本发明的主要目的是提供一种数据采集方法、装置、设备及计算机可读存储介质，旨在解决现有技术中数据采集过程繁琐，采集效率低的问题。

为实现上述目的，本发明提供一种数据采集方法，所述数据采集方法包括以下步骤：

当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

优选地，所述根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：

读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；

若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；

若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据。

优选地，所述根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：

读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；

当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；

若不具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤，并在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理。

优选地，所述在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理的步骤包括：

读取各所述待采集字段中所具有敏感字段的脱敏规则，并根据所述脱敏规则，对各所述字段数据中与所述敏感字段对应的目标字段数据进行脱敏，其中所述脱敏规则用于对所述目标字段数据进行加密转换的处理；

在各所述目标字段数据均脱敏完成后，用脱敏后的各所述目标字段数据对各所述字段数据进行更新，并将更新的各所述字段数据返回到所述待采集报表的空白列。

优选地，所述将各所述字段数据返回到所述待采集报表的空白列的步骤之后包括：

当接收到对所述待采集报表的上传请求时，输出再次选择待采集字段的提示信息；

接收基于所述提示信息输入的再次待采集字段，并判断所述再次待采集字段和所述待采集字段之间是否存在相同字段，若存在所述相同字段，则输出重新选择的提示信息；

若不存在所述相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据，并将各所述再筛选字段数据返回到所述待采集报表中的其他空白列。

优选地，所述若不存在相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据的步骤包括：

判断所述待采集报表中是否存在空白信息，若存在所述空白信息，则将所述空白信息所对应的目标采集依据信息进行删除，并对所述目标采集依据信息输出采集异常的提示信息；

将删除所述目标采集依据信息后的采集依据信息更新为新的采集依据信息，并根据新的所述采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据。

优选地，所述将各所述再筛选字段数据返回到所述待采集报表中的其他空白列的步骤之后包括：

当接收到采集完成指令时，读取与所述待采集报表对应的存储地址信息以及命名信息；

调用预设链接语句，并将所述存储地址信息和所述命名信息添加到所述预设链接语句中，生成下载连接；

将所述下载链接输出到对所述自助报表进行上传的显示终端，以供所述显示终端的终端用户对所述待采集报表进行下载操作。

此外，为实现上述目的，本发明还提出一种数据采集装置，所述数据采集装置包括：

读取模块，用于当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断模块，用于判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

采集模块，用于当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

此外，为实现上述目的，本发明还提出一种数据采集设备，所述数据采集设备包括：存储器、处理器、通信总线以及存储在所述存储器上的数据采集程序；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述数据采集程序，以实现以下步骤：

当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：

当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

本实施例的数据采集方法，当接收到基于预设采集口径上传的自助报表时，先对自助报表的目标匹配字段以及预设采集口径的类型标识进行读取；再判断目标匹配字段是否和类型标识对应，若两者之间对应，则依据自助报表生成待采集报表；进而在接收到包含待采集字段的指令时，依据目标匹配字段在待采集报表中对应数据列的采集依据信息，对与各待采集字段对应的字段数据进行采集，并将采集的各字段数据返回到待采集报表的空白列，完成自助报表的数据采集需求。本方案的待采集字段为所需要采集的数据，而采集依据信息为所需要采集数据的采集依据；根据采集依据信息所采集到的与待采集字段对应的字段数据即为所需要采集的数据，将该字段数据返回到待采集报表的空白列进行存储，不影响待采集报表中存在的原有数据；使得所采集得到的数据和待采集报表中的原有数据均存在于待采集报表中，避免对待采集报表中原有数据和采集的字段数据之间的合并，简化了采集过程，提高了采集效率。

附图说明

图1是本发明的数据采集方法第一实施例的流程示意图；

图2是本发明的数据采集装置第一实施例的功能模块示意图；

图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种数据采集方法。

请参照图1，图1为本发明数据采集方法第一实施例的流程示意图。在本实施例中，所述数据采集方法包括：

步骤S10，当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

本发明的数据采集方法应用于金融机构的服务器，适用于通过服务器对金融机构中各种类型的数据进行批量采集。当有对数据进行采集的需求时，将该所需要采集数据的采集依据形成自助报表；如依据保单号对各保单号对应的理赔金额进行采集，则各保单号为采集依据，而将其形成为自助报表。该自助报表可通过空白数据表重新形成，也可由已有数据表指定生成；当由空白数据表重新形成时，将作为采集依据的各项数据添加到空白数据表的某一列中，并在该列中的第一个单元格设定表征采集依据类型的字段名；如将采集依据设定为保单号时，则将各保单号添加到空白数据表的第一列，并在该第一列的第一个单元格中设定“保单号”的字段名作为表征采集依据类型的字段名。当由已有数据表指定生成时，则直接指定已有数据表中某一列的列数据作为采集依据，而将该列对应的字段名作为表征采集依据类型的字段名；如已有数据表中包括的数据列有姓名、联系方式等，若需要将其中的姓名作为采集依据，则将姓名所在数据列中的列数据作为采集依据所在的列，同时将“姓名”的字段名作为表征采集依据类型的字段名。

进一步地，针对各种类型的采集依据预先设置有不同的采集通道，并将各采集通道作为预设采集口径；如设定依据保单号或者客户编号进行采集的采集通道，则将两者均作为预设采集口径。因不同类型的采集依据所对应的预设采集口径不相同，从而在将作为采集依据的各项数据形成自助报表后，可根据作为采集依据的各项数据的类型，确定采集依据的类型；作为采集依据的各项数据所对应的数据类型，即为采集依据的类型。依据该所确定的采集依据的类型，选择对应的预设采集口径，进而通过所选择的预设采集口径，将自助报表上传。自助报表中作为采集依据的各项数据，用于在采集过程中的查找匹配；即依据该作为采集依据的各项数据从金融机构中存储各类数据的数据库中，查找所需要采集的各项数据；如所需要采集的数据为用户电话，而采集依据为用户姓名，则依据该各用户姓名从数据库中查找与各用户姓名所对应的用户电话。从而将用于在采集过程中起查找作用的各项数据(即作为采集依据的各项数据)所对应的字段名(即表征采集依据类型的字段名)作为自助报表的目标匹配字段，表征在对自助报表进行采集的过程中所依据的字段类型。

服务器在接收到通过预设采集口径所上传的自助报表后，对自助报表中的目标匹配字段以及预设采集口径的类型标识进行读取；其中类型标识表征预设采集口径所适用的采集依据类型，目标匹配字段表征在对自助报表采集过程中所依据的字段类型；通过两者所表征字段的一致性，来确定预设采集口径是否适用于对自助报表进行采集。

步骤S20，判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

进一步地，将读取目标匹配字段和类型标识进行对比，判断两者之间是否对应，其中两者之间的对应性为目标匹配字段所表征的字段类型和类型标识所表征的采集依据类型对应；如目标匹配字段所表征的字段类型为保单号，而类型标识所表征的采集依据类型也为保单号，则说明目标匹配字段和类型标识对应。若经对比判断出两者之间对应，则说明自助报表所需求的采集依据类型和预设采集口径所适用的采集依据类型一致，对自助报表进行上传的预设采集口径适用于自助报表的采集；此后依据自助报表，生成待采集报表。该待采集报表可以通过新建与自助报表一致的临时表进行，即建立与自助报表中所具有字段以及数据一致的临时表，且临时表征所具有的数据列不少于自助报表中的数据列；如自助报表中所具有的字段包括A和B，具有的数据包括a1、a2、a3、b1、b2、b3、b4，而对应的数据列包括5列；则先建立临时表，并将字段A和B，以及数据a1、a2、a3、b1、b2、b3、b4分别添加到临时表中，且临时数据表的数据列至少为5列，以将采集的各项数据均放置到临时表中存储，防止所采集的数据丢失。

步骤S30，当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

更进一步地，服务器与显示终端通信连接，显示终端用于选择预设采集口径并将自助报表上传之外，还显示有预先所设置的预设待采集字段。该预设待采集字段用于表征所需要采集数据对应的字段类型，如预设待采集字段“承保金额”表征所需要采集的数据为承保金额类型，而“受益人”表征所需要采集的数据为受益人类型。在生成待采集报表后，向显示终端输出提示信息，以提示根据实际需求对预设待采集字段进行选择。当接收到包含基于该显示的预设待采集字段所选择的待采集字段的指令后，则依据目标匹配字段在待采集报表中对应数据列的采集依据信息，对与待采集字段对应的字段数据进行采集；其中采集依据信息为目标匹配字段在待采集报表对应数据列中的各项数据，因目标匹配字段是作为采集依据的各项数据所对应的字段名，从而目标匹配字段在待采集报表对应数据列中的各项数据即为作为采集依据的各项数据。如目标待采集字段W位于待采集报表第2列中的第一个单元格，则将第2列作为W在待采集报表中对应的数据列；位于第2列中的各项数据即为采集依据信息，以依据其采集与各个待采集字段对应的字段数据；若W表征保单号，位于第2列中的采集依据信息包括保单号w1、保单号w2、保单号w3，待采集字段包括受益人和保额，而依据w1、w2和w3，分别采集与w1对应的受益人和保额，与w2对应的受益人和保额以及与w3对应的受益人和保额。

进一步地，在采集到与各待采集字段对应的字段数据之后，则将各字段数据返回到待采集报表中存储；因待采集报表中可能存在某些此前采集的数据，或者具有原有数据，从而在将采集的各字段数据返回到待采集报表中存储时，先检测待采集报表中的空白列。空白列为尚未存储数据的数据列，可通过检测数据列中所存储的数据是否为空值进行；当读取到数据列中所存储的数据为空值，则说明该数据列中尚未存储数据，将其作为空白列，并将所采集的各字段数据返回到该空白列存储；当读取到数据列中所存储的数据不是空值，则说明该数据列中存储有数据，而不将其作为空白列进行各字段数据的存储。

可理解地，因各字段数据依据各采集依据信息，即目标匹配字段在待采集报表中对应数据列的各项数据采集而来；在将各字段数据返回到空白列存储时，需要依据各采集依据信息进行所在行进行排列，使得采集的各字段信息和各采集依据信息之间对应关系的一致性。如目标匹配字段为保单号，且其在待采集报表中对应数据列的各项数据，即对应的保单号为p1、p2、p3，该p1、p2、p3即为采集依据信息；依据该采集依据信息采集的字段信息分别为受益人m1、m2、m3以及保额n1、n2、n3；待采集报表中第二列具有投保人数据，第三列具有承保数据；则将采集到的受益人和保额信息分别排列在第四列和第五列，且m1和n1依据p1所在的行进行排列，m2和n2依据p2所在的行进行排列，m3和n3依据p3所在的行进行排列，以表征m1、n1与p1之间，m2、n2与p2之间，m3、n3与p3之间的对应关系。

考虑到金融机构用于存储各类数据的数据库中所存储的数据类型各种各样，其中涉及到客户的隐私数据以及金融机构的重要数据，如用户的身份证号、每季度的盈利数据等。在对与待采集字段对应的字段数据进行采集的过程中，可能因待采集字段中涉及到与隐私数据或重要数据对应的字段，而需要对隐私数据或重要数据进行采集。此时为了确保隐私数据和重要数据的安全性，设置有权限采集机制；具体地，根据目标匹配字段在待采集报表中对应数据列的采集依据信息，采集与各待采集字段对应的字段数据的步骤包括：

步骤S31，读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；

进一步地，预先将数据库中所存储的各类数据划分为隐私数据、重要数据、非隐私数据和非重要数据，并将与隐私数据和重要数据对应的字段作为敏感字段，而将与非隐私数据和非重要数据对应的字段作为非敏感字段。预先设定表征各敏感字段的预设敏感标识，以及表征各非敏感字段的预设非敏感标识；各敏感字段均携带有预设敏感标识，而各非敏感字段均携带有预设非敏感标识。同样地显示终端中所显示的各预设待采集字段均携带有表征其各自敏感的预设敏感标识或非敏感的预设非敏感标识，当接收到各个待采集字段时，对各待采集字段所携带的字段标识进行读取，并将读取的各字段标识分别和各个预设敏感标识对比，检测各字段标识中是否包含有预设敏感标识；通过对各字段标识的检测，来判断各待采集字段中是否具有敏感字段。当经对比确定各字段标识中包含有预设敏感标识，则说明选择的待采集字段中具有敏感字段；而当经对比确定各字段标识中不包含有预设敏感标识，则说明选择的待采集字段中不具有敏感字段。

步骤S32，若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；

更进一步地，在经对比判断出待采集字段中具有敏感字段后，为了确保敏感字段去向的安全性，读取自助报表所对应用户账户的采集权限，并依据该采集权限以及采集依据信息，对与各待采集字段对应的字段数据进行采集。具有数据采集需求的人员在服务器上注册用户账户，通过用户账户上传用于采集数据的自助报表，将该对自助报表进行上传的用户账户作为与自助报表对应的用户账户。用户账户的采集权限包括具有采集权限和不具采集权限两部分，依据采集权限的不同，对根据采集依据信息所采集到的字段数据的处理方式具有差异性；具体地，根据自助报表对应用户账户的采集权限，以及目标匹配字段在待采集报表中对应数据列的采集依据信息，采集与各待采集字段对应的字段数据的步骤包括：

步骤S321，读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；

步骤S322，当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；

步骤S323，若不具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤，并在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理。

进一步地，用户账户在注册过程中，根据用户的身份信息分配有对应的采集权限，且不同的采集权限用不同的账户标识表征。对与自助报表对应用户账户的账户标识进行读取，并依据该读取的用户标识所表征的采集权限，来确定用户账户是否具有对敏感字段进行采集的采集权限。当具有采集权限时，则依据采集依据信息采集字段数据，并将采集的字段数据返回到待采集数据的空白列存储。而当不具有采集权限时，则在依据采集依据信息采集到字段数据后，对采集的字段数据进行脱敏处理，以避免与敏感字段对应数据的泄露。具体地，在采集到与待采集字段对应的字段数据后，对各字段数据进行脱敏处理的步骤包括：

步骤q1，读取各所述待采集字段中所具有敏感字段的脱敏规则，并根据所述脱敏规则，对各所述字段数据中与所述敏感字段对应的目标字段数据进行脱敏，其中所述脱敏规则用于对所述目标字段数据进行加密转换的处理；

可理解地，不同的隐私数据或重要数据所对应的敏感程度不一样，其中隐私数据的隐私性越高，或者重要数据的重要性越高，则对应的敏感程度越高，反之则敏感程度越低。预先针对不同敏感程度的敏感数据，设定不同的脱敏规则；敏感规则其实质为对敏感数据进行加密转换的规则，对于敏感程度越高的敏感数据，所设定的敏感规则相对复杂；而敏感程度越低的敏感数据，则所设定的敏感规则相对简单。如对于身份证号所设定的脱敏规则为将后四位以及表征出生年月的数字隐藏，而对于电话号码则可设定将后四位进行隐藏的脱敏规则等。不同的脱敏规则用不同的脱敏标识表征，在确定待采集字段中所存在的敏感字段之后，对敏感字段中所携带的脱敏标识进行读取；并依据该脱敏标识确定对应的脱敏规则，对该对应的脱敏规则进行读取，以确定待采集字段中所具有敏感字段所适用的脱敏规则。进而依据读取的脱敏规则，对各字段数据中与敏感字段对应的目标字段数据进行脱敏；如待采集字段中所具有的敏感字段D，其对应的脱敏规则为S；而字段数据中依据D所采集的目标字段数据为D1、D2和D3，则用脱敏规则S对D1、D2和D3进行脱敏处理。

步骤q2，在各所述目标字段数据均脱敏完成后，用脱敏后的各所述目标字段数据对各所述字段数据进行更新，并将更新的各所述字段数据返回到所述待采集报表的空白列。

进一步地，因字段数据中所涉及到的目标字段数据众多，各目标字段数据均需要脱敏处理。为了在经脱敏和未经脱敏的目标字段数据之间进行区分，针对经脱敏的目标字段数据分配已脱敏标签；通过检测各目标字段数据是否均携带有已脱敏标签来判断各目标字段数据是否均脱敏完成。若各目标字段数据均携带有已脱敏标签，则说明各目标字段数据均脱敏完成；否则各目标字段数据尚未脱敏完成，而对其中尚未脱敏的目标字段数据继续脱敏处理，直到脱敏完成。在各目标字段数据均脱敏完成后，则用脱敏后的各目标字段数据对各字段数据进行更新，将脱敏后的各目标字段数据替换字段数据中原有的目标字段数据；该替换目标字段数据后的字段数据即为更新后的字段数据，将更新的各字段数据返回到待采集报表的空白列存储，完成对具有敏感字段的各待采集字段对应字段数据的采集。

步骤S33，若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据。

更进一步地，将金融机构中用于存储各类数据的数据库作为预设数据库，若经对比判断出待采集字段中不具有敏感字段，则对目标匹配字段在待采集报表中对应数据列的采集依据信息进行读取，即读取作为采集依据的各项数据。将该读取的采集依据信息和预设数据库中所存储的各数据进行对比，采集与待采集字段对应的字段数据。因预设数据库中存在的数据类型多种多样，且不同类型的数据存储在预设数据库的不同数据表中，各数据表之间通过设定表征其各自所存储数据类型的类型标识进行区分。在将各采集依据信息和预设数据库对比时，先由各采集依据信息对应的目标匹配字段所表征的字段类型，确定数据库中和该字段类型所一致的数据表，该一致的数据表即为用于存储字段类型对应数据的数据表；进而将采集依据信息和该一致数据表中的各项数据对比，确定其中与采集依据信息所对应的各项目标数据，该各项目标数据即为与待采集字段对应的字段数据。如采集依据信息为保单号t1和t2，一致数据表中和保单号t1、t2对应的目标数据为k1和k2，则将k1和k2作为与待采集字段对应的字段数据进行采集；在与各待采集字段对应的字段数据均采集完成后，则完成自助报表中所需要采集的各项数据的采集。

本实施例的数据采集方法，当接收到基于预设采集口径上传的自助报表时，先对自助报表的目标匹配字段以及预设采集口径的类型标识进行读取；再判断目标匹配字段是否和类型标识对应，若两者之间对应，则依据自助报表生成待采集报表；进而在接收到包含待采集字段的指令时，依据目标匹配字段在待采集报表中对应数据列的采集依据信息，对与各待采集字段对应的字段数据进行采集，并将采集的各字段数据返回到待采集报表的空白列，完成自助报表的数据采集需求。本方案的待采集字段为所需要采集的数据，而采集依据信息为所需要采集数据的采集依据；根据采集依据信息所采集到的与待采集字段对应的字段数据即为所需要采集的数据，将该字段数据返回到待采集报表的空白列进行存储，不影响待采集报表中存在的原有数据；使得所采集得到的数据和待采集报表中的原有数据均存在于待采集报表中，避免对待采集报表中原有数据和采集的字段数据之间的合并，简化了采集过程，提高了采集效率。

进一步地，在本发明数据采集方法另一实施例中，所述将各所述字段数据返回到所述待采集报表的空白列的步骤之后包括：

步骤S40，当接收到对所述待采集报表的上传请求时，输出再次选择待采集字段的提示信息；

可理解地，在对数据进行采集的过程中，可能涉及到多次采集操作；如先对字段aa对应的数据进行采集，后对字段bb对应的数据进行采集。为了将各次采集的数据集中到一张数据表中，而避免依据不同的待采集字段分别进行采集，再由人工对分别采集的结果进行整合，设置有在作为前次采集结果的待采集报表的基础上进行再次采集的机制，即在返回有各字段数据的待采集报表的基础上进行再次采集。具体地，若用户账户具有继续采集数据的需求，则将返回有各字段数据的待采集报表进行上传操作，以继续进行数据采集，并将采集的数据返回到待采集报表中。为了确定用户账户是否具有继续采集数据的需求，在将所采集的各个字段数据均返回到待采集报表，并存储在其中的空白列后，进一步判断是否接收到对该存储操作后的待采集报表的上传请求。若接收到该上传请求，则说明用户账户具有继续采集数据的需求；从而向现实终端输出再次选择待采集字段的提示信息，提示根据再次采集需求对预设待采集字段进行再次选择，以便于依据再次选择的预设待采集字段进行数据的再次采集。

步骤S50，接收基于所述提示信息输入的再次待采集字段，并判断所述再次待采集字段和所述待采集字段之间是否存在相同字段，若存在所述相同字段，则输出重新选择的提示信息；

进一步地，当接收到基于提示信息所输入的再次待采集字段时，为了防止再次采集的数据和之前采集的数据之间出现重复的数据，对再次待采集字段和待采集字段之间是否存在相同字段进行判断。其中待采集字段为此前对数据进行采集时从预设待采集字段中所选择的字段，再次待采集字段为当前再次对数据进行采集时从预设够攒字段中所选择的字段。若两者之间存在相同字段，则说明当前的再次采集需求中存在和此前采集需求相同的数据，即两次之间存在重复采集的数据。此时为了避免重复采集，针对相同字段输出重新选择的提示信息，以提示重新对预设待采集字段中的各字段进行选择，确保所选择的再次待采集字段和待采集字段之间不重复。

步骤S60，若不存在所述相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据，并将各所述再筛选字段数据返回到所述待采集报表中的其他空白列。

更进一步地，若判断出再次待采集字段和待采集字段之间不存在相同字段，则再次依据目标匹配字段在待采集报表中对应数据列的采集依据信息，对与各再次待采集字段对应的再筛选数据进行采集；即依据作为采集依据的各项数据，从预设数据库中查找与再次待采集字段对应的数据，并将该对应的数据作为再筛选数据进行采集。此后将采集的再筛选字段数据返回到待采集报表中的其他空白列进行存储，其中其他空白列为当前再次采集时，待采集报表中存在的尚未存放有数据的数据列，不同于前一次采集时的空白列；前一次采集时的空白列中当前存放有前一次采集的字段数据，而不再是没有存放数据的空白列；将再筛选字段数据存放到其他空白列，而避免存放在前一次采集时的空白列，导致对前一次采集的字段数据的覆盖。

因再次数据采集在作为前次采集结果的待采集报表的基础上进行，而作为前次采集结果的待采集报表中可能存在采集异常的数据；从而在再次采集过程中，需要先对其中采集异常的数据进行剔除；具体地，若不存在相同字段，则根据目标匹配字段在待采集报表中对应数据列的采集依据信息，采集与各再次待采集字段对应的再筛选字段数据的步骤包括：

步骤S61，判断所述待采集报表中是否存在空白信息，若存在所述空白信息，则将所述空白信息所对应的目标采集依据信息进行删除，并对所述目标采集依据信息输出采集异常的提示信息；

进一步地，作为前次采集结果的待采集报表中所存在的采集异常数据为空白信息，即在依据采集依据信息，对与各待采集字段对应的字段数据进行采集的过程中，某一项采集依据信息，不存在与待采集字段对应的字段数据；如对于采集依据信息为保单号的情况，待采集字段为保额，某一保单号PP，在预设数据库中不存在与该保单号对应的字段数据。在采集的过程中，将不存在与待采集字段对应字段数据的情况以空白信息的方式进行处理；即在将各字段数据返回到待采集报表中的空白列存储时，对于不存在对应字段数据的情况，用空白信息存储到对应的空白列中。从而在再次采集过程中，先判断待采集报表中是否存在空白信息，若存在空白信息，则说明作为前次采集结果的待采集报表中存在采集异常的数据，而需要对其进行剔除操作；而若不存在空白信息，则说明其中不存在采集异常的数据，直接在待采集报表的基础上进行再次采集。

对于待采集报表中所存在的空白信息，则将该空白信息在待采集报表中所对应的目标采集依据信息进行删除，以删除该项作为采集依据的数据。如在前次采集过程中，空白信息基于采集依据信息cc采集而来，则cc为与空白信息对应的采集依据信息，而将其作为目标采集依据信息进行删除，以在后续的采集过程中不依据该项采集依据信息进行采集操作。考虑到前次依据目标采集依据信息采集得到空白信息，可能是目标采集依据信息存在异常；为了避免后续依据该目标采集依据信息进行采集得到空白信息，针对该目标采集依据信息输出采集异常的提示信息，以提示对目标采集依据信息进行优化。

步骤S62，将删除所述目标采集依据信息后的采集依据信息更新为新的采集依据信息，并根据新的所述采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据。

更进一步地，在将目标采集依据信息从待采集报表中的采集依据信息中删除之后，将采集依据信息更新为新的采集依据信息，以依据该新的采集依据信息，对与各再次待采集字段对应的再筛选字段数据进行采集，确保所采集得到的各字段数据以及再筛选字段数据的正确性。

可理解地，在将采集得到的各再筛选字段数据返回到待采集报表中存储后，若用户账户还需要进行数据采集，可再次触发针对待采集报表的上传请求，继续对数据进行采集，直到所需要采集的各项数据均采集完成。在各项数据均采集完成后，则可触发采集完成指令，以表征其所需要采集的数据均采集完成。具体地，将各再筛选字段数据返回到待采集报表中的其他空白列的步骤之后包括：

步骤S70，当接收到采集完成指令时，读取与所述待采集报表对应的存储地址信息以及命名信息；

进一步地，显示终端的显示界面中设置有采集完成指令，服务器在将采集得到的各字段数据或各再筛选字段数据返回到待采集报表中存储后，输出是否需要继续采集的提示信息；若用户账户需要继续采集，则依据该提示信息进行再次采集；若用户账户不需要继续采集，则触发采集完成指令。服务器在生成待采集报表的过程中，将待采集报表依据预先所设定的命名规则进行命名，并将其存放在预先设定的存储地址中。当服务器接收到该采集完成指令时，将待采集报表所在的存储地址以及命名分别作为存储地址信息和命名信息进行读取，以确定待采集报表的存储地址以及命名。

步骤S80，调用预设链接语句，并将所述存储地址信息和所述命名信息添加到所述预设链接语句中，生成下载连接；

步骤S90，将所述下载链接输出到对所述自助报表进行上传的显示终端，以供所述显示终端的终端用户对所述待采集报表进行下载操作。

更进一步地，预先设定用于生成下载链接的预设链接语句，预设链接语句中包含有表征存储地址信息的第一变量和表征命名信息的第二变量。在读取到存储地址信息和命名信息后，对预设链接语句进行调用，并将读取的存储地址信息和命名信息添加到预设链接语句中；用存储地址信息替换预设链接语句中的第一变量，而用命名信息替换其中的第二变量，生成用于对待采集报表进行下载的下载链接。此后将所生成的下载链接输出到显示终端的显示界面显示，以便于与自助报表对应的用户账户进行下载，获得其所需要采集的各项数据，完成与自助报表所对应的采集需求。

此外，请参照图2，本发明提供一种数据采集装置，在本发明数据采集装置第一实施例中，所述数据采集装置包括：

读取模块10，用于当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断模块20，用于判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

采集模块30，用于当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

本实施例的数据采集装置，当接收到基于预设采集口径上传的自助报表时，读取模块10先对自助报表的目标匹配字段以及预设采集口径的类型标识进行读取；判断模块20再判断目标匹配字段是否和类型标识对应，若两者之间对应，则则依据自助报表生成待采集报表；进而在接收到包含待采集字段的指令时，采集模块30依据目标匹配字段在待采集报表中对应数据列的采集依据信息，对与各待采集字段对应的字段数据进行采集，并将采集的各字段数据返回到待采集报表的空白列，完成自助报表的数据采集需求。本方案的待采集字段为所需要采集的数据，而采集依据信息为所需要采集数据的采集依据；根据采集依据信息所采集到的与待采集字段对应的字段数据即为所需要采集的数据，将该字段数据返回到待采集报表的空白列进行存储，不影响待采集报表中存在的原有数据；使得所采集得到的数据和待采集报表中的原有数据均存在于待采集报表中，避免对待采集报表中原有数据和采集的字段数据之间的合并，简化了采集过程，提高了采集效率。

进一步地，在本发明数据采集装置另一实施例中，所述采集模块还包括：

读取单元，用于读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；

采集单元，用于若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；

对比单元，用于若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据。

进一步地，在本发明数据采集装置另一实施例中，所述采集单元还用于：

读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；

当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；

若不具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤，并在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理。

进一步地，在本发明数据采集装置另一实施例中，所述采集单元还用于：

读取各所述待采集字段中所具有敏感字段的脱敏规则，并根据所述脱敏规则，对各所述字段数据中与所述敏感字段对应的目标字段数据进行脱敏，其中所述脱敏规则用于对所述目标字段数据进行加密转换的处理；

在各所述目标字段数据均脱敏完成后，用脱敏后的各所述目标字段数据对各所述字段数据进行更新，并将更新的各所述字段数据返回到所述待采集报表的空白列。

进一步地，在本发明数据采集装置另一实施例中，所述数据采集装置还包括：

第一输出模块，用于当接收到对所述待采集报表的上传请求时，输出再次选择待采集字段的提示信息；

接收模块，用于接收基于所述提示信息输入的再次待采集字段，并判断所述再次待采集字段和所述待采集字段之间是否存在相同字段，若存在所述相同字段，则输出重新选择的提示信息；

返回模块，用于若不存在所述相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据，并将各所述再筛选字段数据返回到所述待采集报表中的其他空白列。

进一步地，在本发明数据采集装置另一实施例中，所述返回模块还包括：

判断单元，用于判断所述待采集报表中是否存在空白信息，若存在所述空白信息，则将所述空白信息所对应的目标采集依据信息进行删除，并对所述目标采集依据信息输出采集异常的提示信息；

更新单元，用于将删除所述目标采集依据信息后的采集依据信息更新为新的采集依据信息，并根据新的所述采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据。

进一步地，在本发明数据采集装置另一实施例中，所述读取模块还用于：

当接收到采集完成指令时，读取与所述待采集报表对应的存储地址信息以及命名信息；

所述数据采集装置还包括：

调用模块，用于调用预设链接语句，并将所述存储地址信息和所述命名信息添加到所述预设链接语句中，生成下载连接；

第二输出模块，用于将所述下载链接输出到对所述自助报表进行上传的显示终端，以供所述显示终端的终端用户对所述待采集报表进行下载操作。

其中，上述数据采集装置的各虚拟功能模块存储于图3所示数据采集设备的存储器1005中，处理器1001执行数据采集程序时，实现图2所示实施例中各个模块的功能。

参照图3，图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。

本发明实施例数据采集设备可以是PC(personal computer，个人计算机)，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等终端设备。

如图3所示，该数据采集设备可以包括：处理器1001，例如CPU(CentralProcessing Unit，中央处理器)，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM(random accessmemory，随机存取存储器)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该数据采集设备还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi(Wireless Fidelity，无线宽带)模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图3中示出的数据采集设备结构并不构成对数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图3所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据采集程序。操作系统是管理和控制数据采集设备硬件和软件资源的程序，支持数据采集程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与数据采集设备中其它硬件和软件之间通信。

在图3所示的数据采集设备中，处理器1001用于执行存储器1005中存储的数据采集程序，实现上述数据采集方法各实施例中的步骤。

本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述数据采集方法各实施例中的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：

当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列；

所述根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：

读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；

若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；

若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据；

所述根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：

读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；

当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；

若不具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤，并在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理。

2.如权利要求1所述的数据采集方法，其特征在于，所述在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理的步骤包括：

读取各所述待采集字段中所具有敏感字段的脱敏规则，并根据所述脱敏规则，对各所述字段数据中与所述敏感字段对应的目标字段数据进行脱敏，其中所述脱敏规则用于对所述目标字段数据进行加密转换的处理；

在各所述目标字段数据均脱敏完成后，用脱敏后的各所述目标字段数据对各所述字段数据进行更新，并将更新的各所述字段数据返回到所述待采集报表的空白列。

3.如权利要求1或2所述的数据采集方法，其特征在于，所述将各所述字段数据返回到所述待采集报表的空白列的步骤之后包括：

当接收到对所述待采集报表的上传请求时，输出再次选择待采集字段的提示信息；

接收基于所述提示信息输入的再次待采集字段，并判断所述再次待采集字段和所述待采集字段之间是否存在相同字段，若存在所述相同字段，则输出重新选择的提示信息；

若不存在所述相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据，并将各所述再筛选字段数据返回到所述待采集报表中的其他空白列。

4.如权利要求3所述的数据采集方法，其特征在于，所述若不存在所述相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据的步骤包括：

判断所述待采集报表中是否存在空白信息，若存在所述空白信息，则将所述空白信息所对应的目标采集依据信息进行删除，并对所述目标采集依据信息输出采集异常的提示信息；

将删除所述目标采集依据信息后的采集依据信息更新为新的采集依据信息，并根据新的所述采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据。

5.如权利要求4所述的数据采集方法，其特征在于，所述将各所述再筛选字段数据返回到所述待采集报表中的其他空白列的步骤之后包括：

当接收到采集完成指令时，读取与所述待采集报表对应的存储地址信息以及命名信息；

调用预设链接语句，并将所述存储地址信息和所述命名信息添加到所述预设链接语句中，生成下载链接；

将所述下载链接输出到对所述自助报表进行上传的显示终端，以供所述显示终端的终端用户对所述待采集报表进行下载操作。

6.一种数据采集装置，所述数据采集装置用于权利要求1~5中任一项所述的数据采集方法，其特征在于，所述数据采集装置包括：

读取模块，用于当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；

判断模块，用于判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；

采集模块，用于当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。

7.一种数据采集设备，其特征在于，所述数据采集设备包括：存储器、处理器、通信总线以及存储在所述存储器上的数据采集程序；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述数据采集程序，以实现如权利要求1-5中任一项所述的数据采集方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如权利要求1-5中任一项所述的数据采集方法的步骤。

Images