CN110502514A - 数据采集方法、装置、设备及计算机可读存储介质 - Google Patents
数据采集方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110502514A CN110502514A CN201910763282.3A CN201910763282A CN110502514A CN 110502514 A CN110502514 A CN 110502514A CN 201910763282 A CN201910763282 A CN 201910763282A CN 110502514 A CN110502514 A CN 110502514A
- Authority
- CN
- China
- Prior art keywords
- demand
- self
- acquisition
- report
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种数据采集方法、装置、设备及计算机可读存储介质,所述方法包括:当接收到需求采集文档时,读取需求采集文档中的筛选范围信息和需求字段信息;调用预设自助报表,并将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比,生成需求采集文档和各预设自助报表之间的匹配度;根据各匹配度,确定各预设自助报表中的多个目标自助报表,并将多个目标自助报表返回到所述需求采集文档对应的用户账户,以进行数据采集。本方案基于大数据处理技术生成的匹配度表征了各预设自助报表对需求采集文档所要采集数据的适用程度,从中确定适用程度高的多个目标自助报表进行数据采集,使得所采集的数据更为准确。
Description
技术领域
本发明主要涉及数据处理技术领域,具体地说,涉及一种数据采集方法、装置、设备及计算机可读存储介质。
背景技术
目前,为了对各种类型的数据进行批量采集,通常设置有自助采集报表,在对某些数据有采集需求时,由人工判断该各个数据对应的各个字段是否均存在于某一张自助采集报表中,若均存在某一张自助采集报表中,则调用该自助采集报表进行采集。
但是各个自助采集报表会随着时间更新,更新前后的自助采集报表所适用的数据采集类型发生变化,容易导致所调用的自助采集报表不适合对所需要采集的数据进行采集,进而使得所采集的数据不准确。
发明内容
本发明的主要目的是提供一种数据采集方法、装置、设备及计算机可读存储介质,旨在解决现有技术中对数据采集的不准确的问题。
为实现上述目的,本发明提供一种数据采集方法,所述数据采集方法包括以下步骤:
当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
优选地,所述将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括:
将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比,确定与各所述预设自助报表对应的范围区间,并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比,确定范围匹配度;
将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比,确定与各所述预设自助报表对应的字段数量,并将各所述字段数量分别和所述需求字段信息对应的需求数量对比,确定字段匹配度;
根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系,对各所述范围匹配度以及各所述字段匹配度整合,生成所述需求采集文档和各所述预设自助报表之间的匹配度。
优选地,所述对各所述范围匹配度以及各所述字段匹配度整合,生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括:
将各所述范围匹配度和预设第一阈值对比,确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度;
将各所述字段匹配度和预设第二阈值对比,确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度;
筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值,并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。
优选地,所述将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集的步骤之后包括:
接收所述用户账户发送的选择指令,并根据所述选择指令中的报表标识,从多个所述目标自助报表中确定选择自助报表;
根据所述筛选范围信息和各所述需求字段信息,设定所述选择自助报表中的采集范围和采集字段,以将所述选择自助报表更新为采集报表进行数据采集。
优选地,所述调用预设自助报表的步骤之前包括:
读取所述需求采集文档中的业务方信息和需求用途信息,并根据所述业务方信息判断所述需求采集文档的有效性,生成判断结果;
当所述判断结果为所述需求采集文档有效时,则根据所述需求用途信息设定所述需求采集文档的优先级,并根据所述优先级,在预设采集队列中对所述需求采集文档进行排列;
记录所述需求采集文档在所述预设采集队列中的排列顺序,并检测所述预设采集队列的采集顺序,当所述采集顺序和所述排列顺序一致时,执行调用预设自助报表的步骤。
优选地,所述根据所述需求用途信息设定所述需求采集文档的优先级的步骤之前包括:
将各所述需求字段信息和预设敏感关键字对比,判断各所述需求字段信息中是否存在预设敏感关键字;
若各所述需求字段信息中存在所述预设敏感关键字,则触发对所述预设敏感关键字进行采集的申请指令,并在所述申请指令对应的申请结果为申请成功后,执行根据所述需求用途信息设定所述需求采集文档的优先级的步骤。
优选地,所述触发对所述预设敏感关键字进行采集的申请指令的步骤之后包括:
当侦测到所述申请指令时,则调用与所述预设敏感关键字对应的用途规则,并判断所述需求用途信息是否和所述用途规则对应;
读取所述业务方信息中的权限信息,并根据所述权限信息,判断所述用户账户是否具有采集所述预设敏感关键字的权限;
当所述需求用途信息和所述用途规则对应,且所述用户账户具有采集所述预设敏感关键字的权限,则判定所述申请指令对应的申请结果为申请成功。
此外,为实现上述目的,本发明还提出一种数据采集装置,所述数据采集装置包括:
读取模块,用于当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用模块,用于调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
采集模块,用于根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
此外,为实现上述目的,本发明还提出一种数据采集设备,所述数据采集设备包括:存储器、处理器、通信总线以及存储在所述存储器上的数据采集程序;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述数据采集程序,以实现以下步骤:
当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于:
当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
本实施例的数据采集方法,当接收到需求采集文档时,先对其中的筛选范围信息和需求字段信息进行读取;再调用预设自助报表,并将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比,生成需求采集文档和各预设自助报表之间的匹配度;进而依据各个匹配度,确定各预设自助报表中的多个目标自助报表,并将该多个目标自助报表返回到需求采集文档对应的用户账户,实现用户账户的数据采集需求。本方案将需要采集的各类型数据形成需求采集文档,且其中的筛选范围信息表征了所需要采集数据的范围,需求字段信息则表征了所需要采集的数据类型;预设自助报表中的报表范围信息和报表字段信息表征了各预设自助报表所适用的采集范围和采集类型;筛选范围信息以及需求字段信息和报表范围信息以及报表字段信息之间的对比,所生成的匹配度表征了各预设自助报表对需求采集文档所需要采集数据的适用程度,从中确定适用程度高的多个预设自助报表作为目标自助报表进行数据采集,确保了所采集数据的准确性。
附图说明
图1是本发明的数据采集方法第一实施例的流程示意图;
图2是本发明的数据采集装置第一实施例的功能模块示意图;
图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据采集方法。
请参照图1,图1为本发明数据采集方法第一实施例的流程示意图。在本实施例中,所述数据采集方法包括:
步骤S10,当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
本发明的数据采集方法应用于服务器,适用于通过服务器对各种类型的数据进行批量采集。为了便于各类数据的采集,设置有文档采集机制;具有数据采集需求的采集人员设置需求采集文档,将表征所需要采集数据类型的需求字段信息,如保单号、被保人等字段;以及表征需要采集数据所在范围的筛选范围信息,如时间范围、机构范围、清单编码范围、业务员编码范围等设置到空白文档中,形成需求采集文档并上传到服务器。当服务器接收到该需求采集文档时,对其中的筛选范围信息和需求字段信息进行读取,以通过该读取的信息确定所需要采集的数据类型以及所需要采集的范围。此外需求采集文档中还包含有业务方信息和需求用途信息;业务方信息为对数据具有采集需求的采集人员所在的企业、部门、采集人员ID等,表征所采集数据的去向;需求用途信息表征所采集数据的用途,至少包括内部使用和对外上报等两方面。
进一步地,本实施例中的需求采集文档除了通过空白文档进行设置之外,还可以通过与服务器通信连接的显示装置中的输入框进行输入设置。当以输入框的形式进行输入时,采集人员根据输入框所表征的内容进行对应内容的输入,如输入框所表征的内容为部门,则采集人员在该输入框中输入其所在的部门;在各个输入框均输入完成后,点击输入完成按钮,在检测到该输入完成按钮的点击操作时,则将所输入内容生成需求采集文档。当以空白文档进行设置时,空白文档包括word模板以及word模板加TXT文档结合两种形式;在空白文档为word模板时,采集人员将各信息按照word模板中的排列方式进行填写,并将填写完成的word模板作为需求采集文档通过显示装置的显示界面上传。当空白文档为word模板加TXT文档结合的方式存在时,则将业务方信息、需求用途信息以及筛选范围信息填写到word模板中,而将需求字段信息填写到TXT文档中,将填写的word文档和TXT文件作为需求采集文档通过显示装置的显示界面进行上传。其中相对于word模板的方式,word模板加TXT结合的方式,对数据的处理速度较快;在需求字段信息表征的所需要的数据类型较多时,则可使用word模板加TXT结合的方式;在需求字段信息表征的所需要的数据类型较少时,则可使用word模板;本实施例支持以多种不同的方式形成需求采集文档,可便于满足用户的各种需求。
步骤S20,调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
更进一步地,预先设置有多个预设自助报表,以用于进行数据采集;各预设自助报表设置有不同的报表范围信息和报表字段信息,以在不同的范围内采集不同的字段,即采集不同的数据。对预设自助报表进行调用,并读取各自的报表范围信息和报表字段信息;将筛选范围信息和各个预设自助报表中的各报表范围信息对比,同时将各需求字段信息和各个预设自助报表中的报表字段信息对比,生成需求采集文档和各预设自助报表之间的匹配度。该匹配度表征了各预设自助报表对需求采集文档所需要采集数据的适用程度,匹配度越高说明预设自助报表对需求采集文档中所需要采集数据的适用程度越高,用该预设自助报表所采集的数据越能满足需求采集文档的采集需求。因筛选范围信息和需求字段信息分别表征采集数据所在的范围和采集数据的类型,从而匹配度其实质为范围之间的重合程度以及类型之间的相同程度,筛选范围信息和报表范围信息之间以及需求字段信息和报表字段信息之间的对比,其实质为范围重合程度和字段相同程度之间的对比。具体地,将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比,生成需求采集文档和各预设自助报表之间的匹配度的步骤包括:
步骤S21,将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比,确定与各所述预设自助报表对应的范围区间,并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比,确定范围匹配度;
进一步地,将筛选范围信息分别和各预设自助报表的报表范围信息进行逐一对比,确定筛选范围信息和各预设自助报表之间采集范围一致的区间;如筛选范围信息表征的采集范围为2018年1月1号到2018年6月30号之间的数据,而某一预设自助报表的报表范围信息为2018年1月1号到2018年12月31号之间的数据,则两者之间一致的区间为2018年1月1号到2018年6月30号之间。将确定的各个采集范围一致的区间作为与各预设自助报表对应的范围区间,并用各个范围区间和筛选范围信息对应的筛选区间对比,确定筛选范围信息和各报表范围信息之间的范围匹配度。该和筛选范围信息对应的筛选区间为所需要采集的数据所在的范围区间,各范围区间和筛选区间对比所生成的范围匹配度,表征了范围区间和筛选区间之间的匹配程度;当匹配度越接近于数值1,则表征两者之间的匹配程度越高,用生成该范围区间的预设自助报表所采集的数据越满足需求采集文档的采集需求。其中各个范围匹配度可用预设公式(1)进行表征,预设公式(1)为:
其中,pi为各个范围匹配度,A1为筛选范围信息,Bi为各个报表范围信息,i=1、2、3··。
将筛选范围信息和各个报表范围信息做交集运算,生成两者之间的重合区域部分,进而用两者之间的重合区域部分和筛选范围信息所表征的筛选区域做比值,表征重合区域部分所占筛选区域的大小。所占筛选区域的大小越大,说明重合区域部分越多,即筛选范围信息和报表范围信息相重合的区域越多;用具有该报表范围信息的预设自助报表对需求采集文档进行数据采集,所采集得到的数据越能满足需求采集文档在采集范围上的采集需求。
需要说明的是,当筛选范围信息涉及到多种时,如筛选范围信息包括时间范围和业务员编码,即采集的数据为具有业务员编码的业务员在时间范围内所对应的数据;此时除了需要对时间范围确定范围匹配度之外,还需要对业务员编码确定范围匹配度。针对多个筛选范围信息均采集预设公式(1)分别确定范围匹配度,且在确定各个范围匹配度之后,用其中的最小值作为整体匹配度。如对于上述包括时间范围和业务员编码的筛选范围信息,若某一预设自助报表中的报表范围信息和时间范围之间的匹配度为0.8;而其和业务员编码之间的匹配度为0,则用数值0表征该预设自助报表和需求采集文档之间的范围匹配度;表征该预设自助报表不涉及到该业务员编码,而不能对需求采集文档所需要采集的数据进行采集。
步骤S22,将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比,确定与各所述预设自助报表对应的字段数量,并将各所述字段数量分别和所述需求字段信息对应的需求数量对比,确定字段匹配度;
更进一步地,将各个需求字段信息分别和各预设自助报表的报表字段信息进行逐一对比,确定需求字段信息和各预设自助报表之间采集类型一致的字段数量;如需求字段信息表征的采集类型为A1、A2、A3,而某一预设自助报表的报表字段信息为A1、A2、A4、A5,则两者之间采集类型一致的字段数量为2。将确定的各个采集类型一致的字段数量作为与各预设自助报表对应的字段数量,并用各个字段数量和需求字段信息对应的需求数量对比,确定各需求字段信息和各报表字段信息之间的字段匹配度。该和需求字段信息对应的需求数量为所需要采集的数据类型的数量,各字段数量和需求数量对比所生成的字段匹配度,表征了字段数量和需求数量之间的匹配程度;当匹配度越接近于数值1,则表征两者之间的匹配程度越高,用生成该字段数量的预设自助报表所采集的数据越满足需求采集文档的采集需求。其中各个字段匹配度可用预设公式(2)进行表征,预设公式(2)为:
其中,pj为各个字段匹配度,A2为需求字段信息,Cj为各个报表字段信息,j=1、2、3···。
将需求字段信息和各个报表字段信息做交集运算,生成两者之间的相同字段,再对相同字段的数量进行计算,生成字段数量;进而用两者之间的字段数量和需求字段信息所对应的需求数量做比值,表征字段数量所占需求字段的数量多少。所占需求字段的数量越多,说明相同字段的数量越多,即需求字段信息和报表字段信息相同的字段越多;用具有该报表字段信息的预设自助报表对需求采集文档进行数据采集,所采集得到的数据越能满足需求采集文档在采集类型上的采集需求。
步骤S23,根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系,对各所述范围匹配度以及各所述字段匹配度整合,生成所述需求采集文档和各所述预设自助报表之间的匹配度。
可理解地,在通过预设自助报表对需求采集文档中所需要采集的数据进行采集时,预设自助报表需要满足需求采集文档中筛选范围信息和需求字段信息所表征的需求;若筛选范围信息满足需求,而需求字段信息不满足需求,则所采集的数据在范围方面满足需求采集文档的需求,则类型方面并不能满足需求;同样的若筛选范围信息不满足需求,而需求字段信息满足需求,则所采集的数据在类型方面满足需求采集文档的需求,但在范围方面不能满足需求。从而生成表征在筛选范围信息方面满足需求情况的范围匹配度,以及在需求字段信息方面满足需求情况的字段匹配度之后,对两者进行整合,生成表征预设自助报表在整体上满足需求采集文档采集需求的匹配度。
具体地,因预设自助报表涉及到多个,各个预设自助报表均会生成范围匹配度和字段匹配度,从而在对范围匹配度和字段匹配度进行整合时,需要在相同的预设自助报表之间进行;即对同一个预设自助报表所生成的范围匹配度和字段匹配度进行整合。因范围匹配度依据报表范围信息生成,而字段匹配度依据报表字段信息生成,报表范围信息和报表字段信息来源于预设自助报表,从而依据各报表范围信息和各报表字段信息与各预设自助报表之间的对应关系,对各范围匹配度和各字段匹配度进行整合,生成需求采集文档和各预设自助报表之间的匹配度。即当生成范围匹配度的报表范围信息和生成字段匹配度的报表字段信息来源于同一个预设自助报表时,则对该范围匹配度和字段匹配度进行整合,生成该预设自助报表和需求采集文档之间的匹配度,直到各个预设自助报表和需求采集文档之间均生成匹配度。其中,对各范围匹配度以及各字段匹配度整合,生成需求采集文档和各预设自助报表之间的匹配度的步骤包括:
步骤S231,将各所述范围匹配度和预设第一阈值对比,确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度;
步骤S232,将各所述字段匹配度和预设第二阈值对比,确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度;
考虑到同一预设自助报表可能存在的范围匹配度高,而字段匹配度低的情况,即预设自助报表在范围方面满足需求采集文档的需求较高,而在类型方面满足需求采集文档的需求较低;导致依据该预设自助报表所采集的数据满足需求采集文档采集需求的程度较低。为了确保预设自助报表在采集范围和采集类型两方面均满足需求采集文档的要求,预先设置有表征范围匹配度大小的第一阈值和表征字段匹配度大小的第二阈值。将各个范围匹配度逐一和预设第一阈值对比,确定各范围匹配度中大于第一阈值的范围匹配度;该大于第一阈值的范围匹配度表征了预设自助报表在采集范围方面满足需求采集文档的需求较高,而将其作为目标范围匹配度。同样地,将各个字段匹配度逐一和预设第二阈值对比,确定各字段匹配度中大于第二阈值的字段匹配度;该大于第二阈值的字段匹配度表征了预设自助报表在采集类型方面满足需求采集文档的需求较高,而将其作为目标字段匹配度。
步骤S233,筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值,并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。
进一步地,在确定目标范围匹配度和目标字段匹配度之后,目标范围匹配度所表征的采集范围匹配程度和目标字段匹配度所表征的采集类型匹配程度不一样;为了准确表征预设自助报表和需求采集文档之间的匹配程度,在预设自助报表中的目标范围匹配度和目标字段匹配度之间进行对比,筛选出其中的较小值,用较小值作为预设自助报表和需求采集文档之间的匹配程度。考虑到对于同一预设自助报表可能其范围匹配度为目标范围匹配度,而其字段匹配度可能不是目标字段匹配度;即该预设自助报表的采集范围匹配程度达到要求,而采集类型匹配程度没有达到要求;因该类预设自助报表值具有目标范围匹配度,而不具有目标字段匹配度,不构成对比条件,而不对其进行对比。只有当预设自助报表中的范围匹配度为目标范围匹配度,且其字段匹配度为目标字段匹配度,才对其进行对比。此外,虽然目标范围匹配度和目标字段匹配度均表征了需求采集文档和预设自助报表之间的匹配程度,但两者之间所表征的匹配程度不一样,数值越高所表征的匹配程度越高,反之则越低。如对于需求采集文档M和预设自助报表N之间,目标范围匹配度为0.5,目标字段匹配度为0.8,表征M和N之间在所需要采集数据类型上的匹配度较高,在筛选范围信息上的匹配度较低。为了从整体上体现两者之间的匹配程度,从目标范围匹配度和目标字段匹配度中筛选出较小值确定为预设自助报表和需求采集文档之间的匹配度。在具有目标范围匹配度和目标字段匹配度的预设自助报表均对比完成,筛选出各自对应的较小值后,则生成需求采集文档和各个预设自助报表之间的匹配度。
步骤S30,根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
可理解地,需求采集文档与各预设自助报表之间的匹配度不一样,其中匹配度越大,表征预设自助报表越适用于需求采集文档的采集;从而在各个匹配度之间进行对比,确定各个匹配度之间的大小关系,并按照从大到小的顺序将各匹配度进行排列,形成匹配度序列。进而从匹配度序列中选取多个排列在前列的匹配度,预先设定选取的数量,如3项,则选取匹配度序列中排列在前3位的匹配度。将该选取的多个匹配度所生成的自助报表作为目标自助报表,并将该多个目标自助报表返回到需求采集文档所来源的用户账户。需求采集文档通过用户账户登录操作进行上传到服务器并对数据进行采集,将该用户账户作为与采集文档所来源的对应用户账户;将多个目标自助报表返回到该用户账户,以便于用户账户依据其进行数据采集。
进一步地,用户账户由采集人员进行操作,用户账户在接收到多个目标自助报表后,采集人员可通过用户账户的登录操作进行查看,并从多个目标自助报表中选择其所需求的目标自助报表。如返回的目标自助报表涉及到P1、P2和P3三个,采集人员在对三者进行查看后,选择其中的P1对需求采集文档中所需要采集的数据进行采集。各目标自助报表之间携带有不同的报表标识,以在其各自之间进行区分;采集人员通过用户账户对多个目标自助报表进行选择,将所选择的目标自助报表所携带的报表标识形成选择指令。当服务器接收到用户账户发送的选择指令时,读取其中的报表标识,并依据该报表标识从多个目标自助报表中确定采集人员所选择的目标自助报表;各目标自助报表中携带有读取的报表标识的目标自助标识即为所选择的目标自助报表,将该所选择的目标自助报表确定为选择自助报表,以和各目标自助报表进行区分。
更进一步地,为了便于通过选择自助报表进行数据的自助采集,在确定采集人员多选择的选择自助报表之后,依据读取的需求采集文档中的筛选范围信息和需求字段信息,设定选择自助报表中的采集范围和采集字段;即将选择自助报表的采集范围设定为筛选范围信息一致,且将采集字段设定为需求字段信息一致。该对选择自助报表的采集范围和采集字段的设定,其实质为将选择自助报表更新为采集报表,以通过采集报表对需求采集文档所需要采集的数据进行采集。如筛选范围信息为9月1号到9月30号之间,需求字段信息为W1、W2和W3;而选择自助报表的报表范围信息为9月1号到10月31号之间,报表字段信息为W1、W2、W3、W4和W5;则依据筛选范围信息和需求字段信息,将选择自助报表的报表范围信息中的9月1号到9月30号之间的范围激活,而将其报表字段信息中的W1、W2和W3激活。将选择自助报表的采集范围设定为9月1号到9月30号之间,而将采集字段设定在W1、W2和W3之间,将选择自助报表更新为采集报表,以通过该采集报表对在9月1号到9月30号之间所生成的与字段W1、W2、W3对应的数据进行自助采集。
本实施例的数据采集方法,当接收到需求采集文档时,先对其中的筛选范围信息和需求字段信息进行读取;再调用预设自助报表,并将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比,生成需求采集文档和各预设自助报表之间的匹配度;进而依据各个匹配度,确定各预设自助报表中的多个目标自助报表,并将该多个目标自助报表返回到需求采集文档对应的用户账户,实现用户账户的数据采集需求。本方案将需要采集的各类型数据形成需求采集文档,且其中的筛选范围信息表征了所需要采集数据的范围,需求字段信息则表征了所需要采集的数据类型;预设自助报表中的报表范围信息和报表字段信息表征了各预设自助报表所适用的采集范围和采集类型;筛选范围信息以及需求字段信息和报表范围信息以及报表字段信息之间的对比,所生成的匹配度表征了各预设自助报表对需求采集文档所需要采集数据的适用程度,从中确定适用程度高的多个预设自助报表作为目标自助报表进行数据采集,确保了所采集数据的准确性。
进一步地,在本发明数据采集方法另一实施例中,所述调用预设自助报表的步骤之前包括:
步骤S40,读取所述需求采集文档中的业务方信息和需求用途信息,并根据所述业务方信息判断所述需求采集文档的有效性,生成判断结果;
可理解地,因需求采集文档中的业务方信息表征了所采集数据的去向,而其中的需求用途信息表征了所采集数据的用途;为了确保所采集数据去向和用途的安全性,需要依据业务方信息对需求采集文档的有效性进行判定。具体地,读取需求采集文档中的业务方信息和需求用途信息,并依据业务方信息判断需求采集文档的有效性;该有效性的判断其实质为判断业务方信息中所表征的采集人员所在各级信息的正确性。因业务方信息包括采集人员所在的企业、部门以及采集人员ID,在判断过程中,先判断服务器中是否存在该企业,若存在则进一步判断部门是否存在于该企业中,若存在则判断采集人员ID是否存在于该部门中,若存在则进一步判断该采集人员ID是否具有采集数据的权限,若存在则判定需求采集文档有效;而当判断出任意一项不存在时,则判定需求采集文档无效。对该有效或无效的判定分配不同的结果标识,生成为判断结果,以表征需求采集文档的有效性。
步骤S50,当所述判断结果为所述需求采集文档有效时,则根据所述需求用途信息设定所述需求采集文档的优先级,并根据所述优先级,在预设采集队列中对所述需求采集文档进行排列;
进一步地,需求用途信息表征了所采集数据的用途,针对不同的用途在数据采集过程中具有不同的优先级;当用途为相对紧急时,则对需求采集文档所需要采集的数据进行优先采集。在根据判断结果中的结果标识确定需求采集文档有效后,再依据需求用途信息设定需求采集文档的优先级;因需求用途信息所表征的用途包括内部使用和对外上报两种,预先设定对外上报用途的优先级高于内部使用的用途;依据读取的需求用途信息,确定需求采集文档所需要采集数据的用途,进而依据该用途设定需求采集文档的优先级。
考虑到接收到需求采集文档时当前存在数据尚未采集完成的历史需求采集文档,为了对各需求采集文档所需要采集的数据进行有序采集,预先设置有预设采集队列。根据优先级所表征的优先性,将各需求采集文档按照接收到的时间先后顺序排列到预设采集队列中,以依据预设采集队列中各需求采集文档的排列顺序进行数据采集。如需求采集文档的优先级与对外上报对应,则将需求采集文档排列在此前优先级为对外上报的需求采集文档的后列,以按照接收到各需求采集文档的时间顺序对各需求采集文档进行处理。
进一步地,需求采集文档中所需要采集的数据可能涉及到隐私数据或重要数据,为了对该隐私数据或重要数据加强管控,在设定需求采集文档的优先级,以依据优先级进行数据采集之前,需要判断需求采集文档所需要采集的各项数据中是否存在隐私数据或重要数据。具体地根据需求用途信息设定需求采集文档的优先级的步骤之前包括:
步骤a,将各所述需求字段信息和预设敏感关键字对比,判断各所述需求字段信息中是否存在预设敏感关键字;
步骤b,若各所述需求字段信息中存在所述预设敏感关键字,则触发对所述预设敏感关键字进行采集的申请指令,并在所述申请指令对应的申请结果为申请成功后,执行根据所述需求用途信息设定所述需求采集文档的优先级的步骤。
更进一步地,预先设定表征隐私数据和重要数据的预设敏感关键字,对该预设敏感关键字进行调用,并将各需求字段信息分别和各预设敏感关键字对比,判断各需求字段信息中是否存在有各预设敏感关键字中的任意一项。若存在任意一项,则说明需求采集文档所需要采集的数据中存在隐私数据或重要数据;若不存在任意一样,则说明需求采集文档所需要采集的数据中不存在隐私数据或重要数据。在存在任意一项敏感关键字的情况下,则触发采集预设敏感关键字的申请指令,以申请对需求字段信息中所存在的预设敏感关键字对应的数据进行采集。服务器在侦测到该申请指令时,对该申请指令进行处理生成申请结果,由申请结果表征用户账户是否具有对预设敏感关键字对应的数据进行采集的权限;当申请结果为申请成功时,则具有采集的权限,而当申请结果为申请失败时,则不具有采集的权限。在具有对预设敏感关键字对应的数据进行采集的权限,即申请结果为申请成功时,则依据需求用途信息设定需求采集文档的优先级,以依据优先级进行数据采集。
进一步地,为了确保与敏感关键字对应数据的使用安全性,针对敏感关键字设定有用途规则,以限制敏感关键字对应数据的随意使用;同时限定敏感关键字的采集权限,只有具有采集权限的用户账户才能对其进行采集。从而对申请指令的处理其实质为判断需求字段信息中所存在的预设敏感关键字是否符合用途规则,以及用户账户是否具有采集权限的过程。具体地,触发对预设敏感关键字进行采集的申请指令的步骤之后包括:
步骤c,当侦测到所述申请指令时,则调用与所述预设敏感关键字对应的用途规则,并判断所述需求用途信息是否和所述用途规则对应;
更进一步地,当服务器侦测到申请指令时,对与预设敏感关键字对应的用途规则进行调用,并将需求采集文档中的需求用途信息和该用途规则进行对比,判断需求用途信息是否和用途规则对应,即判断需求用途信息所表征的用途是否满足预设敏感关键字所要求的用途规则。
步骤d,读取所述业务方信息中的权限信息,并根据所述权限信息,判断所述用户账户是否具有采集所述预设敏感关键字的权限;
进一步地,预先针对可对敏感关键字进行采集的采集权限设定特定的标识符,读取业务方信息中用户账户所包含的权限信息;将该读取的权限信息和设定的特定标识符进行对比,判断两者是否一致,通过两者的一致性来判断用户账户是否具有采集预设敏感关键字的权限。
步骤e,当所述需求用途信息和所述用途规则对应,且所述用户账户具有采集所述预设敏感关键字的权限,则判定所述申请指令对应的申请结果为申请成功。
更进一步地,当判断出需求用途信息所表征的用途满足预设敏感关键字所要求的用途规则,需求用途信息和用途规则对应,且读取的权限信息和设定的特定标识符一致,用户账户具有采集预设敏感关键字的权限时,则说明需求字段信息中所存在的预设敏感关键字符合用途规则,且用户账户具有采集权限;对申请指令进行处理所生成的申请结果为申请成功。当需求用途信息所表征的用途不满足预设敏感关键字所要求的用途规则,或者读取的权限信息和设定的特定标识符不一致;则说明需求字段信息中所存在的预设敏感关键字不符合用途规则,或者用户账户不具有采集权限;对申请指令进行处理所生成的申请结果为申请失败。对于申请成功的申请结果,则依据需求用途信息设定需求采集文档的优先级,并基于该设定的优先级进行数据采集;对于申请失败的申请结果,则输出修改提示信息,以提示采集人员对需求采集文档的需求字段信息中所存在的预设敏感关键字进行修改,以依据修改后的需求采集文档进行数据采集。
步骤S60,记录所述需求采集文档在所述预设采集队列中的排列顺序,并检测所述预设采集队列的采集顺序,当所述采集顺序和所述排列顺序一致时,执行调用预设自助报表的步骤。
进一步地,在将需求采集文档排列到预设采集队列中之后,服务器对需求采集文档在预设采集队列中的排列顺序进行记录,并依据预设采集队列所排列的先后顺序进行数据采集。同时,服务器在进行数据采集的过程中,对当前采集的数据在预设采集队列中的采集顺序进行检测;当检测到采集顺序与排列顺序一致时,则服务器对需求采集文档所需要采集的数据进行采集。此后对预设自助报表进行调用,并将需求采集文档中的筛选范围信息以及需求字段信息分别和预设自助报表中的报表范围信息以及报表字段信息对比,以从预设自助报表中确定多个目标自助报表,并通过该多个目标自助报表对需求采集文档中所需要采集的数据进行采集。
此外,请参照图2,本发明提供一种数据采集装置,在本发明数据采集装置第一实施例中,所述数据采集装置包括:
读取模块10,用于当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用模块20,用于调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
采集模块30,用于根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
本实施例的数据采集装置,当接收到需求采集文档时,读取模块10先对其中的筛选范围信息和需求字段信息进行读取;调用模块20再调用预设自助报表,并将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比,生成需求采集文档和各预设自助报表之间的匹配度;进而采集模块30依据各个匹配度,确定各预设自助报表中的多个目标自助报表,并将该多个目标自助报表返回到需求采集文档对应的用户账户,实现用户账户的数据采集需求。本方案将需要采集的各类型数据形成需求采集文档,且其中的筛选范围信息表征了所需要采集数据的范围,需求字段信息则表征了所需要采集的数据类型;预设自助报表中的报表范围信息和报表字段信息表征了各预设自助报表所适用的采集范围和采集类型;筛选范围信息以及需求字段信息和报表范围信息以及报表字段信息之间的对比,所生成的匹配度表征了各预设自助报表对需求采集文档所需要采集数据的适用程度,从中确定适用程度高的多个预设自助报表作为目标自助报表进行数据采集,确保了所采集数据的准确性。
进一步地,在本发明数据采集装置另一实施例中,所述调用模块还包括:
对比单元,用于将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比,确定与各所述预设自助报表对应的范围区间,并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比,确定范围匹配度;
确定单元,用于将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比,确定与各所述预设自助报表对应的字段数量,并将各所述字段数量分别和所述需求字段信息对应的需求数量对比,确定字段匹配度;
整合模块,用于根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系,对各所述范围匹配度以及各所述字段匹配度整合,生成所述需求采集文档和各所述预设自助报表之间的匹配度。
进一步地,在本发明数据采集装置另一实施例中,所述整合单元还用于:
将各所述范围匹配度和预设第一阈值对比,确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度;
将各所述字段匹配度和预设第二阈值对比,确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度;
筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值,并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。
进一步地,在本发明数据采集装置另一实施例中,所述数据采集装置还包括:
接受模块,用于接收所述用户账户发送的选择指令,并根据所述选择指令中的报表标识,从多个所述目标自助报表中确定选择自助报表;
设定模块,用于根据所述筛选范围信息和各所述需求字段信息,设定所述选择自助报表中的采集范围和采集字段,以将所述选择自助报表更新为采集报表进行数据采集。
进一步地,在本发明数据采集装置另一实施例中,所述数据采集装置还包括:
生成模块,用于读取所述需求采集文档中的业务方信息和需求用途信息,并根据所述业务方信息判断所述需求采集文档的有效性,生成判断结果;
排列模块,用于当所述判断结果为所述需求采集文档有效时,则根据所述需求用途信息设定所述需求采集文档的优先级,并根据所述优先级,在预设采集队列中对所述需求采集文档进行排列;
执行模块,用于记录所述需求采集文档在所述预设采集队列中的排列顺序,并检测所述预设采集队列的采集顺序,当所述采集顺序和所述排列顺序一致时,执行调用预设自助报表的步骤。
进一步地,在本发明数据采集装置另一实施例中,所述排列模块还用于:
将各所述需求字段信息和预设敏感关键字对比,判断各所述需求字段信息中是否存在预设敏感关键字;
若各所述需求字段信息中存在所述预设敏感关键字,则触发对所述预设敏感关键字进行采集的申请指令,并在所述申请指令对应的申请结果为申请成功后,执行根据所述需求用途信息设定所述需求采集文档的优先级的步骤。
进一步地,在本发明数据采集装置另一实施例中,所述排列模块还用于:
当侦测到所述申请指令时,则调用与所述预设敏感关键字对应的用途规则,并判断所述需求用途信息是否和所述用途规则对应;
读取所述业务方信息中的权限信息,并根据所述权限信息,判断所述用户账户是否具有采集所述预设敏感关键字的权限;
当所述需求用途信息和所述用途规则对应,且所述用户账户具有采集所述预设敏感关键字的权限,则判定所述申请指令对应的申请结果为申请成功。
其中,上述数据采集装置的各虚拟功能模块存储于图3所示数据采集设备的存储器1005中,处理器1001执行数据采集程序时,实现图2所示实施例中各个模块的功能。
参照图3,图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明实施例数据采集设备可以是PC(personal computer,个人计算机),也可以是智能手机、平板电脑、电子书阅读器、便携计算机等终端设备。
如图3所示,该数据采集设备可以包括:处理器1001,例如CPU(CentralProcessing Unit,中央处理器),存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM(random accessmemory,随机存取存储器),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,该数据采集设备还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency,射频)电路,传感器、音频电路、WiFi(Wireless Fidelity,无线宽带)模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图3中示出的数据采集设备结构并不构成对数据采集设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图3所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据采集程序。操作系统是管理和控制数据采集设备硬件和软件资源的程序,支持数据采集程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与数据采集设备中其它硬件和软件之间通信。
在图3所示的数据采集设备中,处理器1001用于执行存储器1005中存储的数据采集程序,实现上述数据采集方法各实施例中的步骤。
本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述数据采集方法各实施例中的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种数据采集方法,其特征在于,所述数据采集方法包括以下步骤:
当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
2.如权利要求1所述的数据采集方法,其特征在于,所述将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括:
将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比,确定与各所述预设自助报表对应的范围区间,并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比,确定范围匹配度;
将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比,确定与各所述预设自助报表对应的字段数量,并将各所述字段数量分别和所述需求字段信息对应的需求数量对比,确定字段匹配度;
根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系,对各所述范围匹配度以及各所述字段匹配度整合,生成所述需求采集文档和各所述预设自助报表之间的匹配度。
3.如权利要求2所述的数据采集方法,其特征在于,所述对各所述范围匹配度以及各所述字段匹配度整合,生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括:
将各所述范围匹配度和预设第一阈值对比,确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度;
将各所述字段匹配度和预设第二阈值对比,确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度;
筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值,并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。
4.如权利要求3所述的数据采集方法,其特征在于,所述将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集的步骤之后包括:
接收所述用户账户发送的选择指令,并根据所述选择指令中的报表标识,从多个所述目标自助报表中确定选择自助报表;
根据所述筛选范围信息和各所述需求字段信息,设定所述选择自助报表中的采集范围和采集字段,以将所述选择自助报表更新为采集报表进行数据采集。
5.如权利要求1-4任一项所述的数据采集方法,其特征在于,所述调用预设自助报表的步骤之前包括:
读取所述需求采集文档中的业务方信息和需求用途信息,并根据所述业务方信息判断所述需求采集文档的有效性,生成判断结果;
当所述判断结果为所述需求采集文档有效时,则根据所述需求用途信息设定所述需求采集文档的优先级,并根据所述优先级,在预设采集队列中对所述需求采集文档进行排列;
记录所述需求采集文档在所述预设采集队列中的排列顺序,并检测所述预设采集队列的采集顺序,当所述采集顺序和所述排列顺序一致时,执行调用预设自助报表的步骤。
6.如权利要求5所述的数据采集方法,其特征在于,所述根据所述需求用途信息设定所述需求采集文档的优先级的步骤之前包括:
将各所述需求字段信息和预设敏感关键字对比,判断各所述需求字段信息中是否存在预设敏感关键字;
若各所述需求字段信息中存在所述预设敏感关键字,则触发对所述预设敏感关键字进行采集的申请指令,并在所述申请指令对应的申请结果为申请成功后,执行根据所述需求用途信息设定所述需求采集文档的优先级的步骤。
7.如权利要求6所述的数据采集方法,其特征在于,所述触发对所述预设敏感关键字进行采集的申请指令的步骤之后包括:
当侦测到所述申请指令时,则调用与所述预设敏感关键字对应的用途规则,并判断所述需求用途信息是否和所述用途规则对应;
读取所述业务方信息中的权限信息,并根据所述权限信息,判断所述用户账户是否具有采集所述预设敏感关键字的权限;
当所述需求用途信息和所述用途规则对应,且所述用户账户具有采集所述预设敏感关键字的权限,则判定所述申请指令对应的申请结果为申请成功。
8.一种数据采集装置,其特征在于,所述数据采集装置包括:
读取模块,用于当接收到需求采集文档时,读取所述需求采集文档中的筛选范围信息和需求字段信息;
调用模块,用于调用预设自助报表,并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比,生成所述需求采集文档和各所述预设自助报表之间的匹配度;
采集模块,用于根据各所述匹配度,确定各所述预设自助报表中的多个目标自助报表,并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户,以供所述用户账户基于多个所述目标自助报表进行数据采集。
9.一种数据采集设备,其特征在于,所述数据采集设备包括:存储器、处理器、通信总线以及存储在所述存储器上的数据采集程序;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述数据采集程序,以实现如权利要求1-7中任一项所述的数据采集方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据采集程序,所述数据采集程序被处理器执行时实现如权利要求1-7中任一项所述的数据采集方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910763282.3A CN110502514B (zh) | 2019-08-15 | 2019-08-15 | 数据采集方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910763282.3A CN110502514B (zh) | 2019-08-15 | 2019-08-15 | 数据采集方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110502514A true CN110502514A (zh) | 2019-11-26 |
CN110502514B CN110502514B (zh) | 2023-06-27 |
Family
ID=68588397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910763282.3A Active CN110502514B (zh) | 2019-08-15 | 2019-08-15 | 数据采集方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110502514B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144334A (zh) * | 2019-12-27 | 2020-05-12 | 北京天融信网络安全技术有限公司 | 一种文件匹配方法、装置、电子设备及存储介质 |
CN111400444A (zh) * | 2020-03-03 | 2020-07-10 | 中国建设银行股份有限公司 | 一种文档选择的方法及装置 |
CN112597223A (zh) * | 2020-12-16 | 2021-04-02 | 光大兴陇信托有限责任公司 | 一种一致性数据采集方法和系统 |
CN112948845A (zh) * | 2021-02-01 | 2021-06-11 | 航天科技控股集团股份有限公司 | 一种基于物联网数据中台的数据处理方法及系统 |
CN117436181A (zh) * | 2023-12-19 | 2024-01-23 | 中冶南方工程技术有限公司 | 一种冶金工程工艺中的管线绝热伴热智慧评估方法 |
CN117708131A (zh) * | 2023-12-19 | 2024-03-15 | 河北网星软件有限公司 | 数据采集方法及数据采集平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001080103A1 (en) * | 2000-04-19 | 2001-10-25 | Henrik Kjaer | A web based multidimensional presentation and calculation system |
WO2017166644A1 (zh) * | 2016-03-31 | 2017-10-05 | 乐视控股(北京)有限公司 | 一种数据采集方法和系统 |
WO2018166099A1 (zh) * | 2017-03-17 | 2018-09-20 | 平安科技(深圳)有限公司 | 信息泄露检测方法及装置、服务器及计算机可读存储介质 |
CN108959227A (zh) * | 2018-07-12 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种基于b/s架构的自定义报表系统及方法 |
CN109325053A (zh) * | 2018-06-29 | 2019-02-12 | 平安科技(深圳)有限公司 | 报表系统的数据处理方法、装置及计算机可读存储介质 |
-
2019
- 2019-08-15 CN CN201910763282.3A patent/CN110502514B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001080103A1 (en) * | 2000-04-19 | 2001-10-25 | Henrik Kjaer | A web based multidimensional presentation and calculation system |
WO2017166644A1 (zh) * | 2016-03-31 | 2017-10-05 | 乐视控股(北京)有限公司 | 一种数据采集方法和系统 |
WO2018166099A1 (zh) * | 2017-03-17 | 2018-09-20 | 平安科技(深圳)有限公司 | 信息泄露检测方法及装置、服务器及计算机可读存储介质 |
CN109325053A (zh) * | 2018-06-29 | 2019-02-12 | 平安科技(深圳)有限公司 | 报表系统的数据处理方法、装置及计算机可读存储介质 |
CN108959227A (zh) * | 2018-07-12 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种基于b/s架构的自定义报表系统及方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144334A (zh) * | 2019-12-27 | 2020-05-12 | 北京天融信网络安全技术有限公司 | 一种文件匹配方法、装置、电子设备及存储介质 |
CN111144334B (zh) * | 2019-12-27 | 2023-09-26 | 北京天融信网络安全技术有限公司 | 一种文件匹配方法、装置、电子设备及存储介质 |
CN111400444A (zh) * | 2020-03-03 | 2020-07-10 | 中国建设银行股份有限公司 | 一种文档选择的方法及装置 |
CN112597223A (zh) * | 2020-12-16 | 2021-04-02 | 光大兴陇信托有限责任公司 | 一种一致性数据采集方法和系统 |
CN112597223B (zh) * | 2020-12-16 | 2023-11-14 | 光大兴陇信托有限责任公司 | 一种一致性数据采集方法和系统 |
CN112948845A (zh) * | 2021-02-01 | 2021-06-11 | 航天科技控股集团股份有限公司 | 一种基于物联网数据中台的数据处理方法及系统 |
CN117436181A (zh) * | 2023-12-19 | 2024-01-23 | 中冶南方工程技术有限公司 | 一种冶金工程工艺中的管线绝热伴热智慧评估方法 |
CN117708131A (zh) * | 2023-12-19 | 2024-03-15 | 河北网星软件有限公司 | 数据采集方法及数据采集平台 |
CN117436181B (zh) * | 2023-12-19 | 2024-03-22 | 中冶南方工程技术有限公司 | 一种冶金工程工艺中的管线绝热伴热智慧评估方法 |
CN117708131B (zh) * | 2023-12-19 | 2024-07-05 | 河北网星软件有限公司 | 数据采集方法及数据采集平台 |
Also Published As
Publication number | Publication date |
---|---|
CN110502514B (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502514A (zh) | 数据采集方法、装置、设备及计算机可读存储介质 | |
US20160224211A1 (en) | Method and System for Displaying Icons of Application Programs, and Terminal | |
US20190370291A1 (en) | Node task data display method and apparatus, storage medium and computer equipment | |
US20190012188A1 (en) | Dynamically configurable workflow in a mobile environment | |
CN107894952A (zh) | 接口测试用例的生成方法、装置、设备及可读存储介质 | |
US20160132866A1 (en) | Device, system, and method for creating virtual credit card | |
CN102004752A (zh) | 灵活的立方体数据入库 | |
CN105824610A (zh) | 一种基于终端的应用程序图标的排列方法和装置 | |
CN105915657B (zh) | 数据的同步方法、装置及客户端 | |
CN110457312A (zh) | 多类型数据的采集方法、装置、设备及可读存储介质 | |
CN110502515A (zh) | 数据采集方法、装置、设备及计算机可读存储介质 | |
CN105487970B (zh) | 一种界面展示方法及装置 | |
CN112579455B (zh) | 一种接口自动化测试方法、装置、电子设备及存储介质 | |
CN112540996A (zh) | 一种业务数据的校验方法、装置、电子设备及存储介质 | |
CN110515755A (zh) | 接口功能验证方法、装置、设备及计算机可读存储介质 | |
CN113076112A (zh) | 数据库部署的方法、装置及电子设备 | |
CN106453778B (zh) | 一种联系人头像设置方法及移动终端 | |
CN109213782B (zh) | 搜索界面的配置、显示方法、装置及通信设备 | |
CN114741079A (zh) | 软件开发方法、平台、电子设备和计算机可读存储介质 | |
CN110502513A (zh) | 数据采集方法、装置、设备及计算机可读存储介质 | |
CN109255104A (zh) | 批文模板配置方法、装置、计算机设备及存储介质 | |
CN104123307A (zh) | 数据加载方法及系统 | |
CN115617612A (zh) | 一种日志上报方法、装置、计算机设备和存储介质 | |
CN112506765A (zh) | 软件测试方法、装置、设备及存储介质 | |
CN110515946A (zh) | 数据提取方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |