CN114547414A - 数据互通抓取方法与系统 - Google Patents

Abstract

本发明涉及大数据信息处理技术领域，公开了一种数据互通抓取方法与系统，包括处理器模块，以及分别与处理器模块分别连接的数据采集模块、数据处理模块和显示模块，通过从不同的办公软件中导出数据然后对采集到的数据按照特定的规则排序进行统计分析，最后根据对数据的分析结果，采用不同的可视化图形对不同项目、不同类型的数据进行形象化展示。本发明具有提高数据采集效率和准确率，以及提高工作效率的有益效果。

Description

数据互通抓取方法与系统

技术领域

本发明涉及大数据信息处理技术领域，具体涉及一种数据互通抓取方法与系统。

背景技术

随着互联网技术的发展，大数据时代已经到来，数据已经成为了每个行业、每个企业最重要的资产之一，行业以及企业发展规划的手段，都将依赖于大数据分析，与传统的依靠经验和直觉大不相同，大数据分析能做到客观、准确和全面，得到最合适的分析结果。而在大数据分析前端，需要做到的便是数据的收集、整理和互通，这样才能做到使整体的数据连通结合起来进行大数据分析。企业现有办公软件中，有的限制登录人数、有的统计图表不直观、没有手机版等问题，无法实现企业领导层对公司人员、财务情况的了解和预估，无法通过手机端实时掌握公司经营情况，需要靠财务人员、HR导出数据后制作统计图表，整理数据不仅耗时，而且准确率不高。

为解决这一问题，现有技术中有一种报告软件数据双向互通方法、系统、存储介质及设备，属于计算机技术领域。为了解决现有的具有报告软件功能的医用设备存在没有提供与其他设备进行数据互通接口的问题。本发明通过线程1循环监听报告软件系统中窗口对应的快捷键信号；监听到对应的信号后，并通过WindowsAPI得到当前窗口的句柄，然后解析函数解析窗口对应的特征码，从而得到解析后窗口的句柄，并判断当前窗口的句柄和解析后窗口的句柄是否一致，如果是则开始给相应新建病人窗口中的输入框赋值；如果否则继续监听；通过线程2读Windows粘贴板，并同时抓取报告页面中的诊断字段，把诊断字段内容放到指定变量E中，然后把电子版的报告的全路径和诊断变量E同时上传到信息系统中。

虽然该方案能够通过监听报告软件系统的信号再通过解析窗口对应的特征码，从而完成对数据的互通抓取，但是其在处理一般的数据互通效率以及准确率还是得不到有效保障。

发明内容

本发明意在提供数据互通抓取方法与系统，以解决数据互通效率和准确率不理想的技术问题。

为达到上述目的，本发明采用如下技术方案：数据互通抓取方法，包括以下步骤：

步骤S1，根据预设数据抓取策略从多个系统中抓取数据后形成第一数据集合，并将第一数据集合填入办公系统；

步骤S2，导入预设格式的Excel表格，并将抓取到的第一数据集合填入表格中；

步骤S3，对表格数据进行分析得到分析结果，并利用可视化图形将分析结果展示出来。

本方案的原理及优点是：实际应用时，通过多渠道地采集不同办公软件的数据实现不同系统数据的互通，再将数据进行同一格式整理后进行分析处理，并根据数据的内容、类型采用不同的可视化图形进行展示，从而将数据更形象地展示出来。相比于现有技术，本发明的优点在于，不仅能将不同软件系统中的数据进行联合处理分析，更能针对不同的数据利用不同的图形进行展示，从而提高数据的展示程度，方便用户查看的同时也便于用户理解数据层面所代表的意义，极大程度上提高了工作效率。

优选的，作为一种改进，预设数据抓取策略包括以下内容：

对于有数据接口的系统，直接调用数据接口抓取数据；

对于没有数据接口的系统，直接连接到该系统的数据库进行数据抓取；

对于没有数据接口且没有数据库的系统，利用软件机器人自动抓取数据。

有益效果：对于数据的采集，可以从不同的系统间采集数据，并且采集数据方式多样，不仅可以保证数据采集面广以及数据的真实有效性，避免采集到无效的数据，加大数据处理难度，影响数据的分析效率，同时还能实现多个系统间数据的互通，节省了数据采集步骤和时间，也能够极大程度上提高数据处理效率。

优选的，作为一种改进，预设格式为将数据按照项目名称进行排序后的表单形式。

有益效果：在采集数据时，将数据按照项目名称进行排序，不仅能够使数据更具规则性，同时也便于后续对数据进行分析处理，提高整体的工作效率。

优选的，作为一种改进，对表格数据进行分析为，根据抓取到的数据类型的不同，采用不同的图形将抓取到的数据显示出来。

有益效果：针对不同的数据内容以及数据类型，采用最贴切的图形进行展示，不仅可以使展示效果更好，同时也能突出数据的差别性，从而便于区分。

优选的，作为一种改进，导入预设格式的Excel表格为，从系统中导出两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在导出时勾选相关选项。

有益效果：将财务软件里的部门员工表和销售订单执行表一起导出，并且在导出时限制导出内容，不仅可以做到数据的有条件筛选，同时还能在采集时就对数据进行初步精简处理，从而提高数据的有效率，加快工作处理速度。

优选的，作为一种改进，相关选项包括订单日期、订单编号、合同号、客户、部门、业务员和结算客户。

有益效果：在相关选项中订单日期、订单编号、合同号、客户、部门、业务员和结算客户，通过将上述选项在表格导入时，能够将导入的数据按照特定的顺序进行展示，从而便于后续的分析以及数据与图形配合展示。

优选的，作为一种改进，对表格数据进行分析时，通过表格建立父节点“合同号”以及子节点“订单编号”。

有益效果：通过在表格建立的时候建立父节点和子节点，能够使表格呈现不同层级的效果，方便数据展示的同时也能够便于将数据的层级关系展示，从而有效提高系统处理工作效率。

优选的，作为一种改进，不同的图形包括饼图、横向柱状图和纵向柱状图。

有益效果：通过设置饼图、横向柱状图和纵向柱状图等区别明显且富有不同针对性的图形，能够很好地展示数据分析结果的不同重点内容，从而便于得到最清晰直观的分析结果，方便用户查看和理解。

本发明还提供了一种数据互通抓取系统，运用上述数据互通抓取方法，包括处理器模块，以及与处理器模块分别连接的数据采集模块、数据处理模块和显示模块；

数据采集模块，用于抓取传统财务软件数据并形成第一数据集合，然后将第一数据集合发送至数据处理模块；

数据处理模块，用于抓取多个传统财务软件的数据并形成第一数据集合，然后将第一数据集合发送至数据处理模块；

处理器模块，包括数据存储单元和图形选择单元，数据存储单元用于存储第一数据集合；图形选择单元用于选择与数据匹配的图形，并将选定的图形发送至显示模块；

显示模块，用于将分析结果通过可视化图形展示出来。

有益效果：通过数据采集模块采集数据然后利用数据处理模块对数据进行分析处理，然后选择相对应的可视化图形与数据进行匹配展示，能够极大程度提高对数据的处理效果以及处理效率。

优选的，作为一种改进，还包括数据核验模块，数据核验模块用于对抓取到的数据进行复核检查以及对最后图形数据的匹配显示结果进行核验。

有益效果：通过设置的数据核验模块，对抓取到的数据进行复核检查，同时也对图形与数据的匹配结果进行核验，不仅能够避免最终的展示效果差，同时也使数据得到二次检验，保证数据分析结果的准确性，从而有效保证工作进度。

附图说明

图1为本发明数据互通抓取方法实施例一的流程示意图。

图2为本发明数据互通抓取系统实施例一的系统示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的标记包括：处理器模块1、数据采集模块2、数据处理模块3、显示模块4、数据存储单元5、图形选择单元6。

实施例一：

本实施例基本如附图1所示：数据互通抓取方法，包括以下步骤：

步骤S1，根据预设数据抓取策略从多个系统中抓取数据后形成第一数据集合，并将第一数据集合填入办公系统；

步骤S2，导入预设格式的Excel表格，并将抓取到的第一数据集合填入表格中；

步骤S3，对表格数据进行分析得到分析结果，并利用可视化图形将分析结果展示出来。

在进行数据抓取时，通过数据采集模块2的针对性数据采集，不仅能够从原始系统中导出数据表单，还能够从多个系统中抓取数据，对于有数据接口的系统，直接调用数据接口抓取数据，对于没有数据接口的系统，直接连接到该系统的数据库进行数据抓取，对于没有数据接口且没有数据库的系统，利用软件机器人自动抓取数据，并且在进行数据抓取时按照项目名称进行排序后再导出表单，从原始系统中导出两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在导出时勾选订单日期、订单编号、合同号、客户、部门、业务员和结算客户等选项，并且在表格内建立父节点“合同号”以及子节点“订单编号”，数据分析结果展示时，采用不同的图形包括饼图、横向柱状图和纵向柱状图，来针对性展示分析结果的不同侧重点内容。

如附图2所示，本发明还提供了一种运用上述数据互通抓取方法的数据互通抓取系统，包括处理器模块1，以及与处理器模块1分别连接的数据采集模块2、数据处理模块3和显示模块4；

数据采集模块2，用于抓取多个传统财务软件的数据并形成第一数据集合，然后将第一数据集合发送至数据处理模块3；

数据处理模块3，用于对第一数据集合进行分析处理，并得到分析结果，然后将分析结果发送至显示模块4；

处理器模块1，包括数据存储单元5和图形选择单元6，数据存储单元5用于存储第一数据集合；图形选择单元6用于选择与数据匹配的图形，并将选定的图形发送至显示模块4；

显示模块4，用于将分析结果通过可视化图形展示出来。

通过针对有数据接口和没有数据接口的系统的不同情况，来针对性地采集各个系统的数据并汇总，实现不同系统间的数据互通，减少办公数据的获取难度，提高办公效率，另外通过对数据表格的个性化定制，从而提高数据的排布合理性以及可操作性，进一步保证了数据的处理效率，同时针对不同数据的类型利用不同的图表来展示到移动设备上，例如手机端，从而使数据分析结论展示更清晰明确，帮助用户了解数据的真实动态，从而实现智能化远程办公。

本实施例的具体实施过程如下：

第一步，从原始系统中导出两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在导出时勾选订单日期、订单编号、合同号、客户、部门、业务员和结算客户等选项，并将数据按照项目名称进行排序后展示。

第二步，通过表格建立父节点“合同号”以及子节点“订单编号”，然后利用数据处理模块3对采集到的数据进行分析处理。

第三步，分析结束后得到数据统计分析结果，并用饼图显示合同总金额、已收账款和未收账款，用横向柱状图显示合同签订总金额业务员排名和已收账款业务员排名，用纵向柱状图按年月显示每月签合同总金额和回款金额。

现在企业常用的办公软件中，出现了许多问题，例如有的限制登录人数，有的统计图表不直观，无法实现企业领导层对公司人员、财务情况的直观了解和预估，若想达到此目的，需要财务人员导出财务数据后制作统计图表，整理数据不仅耗时，而且准确率不高。

而在本方案中，利用通用接口方式采集不同办公软件中的数据，并利用预先设定好格式的Excel表来装填采集到的数据，并按照项目名称进行排序，同时在表格中设有父子节点，建立树结构父子关系，使数据的上下级关联关系更清晰准确，同时也方便用户在同一页面查看不同的数据，不需要进行页面切换或者跳转，大幅提高了办公过程的便捷性，最后对采集到的数据进行分类统计分析后，利用饼图、横向柱状图和纵向柱状图来分别展示数据分析结果，从而提高数据图表的配合展示效果，同时也更方便用户查验数据。

一般在进行不同系统之间的数据采集的时候，通常都只有一个数据接口进行采集，且同时只能完成一个系统的数据采集，因此以往的数据采集效率低下导致工作效率也相对降低，不符合现在大数据时代的工作节奏。正是考虑到这一问题，本方案才会想到从根本问题上出发，解决多系统间的数据互通问题，利用多接口的数据采集系统实现同时与多个系统间的数据互通，从而极大程度上提高了数据的采集效率，并且针对没有数据接口的系统，还能够利用软件机器人来完成对数据的采集，也能侧面对数据的采集效率进行有效保障，从而保证整个系统的工作效率。

实施例二：

本实施例基本与实施例一相同，区别在于：还设置有版本号标记模块，在“销售订单执行表”导出时按照时间顺序进行版本号标记并保存，还可根据版本号选择当前运行的数据，从而直接看出合同金额的环比变化情况。

本实施例的具体实施过程与实施例一相同，区别在于：

第一步，从原始系统中导出两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在导出时勾选订单日期、订单编号、合同号、客户、部门、业务员和结算客户等选项，并将数据按照项目名称进行排序后展示，同时在“销售订单执行表”导出时，利用版本号标记模块对“销售订单执行表”按照时间顺序进行版本号标记并保存至数据存储单元5中，然后根据版本号来选择当前运行的数据。

由于财务软件中可能出现人为错误，比如删除某个合同或者销售订单，造成每次导入时无法检测出哪些数据进行了修改，不利于数据的统计分析，极大程度上妨碍了工作效率。因此通过在系统中设置版本号标记模块，对“销售订单执行表”按照时间顺序进行版本号标记并保存至数据存储单元5中，然后根据版本号来选择当前运行的数据，不仅能够使每次操作后的数据版本都得以备份保存，以便后续需要用到之前的历史数据时找不到历史版本，同时还能够使数据表用版本号来代替，在后续统计分析时直接利用版本号来选择对应的数据，加快数据的选择过程，而且还能够看出合同金额的环比变化情况，提高数据分析效率。

实施例三：

本实施例基本与实施例二相同，区别在于：上述系统还包括数据核验模块，用于对抓取到的数据进行复核检查以及在数据统计分析完成并利用对应的图表进行联合展示后，通过统计合同总金额以及回款金额，对数据的真实性进行核验和对图形数据的匹配显示结果进行核验。

本实施例的具体实施过程与实施例二相同，区别在于：

第一步，从原始系统中导出两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在导出时勾选订单日期、订单编号、合同号、客户、部门、业务员和结算客户等选项，并将数据按照项目名称进行排序后展示，同时利用数据核验模块对抓取到的数据进行真实性复核检查，以及对冲突数据的清理。

第四步，合同列表详细页可以根据合同编号、合同完成情况、业务员部门等条件查询，查询结果在同一页面下展示，统计合同总金额以及回款金额，并在合同列表详细页显示合同完成或者未完成情况，并通过展开按钮显示合同明细和收款情况，最后通过数据核验模块对图形数据的匹配显示结果进行核验。

导出的数据可能会存在一定的偏差，因此要在最终统计完成后对数据进行一次核验，以保证数据的真实有效性，避免发生数据错乱以及数据错误等意外情况，影响整体的分析展示结果，最终通过对数据的核验保证数据分析统计工作的正常开展和工作进度，同时也能够一定程度上提高工作效率，减少财务人员的复核工作量。

实施例四：

本实施例基本与实施例一相同，区别在于：在采集数据时利用软件机器人自动抓取数据，并用软件机器人自动录入预设格式的Excel表单后，再将抓取到的数据自动导入Excel表单，同时将财务软件与现有的办公软件接通，例如与钉钉软件(现有技术，这里不再赘述)打通接口，在钉钉软件上就能实现数据的导出与分析，以及后续的图表联合展示。

本实施例的具体实施过程与实施例一相同，区别在于：

第一步，通过钉钉软件访问财务软件系统，并利用软件机器人从原始系统中自动抓取两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在数据抓取时勾选订单日期、订单编号、合同号、客户、部门、业务员和结算客户等选项，并将数据按照项目名称进行排序后展示。

为避免人工导出数据时产生数据遗漏以及避免人工操作花费大量的时间以及人力，因此将此部分操作交由软件机器人来完成，不仅可以减少人力成本，同时软件机器人来进行数据抓取也能够极大程度上提高数据采集效率和准确率，并且将财务软件与现有常用的办公软件打通接口，通过现有的办公软件来进行数据访问和分析，一定程度上能够有效减少软件切换过程和时间，从而提高工作效率。

以上所述的仅是本发明的实施例，方案中公知的具体技术方案和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明技术方案的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.数据互通抓取方法，其特征在于：包括以下步骤：

步骤S1，根据预设数据抓取策略从多个系统中抓取数据后形成第一数据集合，并将第一数据集合填入办公系统；

步骤S2，导入预设格式的Excel表格，并将抓取到的第一数据集合填入表格中；

步骤S3，对表格数据进行分析得到分析结果，并利用可视化图形将分析结果展示出来。

2.根据权利要求1所述的数据互通抓取方法，其特征在于：所述预设数据抓取策略包括以下内容：

对于有数据接口的系统，直接调用数据接口抓取数据；

对于没有数据接口的系统，直接连接到该系统的数据库进行数据抓取；

对于没有数据接口且没有数据库的系统，利用软件机器人自动抓取数据。

3.根据权利要求1所述的数据互通抓取方法，其特征在于：所述预设格式为将数据按照项目名称进行排序后的表单形式。

4.根据权利要求1所述的数据互通抓取方法，其特征在于：所述对表格数据进行分析为，根据抓取到的数据类型的不同，采用不同的图形将抓取到的数据显示出来。

5.根据权利要求2所述的数据互通抓取方法，其特征在于：所述导入预设格式的Excel表格为，从系统中导出两张财务软件Excel表，包括“部门员工表”和“销售订单执行表”，并且在导出时勾选相关选项。

6.根据权利要求5所述的数据互通抓取方法，其特征在于：所述相关选项包括订单日期、订单编号、合同号、客户、部门、业务员和结算客户。

7.根据权利要求1所述的数据互通抓取方法，其特征在于：所述对表格数据进行分析时，通过表格建立父节点“合同号”以及子节点“订单编号”。

8.根据权利要求4所述的数据互通抓取方法，其特征在于：所述不同的图形包括饼图、横向柱状图和纵向柱状图。

9.数据互通抓取系统，运用如权利要求1所述的数据互通抓取方法，其特征在于：包括处理器模块，以及与处理器模块分别连接的数据采集模块、数据处理模块和显示模块；

所述数据采集模块，用于抓取多个传统财务软件的数据并形成第一数据集合，然后将第一数据集合发送至数据处理模块；

所述数据处理模块，用于对第一数据集合进行分析处理，并得到分析结果，然后将分析结果发送至显示模块；

所述处理器模块，包括数据存储单元和图形选择单元，所述数据存储单元用于存储第一数据集合；所述图形选择单元用于选择与数据匹配的图形，并将选定的图形发送至显示模块；

所述显示模块，用于将分析结果通过可视化图形展示出来。

10.根据权利要求9所述的数据互通抓取系统，其特征在于：还包括数据核验模块，所述数据核验模块用于对抓取到的数据进行复核检查以及对最后图形数据的匹配显示结果进行核验。

Images