CN108897877A - 基于excel的大数据分析工具和方法 - Google Patents

Abstract

本发明提供的基于EXCEL的大数据分析工具和方法，通过参数配置化，使用poi技术导出excle表格数据，解决了一般软件需要迭代开发的问题；通过角色分配机制，将操作分为数据分析师、审核人员、操作人员，将底层工作交给数据分析师，操作界面简单医用；通过封装代码，将相关功能组件化，可以在此基础上根据实际需求快速进行二次开发，具有简单、易用、低成本的优点，相较于网络爬虫+云计算的方式更具效率和降低成本，非常适合中小企业使用。

Description

基于EXCEL的大数据分析工具和方法

技术领域

本发明涉及到数据库技术，特别是涉及到一种基于EXCEL的大数据分析工具和方法。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实际应用中，数据分析可帮助人们作出判断，以便采取适当行动。

在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。

探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(John Tukey)命名。

定性数据分析又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”，是指对诸如词语、照片、观察结果之类的非数值型数据的分析。

Excel作为常用的分析工具，可以实现基本的分析工作。在企业运营过程中，需要对不同业务平台的数据进行统计，并输出成excel可视化文档。现有的数据统计分析方法很多，常见的有以下几种：

第一种：最为原始的直接操作数据库，通过SQL(Structured Query Language，结构化查询语言)语句统计自己所需数据。这种方法比较普遍，但是对操作人员的要求比较高，不但要熟悉SQL用法，还要了解数据库结构，相关业务人员不能直接操作。

第二种：最常见的通过封装SQL，做成一个后台管理系统，在后台系统查看相关数据。但是为了满足不同的数据需求，需要不断的进行开发。

第三种：BI工具，可以通过SQL直接连接数据库，或者导入数据表格，并将数据进行处理，输出成各种可视化图表。这种方式较上一种方式要直观方便，但是BI工具多是收费使用的。

第四种：网络爬虫，主要用于采集和统计网络上的外部数据，这也是目前大数据采集的主流方式。这种操作方式消耗的时间，人力等各方面的资源太重，不适用于中小企业的日常使用。

发明内容

本发明的主要目的为提供一种基于EXCEL的大数据分析工具和方法，解决企业的数据统计分析问题，同时降低运营成本。

本发明提供了一种基于EXCEL的大数据分析工具，包括：

数据分析模块，用于上传数据模板和校验模板；

数据查询模块，用于选择所述数据模板和校验模板进行数据查询。

优选地，还包括：

数据审核模块，用于审核所述数据查询模块是否具有查询权限。

优选地，还包括：

系统配置模块，用于配置所述数据分析模块、数据查询模块、数据审核模块的用户账号、权限。

优选地，所述系统的后台框架采用springMVC+Mybatis框架。

优选地，所述系统的前端框架采用dwz框架。

优选地，所述数据分析模块，以JDBC的方式与数据库连接。

优选地，所述数据查询模块包括数据输出单元，用于将查询结果以Excel表格的形式输出。

优选地，所述查询结果采用POI的方式写入Excel表格中。

优选地，还包括：

校验数据模块，用于校验所述数据模板、校验模板和查询结果。

优选地，采用哈希编码方式对所述数据模板、校验模板和查询结果进行校验。

本发明的另一个方面还提出了基于EXCEL的大数据分析方法，包括以下步骤：

服务器接收数据模板和校验模板；

根据所述数据模板获取数据信息；

接收查询指令，使用所述校验模板对所述数据信息进行处理，输出处理结果。

本发明提供的基于EXCEL的大数据分析工具和方法，通过参数配置化，使用poi技术导出excle表格数据，解决了一般软件需要迭代开发的问题；通过角色分配机制，将操作分为数据分析师、审核人员、操作人员，将底层工作交给数据分析师，操作界面简单医用；通过封装代码，将相关功能组件化，可以在此基础上根据实际需求快速进行二次开发，具有简单、易用、低成本的优点，相较于网络爬虫+云计算的方式更具效率和降低成本，非常适合中小企业使用。

附图说明

图1为本发明基于EXCEL的大数据分析工具一实施例的结构示意图；

图2为本发明基于EXCEL的大数据分析工具一实施例上传数据模板的流程示意图；

图3为本发明基于EXCEL的大数据分析工具一实施例上传校验模板的流程示意图；

图4为本发明基于EXCEL的大数据分析工具一实施例数据流向示意图；

图5为本发明基于EXCEL的大数据分析工具一实施例进行查询操作的流程示意图；

图6为本发明基于EXCEL的大数据分析方法一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明实施例提出一种基于EXCEL的大数据分析工具，包括：

数据分析模块10，用于上传数据模板和校验模板；

数据查询模块20，用于选择所述数据模板和校验模板进行数据查询。

本实施例中，数据分析模块10主要提供给数据分析师使用。数据分析师在数据分析模块10上传数据模板和校验模板。数据分析师是数据的生产者，熟悉SQL语法，能书写脚本，可以从其他数据源获取数据，或者收集本地数据，获得数据模板和校验模板，上传至服务器。数据分析师只需要定期维护，更新数据模板和校验模板即可，而无需重复性地建立查询任务。本发明所称的大数据分析工具也可以称为大数据分析系统。

参照图2，图2为上传数据模板的流程示意图。数据模板上传完毕后，服务器端会加载数据模板包含的指令，从网络上获取数据，然后存储于服务器上。参照图3，图3为上传校验模板的流程示意图。校检模板上传完毕后，当数据查询模块20发生查询任务，校检模板包含一些控制指令，对数据模板获取的数据进行归类处理，获得满足查询任务的数据。参照图4，图4为本发明实施例的数据流向示意图。先从各数据库获取数据，再经数据模板和校验模板处理，生成Excel表格，然后在相应的客户端呈现。

数据查询模块20，主要提供给查询人员使用，查询人员可以是企业业务人员，或者其他相关的人员。企业的业务人员在汇报业绩或业务进度时，需要使用到数据库中的数据。此时通过数据查询模块20，只需要在操作界面上进行才做，便可获得查询结果。

例如，领导A需要向公司董事会汇报年度业务总结。领导A发现缺少各个产品的统计数据，然后向技术部提出请求需要一份公司各个产品的统计数据。如果按一般企业管理流程，技术部总监B按A的要求，把数据统计需求分配给负责管理与操作不同数据库的相关负责人员C、D、E、F。负责人员C、D、E、F在接到任务后编写了不同脚本在各自负责数据库运行数据提取任务，等到任务完成交给技术总监B，再由B统一整理后交给A。若采用本实施例的基于EXCEL的大数据分析工具，数据分析模块10配置了与各个数据库的接口。此时，仅需要两名工作人员甲和乙来完成。其中，技术人员甲使用数据分析模块10上传数据模板和校验模板，而业务人员乙根据查询需求，使用数据查询模块20进行查询操作，获取查询结果。相较原有的方式，采用本实施例的基于EXCEL的大数据分析工具，大大减少了重复操作查询工作量，节省了人工成本。

可选的，还包括：

数据审核模块30，用于审核所述数据查询模块是否具有查询权限。

本实施例中，数据审核模块30主要提供给审核人员使用。审核人员通过数据审核模块30控制数据模板和校验模板的权限。因为一些数据并不会对一般的业务人员开放。审核人员可以通过差异化设置，使不同的业务人员具有不同查询权限。

参照图5，图5为业务人员查询的流程示意图。左侧为查询人员的操作流程，中间为系统处理流程，右侧为审查人员的操作流程。

例如，公司各部门开会，运营部需要拿出一份业务报告向领导汇报，运营专员G(查询人员)通过数据查询模块20进行查询操作。因为部分数据表格涉及敏感数据，需要运营总监H(角色：审核人员)审核通过。运营总监H通过在数据审核模块30操作，开放相应的权限给运营专员G。这是，运营专员G拿到了包扩涉密数据表格等所有统计数据，迅速完成了业务报告。

可选的，还包括：

系统配置模块40，用于配置所述数据分析模块、数据查询模块、数据审核模块30的用户账号、权限。

本实施例中，系统配置模块40，用于配置数据分析模块、数据查询模块、数据审核模块30的用户账号、权限。此模块主要提供给系统管理员使用。管理员可以添加各模块的用户账号，设置权限，差异化管理。

可选的，所述系统的后台框架采用springMVC+Mybatis框架。

本实施例中，Spring MVC属于SpringFrameWork的后续产品，属于一种java框架。Spring MVC高度可配置的，而且包含多种视图技术。Spring MVC分离了控制器、模型对象、过滤器以及处理程序对象的角色，这种分离让它们更容易进行定制。MyBatis源于apache的一个开源项目iBatis。MyBatis是一款优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集。MyBatis可以使用简单的XML或注解来配置和映射原生信息，将接口和Java的POJOs(Plain OldJava Objects，普通的Java对象)映射成数据库中的记录。同时，MyBatis是支持普通SQL查询，消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。

可选的，所述系统的前端框架采用dwz框架。

本实施例中，DWZ框架(jQuery RIA framework)，是基于jQuery实现的Ajax RIA开源框架。DWZ框架具有以下特点：简单实用、扩展方便、快速开发、RIA思路、轻量级。

可选的，所述数据分析模块，以JDBC的方式与数据库连接。

本实施例中，JDBC(Java DataBase Connectivity,java数据库连接)是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序。

可选的，所述数据查询模块包括数据输出单元，用于将查询结果以Excel表格的形式输出。

本实施例中，Excel作为常用的分析工具，可以实现基本的分析工作。在企业运营过程中，需要对不同业务平台的数据进行统计，并输出成Excel可视化文档。以Excel表格的形式输出查询结果，方便业务人员使用。

可选的，所述查询结果采用POI的方式写入Excel表格中。

本实施例中，POI指的是Apache POI，是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。

可选的，还包括校验数据模块，用于校验所述数据模板、校验模板和查询结果。采用哈希编码方式对所述数据模板、校验模板和查询结果进行校验。

本实施例中，基于EXCEL的大数据分析工具还包括校验数据模块。此模块主要对数据模板、校验模板和查询结果进行校检，防止传输出错。在一实施例中，可采用哈希编码方式对数据进行校检。

参照图6，本发明实施例还提出了基于EXCEL的大数据分析方法，包括以下步骤：

S10、服务器接收数据模板和校验模板；

S20、根据所述数据模板获取数据信息；

S30、接收查询指令，使用所述校验模板对所述数据信息进行处理，输出处理结果。

步骤S10中，数据分析师向服务器上传数据模板和校验模板。数据分析师是数据的生产者，熟悉SQL语法，能书写脚本。数据模板包括了一些可以从网络上获取数据的代码。代码中包含了获取数据的网络地址。同时，数据模板可以包含本地数据。数据分析师只需要定期维护，更新数据模板和校验模板即可，而无需重复性地建立查询任务。

步骤S20中，服务器会根据数据模板定期从代码中的网络地址获取数据信息。获取的数据包括但不限于股票信息、电商商品价格、指定网站访问量。服务器按数据模板定义的规则获取数据信息后，将数据信息存储于服务器上。

步骤S30中，服务器接收查询人员的查询。查询人员可以是企业业务人员，或者其他相关的人员。企业的业务人员在汇报业绩或业务进度时，需要使用到数据库中的数据。校验模板定义了一些数据的输出规则，例如按月份数据的统计信息。

在一应用场景中，领导A需要向公司董事会汇报年度业务总结。领导A发现缺少各个产品的统计数据，然后向技术部提出请求需要一份公司各个产品的统计数据。如果按一般企业管理流程，技术部总监B按A的要求，把数据统计需求分配给负责管理与操作不同数据库的相关负责人员C、D、E、F。负责人员C、D、E、F在接到任务后编写了不同脚本在各自负责数据库运行数据提取任务，等到任务完成交给技术总监B，再由B统一整理后交给A。若采用本实施例的基于EXCEL的大数据分析方法，步骤S10中，由数据分析师甲上传数据模板和校验模板。数据模板配置了与各个数据库的接口。步骤S20中，服务器自主获取数据。步骤S30中，业务人员乙根据查询需求，选择合适的校验模板进行查询操作，获取查询结果。相较原有的方式，采用本实施例的基于EXCEL的大数据分析方法，大大减少了重复操作查询工作量，节省了人工成本。

本发明提供的基于EXCEL的大数据分析工具和方法，通过参数配置化，使用poi技术导出excle表格数据，解决了一般软件需要迭代开发的问题；通过角色分配机制，将操作分为数据分析师、审核人员、操作人员，将底层工作交给数据分析师，操作界面简单医用；通过封装代码，将相关功能组件化，可以在此基础上根据实际需求快速进行二次开发，具有简单、易用、低成本的优点，相较于网络爬虫+云计算的方式更具效率和降低成本，非常适合中小企业使用。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于EXCEL的大数据分析工具，其特征在于，包括：

数据分析模块，用于上传数据模板和校验模板；

数据查询模块，用于选择所述数据模板和校验模板进行数据查询。

2.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，还包括：

数据审核模块，用于审核所述数据查询模块是否具有查询权限。

3.根据权利要求2所述基于EXCEL的大数据分析工具，其特征在于，还包括：

系统配置模块，用于配置所述数据分析模块、数据查询模块、数据审核模块的用户账号、权限。

4.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，所述系统的后台框架采用springMVC+Mybatis框架。

5.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，所述系统的前端框架采用dwz框架。

6.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，所述数据分析模块，以JDBC的方式与数据库连接。

7.根据权利要求1所述基于EXCEL的大数据分析工具，其特征在于，所述数据查询模块包括数据输出单元，用于将查询结果以Excel表格的形式输出。

8.根据权利要求7所述基于EXCEL的大数据分析工具，其特征在于，所述查询结果采用POI的方式写入Excel表格中。

9.根据权利要求7所述基于EXCEL的大数据分析工具，其特征在于，还包括：

校验数据模块，用于校验所述数据模板、校验模板和查询结果。

10.一种基于EXCEL的大数据分析方法，其特征在于，包括以下步骤：

服务器接收数据模板和校验模板；

根据所述数据模板获取数据信息；

接收查询指令，使用所述校验模板对所述数据信息进行处理，输出处理结果。