CN111382149A - 财务数据分析系统及方法 - Google Patents
财务数据分析系统及方法 Download PDFInfo
- Publication number
- CN111382149A CN111382149A CN202010174908.XA CN202010174908A CN111382149A CN 111382149 A CN111382149 A CN 111382149A CN 202010174908 A CN202010174908 A CN 202010174908A CN 111382149 A CN111382149 A CN 111382149A
- Authority
- CN
- China
- Prior art keywords
- data
- financial data
- analysis
- hive
- financial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000008520 organization Effects 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 20
- 238000013515 script Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 241000282813 Aepyceros melampus Species 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 208000024780 Urticaria Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Technology Law (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明提供一种财务数据分析系统及方法，其中，该系统包括：azkaban调度工具，用于根据财务数据分析请求以及预配置文件，对Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；Sqoop服务工具，用于从财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；Spark服务工具和HIVE服务工具，用于从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；前端展示单元，用于展示分析结果数据。上述技术方案实现了高效准确地对财务数据进行分析。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种财务数据分析系统及方法。
背景技术
现有的财务数据分析方式较为传统，一般采用人工线下收集业务数据，例如使用文本或口头收集业务数据的方式，并通过EXCEL(微软报表工具)进行数据的加工和统计，最终形成各机构的费用数据相关的分析结果数据。该方式存在收集数据困难，计算复杂导致数据分析效率低准确性差，实时性也较差等问题，给业务分析用户带来了很大困扰。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种财务数据分析系统，用以高效准确地对财务数据进行分析，该系统包括：azkaban调度工具、CDH大数据集群和前端展示单元；所述CDH大数据集群包括：Sqoop服务工具、HIVE数据仓库、Spark服务工具和HIVE服务工具；其中：
azkaban调度工具，用于接收用户的财务数据分析请求，根据所述财务数据分析请求以及预配置文件，对所述Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；
Sqoop服务工具，用于根据azkaban调度工具的调度，从所述财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；
Spark服务工具和HIVE服务工具，用于根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；
前端展示单元，用于展示所述分析结果数据。
本发明实施例还提供了一种财务数据分析方法，用以高效准确地对财务数据进行分析，该方法包括：
azkaban调度工具接收用户的财务数据分析请求，根据所述财务数据分析请求以及预配置文件，对Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；
Sqoop服务工具根据azkaban调度工具的调度，从所述财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；
Spark服务工具和HIVE服务工具根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；
前端展示单元展示所述分析结果数据。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述财务数据分析方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述财务数据分析方法的计算机程序。
与现有技术中使用线下收集业务数据并通过EXCEL进行数据的加工和统计，最终形成分析结果数据，分析效率低准确性差的方案相比，本发明实施例提供的技术方案通过：azkaban调度工具接收用户的财务数据分析请求，根据财务数据分析请求以及预配置文件，对Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；Sqoop服务工具根据azkaban调度工具的调度，从财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；Spark服务工具和HIVE服务工具根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；前端展示单元展示所述分析结果数据，实现了高效准确地对财务数据进行分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中财务数据分析系统的结构示意图；
图2是本发明又一实施例中财务数据分析系统的结构示意图；
图3是本发明实施例中财务数据分析的原理示意图；
图4是本发明实施例中财务数据分析方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例独立搭建一套财务数据分析系统，采用springboot(Java开发语言平台上的一种开源应用框架)后台处理结合VUE(网页开发技术)前端展现的实现方式，完成结果数据的图形与报表展现。
图1是本发明实施例中财务数据分析系统的结构示意图，如图1所示，该系统包括：azkaban调度工具01、CDH大数据集群03和前端展示单元05；所述CDH大数据集群包括：Sqoop服务工具031、HIVE数据仓库032、Spark服务工具033和HIVE服务工具034；其中：
azkaban调度工具01，用于接收用户的财务数据分析请求，根据所述财务数据分析请求以及预配置文件，对所述Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；
Sqoop服务工具031，用于根据azkaban调度工具的调度，从所述财务数据分析请求涉及的源数据系统02中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库032；
Spark服务工具033和HIVE服务工具034，用于根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元05；
前端展示单元05，用于展示所述分析结果数据。
与现有技术中使用线下收集业务数据并通过EXCEL进行数据的加工和统计，最终形成分析结果数据，分析效率低准确性差相比的方案，本发明实施例提供的技术方案实现了高效准确地对财务数据进行分析。
具体实施时，源数据系统02可以包括图2中ebs系统至分摊系统该横行的系统，表示需要采集的数据源头部分，HIVE服务至sqoop服务部分指的是数据平台中包含的数据采集以及数据处理服务。平台前端展示层为PC和移动端的展示，将落地的结果展示出来。
具体实施时，如图2所示，本发明实施例提供的财务数据分析系统底层为源数据系统，例：如总账财务系统(ebs系统)可提供财务总账相关的内容，比如凭证或者日记账等内容，所以在构建财务相关数据时，需接收财务所需的相关数据内容，并保持数据格式与内容全部抽取至HIVE数据仓库系统，该被抽取的系统即为源数据系统，中间服务层采用CDH组件(CDH组件中可以包括IMPALA服务，Sqoop服务，Spark服务，hive服务等多种服务)，例如SPARK服务在数据离开源系统时，进行的抽取或数据清洗操作(对数据质量不高的内容进行剔除或替换，如关键信息缺失的内容进行删除)，最终按照用户的数据需求进行数据的整合计算，落地用户所需的指标数据)，HIVE服务和SPARK服务完成对抽取的待分析财务数据进行计算存储等步骤，运用大数据技术，实现高效数据计算保证数据结果提供的及时性和准确性。计算好的数据推送至关系型数据库，最上层采用搭建完毕的Spring+VUE架构(前端展示)。具体地，元数据管理由HIVE完成，即HIVE管理物理表信息(如表名称，列名称，存储地址，数据分区等)管理，计算引擎使用SPark，采用HIVE on spark模式进行数据处理，上述元数据管理可以由图3中的元数据模型来实现。
具体实施时，如图3所示，本发明实施例提供的财务数据分析系统针对文本文件，数据库表等信息，可以采用SQOOP或kettel(由JAVA计算机语言编写的数据清理加工工具)的方式抽送(可以是现有方式，该方式为数据行业内已经投入使用的数据对接方式)至CDH的HDFS(分布式文件系统)或HIVE数据仓库内。后续将经过清理加工处理后的结构化数据送至HIVE数据仓库的对应的模型(可以为图3中的分析主题模型)，该模型可以为数据仓库搭建意义上的星形模型，星形模式是多维的数据关系，它由事实表(Fact Table)和维表(Dimension Table)组成。每个维表中都会有一个维作为主键，所有这些维的主键结合成事实表的主键。事实表的非主键属性称为事实，它们一般都是数值或其他可以进行计算的数据。例如我们现在有总账主题，该主题下包含：本级机构，父级机构，法人主体，科目，月份，年度，月发生额，同期比较等，我们利用上述字段结合14类图表(例如下文提到地14类数据)，可生产各类报表。例如我们使用柱状图时，可将维度值如：机构，科目，度量如：月发生，分别放在横向纵向，这时可生成一个柱状，机构科目与月发生额的柱状图形。用户可通过查看图形，清晰地了解机构在科目上的发生情况。主题区域(例如财务数据中记账凭证包含核算科目与预算科目，机构，产品，渠道，借贷等信息的数据，但是由于用户需求关注可能更多，包含区域，时间，部门，我们会将财务数据些相关的数据统一接入，最后形成事实表内容(记账凭证的实际内容)与多个维度进行匹配关联，形成一个较大较全的事实体系表内容后进行落地)。应用层数据与数据仓库主题区域(按照数据的用途进行区分，如总账，客户信息，风控信信息等，按照数据不同的用途在逻辑上划分出多个主题的数据集合)进行交互将相关的接口数据内容，采用抽取或推送的方式送至应用服务层进行落地存储。最后相关数据供应用展示层进行展现。
具体实施时，使用了Sqoop技术，即通过Sqoop服务工具获取数据，该技术可满足多个数据源对接的问题，从而解决了业务数据获取的难题。
下面结合附图2至图3，对本发明实施例提供的财务数据分析系统进行介绍。
在一个实施例中，上述Spark服务工具还可以用于对待分析财务数据进行清理加工处理，将经过清理加工处理后的待分析财务数据发送至HIVE数据仓库。
具体实施时，Sqoop(数据抽取推送工具)完成数据抽取与推送，Spark完成数据的清理加工等操作，例如对数据质量不高的内容进行剔除或替换，如关键信息缺失的内容进行删除，最终按照用户的数据需求进行数据的整合，最终得到统一的结构化数据，后续将处理好的结构化数据送至HIVE数据仓库的模型达到多源接入，统一出口的目的。提高了财务数据分析的准确率。
在一个实施例中，上述财务数据分析系统还可以包括：关系型数据库04，用于存储所述分析结果数据。
具体实施时，最终分析得到的分析数据推送至关系型数据库，为前端显示单元提供查询，将满足业务场景的数据进行集中存储管理，实现数据源统一，便于使用，灵活、方便。
在一个实施例中，所述HIVE数据仓库可以包括：
预先创建的源数据存储表，用于存储待分析财务数据；
预先创建的分析结果存储表，用于存储分析结果数据。
具体实施时，在HIVE数据仓库中预先创建了与财务总账系统包含上述数据一样的表结构，并预先创建计算结果表结构，方便数据抽取，提高财务数据分析的效率。
在一个实施例中，所述前端展示单元具体可以用于在根据所述用户的所属机构标识验证权限通过时，展示所述分析结果数据。
具体实施时，沿用驾驶舱的管理体系权限，与企业微信的组织架构保持一致，采用特殊的码值转换(通过图2中的HIVE服务与SPARK服务部分实现的)，例如产险机构原用户机构编码为00000000三级机构编码，成本中心为00XX，我们将按照财务机构编码的要求，将上述用户的机构(产险机构)编码转换为财务编码00000XX，(截取产险机构编码的前三位加成本中心的后四位机构编码)作为新的财务机构编码与系统处理后的分析结果数据进行匹配(此处的转码只为让企业微信代码适配财务代码，原始财务代码与企业微信转码后的代码一致)，后续与财务原始数据进行匹配，若匹配到则可进行数据查看，若则显示无相关数据。严格区分用户所属机构，以保证用户的查询财务数据的权限，保证财务数据的安全性。
关于前端展示单元05的功能进行介绍如下。
1、采用归类图表联动展示方式：
将相同主题内容的图表进行整合，统一展示，并提供图表的联动查询，用户点击不同维度，可得到不同筛选维度的组合的结果。达到联动效果。图表联动指的是在一个页面中，若存在多个图形，点击筛选其中任意一个图形的数据，其它在该页面的数据也进行同样的筛选变化，该部分内容可以是现有图表联动方式。
2、直观易用的交互体验：
图例开关、值域漫游、多图联动、悬浮气泡等功能极大提升交互体验并赋予用户对数据进行挖掘、整合的能力，该部分内容可以是现有交互方式。
3、高度个性化定制：
采用Echars图形化技术，Echars支持12类17种图表任意混搭展现，且拥有超过600项配置选项配合多级控制让它具备了高度个性化能力，该部分内容可以是现有个性化定制方式。
综上，本发明实施例提供的前端展示方案：开发建设大屏、各类图表等展现形式，并根据业务场景提供多种参数，最大化提高数据使用者的可用性。
下面举个例子说明本发明如何实施。
具体实施时，财务数据的分析流程可以为：1.使用CDH平台数据资源；2.在hive工具(hive数据仓库)中构建表结构；3.在调度工具中进行sqoop脚本跑批；4.在调度工具中进行计算跑批；5.查询hive中数据的落地情况。
例如：在实际生产中，我们接到了财务，需要对如下15项类别费用进行1～3级机构排名的需求：费用合计、管理人力费用、销售人力费用、支公司负责人人力成本、职场费用、车辆费用、IT费用、办公设备费用、品宣费用、销售及拓展费用、客服费用、日常费用、筹建期成本、专项费用、税费成本，即系统接收到了财务数据分析请求，该财务数据分析请求是机构费用排名的业务场景。首先需要确认数据来源，经核实，发现上述15类数据可以通过财务总账系统(图2中的EBS系统)获取到，因此关于该财务数据分析请求的分析步骤主要包括如下：
步骤1：在HIVE数据仓库中预先创建了与财务总账系统包含上述数据一样的表结构，例如源数据存储表，并预先创建计算结果表结构，例如分析结果存储表，可以利用图3中的元数据模型实现。
步骤2：将含有上述15类费用科目的数据通过Sqoop服务工具抽取至HIVE数据仓库中，具体地可以抽取到上述源数据存储表中。
步骤3：预先编写hive on spark的计算脚本(运行在hives服务、park服务上的脚本)，该脚本的作用是：将明细数据汇总，形成多度量与维度交叉的数据，例如机构，科目，主体，月份可以认为是维度，排名，费用占比，费用，同期比等可以认为是度量，然后按照机构层级分组排序。
步骤4：将上述编写好的计算脚本，部署在azkaban调度工具(azkaban不属于CDH大数据集群，是一个单独部署的开源调度工具)上，执行跑批，例如应用到保险行业，可以包括：寿险跑批、产险跑批等。具体地，azkaban协调整个项目的脚本跑批，生命周期存在于整个项目中，数据的清洗，计算脚本均由azkaban调度工具根据预配置文件(预先配置的财务数据分析请求对应的处理流程)调度配置触发。跑批可以认为是一系列任务，包括指标的计算，数据的汇总，指标的排名等，具体到本实施中，可以认为是先有分析结果后进行排名。
步骤5：查询落地结果数据。最终拿到的分析结果数据数据会满足业务的以下要求：包含XX费用/保费收入，占全国XX费用比，占本机构营业支出(费用)比，XX费用同比，XX费用排名同比等几个维度的数值。落地数据(分析结果数据)展示可参考下表1所示，当然该分析结果数据还可以以图表等方式呈现。
表1
具体实施时，上述XX可以代表费用合计、管理人力费用、销售人力费用、支公司负责人人力成本、职场费用、车辆费用、IT费用、办公设备费用、品宣费用、销售及拓展费用、客服费用、日常费用、筹建期成本、专项费用、税费成本等。
具体实施时，上述介绍的是涉及费用排名业务场景的财务数据分析请求处理。如果涉及机构供应商情况业务场景的财务数据分析请求流程请参见上述费用排名业务场景的财务数据分析请求处理流程，涉及机构供应商情况业务场景的财务数据分析请求得到的分析结果可以如下表2或类似图表所示。如果是涉及机构销售拓展费用分布业务场景的财务数据分析请求流程也请参见上述费用排名业务场景的财务数据分析请求处理流程，涉及机构销售拓展费用分布业务场景的财务数据分析请求得到的分析结果可以如下表3或类似图表所示。其他业务场景可以参照上述三种业务场景的财务数据分析请求处理流程。
表2
| 费用科目 | 金额(万元) |
| 咨询服务费 | 120 |
| 职工薪酬 | 240 |
| 公杂费 | 130 |
| 业务宣传费 | 230 |
| 防预费 | 260 |
表3
具体实施时，使用开源技术结合内部体系权限：完全适应应用企业的微信组织架构体系，权限高度可控，定制化程度非常高，并且内部使用了Echarts图形组合，支持9类14种图形的任意混搭。完全满足业务用户的定制服务，目前用户的定制服务均为场景的特殊选取与展示，如用户需限制报表可查看用户的权限，或页面的格式要求，页面的图形模板等内容如图上表1为用户二级机构下页面展现的数据内容。
具体实施时，采用系统的对接将避免人工线下收集收据，因此规避的收集困难的问题。采用hive on spark计算，将替换人工之前的计算结果方式，统一使用预先配置的计算脚本执行，只需完成一次逻辑编写，后续的全部工程可进行重复执行操作。避免了人工每月进行手动收集的困难。时效性的问题也是因为人工的计算效率低，出错率高。现在使用脚本计算，由原始的一周出数据，变成了10分钟内出结果。大大提升了时效性。
具体实施时，hive on spark计算的模式是：使用HIVE的元数据(表名称，列名称，数据存储地址)管理的能力，结合SPARK的计算能力(分布式内存计算，将数据在内存中计算，后进行落地存储至HIVE，如EBS系统数据的SQL脚本的跑批，或用户导入非结构化数据的处理(如处理不是很完善的文本，需要清洗后转变为结构化数据))。上述的操作过程都需要编写成脚本或者JAR包(一种JAVA(oracle公司旗下的编程语言)代码编译的脚本)，Azkaban则负责触发这些脚本的运行，并按照用户的意愿，进行脚本的先后执行。Azkaban是一种可视化的调度工具，负责配置和触发脚本的执行。
具体实施时，数据存储计算采用了CDH大数据集群的相关组件，并且初次创建了财务数据的统一进出口，可支持多系统的统一对接，提供多服务，包括HIVE，IMPALA(一种准实时数据查询工具)，SPARK，HDFS，HBASE(一种NOSQL(非标准数据查询语言)数据库)等重量级hadoop(大数据统称)生态圈组件的使用。平台直接对接关系型数据库，采用大数据计算后的结果数据与大数据平台形成一定隔离(是指的物理设备的分割，大数据平台与推送的数据不在同一设备环境中)，可在结果数据上再进行二次处理(指的是在落地数据上若还是不满足用户需要，或数据质量仍不满足，可在该基础上继续加工处理)，方便易用。采用了目前当下较为领先的数据存储计算技术，为将来的机器学习，以及人工智能等方向，提供了财务数据可用性的坚实基础。
另外，图2中Impala服务(Impala服务工具035)是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。在本发明实施例中，可以结合查询系统使用，提供方便快捷的查询。
综上，本发明实施例提供的方案属于财务数据处理的开发延伸，通过费用类业务场景：费用排名，机构供应商情况，机构销售拓展费用分布等，激活机构端财务数据，为机构端管理决策提供支持，同时减少机构财务数据分析工作压力，根据分析结果数据，通过推送标杆机构管理思路，例如将销售拓展费使用较低，且保费收入较高机构作为机构榜样，并向其它机构传播优秀成本控制与业务拓展经验，达到协同发展目标。此外底层架构使用了CDH(Cloudera's Distribution Including Apache Hadoop，基于Apache Hadoop技术的大数据平台)的相关组件，使用大数据仓库进行模型(指的是数据库层，数据库的表结构的建立，非算法的使用或创建)的设计及搭建，使用SPARK(大数据产品中的一种计算方式)进行分析计算，为后续更多财务场景的敏捷分析提供了良好的基础。本发明实施例构建的高扩展性和易调整性架构，灵活应对业务场景的变化，满足用户3-5年的应用。
基于同一发明构思，本发明实施例中还提供了一种财务数据分析方法，如下面的实施例所述。由于财务数据分析方法解决问题的原理与财务数据分析装置相似，因此财务数据分析方法的实施可以参见财务数据分析装置的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本发明实施例中财务数据分析方法的流程示意图，如图4所示，该方法包括如下步骤：
步骤101：azkaban调度工具接收用户的财务数据分析请求，根据所述财务数据分析请求以及预配置文件，对Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；
步骤102：Sqoop服务工具根据azkaban调度工具的调度，从所述财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；
步骤103：Spark服务工具和HIVE服务工具根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；
步骤104：前端展示单元展示所述分析结果数据。
在一个实施例中，上述财务数据分析方法还可以包括：
Spark服务工具对待分析财务数据进行清理加工处理，将经过清理加工处理后的待分析财务数据发送至HIVE数据仓库。
在一个实施例中，前端展示单元展示所述分析结果数据，包括：前端展示单元在根据所述用户的所属机构标识验证权限通过时，展示所述分析结果数据。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述财务数据分析方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述财务数据分析方法的计算机程序。
本发明实施例提供技术方案达到的有益技术效果是：实现了高效准确地对财务数据进行分析。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种财务数据分析系统，其特征在于，包括：azkaban调度工具、CDH大数据集群和前端展示单元；所述CDH大数据集群包括：Sqoop服务工具、HIVE数据仓库、Spark服务工具和HIVE服务工具；其中：
azkaban调度工具，用于接收用户的财务数据分析请求，根据所述财务数据分析请求以及预配置文件，对所述Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；
Sqoop服务工具，用于根据azkaban调度工具的调度，从所述财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；
Spark服务工具和HIVE服务工具，用于根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；
前端展示单元，用于展示所述分析结果数据。
2.如权利要求1所述的财务数据分析系统，其特征在于，所述Spark服务工具还用于对待分析财务数据进行清理加工处理，将经过清理加工处理后的待分析财务数据发送至HIVE数据仓库。
3.如权利要求1所述的财务数据分析系统，其特征在于，还包括：关系型数据库，用于存储所述分析结果数据。
4.如权利要求1所述的财务数据分析系统，其特征在于，所述HIVE数据仓库包括：
预先创建的源数据存储表，用于存储待分析财务数据；
预先创建的分析结果存储表，用于存储分析结果数据。
5.如权利要求1所述的财务数据分析系统，其特征在于，所述前端展示单元具体用于在根据所述用户的所属机构标识验证权限通过时，展示所述分析结果数据。
6.一种财务数据分析方法，其特征在于，包括：
azkaban调度工具接收用户的财务数据分析请求，根据所述财务数据分析请求以及预配置文件，对Sqoop服务工具、Spark服务工具和HIVE服务工具进行调度处理；
Sqoop服务工具根据azkaban调度工具的调度，从所述财务数据分析请求涉及的源数据系统中抽取待分析财务数据，将待分析财务数据发送到HIVE数据仓库；
Spark服务工具和HIVE服务工具根据azkaban调度工具的调度，从HIVE数据仓库中获取待分析财务数据，根据财务数据分析请求，对待分析财务数据进行跑批分析处理，得到分析结果数据，将分析结果数据发送至前端展示单元；
前端展示单元展示所述分析结果数据。
7.如权利要求6所述的财务数据分析方法，其特征在于，还包括：
Spark服务工具对待分析财务数据进行清理加工处理，将经过清理加工处理后的待分析财务数据发送至HIVE数据仓库。
8.如权利要求6所述的财务数据分析方法，其特征在于，前端展示单元展示所述分析结果数据，包括：前端展示单元在根据所述用户的所属机构标识验证权限通过时，展示所述分析结果数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求6至8任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174908.XA CN111382149A (zh) | 2020-03-13 | 2020-03-13 | 财务数据分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174908.XA CN111382149A (zh) | 2020-03-13 | 2020-03-13 | 财务数据分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111382149A true CN111382149A (zh) | 2020-07-07 |
Family
ID=71217331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010174908.XA Pending CN111382149A (zh) | 2020-03-13 | 2020-03-13 | 财务数据分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382149A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112417838A (zh) * | 2020-12-18 | 2021-02-26 | 北京易车互联信息技术有限公司 | 可配置的自动化报表系统 |
| CN113342521A (zh) * | 2021-05-31 | 2021-09-03 | 中国工商银行股份有限公司 | 基于灾难隔离的服务管理系统和方法 |
| CN114155074A (zh) * | 2021-11-19 | 2022-03-08 | 佛山汉腾生物科技有限公司 | 财务预算数据处理方法、系统、装置及存储介质 |
| CN114168577A (zh) * | 2021-12-03 | 2022-03-11 | 北京金堤科技有限公司 | 数据联动显示方法及其装置、计算机存储介质、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142622A1 (en) * | 2013-11-19 | 2015-05-21 | The Bank Of New York Mellon | System and method for intraday liquidity analytics |
| CN107704487A (zh) * | 2017-08-15 | 2018-02-16 | 北京新能源汽车股份有限公司 | 基于车联网的数据分析平台和方法 |
| CN107995293A (zh) * | 2017-12-04 | 2018-05-04 | 南京海道普数据技术有限公司 | 基于物联网信息的大数据一体机和应用系统 |
-
2020
- 2020-03-13 CN CN202010174908.XA patent/CN111382149A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142622A1 (en) * | 2013-11-19 | 2015-05-21 | The Bank Of New York Mellon | System and method for intraday liquidity analytics |
| CN107704487A (zh) * | 2017-08-15 | 2018-02-16 | 北京新能源汽车股份有限公司 | 基于车联网的数据分析平台和方法 |
| CN107995293A (zh) * | 2017-12-04 | 2018-05-04 | 南京海道普数据技术有限公司 | 基于物联网信息的大数据一体机和应用系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112417838A (zh) * | 2020-12-18 | 2021-02-26 | 北京易车互联信息技术有限公司 | 可配置的自动化报表系统 |
| CN113342521A (zh) * | 2021-05-31 | 2021-09-03 | 中国工商银行股份有限公司 | 基于灾难隔离的服务管理系统和方法 |
| CN114155074A (zh) * | 2021-11-19 | 2022-03-08 | 佛山汉腾生物科技有限公司 | 财务预算数据处理方法、系统、装置及存储介质 |
| CN114168577A (zh) * | 2021-12-03 | 2022-03-11 | 北京金堤科技有限公司 | 数据联动显示方法及其装置、计算机存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111382149A (zh) | 财务数据分析系统及方法 | |
| US9418127B2 (en) | Method and system for designing business domain model, data warehouse model and mapping therebetween synchronously | |
| CN110851667B (zh) | 一种多源头大量数据的整合分析方法及工具 | |
| CN106021389A (zh) | 基于模板自动生成新闻的系统和方法 | |
| DE202015009777U1 (de) | Transparente Entdeckung eines semistrukturierten Datenschemas | |
| CN110084536B (zh) | 工作日志处理方法及装置 | |
| CN110046337B (zh) | 一种财务数据采集方法及其系统 | |
| CN106776822A (zh) | 集团企业报表数据提取方法及系统 | |
| Priebe et al. | Business information modeling: A methodology for data-intensive projects, data science and big data governance | |
| CN110489441B (zh) | 一种基于大数据的即席查询方法及设备 | |
| US20190149344A1 (en) | Intelligent search system for service cost and method thereof | |
| CN110544035A (zh) | 一种内控检测方法、系统和计算机可读存储介质 | |
| CN106649232A (zh) | 一种将财务数据自动转化成非财务人员能看懂的数据方法 | |
| CN110390475A (zh) | 一种基于集团大数据的预警与决策支持方法 | |
| CN107945092A (zh) | 用于审计领域的大数据综合管理方法及系统 | |
| CN107168937A (zh) | 基于xbrl的财务云会计元素颗粒化及组装方法 | |
| CN115358204A (zh) | 一种报表生成方法、装置、电子设备及存储介质 | |
| Si | Construction and application of enterprise internal audit data analysis model based on decision tree algorithm | |
| CN115309749A (zh) | 一种用于科技服务的大数据实验系统 | |
| US8918410B2 (en) | System and method for fast identification of variable roles during initial data exploration | |
| CN111415138A (zh) | 一种创意处理方法和系统、客户端以及服务端 | |
| Wang | Digital Intelligent Accounting Information Processing System Based on Big Data | |
| US9239867B2 (en) | System and method for fast identification of variable roles during initial data exploration | |
| US20210209138A1 (en) | Dynamically Generating Strategic Planning Datasets Based on Collecting, Aggregating, and Filtering Distributed Data Collections | |
| CN111639910A (zh) | 一种台账生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |