CN112417838A - 可配置的自动化报表系统 - Google Patents
可配置的自动化报表系统 Download PDFInfo
- Publication number
- CN112417838A CN112417838A CN202011499949.2A CN202011499949A CN112417838A CN 112417838 A CN112417838 A CN 112417838A CN 202011499949 A CN202011499949 A CN 202011499949A CN 112417838 A CN112417838 A CN 112417838A
- Authority
- CN
- China
- Prior art keywords
- module
- report
- data
- configuration
- configuration module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013479 data entry Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000011161 development Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Abstract
本申请公开了可配置的自动化报表系统，包括数据库模块、任务配置模块、Azkaban模块和报表服务器，所述任务配置模块、Azkaban模块和报表服务器均分别与数据库模块连接，且所述Azkaban模块一侧连接Hadoop模块，所述Hadoop模块与数据库模块连接，所述报表服务器一侧分别连接有报表后台配置模块和报表前台展示模块，所述任务配置模块包括数据源配置模块、业务表数据拉取配置模块、任务代码配置模块和数据入表配置模块。本申请能够解决用户非常复杂的报表数据需求，可配置的自动化报表解决方案，可支多数据源、大数据量，支持复杂的数据计算需求，用户使用简单，除了支持复杂的报表需求，还可以应对大规模数据量统计，且开发使用成本较低。
Description
技术领域
本申请涉及一种报表系统，具体是可配置的自动化报表系统。
背景技术
将计算机技术与会计报表编制方法相结合设计出专门用于报表数据处理的软件，报表系统是用于统计报表制作及报表及数据填报的企业级报表分析软件，报表是企业管理的基本措施和途径，是企业的基本业务要求，也是实施BI战略的基础，报表可以帮助企业访问、格式化数据，并把数据信息以可靠和安全的方式呈现给使用者。
目前主流的报表生成系统包括Excel系统、神策系统和Cognos系统，但是Excel系统无法支持多数据源，也不能支持大规模数据；神策系统报表展现单一，不支持多表查询和复杂的数据查询，只能用于简单的数据展示；Cognos系统软件价格昂贵，并且使用较为复杂。因此，针对上述问题提出可配置的自动化报表系统。
发明内容
可配置的自动化报表系统，包括数据库模块、任务配置模块、Azkaban模块和报表服务器，所述任务配置模块、Azkaban模块和报表服务器均分别与数据库模块连接，且所述Azkaban模块一侧连接Hadoop模块，所述Hadoop模块与数据库模块连接，所述报表服务器一侧分别连接有报表后台配置模块和报表前台展示模块；
所述任务配置模块包括数据源配置模块、业务表数据拉取配置模块、任务代码配置模块和数据入表配置模块，所述报表后台配置模块包括报表配置模块、图配置模块、条件过滤模块和用户配置模块；
所述报表前台展示模块包括图表展示模块、筛选排序模块、表数据下载模块和表数据上传模块。
进一步地，所述数据库模块包括数据应用模块、数据存储模块和数据加密模块，所述数据加密模块一侧连接有数据源测试模块。
进一步地，所述数据源配置模块包括配制业务库地址、用户名和密码。
进一步地，所述Azkaban模块包括MySQL模块、AzkabanWebServer模块和AzkabanExecutorServer模块，所述AzkabanExecutorServer模块一侧连接有服务接口模块。
进一步地，所述Hadoop模块包括HDFS模块和MapReduce模块，所述MapReduce模块包括JobTrackers模块和TaskTrackers模块。
进一步地，所述数据入表配置模块包括报表模板选择模块和报表模板生成模块，所述报表模板选择模块一侧连接有用户自定义模板上传模块。
进一步地，所述数据应用模块采用集群式的数据库部署，所述数据存储模块采用分布式存储机制。
进一步地，所述报表配置模块包括配置表头、数据内容和时间区间。
进一步地，所述用户配置模块包括用户权限控制模块、目录结构配制模块和修改模块。
进一步地，所述表数据下载模块一侧分别连接有打印模块和格式转换模块，且所述格式转换模块与表数据上传模块连接。
本申请的有益效果是：本申请提供了可配置的自动化报表系统。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请一种实施例的整体结构示意图；
图2为本申请一种实施例的数据入表配置模块结构示意图；
图3为本申请一种实施例的用户配置模块结构示意图；
图4为本申请一种实施例的报表前台展示模块结构示意图。
图中：1、数据库模块，101、数据应用模块，102、数据存储模块，103、数据加密模块，104、数据源测试模块，2、任务配置模块，3、Azkaban模块，301、MySQL模块，302、AzkabanWebServer模块，303、AzkabanExecutorServer模块，304、服务接口模块，4、报表服务器，5、Hadoop模块，501、HDFS模块，502、MapReduce模块，6、报表后台配置模块，7、报表前台展示模块，8、数据源配置模块，9、业务表数据拉取配置模块，10、任务代码配置模块，11、数据入表配置模块，1101、报表模板选择模块，1102、报表模板生成模块，12、报表配置模块，13、图配置模块，14、条件过滤模块，15、用户配置模块，1501、用户权限控制模块，1502、目录结构配制模块，1503、修改模块，16、图表展示模块，17、筛选排序模块，18、表数据下载模块，1801、打印模块，1802、格式转换模块，19、表数据上传模块。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参阅图1-4所示，可配置的自动化报表系统，包括数据库模块1、任务配置模块2、Azkaban模块3和报表服务器4，所述任务配置模块2、Azkaban模块3和报表服务器4均分别与数据库模块1连接，Azkaban模块3可以调度任务配置，可以执行相关统计，并将数据入库，且所述Azkaban模块3一侧连接Hadoop模块5，Hadoop模块5用于执行数据计算，所述Hadoop模块5与数据库模块1连接，所述报表服务器4一侧分别连接有报表后台配置模块6和报表前台展示模块7，报表后台配置模块6可以根据需求，配置数据源、图、表和SQ，报表前台展示模块7可以在报表配置完成后，上线报表，就可以自动呈现报表内容L；
所述任务配置模块2包括数据源配置模块8、业务表数据拉取配置模块9、任务代码配置模块10和数据入表配置模块11，所述报表后台配置模块6包括报表配置模块12、图配置模块13、条件过滤模块14和用户配置模块15；
所述报表前台展示模块7包括图表展示模块16、筛选排序模块17、表数据下载模块18和表数据上传模块19。
所述数据库模块1包括数据应用模块101、数据存储模块102和数据加密模块103，数据加密模块103可以对数据库模块1内的数据进行加密处理，所述数据加密模块103一侧连接有数据源测试模块104，数据源测试模块104可以对数据进行安全性、有效性、格式及合并数据进行检测测试；所述数据源配置模块8包括配制业务库地址、用户名和密码；所述Azkaban模块3包括MySQL模块301、AzkabanWebServer模块302和AzkabanExecutorServer模块303，所述AzkabanExecutorServer模块303一侧连接有服务接口模块304；所述Hadoop模块5包括HDFS模块501和MapReduce模块502，所述MapReduce模块502包括JobTrackers模块和TaskTrackers模块；所述数据入表配置模块11包括报表模板选择模块1101和报表模板生成模块1102，所述报表模板选择模块1101一侧连接有用户自定义模板上传模块；所述数据应用模块101采用集群式的数据库部署，减少出现单点故障而导致的数据丢失率，从而保证了数据库这一层的数据安全性，所述数据存储模块102采用分布式存储机制，可以保证存储数据本身的安全性；所述报表配置模块12包括配置表头、数据内容和时间区间；所述用户配置模块15包括用户权限控制模块1501、目录结构配制模块1502和修改模块1503，修改模块1503可以对表格数据进行修改；所述表数据下载模块18一侧分别连接有打印模块1801和格式转换模块1802，且所述格式转换模块1802与表数据上传模块19连接。
本申请在使用时，任务配置模块2可以用于配置报表展示所需数据的数据源及SQL，Azkaban模块3用于调度任务配置，可以执行相关统计，并将数据入库，且重量级的任务调度系统，功能全面，支持工作流，无论任务如何复杂，都能够调度执行，Hadoop模块5是数据平台，用于数仓存储和数据计算，可支持大规模数据的实时、离线计算，可以完成各种复杂的计算场景，报表后台配置模块6可以根据需求，配置数据源、图、表和SQL，其中报表配置模块12可以配置表头、数据内容、显示区间或时间区间，图配置模块13配置折线图数据内容，显示字段，条件过滤模块14可对于展示字段进行过滤，过滤条件支持输入框和下拉框，下拉框数据可以动态从表中获取，用户配置模块15权限控制可以细化到具体的某一报表或目录，并且支持用户角色，报表前台展示模块7用于报表配置完成后，上线报表，就可以自动呈现报表内容无需开发，可根据报表配置，自动生成图表，功能强大，其中图表展示模块16可以支持多图单表的显示方式，筛选排序模块17可以支持报表数据的筛选、过滤和排序，表数据下载模块18、打印模块1801、格式转换模块1802和表数据上传模块19可以支持表数据下载、上传，提供excel格式的数据文件，可配置的自动化报表解决方案，可支多数据源、大数据量，支持复杂的数据计算需求，用户使用简单，开发成本低。
本申请的有益之处在于：
本申请能够解决用户非常复杂的报表数据需求，可配置的自动化报表解决方案，可支多数据源、大数据量，支持复杂的数据计算需求，用户使用简单，除了支持复杂的报表需求，还可以应对大规模数据量统计，且开发使用成本较低。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.可配置的自动化报表系统，其特征在于：包括数据库模块(1)、任务配置模块(2)、Azkaban模块(3)和报表服务器(4)，所述任务配置模块(2)、Azkaban模块(3)和报表服务器(4)均分别与数据库模块(1)连接，且所述Azkaban模块(3)一侧连接Hadoop模块(5)，所述Hadoop模块(5)与数据库模块(1)连接，所述报表服务器(4)一侧分别连接有报表后台配置模块(6)和报表前台展示模块(7)；
所述任务配置模块(2)包括数据源配置模块(8)、业务表数据拉取配置模块(9)、任务代码配置模块(10)和数据入表配置模块(11)，所述报表后台配置模块(6)包括报表配置模块(12)、图配置模块(13)、条件过滤模块(14)和用户配置模块(15)；
所述报表前台展示模块(7)包括图表展示模块(16)、筛选排序模块(17)、表数据下载模块(18)和表数据上传模块(19)。
2.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述数据库模块(1)包括数据应用模块(101)、数据存储模块(102)和数据加密模块(103)，所述数据加密模块(103)一侧连接有数据源测试模块(104)。
3.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述数据源配置模块(8)包括配制业务库地址、用户名和密码。
4.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述Azkaban模块(3)包括MySQL模块(301)、AzkabanWebServer模块(302)和AzkabanExecutorServer模块(303)，所述AzkabanExecutorServer模块(303)一侧连接有服务接口模块(304)。
5.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述Hadoop模块(5)包括HDFS模块(501)和MapReduce模块(502)，所述MapReduce模块(502)包括JobTrackers模块和TaskTrackers模块。
6.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述数据入表配置模块(11)包括报表模板选择模块(1101)和报表模板生成模块(1102)，所述报表模板选择模块(1101)一侧连接有用户自定义模板上传模块。
7.根据权利要求2所述的可配置的自动化报表系统，其特征在于：所述数据应用模块(101)采用集群式的数据库部署，所述数据存储模块(102)采用分布式存储机制。
8.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述报表配置模块(12)包括配置表头、数据内容和时间区间。
9.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述用户配置模块(15)包括用户权限控制模块(1501)、目录结构配制模块(1502)和修改模块(1503)。
10.根据权利要求1所述的可配置的自动化报表系统，其特征在于：所述表数据下载模块(18)一侧分别连接有打印模块(1801)和格式转换模块(1802)，且所述格式转换模块(1802)与表数据上传模块(19)连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011499949.2A CN112417838A (zh) | 2020-12-18 | 2020-12-18 | 可配置的自动化报表系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011499949.2A CN112417838A (zh) | 2020-12-18 | 2020-12-18 | 可配置的自动化报表系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112417838A true CN112417838A (zh) | 2021-02-26 |
Family
ID=74782408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011499949.2A Pending CN112417838A (zh) | 2020-12-18 | 2020-12-18 | 可配置的自动化报表系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112417838A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949269A (zh) * | 2021-04-06 | 2021-06-11 | 携程旅游信息技术（上海）有限公司 | 可视化数据分析报表的生成方法、系统、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704487A (zh) * | 2017-08-15 | 2018-02-16 | 北京新能源汽车股份有限公司 | 基于车联网的数据分析平台和方法 |
| CN110717319A (zh) * | 2019-09-24 | 2020-01-21 | 车智互联（北京）科技有限公司 | 一种自助报表生成方法、装置、计算设备和系统 |
| CN111382149A (zh) * | 2020-03-13 | 2020-07-07 | 阳光保险集团股份有限公司 | 财务数据分析系统及方法 |
-
2020
- 2020-12-18 CN CN202011499949.2A patent/CN112417838A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704487A (zh) * | 2017-08-15 | 2018-02-16 | 北京新能源汽车股份有限公司 | 基于车联网的数据分析平台和方法 |
| CN110717319A (zh) * | 2019-09-24 | 2020-01-21 | 车智互联（北京）科技有限公司 | 一种自助报表生成方法、装置、计算设备和系统 |
| CN111382149A (zh) * | 2020-03-13 | 2020-07-07 | 阳光保险集团股份有限公司 | 财务数据分析系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| ICODER_NEXT: "Hadoop 06——任务调度系统Azkaban、数据库迁移工具Sqoop的使用", pages 2, Retrieved from the Internet <URL:https://blog.csdn.net/qq_36079912/article/details/105262575?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170174285016800225561829%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=170174285016800225561829&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-4-105262575-null-null.142^v96^pc_search_result_base8&utm_term=%E8%A1%A8%E6%A0%BC%20%E6%8A%A5%E8%A1%A8%20azkaban%20Hadoop&spm=1018.2226.3001.4187> * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949269A (zh) * | 2021-04-06 | 2021-06-11 | 携程旅游信息技术（上海）有限公司 | 可视化数据分析报表的生成方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106067080B (zh) | 提供可配置工作流能力 | |
| CN104283967B (zh) | 一种基于物联网数据采集的第三方数据服务系统 | |
| CN109697153A (zh) | 监控方法、监控系统及计算机可读存储介质 | |
| US11467935B2 (en) | Stream-based composition and monitoring server system and method | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN105339941B (zh) | 针对etl映射设计使用投影器和选择器组件类型 | |
| US10521442B1 (en) | Hierarchical value-based governance architecture for enterprise data assets | |
| CN105653425A (zh) | 基于复杂事件处理引擎的监控系统 | |
| US10303690B1 (en) | Automated identification and classification of critical data elements | |
| CN102710793B (zh) | 一种基于云计算的网络印刷系统以及用于该系统中的数据存储方法 | |
| CN106354876A (zh) | 一种数据处理系统和方法 | |
| CN109993479A (zh) | 采购数据处理方法、装置、存储介质及服务器 | |
| CN103824150A (zh) | 一种食品安全监控系统 | |
| CN112801607A (zh) | 一种管理服务平台及构建方法 | |
| CN108595316A (zh) | 分布式应用的生命周期管理方法、管理器、设备和介质 | |
| CN109639791A (zh) | 一种容器环境下云工作流调度方法及系统 | |
| CN107844320A (zh) | 国网软件版本信息管理系统及实现方法 | |
| CN109902919A (zh) | 服务器资产管理方法、装置、设备及可读存储介质 | |
| CN108446326A (zh) | 一种基于容器的异构数据管理方法及系统 | |
| CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及系统 | |
| CN109800081A (zh) | 一种大数据任务的管理方法及相关设备 | |
| Bellavista et al. | Design guidelines for big data gathering in industry 4.0 environments | |
| CN112417838A (zh) | 可配置的自动化报表系统 | |
| CN116136801B (zh) | 云平台的数据处理方法、装置、电子设备及存储介质 | |
| CN110210890A (zh) | 一种基于Spring Cloud的活动分享系统及实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |