CN110597851A - 一种基于大数据的数据处理及报表展示方法 - Google Patents

一种基于大数据的数据处理及报表展示方法 Download PDF

Info

Publication number
CN110597851A
CN110597851A CN201910893784.8A CN201910893784A CN110597851A CN 110597851 A CN110597851 A CN 110597851A CN 201910893784 A CN201910893784 A CN 201910893784A CN 110597851 A CN110597851 A CN 110597851A
Authority
CN
China
Prior art keywords
report
query
logic
data
response time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910893784.8A
Other languages
English (en)
Other versions
CN110597851B (zh
Inventor
彭媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201910893784.8A priority Critical patent/CN110597851B/zh
Publication of CN110597851A publication Critical patent/CN110597851A/zh
Application granted granted Critical
Publication of CN110597851B publication Critical patent/CN110597851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24539—Query rewriting; Transformation using cached or materialised query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24549—Run-time optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于大数据的数据处理及报表展示方法，所述方法包括步骤1：将不同来源的数据存储到数据仓库，再在报表系统中对数据源和报表模板进行配置，并设置各模块报表模板的最长响应时间；步骤2：编写查询代码，在编码栏中按逻辑1进行所有统计指标的查询语句撰写，即通过报表系统接口提交到服务器，服务器直接将结果反馈到报表客户端；按逻辑2进行所有统计指标的查询语句编写，即通过报表系统接口提交到服务器，服务器将结果载入预设中间表中，从中间表中读取查询结果并展示；步骤3：第一次执行查询指令时，若响应时间小于模板的最长响应时间，则执行逻辑1并展示结果；若响应时间大于或等于模板的最长响应时间，则执行逻辑2并反馈。

Description

一种基于大数据的数据处理及报表展示方法
技术领域
本发明涉数据处理和数据可视化领域，具体的说，是一种基于大数据的数据处理及报表展示方法。
背景技术
大数据时代的到来，伴随着海量数据的处理需求，使得对数据处理和数据可视化的要求越来越高。
目前报表可视化的基本过程是：首先进行报表信息配置，包括通过接口定义的方式配置数据源，选择报表模板(报表模板是报表系统预设的)，通过系统标识将数据表指向报表模板实现数据表和报表模板的绑定等，再使用拖拽(目前字段拖拽方式报表系统已实现自动转换成查询语句)或者编写SQL语句查询，通过将查询提交到服务器，最终服务器将结果反馈到页面，数据库中数据表查询结果可以在选定报表模板上展示，由此实现报表可视化需求。
目前报表系统配置好数据源后，多为直接连接数据表，即将数据一个或多个数据表指向某个报表模板。一般报表系统只支持同一类型数据库的数据处理(报表系统支持的查询语言有限)，且数据源中各表的数据量总是不断增加，当数量到达千万甚至上亿级时，查询速度会越来越慢，导致报表界面响应时间会越来越长，甚至会出现无响应的情况，更无法完成多种数据来源查询需求的展示。
发明内容
本发明的目的在于提供一种基于大数据的数据处理及报表展示方法，用于解决现有技术中数据量大时查询速度会越来越慢，导致报表界面响应时间会越来越长，甚至会出现无响应的情况，更无法完成多种数据来源查询需求的展示的问题。
本发明通过下述技术方案解决上述问题：
一种基于大数据的数据处理及报表展示方法，所述方法包括如下步骤：
步骤1：将不同来源的数据存储到数据仓库，再在报表系统中对数据源和报表模板进行配置，并设置各模块报表模板的最长响应时间；
步骤2：编写查询代码，在编码栏中按逻辑1进行所有统计指标的查询语句撰写，即通过报表系统接口提交到服务器，服务器直接将结果反馈到报表客户端；按逻辑2进行所有统计指标的查询语句编写，即通过报表系统接口提交到服务器，服务器将结果载入预设中间表中，从中间表中读取查询结果并展示；
步骤3：第一次执行查询指令时，默认执行逻辑1，若响应时间大于或等于模板的最长响应时间，则执行逻辑2并反馈，系统定义该查询复执行时自动按照逻辑2执行反馈，复执行时系统发现该查询是自动逻辑2下，则直接从中间表中获取结果并展示；若响应时间小于模板的最长响应时间，则执行逻辑1并直接展示结果，系统定义该查询复执行时自动按照逻辑1执行反馈。
本方法将不同来源的数据存储到数据仓库中，实现数据的统一管理，避免了报表系统无法直接接入或处理多数据库来源的问题。再分别编写两种不同逻辑执行的查询语句，并设定如上查询执行逻辑，以最长响应时间为依据，由逻辑判断该执行哪一级过程来展示，通过这种方式将反馈和获取结果的逻辑进行分级，减轻复杂查询多次重执行的数据压力，解决复杂查询耗时长，报表页面响应慢或无响应的问题
优选地，当写入中间表完成后，从中间表读取结果，若用户还在该报表模板的页面，系统自动刷新该报表模块并展示；若用户已离开则写入中间表后退出。
优选地，所述步骤1中采用ETL工具将不同来源的数据存储到数据仓库。
优选地，当完成报表模板的选择和配置后，分析每个报表模板的统计指标对应涉及字段，根据维度关系将每个报表模板的指标转换成中间表的字段。
本发明与现有技术相比，具有以下优点及有益效果：
通过借助大数据的数据存储方式和ETL工具，前期以自动化的方式对源表数据进行抽取、转换、加载实现对源数据的统一管理，避免了因直接报表无法接入或处理不同来源的数据导致数据异常的问题。通过撰写逻辑1和逻辑2两部分代码，以最长响应时间为依据，将查询执行过程进行逻辑分级，将1级代码写入逻辑1，将2级代码写入逻辑2，设定了一种科学且高效的数据处理和报表展示的逻辑判断过程，基于此判断过程完成数据处理和实现报表的展示需求，解决了因数据量太大或查询太复杂导致报表展示页面响应慢或无响应的问题
附图说明
图1为本发明的查询指令提交后系统判断流程示意图；
图2为本发明的逻辑1和逻辑2的流程示意框图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1：
结合附图所示，一种基于大数据的数据处理及报表展示方法，首先使用ETL工具将数据量巨大且来源不同的源数据存储到数据仓库中，完成对不同数据源进行整合，对源数据进行统一管理；
然后，在报表系统中进行数据源和报表模板的配置，将通过接口将源数据连接到hive数据仓库，通过报表系统选择各模块报表模板，系统标识将各模块与涉及数据表建立指向关系，系统标识为1，即当执行逻辑1时报表展示基于直接连接的数据仓库中的表查询反馈；完成报表模板的选择和配置后，分析每个报表模板的统计指标对应涉及字段，根据维度关系将每个报表模板的指标转换成中间表的字段。
再通过系统标识将各模块与中间表建立指向关系，系统标识为2，即当执行逻辑2时报表展示基于预设的中间表获取结果，至此步骤二和步骤四设定了标识1和标识2两种报表获取结果方式；然后设置各模块报表模板的最长响应时间S，分别编写基于标识1和标识2的查询代码，使用shell脚本编写调用代码1和调用代码2的判断，分别赋予逻辑1的代码1执行权，逻辑2代码2的执行权，脚本逻辑如图1所示。
当首次提交查询时，默认按照逻辑1执行，此时系统判断报表页面响应时间是否达到最长响应时间S，若未达到，则执行逻辑1展示结果，查询执行完成后，系统设定该查询为逻辑1，系统标识为1，下次执行时按照逻辑1执行；若达到或超过响应时间，系统会切换为逻辑2执行查询，报表页面会提示“稍等”，逻辑2执行完成后，系统设定该查询为逻辑2，系统标识为2，下次执行时按照逻辑2执行。逻辑2执行完毕后，若用户还在该报表模板的页面，系统自动刷新该模块报表，若用户已离开则写入中间表后执行退出。
最后，编写检查脚本，定期统计查询的使用频率，统计区间等，定期对中间库涉及的中间表进行数据清理，只保留最新的指标统计结果，完成中间库的减负，保证获取结果的高效和报表展示的快速响应。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (4)

1.一种基于大数据的数据处理及报表展示方法，其特征在于，所述方法包括如下步骤：
步骤1：将不同来源的数据存储到数据仓库，再在报表系统中对数据源和报表模板进行配置，并设置各模块报表模板的最长响应时间；
步骤2：编写查询代码，在编码栏中按逻辑1进行所有统计指标的查询语句撰写，即通过报表系统接口提交到服务器，服务器直接将结果反馈到报表客户端；按逻辑2进行所有统计指标的查询语句编写，即通过报表系统接口提交到服务器，服务器将结果载入预设中间表中，从中间表中读取查询结果并展示；
步骤3：第一次执行查询指令时，默认执行逻辑1，若响应时间大于或等于模板的最长响应时间，则执行逻辑2并反馈，系统定义该查询复执行时自动按照逻辑2执行反馈，复执行时系统发现该查询是自动逻辑2下，则直接从中间表中获取结果并展示；若响应时间小于模板的最长响应时间，则执行逻辑1并直接展示结果，系统定义该查询复执行时自动按照逻辑1执行反馈。
2.根据权利要求1所述的基于大数据的数据处理及报表展示方法，其特征在于，当写入中间表完成后，从中间表读取结果，若用户还在该报表模板的页面，系统自动刷新该报表模块并展示；若用户已离开则写入中间表后退出。
3.根据权利要求1所述的基于大数据的数据处理及报表展示方法，其特征在于，所述步骤1中采用ETL工具将不同来源的数据存储到数据仓库。
4.根据权利要求1所述的基于大数据的数据处理及报表展示方法，其特征在于，当完成报表模板的选择和配置后，分析每个报表模板的统计指标对应涉及字段，根据维度关系将每个报表模板的指标转换成中间表的字段。
CN201910893784.8A 2019-09-20 2019-09-20 一种基于大数据的数据处理及报表展示方法 Active CN110597851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910893784.8A CN110597851B (zh) 2019-09-20 2019-09-20 一种基于大数据的数据处理及报表展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893784.8A CN110597851B (zh) 2019-09-20 2019-09-20 一种基于大数据的数据处理及报表展示方法

Publications (2)

Publication Number Publication Date
CN110597851A true CN110597851A (zh) 2019-12-20
CN110597851B CN110597851B (zh) 2022-06-07

Family

ID=68861776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893784.8A Active CN110597851B (zh) 2019-09-20 2019-09-20 一种基于大数据的数据处理及报表展示方法

Country Status (1)

Country Link
CN (1) CN110597851B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444696A (zh) * 2020-03-26 2020-07-24 中国银行股份有限公司 报表展示与编辑方法及装置
CN112287647A (zh) * 2020-10-28 2021-01-29 中国农业银行股份有限公司 一种报表处理方法及系统
CN112580319A (zh) * 2020-12-14 2021-03-30 京东数字科技控股股份有限公司 数据处理的方法、装置、设备及计算机可读存储介质
CN115033575A (zh) * 2022-06-29 2022-09-09 政采云有限公司 一种数据查询方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038505A (ja) * 2002-07-02 2004-02-05 Seiko Epson Corp 帳票印刷方法、帳票印刷装置、帳票印刷システム、帳票印刷プログラム、帳票印刷プログラムを記録した記録媒体、コンピュータ
US20090144314A1 (en) * 2007-11-29 2009-06-04 Sap Ag System and method for dynamically configuring a multi-model node table
CN101542478A (zh) * 2006-06-26 2009-09-23 尼尔森（美国）有限公司 提高数据仓库性能的方法和装置
CN101777079A (zh) * 2010-03-11 2010-07-14 浙江鸿程计算机系统有限公司 一种快速生成电子报表的系统构架及其实现方法
CN102479223A (zh) * 2010-11-25 2012-05-30 中国移动通信集团浙江有限公司 数据查询方法及系统
CN105138501A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种可配置的动态报表生成方法及系统
CN107273413A (zh) * 2017-05-04 2017-10-20 北京小度信息科技有限公司 中间表的创建方法、查询方法及相关装置
CN109033173A (zh) * 2018-06-21 2018-12-18 深圳市彬讯科技有限公司 一种用于生成多维指标数据的数据处理方法及装置
CN109213829A (zh) * 2017-06-30 2019-01-15 北京国双科技有限公司 数据查询方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038505A (ja) * 2002-07-02 2004-02-05 Seiko Epson Corp 帳票印刷方法、帳票印刷装置、帳票印刷システム、帳票印刷プログラム、帳票印刷プログラムを記録した記録媒体、コンピュータ
CN101542478A (zh) * 2006-06-26 2009-09-23 尼尔森（美国）有限公司 提高数据仓库性能的方法和装置
US20090144314A1 (en) * 2007-11-29 2009-06-04 Sap Ag System and method for dynamically configuring a multi-model node table
CN101777079A (zh) * 2010-03-11 2010-07-14 浙江鸿程计算机系统有限公司 一种快速生成电子报表的系统构架及其实现方法
CN102479223A (zh) * 2010-11-25 2012-05-30 中国移动通信集团浙江有限公司 数据查询方法及系统
CN105138501A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种可配置的动态报表生成方法及系统
CN107273413A (zh) * 2017-05-04 2017-10-20 北京小度信息科技有限公司 中间表的创建方法、查询方法及相关装置
CN109213829A (zh) * 2017-06-30 2019-01-15 北京国双科技有限公司 数据查询方法及装置
CN109033173A (zh) * 2018-06-21 2018-12-18 深圳市彬讯科技有限公司 一种用于生成多维指标数据的数据处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMUDA JAMES ABU 等: "A Markov model of CCN pending interest table occupancy with interest timeout and retries", 《2016 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 *
黄强: "SOLIDWORKS Inspection报表模板创建的方法与技巧", 《黄强》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444696A (zh) * 2020-03-26 2020-07-24 中国银行股份有限公司 报表展示与编辑方法及装置
CN111444696B (zh) * 2020-03-26 2024-04-19 中国银行股份有限公司 报表展示与编辑方法及装置
CN112287647A (zh) * 2020-10-28 2021-01-29 中国农业银行股份有限公司 一种报表处理方法及系统
CN112580319A (zh) * 2020-12-14 2021-03-30 京东数字科技控股股份有限公司 数据处理的方法、装置、设备及计算机可读存储介质
CN115033575A (zh) * 2022-06-29 2022-09-09 政采云有限公司 一种数据查询方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110597851B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110597851B (zh) 一种基于大数据的数据处理及报表展示方法
EP2605158A1 (en) Mixed join of row and column database tables in native orientation
CN105677812A (zh) 一种数据查询方法及数据查询装置
CN103699620A (zh) 面向对象中利用orm框架实现数据库操作的方法及系统
CN109947804B (zh) 数据集合查询的优化方法、装置、服务器和存储介质
CN106156047B (zh) 一种快照信息处理方法及装置
CN105653647B (zh) Sql语句的信息采集方法及系统
WO2022021710A1 (zh) 数据转储方法、装置、设备及存储介质
CN102426582A (zh) 数据操作管理装置和数据操作管理方法
CN111914013B (zh) 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质
CN111291025B (zh) 逻辑模型支持多物理模型转换的方法及存储设备
CN108280082A (zh) 一种统计数据的即席查询方法及系统
CN107145576B (zh) 一种支持可视化和流程化的大数据etl调度系统
CN103810219A (zh) 一种基于行存储数据库的数据处理方法及装置
CN109471893B (zh) 网络数据的查询方法、设备及计算机可读存储介质
US11442930B2 (en) Method, apparatus, device and storage medium for data aggregation
US20090313212A1 (en) Relational database with compound identifier
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN111159991B (zh) 一种报表建模设计装置及方法
JP2017120611A (ja) 商用インタープリタを用いた、スクリプトに基づくデータ処理システム
Dwivedi et al. Performance analysis of column oriented database vs row oriented database
CN117216092A (zh) 一种优化tdsql脚本的方法、装置、设备及可读存储介质
CN111125045A (zh) 一种轻量级etl处理平台
CN109783476A (zh) 基于数据库的多维度数据的矩阵分析方法和系统
CN114840551A (zh) 数据库表的处理方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200110

Address after: 518000 unit 01, 23 / F, Changhong science and technology building, No. 12, South Science and technology zone, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN YIJIAEN TECHNOLOGY CO., LTD.

Address before: 621000 Mianyang province high tech Zone, East Hing Road, No. 35 cotton

Applicant before: Sichuan Changhong Electrical Appliance Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220622

Address after: 621000, No. 35 Mian Xing Dong Road, hi tech Zone, Sichuan, Mianyang

Patentee after: SICHUAN CHANGHONG ELECTRIC Co.,Ltd.

Address before: 518000 unit 01, 23rd floor, Changhong science and technology building, Keji South 12 road, high tech Zone, Yuehai street, Nanshan District, Shenzhen, Guangdong

Patentee before: SHENZHEN YIJIAEN TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right