CN104298724A - 一种大数据报表预存储计算方法 - Google Patents

一种大数据报表预存储计算方法 Download PDF

Info

Publication number
CN104298724A
CN104298724A CN201410498328.0A CN201410498328A CN104298724A CN 104298724 A CN104298724 A CN 104298724A CN 201410498328 A CN201410498328 A CN 201410498328A CN 104298724 A CN104298724 A CN 104298724A
Authority
CN
China
Prior art keywords
calculation
result
server
data
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410498328.0A
Other languages
English (en)
Inventor
杨育斌
柯宗贵
李佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blue Shield Information Security Technology Co Ltd
Bluedon Information Security Technologies Co Ltd
Original Assignee
Blue Shield Information Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Shield Information Security Technology Co Ltd filed Critical Blue Shield Information Security Technology Co Ltd
Priority to CN201410498328.0A priority Critical patent/CN104298724A/zh
Publication of CN104298724A publication Critical patent/CN104298724A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据报表预存储计算方法，该方法在于将涉及多表查询、复合查询、查询条件多变、数据量大的数据查询，利用多终端分散计算、结果缓存技术，提高报表计算速度，大幅提高跨表的数据查询速度，通过缓存，减少重复计算；通过横向扩展终端，能够线性扩展系统性能。

Description

一种大数据报表预存储计算方法
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据报表预存储计算方法。
背景技术
申请号为CN200710130000.3的发明专利申请公开了一种前置系统及一种数据集中处理系统，该前置系统，连接在一服务器和多个分散的客户端之间，所述客户端用于提供源数据以及接收数据处理结果，所述源数据包括A类数据和B类数据；所述服务器用于处理A类数据并返回A类数据处理结果，该前置系统包括：调度模块：用于将所述源数据中的B类数据发送至处理模块，将所述数据中的A类数据发送至服务器，以及，接收处理模块返回的B类数据处理结果和服务器返回的A类数据处理结果；处理模块：用于对所述B类数据进行解析处理，以及，向调度模块返回B类数据处理结果。本发明通过区分源数据的类别，并将不同类别的源数据分别集中在不同的模块进行处理，从而有效地提高了数据处理效率。
该技术主要面对服务器主机与各终端之间的数据交换及程序升级同步。本发明公开的技术，主要利用终端分散大数据报表的计算压力，缓存计算结果，两种技术存在很大差异。
发明内容
本发明的目的是为了克服现有技术的缺陷，提供一种大数据报表预存储计算方法，该方法通过分布式与结果缓存，将涉及到海量数据的报表计算过程，分散到各个子主机，利用计算过的结果，加快计算过程，达到减少中心主机负荷，提高报表的计算速度，具体流程如下：
s1.主服务器生成计算任务；
s2.根据计算任务的查询条件，查找缓存库中的计算结果；
s3.如果没有找到计算结果，则根据查询条件、数据库表名，将计算任务分割为若干个计算子任务，分配到各个终端；
s4.终端接收计算任务，首先查找是否有缓存结果，如有则直接发送给服务器，没有发现缓存，则开始独立计算结果，计算完毕后，发送给服务器；
s5.服务器接收终端发送过来的计算结果，整合；
s6.服务器将计算结果保存到数据库中；
s7.生成报表。
在本发明中，对多表的查询、计算，通过分割为子任务，实现分布式计算。将子任务分配给不同的机器，能够同时计算不同的数据。将不同的计算结果进行合并，形成最终结果。计算结果缓存在分布式终端及服务器，减少重复计算。
还能够通过定时计算查询频率高的数据，预先计算并保存，减少在线的并发计算工作量。
本发明技术方案带来的有益效果：
本发明技术方案通过分布式计算，能够大幅提高跨表的数据查询速度，通过缓存，减少重复计算。通过横向扩展终端，可以线性扩展系统性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的主要创新点在于将涉及多表查询、复合查询、查询条件多变、数据量大的数据查询，利用多终端分散计算、结果缓存技术，提高报表计算速度。
如图1所示为本发明的方法流程图，具体步骤如下：
1.主服务器生成计算任务；
2.根据计算任务的查询条件，查找缓存库中的计算结果；
3.如果没有找到计算结果，则根据查询条件、数据库表名，将计算任务分割为若干个计算子任务，分配到各个终端；
4.终端接收计算任务，首先查找是否有缓存结果，如有则直接发送给服务器，没有发现缓存，则开始独立计算结果，计算完毕后，发送给服务器；
5.服务器接收终端发送过来的计算结果，整合；
6.服务器将计算结果保存到数据库中；
7.生成报表。
本发明通过分布式与结果缓存，将涉及到海量数据的报表计算过程，分散到各个子主机，利用计算过的结果，加快计算过程，达到减少中心主机负荷，提高报表的计算速度。
例如，要查询138xxxxxx31号码第3季度支出分类详细报表，该报表涉及到跨24个子表，每种支出对应一种表，每种表跨月分割，合计8x3＝24.
1.首先查找服务器上是否有相同查询条件的结果；
2.因为有4台主机，因此将任务分割为4个子任务(3个终端，1台服务器)；
3.每个子任务计算6个子表的数据；
4.终端接收到任务后，先查找是否有缓存结果；
5.终端计算结果，缓存后上送服务器；
6.服务器接收子任务发送回来的计算结果，整合出报表，然后进行结果缓存；
7.对于常用的分表查询，通过定时的预先计算，将结果预先计算并保存，可减少并发的计算工作量。
以上对本发明实施例所提供的一种大数据报表预存储计算方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种大数据报表预存储计算方法，其特征在于，该方法通过分布式与结果缓存，将涉及到海量数据的报表计算过程，分散到各个子主机，利用计算过的结果，加快计算过程，达到减少中心主机负荷，提高报表的计算速度，具体流程如下：
s1.主服务器生成计算任务；
s2.根据计算任务的查询条件，查找缓存库中的计算结果；
s3.如果没有找到计算结果，则根据查询条件、数据库表名，将计算任务分割为若干个计算子任务，分配到各个终端；
s4.终端接收计算任务，首先查找是否有缓存结果，如有则直接发送给服务器，没有发现缓存，则开始独立计算结果，计算完毕后，发送给服务器；
s5.服务器接收终端发送过来的计算结果，整合；
s6.服务器将计算结果保存到数据库中；
s7.生成报表。
2.根据权利要求1所述的方法，其特征在于，对多表的查询、计算，通过分割为子任务，实现分布式计算。
3.根据权利要求1所述的方法，其特征在于，将子任务分配给不同的机器，能够同时计算不同的数据。
4.根据权利要求1或3所述的方法，其特征在于，将不同的计算结果进行合并，形成最终结果。
5.根据权利要求4所述的方法，其特征在于，计算结果缓存在分布式终端及服务器，减少重复计算。
6.根据权利要求1所述的方法，其特征在于，通过定时计算查询频率高的数据，预先计算并保存，减少在线的并发计算工作量。
CN201410498328.0A 2014-09-25 2014-09-25 一种大数据报表预存储计算方法 Pending CN104298724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410498328.0A CN104298724A (zh) 2014-09-25 2014-09-25 一种大数据报表预存储计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410498328.0A CN104298724A (zh) 2014-09-25 2014-09-25 一种大数据报表预存储计算方法

Publications (1)

Publication Number Publication Date
CN104298724A true CN104298724A (zh) 2015-01-21

Family

ID=52318449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410498328.0A Pending CN104298724A (zh) 2014-09-25 2014-09-25 一种大数据报表预存储计算方法

Country Status (1)

Country Link
CN (1) CN104298724A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038218A (zh) * 2017-03-17 2017-08-11 腾讯科技（深圳）有限公司 报表处理方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013140412A1 (en) * 2012-03-23 2013-09-26 Infosys Limited A method and system for distributed computing of jobs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013140412A1 (en) * 2012-03-23 2013-09-26 Infosys Limited A method and system for distributed computing of jobs

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘玄: ""分布式数据缓存机制的研究和设计"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
富宇 等: ""基于缓存及预取技术的大型数据库查询优化研究"", 《佳木斯大学学报(自然科学版)》 *
赵志勤 等: ""面向数据分析的Web页面静态化方法研究与实现"", 《实践与经验》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038218A (zh) * 2017-03-17 2017-08-11 腾讯科技（深圳）有限公司 报表处理方法和系统
CN107038218B (zh) * 2017-03-17 2023-11-17 腾讯科技（深圳）有限公司 报表处理方法和系统

Similar Documents

Publication Publication Date Title
CN103106249A (zh) 一种基于Cassandra的数据并行处理系统
CN113572479B (zh) 一种有限状态熵编码表的生成方法及系统
CN105426467A (zh) 一种用于Presto的SQL查询方法及系统
CN105072160A (zh) 一种流水号生成方法、装置及服务器
CN109150738A (zh) 工业互联网资源管理方法及系统、可读存储介质和终端
CN108052635A (zh) 一种异构数据源统一联合查询方法
CN103207919A (zh) 一种MongoDB集群快速查询计算的方法及装置
CN110659278A (zh) 基于cpu-gpu异构架构的图数据分布式处理系统
CN104504154A (zh) 一种数据聚合查询的方法及装置
CN105183901A (zh) 一种数据查询引擎读取数据库表的方法及装置
CN110825743A (zh) 一种图数据库的数据导入方法、装置、电子设备和介质
CN102982116A (zh) 基于云的多媒体转换方法及系统
CN113568938B (zh) 数据流处理方法、装置、电子设备及存储介质
CN105573843A (zh) 一种数据处理方法和系统
CN104298724A (zh) 一种大数据报表预存储计算方法
CN103412922A (zh) 一种数据查询处理方法
CN102722482A (zh) 数据分类系统及方法
CN111404776A (zh) 一种开放式硬件实现深度数据过滤分流的系统及方法
CN108319604B (zh) 一种hive中大小表关联的优化方法
CN111831425B (zh) 一种数据处理方法、装置及设备
CN115525659A (zh) 数据查询方法、装置、电子设备及存储介质
US20160154853A1 (en) Batching tuples
CN104778253A (zh) 一种提供数据的方法和装置
CN115617859A (zh) 基于知识图谱集群的数据查询方法和装置
JP2011216029A (ja) 分散メモリデータベースシステム、データベースサーバ、データ処理方法およびそのプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150121