CN104636372B - 基于表格实现大数据量处理的方法及装置 - Google Patents
基于表格实现大数据量处理的方法及装置 Download PDFInfo
- Publication number
- CN104636372B CN104636372B CN201310557992.3A CN201310557992A CN104636372B CN 104636372 B CN104636372 B CN 104636372B CN 201310557992 A CN201310557992 A CN 201310557992A CN 104636372 B CN104636372 B CN 104636372B
- Authority
- CN
- China
- Prior art keywords
- big data
- data quantity
- memory database
- module
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Abstract
本发明公开了一种基于表格实现大数据量处理的方法及装置,所述方法包括:部署经二次开发的可实现复杂排版功能的表格;建立表格的显示逻辑与内存数据库之间的关联关系;识别对表格的至少一个大数据量操作命令,并依据所述大数据量操作命令从内存数据库中获取大数据量并通过所述表格呈现。本发明提供的基于表格实现大数据量处理的方法及装置通过对表格进行可实现复杂排版功能的二次开发,以及将所述经二次开发的表格与内存数据库予以绑定,在用户需要通过表格对大数据量进行查阅、分析等操作时,该表格可同时支持复杂排版、全局实时排序、大数据量呈现的功能。
Description
技术领域
本发明涉及计算机数据处理技术领域,具体而言,涉及一种基于表格实现大数据量处理的方法及装置。
背景技术
已知地,电信网络管理系统通常需要实现对大数据量的处理,所谓大数据量,即展现的数据量远远超过内存能支持的容量,以网管系统中报表管理为例说明,报表管理为系统管理员提供了对网管系统重要信息的统一报表输出功能。利用报表管理功能,系统管理员能定制报表任务、输出报表数据,从而方便监控网管系统的运行。为了更好的利用报表数据分析系统的运行情况,常常需要快速地统计大量性能、告警、配置等数据,以便维护人员快速对系统运行情况作出评估,目前一般采用报表管理系统输出相应表格的形式进行此类数据的处理。
但是,现有技术提供的表格功能都比较简单,如果要在该类表格的基础上实现复杂的排版功能则需要进行复杂的二次开发,但经二次开发的表格虽然能实现复杂的排版功能,但另一方面又难以支持大数据量的呈现。其中,对于所谓的复杂排版指的是如全局实时排序、行号显示、列冻结、列标题自动换行显示、空白列过滤等排版功能。另外,对于支持大数据量呈现的表格,又难以满足其能够实现实时排序等复杂排版功能的要求。
因此,如何提供一种基于表格实现的既能支持复杂排版同时又能支持大数据量呈现的方法便成了本领域技术人员亟需解决的一个技术问题。
发明内容
为了克服现有的表格不能同时支持复杂排版功能、全局实时排序、大数据量呈现的问题,本发明实施例的目的在于提供一种基于表格实现大数据量处理的方法及装置。
为了达到本发明的目的,本发明采用以下技术方案实现:
一种基于表格实现大数据量处理的方法,其包括:
部署经二次开发的可实现复杂排版功能的表格;
建立表格的显示逻辑与内存数据库之间的关联关系;
识别对表格的至少一个大数据量操作命令,并依据所述大数据量操作命令从内存数据库中获取大数据量并通过所述表格呈现。
优选地,建立表格的显示逻辑与内存数据库之间的关联关系之后,依据表格的行号对内存数据库中的数据建立索引,在需要显示数据时,依据表格的行号到内存数据库中读取相应的数据。
优选地,所述经二次开发的表格的列头排序功能被配置为与内存数据库的用于对结果集进行排序的Order by操作进行绑定。
优选地,在依据大数据量操作命令从内存数据库中获取大数据量之后,先将所述大数据量缓存至中间文件,然后再依据所述中间文件在表格上呈现大数据量。
优选地,所述基于表格实现大数据量处理的方法还包括:
识别至少一个功能定制命令,并依据所述功能定制命令对表格支持的复杂排版功能进行相应的添加或删除操作。
一种基于表格实现大数据量处理的装置,其包括:
部署模块,用于部署经二次开发的可实现复杂排版功能的表格;
关联模块,用于建立表格的显示逻辑与内存数据库之间的关联关系;
识别模块,用于识别对表格的至少一个大数据量操作命令;
获取模块,用于依据所述大数据量操作命令从内存数据库中获取大数据量;
呈现模块,用于通过所述表格将从内存数据库中获取的大数据量予以呈现。
优选地,所述关联模块还用于依据表格的行号对内存数据库中的数据建立索引,以便在需要显示数据时,所述获取模块依据表格的行号到内存数据库中读取相应的数据。
优选地,所述经二次开发的表格的列头排序功能被配置为与内存数据库的用于对结果集进行排序的Order by操作进行绑定。
优选地,所述获取模块在依据大数据量操作命令从内存数据库中获取大数据量之后,将所述大数据量缓存至中间文件,所述呈现模块依据所述中间文件在表格上呈现大数据量。
优选地,所述基于表格实现大数据量处理的装置还包括:
定制模块,用于识别至少一个功能定制命令,并依据所述功能定制命令对表格支持的复杂排版功能进行相应的添加或删除操作。
通过上述本发明的技术方案可以看出,本发明提供的基于表格实现大数据量处理的方法及装置通过对表格进行可实现复杂排版功能的二次开发,以及将所述经二次开发的表格与内存数据库予以绑定,在用户需要通过表格对大数据量进行查阅、分析等操作时,该表格可同时支持复杂排版、全局实时排序、大数据量呈现的功能。
附图说明
图1是本发明实施例提供的基于表格实现大数据量处理的方法流程示意图;
图2是本发明另一实施例提供的基于表格实现大数据量处理的方法流程示意图;
图3是本发明实施例提供的基于表格实现大数据量处理的装置结构示意图;
图4是本发明另一实施例提供的基于表格实现大数据量处理的装置结构示意图。
本发明目的的实现、功能特点及优异效果,下面将结合具体实施例以及附图做进一步的说明。
具体实施方式
下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述,以使本领域的技术人员可以更好的理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
如图1所示,本发明实施例提供的一种基于表格实现大数据量处理的方法,其包括如下步骤:
S10、部署经二次开发的可实现复杂排版功能的表格;
S20、建立表格的显示逻辑与内存数据库之间的关联关系;
S30、识别对表格的至少一个大数据量操作命令,并依据所述大数据量操作命令从内存数据库中获取大数据量并通过所述表格呈现。
具体地,在本发明实施例中,所述复杂排版功能包括但不限于全局实时排序、行号显示、列冻结、列标题自动换行显示、空白列过滤等排版功能。在所述步骤S10中,对于所述表格的预先进行的二次开发可依照本领域技术人员已掌握的现有技术进行,本文对此不做详述。
本实施例中,所述经二次开发的表格的列头排序功能被配置为与内存数据库的用于对结果集进行排序的Order by操作进行绑定,以此可以实现点击表头以进行全局排序的功能。
本实施例中,对于所述步骤S20,建立表格的显示逻辑与内存数据库之间的关联关系之后,依据表格的行号对内存数据库中的数据建立索引,在需要显示数据时,依据表格的行号到内存数据库中读取相应的数据。
本实施例中,对于所述步骤S30,所述被识别的所述大数据量操作命令为用户输入的针对表格的各种复杂排版操作命令。在依据大数据量操作命令从内存数据库中获取大数据量之后,先将所述大数据量缓存至中间文件,然后再依据所述中间文件在表格上呈现大数据量,这样在通过表格呈现大数据量并对大数据量进行复杂排版功能的时候,能够降低内存的占用,实现大数据量呈现与操作。
在本发明的另一实施例中,参考图2,所述基于表格实现大数据量处理的方法还包括:
S40、识别至少一个功能定制命令,并依据所述功能定制命令对表格支持的复杂排版功能进行相应的添加或删除操作。
通过识别至少一个用户输入的功能定制命令,例如所述功能定制命令通过用户点击鼠标右键并选择相应的定制菜单输入,则系统可以添加或删除列冻结、列宽、表头顺序、列隐藏等复杂排版功能。在其他实施例中,所述列冻结、列宽、表头顺序等功能的排版也可以通过用户直接拖拽表格的表头进行操作,本文对此不做细述。
本发明实施例提供的基于表格实现大数据量处理的方法通过对表格进行二次开发,实现列冻结;对表头进行二次开发,支持列标题换行及排序箭头显示;将表格的显示逻辑与内存数据库进行绑定,在需要显示具体的数据时再根据行号到内存数据库中读取这些记录;将表格列头排序的功能与内存数据库的Order by操作进行绑定,以实现点击表头全局排序的功能;将内存数据库数据缓存到文件中,降低内存的占用,实现大数据量呈现与操作。由此本发明实施例提供的该表格可同时支持复杂排版、全局实时排序、大数据量呈现的功能。
如图3所示,本发明实施例提供的一种基于表格实现大数据量处理的装置,其包括:
部署模块10,用于部署经二次开发的可实现复杂排版功能的表格;
关联模块20,用于建立表格的显示逻辑与内存数据库40之间的关联关系;
识别模块30,用于识别对表格的至少一个大数据量操作命令300;
获取模块50,用于依据所述大数据量操作命令300从内存数据库40中获取大数据量;
呈现模块60,用于通过所述表格将从内存数据库40中获取的大数据量予以呈现。
相应地,在本发明实施例中,所述复杂排版功能包括但不限于全局实时排序、行号显示、列冻结、列标题自动换行显示、空白列过滤等排版功能。对于所述表格的预先进行的二次开发可依照本领域技术人员已掌握的现有技术进行。
在本发明实施例中,所述关联模块20还用于依据表格的行号对内存数据库40中的数据建立索引,以便在需要显示数据时,所述获取模块50依据表格的行号到内存数据库40中读取相应的数据。
所述识别模块30识别的所述大数据量操作命令300为用户输入的针对表格的各种复杂排版操作命令。
在本发明实施例中,所述经二次开发的表格的列头排序功能被配置为与内存数据库40的用于对结果集进行排序的Order by操作进行绑定,以此可以实现点击表头以进行全局排序的功能。
在本发明实施例中,所述获取模块50在依据大数据量操作命令从内存数据库40中获取大数据量之后,将所述大数据量缓存至中间文件(图中未示出),所述呈现模块60依据所述中间文件在表格上呈现大数据量。这样在通过表格呈现大数据量并对大数据量进行复杂排版功能的时候,能够降低内存的占用,实现大数据量呈现与操作。
如图4所示,在本发明的另一实施例中,所述基于表格实现大数据量处理的装置还包括:
定制模块70,用于识别至少一个功能定制命令700,并依据所述功能定制命令700对表格支持的复杂排版功能进行相应的添加或删除操作。
所述定制模块70通过识别至少一个用户输入的功能定制命令700,例如所述功能定制命令700通过用户点击鼠标右键并选择相应的定制菜单输入,则系统可以添加或删除列冻结、列宽、表头顺序、列隐藏等复杂排版功能。在其他实施例中,所述列冻结、列宽、表头顺序等功能的排版也可以通过用户直接拖拽表格的表头进行操作,本文对此不做细述。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于表格实现大数据量处理的方法,其特征在于,包括:
部署经二次开发的可实现复杂排版功能的表格;
建立表格的显示逻辑与内存数据库之间的关联关系;
识别对表格的至少一个大数据量操作命令,并依据所述大数据量操作命令从内存数据库中获取大数据量并通过所述表格呈现。
2.如权利要求1所述的基于表格实现大数据量处理的方法,其特征在于,建立表格的显示逻辑与内存数据库之间的关联关系之后,依据表格的行号对内存数据库中的数据建立索引,在需要显示数据时,依据表格的行号到内存数据库中读取相应的数据。
3.如权利要求1所述的基于表格实现大数据量处理的方法,其特征在于,所述经二次开发的表格的列头排序功能被配置为与内存数据库的用于对结果集进行排序的Order by操作进行绑定。
4.如权利要求1所述的基于表格实现大数据量处理的方法,其特征在于,在依据大数据量操作命令从内存数据库中获取大数据量之后,先将所述大数据量缓存至中间文件,然后再依据所述中间文件在表格上呈现大数据量。
5.如权利要求1所述的基于表格实现大数据量处理的方法,其特征在于,还包括:
识别至少一个功能定制命令,并依据所述功能定制命令对表格支持的复杂排版功能进行相应的添加或删除操作。
6.一种基于表格实现大数据量处理的装置,其特征在于,包括:
部署模块,用于部署经二次开发的可实现复杂排版功能的表格;
关联模块,用于建立表格的显示逻辑与内存数据库之间的关联关系;
识别模块,用于识别对表格的至少一个大数据量操作命令;
获取模块,用于依据所述大数据量操作命令从内存数据库中获取大数据量;
呈现模块,用于通过所述表格将从内存数据库中获取的大数据量予以呈现。
7.如权利要求6所述的基于表格实现大数据量处理的装置,其特征在于,所述关联模块还用于依据表格的行号对内存数据库中的数据建立索引,以便在需要显示数据时,所述获取模块依据表格的行号到内存数据库中读取相应的数据。
8.如权利要求6所述的基于表格实现大数据量处理的装置,其特征在于,所述经二次开发的表格的列头排序功能被配置为与内存数据库的用于对结果集进行排序的Order by操作进行绑定。
9.如权利要求6所述的基于表格实现大数据量处理的装置,其特征在于,所述获取模块在依据大数据量操作命令从内存数据库中获取大数据量之后,将所述大数据量缓存至中间文件,所述呈现模块依据所述中间文件在表格上呈现大数据量。
10.如权利要求6所述的基于表格实现大数据量处理的装置,其特征在于,还包括:
定制模块,用于识别至少一个功能定制命令,并依据所述功能定制命令对表格支持的复杂排版功能进行相应的添加或删除操作。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310557992.3A CN104636372B (zh) | 2013-11-11 | 2013-11-11 | 基于表格实现大数据量处理的方法及装置 |
PCT/CN2014/079793 WO2014183723A1 (zh) | 2013-11-11 | 2014-06-12 | 基于表格实现大数据量处理的方法及装置 |
JP2016528157A JP6530390B2 (ja) | 2013-11-11 | 2014-06-12 | テーブルによるビッグデータ量処理方法および装置 |
KR1020167010536A KR101777073B1 (ko) | 2013-11-11 | 2014-06-12 | 테이블에 기반하여 대용량 데이터 처리를 구현하는 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310557992.3A CN104636372B (zh) | 2013-11-11 | 2013-11-11 | 基于表格实现大数据量处理的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104636372A CN104636372A (zh) | 2015-05-20 |
CN104636372B true CN104636372B (zh) | 2019-04-26 |
Family
ID=51897782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310557992.3A Active CN104636372B (zh) | 2013-11-11 | 2013-11-11 | 基于表格实现大数据量处理的方法及装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6530390B2 (zh) |
KR (1) | KR101777073B1 (zh) |
CN (1) | CN104636372B (zh) |
WO (1) | WO2014183723A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107346312A (zh) * | 2016-05-05 | 2017-11-14 | 中国移动通信集团内蒙古有限公司 | 一种大数据处理方法及系统 |
CN113837593B (zh) * | 2021-09-18 | 2023-08-15 | 北京百度网讯科技有限公司 | 虚拟数据分配方法、装置、设备以及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305616A (ja) * | 1996-05-10 | 1997-11-28 | Hitachi Ltd | データ分析方法 |
CN101727319A (zh) * | 2009-12-09 | 2010-06-09 | 上海宝信软件股份有限公司 | 可翻页的面向服务的数据表格控件及其实现方法 |
CN101876971A (zh) * | 2010-06-22 | 2010-11-03 | 北京伟库电子商务科技有限公司 | 报表展现方法和装置 |
CN102769535A (zh) * | 2011-05-06 | 2012-11-07 | 中兴通讯股份有限公司 | 一种呈现告警数据统计结果的方法及系统 |
JP2012238207A (ja) * | 2011-05-12 | 2012-12-06 | Hitachi Ltd | データ分析システム及びデータ分析方法 |
CN102982084A (zh) * | 2011-11-01 | 2013-03-20 | 微软公司 | 多维数据报告 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003016108A (ja) * | 2001-06-29 | 2003-01-17 | Casio Comput Co Ltd | データ処理装置、および、プログラム |
JP2003238207A (ja) * | 2002-02-20 | 2003-08-27 | Matsushita Electric Works Ltd | 防曇物品とその製造方法 |
US7606792B2 (en) * | 2004-03-19 | 2009-10-20 | Microsoft Corporation | System and method for efficient evaluation of a query that invokes a table valued function |
US20060047696A1 (en) * | 2004-08-24 | 2006-03-02 | Microsoft Corporation | Partially materialized views |
JP4313845B2 (ja) * | 2004-09-27 | 2009-08-12 | 修平 西山 | マルチインスタンス・インメモリ・データベース |
US20080168077A1 (en) * | 2007-01-10 | 2008-07-10 | Eric Lawrence Barsness | Pre-loading of an in memory database |
CN101526940B (zh) * | 2008-03-19 | 2011-03-16 | 中兴通讯股份有限公司 | 一种应用系统物理数据库与内存数据库的数据同步方法 |
JP4939568B2 (ja) * | 2009-04-28 | 2012-05-30 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データベース間でデータを同期するための方法、並びにそのコンピュータ・システム及びコンピュータ・プログラム |
JP5598279B2 (ja) * | 2010-11-16 | 2014-10-01 | 日本電気株式会社 | 分散メモリデータベースシステム、フロントデータベースサーバ、データ処理方法およびプログラム |
CN102411632B (zh) * | 2011-12-27 | 2014-08-20 | 北京人大金仓信息技术股份有限公司 | 基于链表的内存数据库页式存储方法 |
JP5527340B2 (ja) * | 2012-02-27 | 2014-06-18 | 日本電気株式会社 | ベクトル処理装置およびベクトル処理方法 |
-
2013
- 2013-11-11 CN CN201310557992.3A patent/CN104636372B/zh active Active
-
2014
- 2014-06-12 WO PCT/CN2014/079793 patent/WO2014183723A1/zh active Application Filing
- 2014-06-12 KR KR1020167010536A patent/KR101777073B1/ko active IP Right Grant
- 2014-06-12 JP JP2016528157A patent/JP6530390B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305616A (ja) * | 1996-05-10 | 1997-11-28 | Hitachi Ltd | データ分析方法 |
CN101727319A (zh) * | 2009-12-09 | 2010-06-09 | 上海宝信软件股份有限公司 | 可翻页的面向服务的数据表格控件及其实现方法 |
CN101876971A (zh) * | 2010-06-22 | 2010-11-03 | 北京伟库电子商务科技有限公司 | 报表展现方法和装置 |
CN102769535A (zh) * | 2011-05-06 | 2012-11-07 | 中兴通讯股份有限公司 | 一种呈现告警数据统计结果的方法及系统 |
JP2012238207A (ja) * | 2011-05-12 | 2012-12-06 | Hitachi Ltd | データ分析システム及びデータ分析方法 |
CN102982084A (zh) * | 2011-11-01 | 2013-03-20 | 微软公司 | 多维数据报告 |
Also Published As
Publication number | Publication date |
---|---|
KR101777073B1 (ko) | 2017-09-08 |
CN104636372A (zh) | 2015-05-20 |
KR20160058928A (ko) | 2016-05-25 |
WO2014183723A1 (zh) | 2014-11-20 |
JP2016539415A (ja) | 2016-12-15 |
JP6530390B2 (ja) | 2019-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104778241B (zh) | 一种报表生成方法及系统 | |
CN104301393B (zh) | 实验室数据采集及管理系统 | |
CN102968374B (zh) | 一种数据仓库测试方法 | |
US20150213066A1 (en) | System and method for creating data models from complex raw log files | |
CN113688288B (zh) | 数据关联分析方法、装置、计算机设备和存储介质 | |
CN109241096A (zh) | 数据处理方法、装置和系统 | |
US20160147840A1 (en) | System for retrieving, visualizing and editing semantic annotations | |
CN105279138B (zh) | 一种资讯研究报告自动生成系统 | |
CN108595316A (zh) | 分布式应用的生命周期管理方法、管理器、设备和介质 | |
CN107908513A (zh) | 一种存储介质和存储设备性能的测试方法、装置及设备 | |
CN114218309A (zh) | 数据处理方法、系统和计算机设备 | |
CN110309113A (zh) | 日志解析方法、系统及设备 | |
CN107729508A (zh) | 信息爬取方法与装置 | |
CN108694448A (zh) | Phm平台 | |
CN111400361A (zh) | 数据实时存储方法、装置、计算机设备和存储介质 | |
CN104636372B (zh) | 基于表格实现大数据量处理的方法及装置 | |
CN109902030A (zh) | 一种手机应用程序自动化测试步骤记录与回放的方法 | |
CN114185750A (zh) | 流程监控方法、装置、设备及存储介质 | |
CN110187895A (zh) | 操作系统部署方法、装置、设备及计算机可读存储介质 | |
CN106529827A (zh) | 基于元数据的指标血统的分析方法和分析系统 | |
CN110096586A (zh) | 云平台数据管理系统 | |
CN110059234A (zh) | 水务异常事件侦测方法及装置、计算机装置及存储介质 | |
CN115719147A (zh) | 输电线路巡检数据处理方法、装置、平台 | |
CN107894940A (zh) | 一种日志分析装置及方法 | |
CN109254918A (zh) | 基于路径差异的代码测试系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |