JP2016539415A - テーブルによるビッグデータ量処理方法および装置 - Google Patents
テーブルによるビッグデータ量処理方法および装置 Download PDFInfo
- Publication number
- JP2016539415A JP2016539415A JP2016528157A JP2016528157A JP2016539415A JP 2016539415 A JP2016539415 A JP 2016539415A JP 2016528157 A JP2016528157 A JP 2016528157A JP 2016528157 A JP2016528157 A JP 2016528157A JP 2016539415 A JP2016539415 A JP 2016539415A
- Authority
- JP
- Japan
- Prior art keywords
- big data
- data amount
- memory database
- function
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 14
- 238000011161 development Methods 0.000 description 8
- 230000008014 freezing Effects 0.000 description 7
- 238000007710 freezing Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
二次開発された、複雑な組版機能を実現可能なテーブルをデプロイするステップと、前記テーブルとインメモリデータベースとの対応関係を確立するステップと、前記テーブルに対する少なくとも1つのビッグデータ量操作命令を認識し、かつ、前記ビッグデータ量操作命令に基づいて、前記ビッグデータ量のデータをインメモリデータベースから取得して前記テーブルによりディスプレイするステップとを含むテーブルによるビッグデータ量処理方法。
S20では、テーブルとインメモリデータベースとの対応関係を確立する。
S30では、テーブルに対する少なくとも1つのビッグデータ量操作命令を認識し、かつ、前記ビッグデータ量操作命令に基づいて、ビッグデータ量のデータをインメモリデータベースから取得し、前記テーブルによりディスプレイする。
Claims (10)
- 二次開発された、複雑な組版機能を実現可能なテーブルをデプロイするステップと、
前記テーブルとインメモリデータベースとの対応関係を確立するステップと、
前記テーブルに対する少なくとも1つのビッグデータ量操作命令を認識し、かつ、前記ビッグデータ量操作命令に基づいて、ビッグデータ量のデータを前記インメモリデータベースから取得して前記テーブルによりディスプレイするステップと、を含むことを特徴とするテーブルによるビッグデータ量処理方法。 - 前記テーブルとインメモリデータベースとの対応関係を確立した後、
データを表示する必要がある場合にテーブルの行番号に基づいてインメモリデータベースから対応するデータを読み取るように、テーブルの行番号に基づいてインメモリデータベースにおけるデータに対してインデックスを確立するステップをさらに含むことを特徴とする請求項1に記載のテーブルによるビッグデータ量処理方法。 - 前記二次開発されたテーブルは、前記二次開発されたテーブルとインメモリデータベースの結果セットに対するソート操作とをバインディングするための列ヘッダソート機能を有することを特徴とする請求項1に記載のテーブルによるビッグデータ量処理方法。
- ビッグデータ量操作命令に基づいて、ビッグデータ量のデータをインメモリデータベースから取得した後、
前記ビッグデータ量のデータを中間ファイルとしてキャッシュしてから、前記中間ファイルに基づいてビッグデータ量のデータをテーブルにディスプレイするステップをさらに含むことを特徴とする請求項1に記載のテーブルによるビッグデータ量処理方法。 - 少なくとも1つの機能カスタマイズ命令を認識し、かつ、前記機能カスタマイズ命令に基づいて、テーブルがサポートする複雑な組版機能に対して対応する追加または削除操作を行うステップをさらに含むことを特徴とする請求項1に記載のテーブルによるビッグデータ量処理方法。
- 二次開発された、複雑な組版機能を実現可能なテーブルをデプロイするように構成されるデプロイモジュールと、
テーブルとインメモリデータベースとの対応関係を確立するように構成される関連モジュールと、
テーブルに対する少なくとも1つのビッグデータ量操作命令を認識するように構成される認識モジュールと、
前記ビッグデータ量操作命令に基づいて、ビッグデータ量のデータをインメモリデータベースから取得するように構成される取得モジュールと、
前記テーブルにより、インメモリデータベースから取得されたビッグデータ量のデータをディスプレイするように構成されるディスプレイモジュールとを備えることを特徴とするテーブルによるビッグデータ量処理装置。 - 前記関連モジュールは、データを表示する必要がある場合に前記取得モジュールがテーブルの行番号に基づいてインメモリデータベースから対応するデータを読み取るように、テーブルの行番号に基づいてインメモリデータベースにおけるデータに対してインデックスを確立するように構成されることを特徴とする請求項6に記載のテーブルによるビッグデータ量処理装置。
- 前記二次開発されたテーブルは、前記二次開発されたテーブルとインメモリデータベースの結果セットに対するソート操作とをバインディングするための列ヘッダソート機能を有することを特徴とする請求項6に記載のテーブルによるビッグデータ量処理装置。
- 前記取得モジュールは、ビッグデータ量操作命令に基づいてビッグデータ量のデータをインメモリデータベースから取得した後、前記ビッグデータ量のデータを中間ファイルとしてキャッシュするように構成され、
前記ディスプレイモジュールは、前記中間ファイルに基づいてビッグデータ量のデータをテーブルにディスプレイすることを特徴とする請求項6に記載のテーブルによるビッグデータ量処理装置。 - 少なくとも1つの機能カスタマイズ命令を認識し、かつ、前記機能カスタマイズ命令に基づいて、テーブルがサポートする複雑な組版機能に対して対応する追加または削除操作を行うように構成されるカスタマイズモジュールをさらに備えることを特徴とする請求項6に記載のテーブルによるビッグデータ量処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310557992.3 | 2013-11-11 | ||
CN201310557992.3A CN104636372B (zh) | 2013-11-11 | 2013-11-11 | 基于表格实现大数据量处理的方法及装置 |
PCT/CN2014/079793 WO2014183723A1 (zh) | 2013-11-11 | 2014-06-12 | 基于表格实现大数据量处理的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016539415A true JP2016539415A (ja) | 2016-12-15 |
JP6530390B2 JP6530390B2 (ja) | 2019-06-12 |
Family
ID=51897782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016528157A Active JP6530390B2 (ja) | 2013-11-11 | 2014-06-12 | テーブルによるビッグデータ量処理方法および装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6530390B2 (ja) |
KR (1) | KR101777073B1 (ja) |
CN (1) | CN104636372B (ja) |
WO (1) | WO2014183723A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107346312A (zh) * | 2016-05-05 | 2017-11-14 | 中国移动通信集团内蒙古有限公司 | 一种大数据处理方法及系统 |
CN113837593B (zh) * | 2021-09-18 | 2023-08-15 | 北京百度网讯科技有限公司 | 虚拟数据分配方法、装置、设备以及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305616A (ja) * | 1996-05-10 | 1997-11-28 | Hitachi Ltd | データ分析方法 |
JP2003016108A (ja) * | 2001-06-29 | 2003-01-17 | Casio Comput Co Ltd | データ処理装置、および、プログラム |
JP2003238207A (ja) * | 2002-02-20 | 2003-08-27 | Matsushita Electric Works Ltd | 防曇物品とその製造方法 |
JP2006065846A (ja) * | 2004-08-24 | 2006-03-09 | Microsoft Corp | 部分マテリアライズドビュー |
JP2006092503A (ja) * | 2004-09-27 | 2006-04-06 | Shuhei Nishiyama | マルチインスタンス・インメモリ・データベース |
JP2007529820A (ja) * | 2004-03-19 | 2007-10-25 | マイクロソフト コーポレーション | テーブル値関数を呼び出すクエリの効率的な評価を行うためのシステムおよび方法 |
US20080168077A1 (en) * | 2007-01-10 | 2008-07-10 | Eric Lawrence Barsness | Pre-loading of an in memory database |
JP2010257426A (ja) * | 2009-04-28 | 2010-11-11 | Internatl Business Mach Corp <Ibm> | データベース間でデータを同期するための方法、並びにそのコンピュータ・システム及びコンピュータ・プログラム |
JP2012108635A (ja) * | 2010-11-16 | 2012-06-07 | Nec Corp | 分散メモリデータベースシステム、フロントデータベースサーバ、データ処理方法およびプログラム |
JP2012238207A (ja) * | 2011-05-12 | 2012-12-06 | Hitachi Ltd | データ分析システム及びデータ分析方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101526940B (zh) * | 2008-03-19 | 2011-03-16 | 中兴通讯股份有限公司 | 一种应用系统物理数据库与内存数据库的数据同步方法 |
CN101727319A (zh) * | 2009-12-09 | 2010-06-09 | 上海宝信软件股份有限公司 | 可翻页的面向服务的数据表格控件及其实现方法 |
CN101876971A (zh) * | 2010-06-22 | 2010-11-03 | 北京伟库电子商务科技有限公司 | 报表展现方法和装置 |
CN102769535A (zh) * | 2011-05-06 | 2012-11-07 | 中兴通讯股份有限公司 | 一种呈现告警数据统计结果的方法及系统 |
US8839089B2 (en) * | 2011-11-01 | 2014-09-16 | Microsoft Corporation | Multi-dimensional data manipulation and presentation |
CN102411632B (zh) * | 2011-12-27 | 2014-08-20 | 北京人大金仓信息技术股份有限公司 | 基于链表的内存数据库页式存储方法 |
JP5527340B2 (ja) * | 2012-02-27 | 2014-06-18 | 日本電気株式会社 | ベクトル処理装置およびベクトル処理方法 |
-
2013
- 2013-11-11 CN CN201310557992.3A patent/CN104636372B/zh active Active
-
2014
- 2014-06-12 KR KR1020167010536A patent/KR101777073B1/ko active IP Right Grant
- 2014-06-12 WO PCT/CN2014/079793 patent/WO2014183723A1/zh active Application Filing
- 2014-06-12 JP JP2016528157A patent/JP6530390B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305616A (ja) * | 1996-05-10 | 1997-11-28 | Hitachi Ltd | データ分析方法 |
JP2003016108A (ja) * | 2001-06-29 | 2003-01-17 | Casio Comput Co Ltd | データ処理装置、および、プログラム |
JP2003238207A (ja) * | 2002-02-20 | 2003-08-27 | Matsushita Electric Works Ltd | 防曇物品とその製造方法 |
JP2007529820A (ja) * | 2004-03-19 | 2007-10-25 | マイクロソフト コーポレーション | テーブル値関数を呼び出すクエリの効率的な評価を行うためのシステムおよび方法 |
JP2006065846A (ja) * | 2004-08-24 | 2006-03-09 | Microsoft Corp | 部分マテリアライズドビュー |
JP2006092503A (ja) * | 2004-09-27 | 2006-04-06 | Shuhei Nishiyama | マルチインスタンス・インメモリ・データベース |
US20080168077A1 (en) * | 2007-01-10 | 2008-07-10 | Eric Lawrence Barsness | Pre-loading of an in memory database |
JP2010257426A (ja) * | 2009-04-28 | 2010-11-11 | Internatl Business Mach Corp <Ibm> | データベース間でデータを同期するための方法、並びにそのコンピュータ・システム及びコンピュータ・プログラム |
JP2012108635A (ja) * | 2010-11-16 | 2012-06-07 | Nec Corp | 分散メモリデータベースシステム、フロントデータベースサーバ、データ処理方法およびプログラム |
JP2012238207A (ja) * | 2011-05-12 | 2012-12-06 | Hitachi Ltd | データ分析システム及びデータ分析方法 |
Non-Patent Citations (4)
Title |
---|
中村 仁之輔,他: ""ネットワークサービス向けメモリ常駐型リレーショナルDBMSの設計と実現"", 情報処理学会論文誌, vol. 第43巻,第SIG5(TOD14)号, JPN6017015270, 15 June 2002 (2002-06-15), pages 134 - 144, ISSN: 0003548220 * |
喜田 弘司,他: ""実世界から発生するビッグデータをリアルタイムに処理するストリーム分析基盤"", 電子情報通信学会論文誌, vol. 第J95−B巻,第11号, JPN6017015273, 1 November 2012 (2012-11-01), pages 1396 - 1403, ISSN: 0003548221 * |
柳瀬 康二,他: ""インメモリ・データベースの高速化技術 「EXASOL」のアーキテクチャ"", 電子情報通信学会技術研究報告, vol. 第109巻,第293号, JPN6017015276, 12 November 2009 (2009-11-12), pages 15 - 18, ISSN: 0003548222 * |
長谷川 義朗,他: ""スマートコミュニティ分野のビッグデータ活用"", 電気学会論文誌C, vol. 第133巻,第3号, JPN6017015268, 1 March 2013 (2013-03-01), pages 509 - 519, ISSN: 0003548219 * |
Also Published As
Publication number | Publication date |
---|---|
CN104636372B (zh) | 2019-04-26 |
WO2014183723A1 (zh) | 2014-11-20 |
CN104636372A (zh) | 2015-05-20 |
KR101777073B1 (ko) | 2017-09-08 |
JP6530390B2 (ja) | 2019-06-12 |
KR20160058928A (ko) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107861859B (zh) | 一种基于微服务架构的日志管理方法及系统 | |
US10909151B2 (en) | Distribution of index settings in a machine data processing system | |
CN108847977B (zh) | 一种业务数据的监控方法、存储介质和服务器 | |
KR20210040321A (ko) | 지도 서비스 테스트 방법 및 장치 | |
US9910870B2 (en) | System and method for creating data models from complex raw log files | |
CN107291736A (zh) | 一种编辑页面的方法和系统 | |
CN113138973B (zh) | 数据管理系统及工作方法 | |
CA2843114A1 (en) | Moving visualizations between displays and contexts | |
CN113688288B (zh) | 数据关联分析方法、装置、计算机设备和存储介质 | |
US11829667B2 (en) | Creation of component templates and removal of dead content therefrom | |
CN104598570B (zh) | 资源的抓取方法及装置 | |
KR102024998B1 (ko) | 유사 그룹 요소 추출 | |
JP4350137B2 (ja) | 端末監視方法、端末監視装置、及び端末監視プログラム | |
KR20120073841A (ko) | 포렌식 데이터의 데이터테이블 생성 장치 및 방법 | |
JP2008310450A5 (ja) | ||
CN104462342B (zh) | 数据库快照同步处理方法及装置 | |
US10942732B1 (en) | Integration test framework | |
WO2021189766A1 (zh) | 数据可视化方法及相关设备 | |
JP6530390B2 (ja) | テーブルによるビッグデータ量処理方法および装置 | |
CN106570057A (zh) | 一种计算机日志的自动整合过滤方法及系统 | |
CN107894940A (zh) | 一种日志分析装置及方法 | |
CN101706804A (zh) | 对计算机中的文件进行关联管理的方法 | |
CN112527747A (zh) | 一种日志模板配置、展示方法及装置 | |
CN107818041A (zh) | Secondo系统文件读写检测软件 | |
CN113111276A (zh) | 关键词链接建立装置、方法及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180507 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20180727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6530390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |