JP2015197909A - 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 - Google Patents
大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 Download PDFInfo
- Publication number
- JP2015197909A JP2015197909A JP2014112536A JP2014112536A JP2015197909A JP 2015197909 A JP2015197909 A JP 2015197909A JP 2014112536 A JP2014112536 A JP 2014112536A JP 2014112536 A JP2014112536 A JP 2014112536A JP 2015197909 A JP2015197909 A JP 2015197909A
- Authority
- JP
- Japan
- Prior art keywords
- query
- basic
- data
- result
- result data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 title claims description 64
- 238000004458 analytical method Methods 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】(a)要請クエリーに含まれているカラム名をを参照項目とし、要請クエリーが参照するテーブルを参照するクエリー(以下、基礎クエリー)と、基礎クエリーの結果データを参照して、要請クエリーが要請する結果データを取り込む拡張クエリーを生成するステップS12と、(b)基礎クエリーの結果データをサーバキャッシュから検索するステップS13と、(c)サーバキャッシュに結果データがなければ、基礎クエリーでデータベースにデータを要請し、結果データをサーバキャッシュに格納するステップS14と、(d)拡張クエリーを基礎クエリーの結果データに適用して結果データを取得するステップS15と、を含む。
【選択図】図3
Description
:(subquery_factoring_clause)?
SELECT(((DISTINCT|UNIQUE)|ALL)?)select_list
FROM(table_reference|join_clause) (COMMA(table_reference|join_clause))*
where_clause?
hierarchical_query_clause?
group_by_clause?
order_by_clause?
| query_block ((UNION ALL?) | (INTERSECT|S_MINUS)) query_block
| LPAREN query_block RPAREN
select t1.customer
from matirx_demo t1
select m.customer
from matrix_demo m
select t.id
from matrix_demo1 t
select t.id
from matrix_demo2 t
select t1. customer C9A59FD7B
from matirx_demo t1
select m.customer C9A59FD7B
from matrix_demo m
select t.customer, sum(t.h_val)
from matrix_demo t
where t.yyyy = '2013'
group by t.cusomer
SELECT MATRIX_DEMO.CUSTOMER C9A59FD7B, MATRIX_DEMO.YYYY CEB41FFF7, MATRIX_DEMO.H_VAL CB165E5C5
FROM MATRIX.MATRIX_DEMO
WHERE MATRIX_DEMO.YYYY = '2013'
SELECT MHC.C9A59FD7B, SUM(MHC.CB165E5C5) AS"CB165E5C5"
FROM ( {@ORIGINAL_SQL@} ) MHC
WHERE MHC.CEB41FFF7 = '2013'
GROUP BY
MHC.C9A59FD7B
20:クライアント
30:分析処理サーバ
40:サーバキャッシュ
41:キャッシュメモリ
42:キャッシュディスク
50:BIサーバ
60:データベース
Claims (9)
- クライアントが要請するデータベースに対する要請クエリーを処理する分析処理サーバのSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法において、
(a)前記要請クエリーをパーシングして、前記要請クエリーに含まれているカラム名を抽出するステップと、
(b)抽出されたカラム名を参照項目として、前記要請クエリーが参照するテーブルと同じテーブルを参照するクエリー(以下、基礎クエリー)と、前記基礎クエリーの結果データを参照して、前記要請クエリーが要請する結果データを取り込む拡張クエリーを生成するステップと、
(c)前記基礎クエリーの結果データを前記サーバのサーバキャッシュから検索するステップと、
(d)前記サーバキャッシュに基礎クエリーの結果データがなければ、前記基礎クエリーで前記データベースにデータを要請し、受信した基礎クエリーの結果データを前記サーバキャッシュに格納するステップと、
(e)前記拡張クエリーを前記基礎クエリーの結果データに適用して前記拡張クエリーの結果データを取得し、取得された結果データを前記クライアントに転送するステップと、
を含むことを特徴とするSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - クライアントが要請するデータベースに対する要請クエリーを処理する分析処理サーバのSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法において、
(a)前記要請クエリーをパーシングして、前記要請クエリーに含まれているカラム名を抽出するステップと、
(b)抽出されたカラム名を参照項目として、前記要請クエリーが参照するテーブルと同じテーブルを参照するクエリー(以下、基礎クエリー)と、前記基礎クエリーの結果データを参照して、前記要請クエリーが要請する結果データを取り込む拡張クエリーを生成するステップと、
(c)前記基礎クエリーの結果データを前記サーバのサーバキャッシュから検索するステップと、
(d)前記サーバキャッシュに基礎クエリーの結果データがなければ、前記要請クエリーで前記データベースにデータを要請し、受信した要請クエリーの結果データを前記クライアントに転送するステップと、
(e)前記基礎クエリーで前記データベースにデータを要請し、受信した基礎クエリーの結果データを前記サーバキャッシュに格納するステップと、
を含むことを特徴とするSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - 前記サーバは、前記拡張クエリーの結果データをキャッシュファイルとして前記サーバキャッシュに格納し、
前記方法は、
(f)前記ステップ(b)後に、前記拡張クエリーのキャッシュファイルが前記サーバキャッシュから検索される場合、検索されたキャッシュファイルをクライアントに転送するステップをさらに含むことを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - 前記ステップ(a)において、前記カラム名が識別可能な固有キーを生成し、
前記ステップ(b)において、前記基礎クエリーの参照項目節で前記カラム名に対して前記固有キーでエイリアスを定義し、前記拡張クエリーは、前記エイリアスを用いてカラムを参照することを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - 前記固有キーは、当該カラム名のデータベースの名前、参照テーブルの名前及びカラム名をハッシュして得ることを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記ステップ(b)において、前記基礎クエリーは、参照項目節、テーブル参照節及び条件節から構成され、前記基礎クエリーのテーブル参照節及び条件節は、前記要請クエリーのテーブル参照節及び条件節と同じ構造を有することを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記ステップ(b)において、前記拡張クエリーは、テーブル参照節で前記基礎クエリーまたは前記基礎クエリーの結果データを参照し、前記テーブル参照節以外の節が前記要請クエリーの節と同じ構造を有するように生成されることを特徴とする請求項6に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記ステップ(b)において、前記要請クエリーでテーブルに対するエイリアスが定義された場合、前記テーブルのエイリアスを削除し、前記テーブルのエイリアスを前記テーブルの名前に置き換えて前記拡張クエリーを生成することを特徴とする請求項7に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記サーバキャッシュは、インメモリストレージとキャッシュディスクとから構成され、
前記基礎クエリーの結果データを前記インメモリストレージに格納することを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140039470A KR101544560B1 (ko) | 2014-04-02 | 2014-04-02 | 대용량 데이터를 처리하기 위하여 sql 파싱에 의한 2단계 쿼리 및 결과 캐싱을 이용한 온라인 분석 프로세싱 방법 |
KR10-2014-0039470 | 2014-04-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015197909A true JP2015197909A (ja) | 2015-11-09 |
JP5926321B2 JP5926321B2 (ja) | 2016-05-25 |
Family
ID=54061078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014112536A Active JP5926321B2 (ja) | 2014-04-02 | 2014-05-30 | 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5926321B2 (ja) |
KR (1) | KR101544560B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6199513B1 (ja) * | 2016-08-29 | 2017-09-20 | 株式会社 ビーアイマトリックスBi Matrix Co.,Ltd | キャッシュテーブルの統合基盤の2段階クエリ処理システム |
JP2019040245A (ja) * | 2017-08-22 | 2019-03-14 | 富士通株式会社 | データ提供プロラム、データ提供方法、及びデータ提供装置 |
CN112989250A (zh) * | 2021-03-11 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种Web服务响应方法、装置及电子设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016208779A1 (ko) * | 2015-06-22 | 2016-12-29 | (주) 비아이매트릭스 | 대용량 데이터를 처리하기 위한 2단계 쿼리 기반 온라인 분석 프로세싱 방법 |
CN111143352B (zh) * | 2019-11-28 | 2024-04-12 | 泰康保险集团股份有限公司 | 一种数据处理的方法及装置、电子设备、存储介质 |
KR102346289B1 (ko) | 2020-02-19 | 2022-01-03 | 심상택 | 오픈 소스 빅데이터 시스템에서 구조화된 언어로 통계 및 원본 데이터를 검색하는 방법 및 시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012504825A (ja) * | 2008-10-05 | 2012-02-23 | マイクロソフト コーポレーション | 列ベースデータエンコードされた構造のクエリに対する効率的な大規模フィルタリングおよび/または並べ替え |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5374444B2 (ja) * | 2010-06-01 | 2013-12-25 | 日本電信電話株式会社 | 検索装置、検索方法及び検索プログラム |
-
2014
- 2014-04-02 KR KR1020140039470A patent/KR101544560B1/ko active IP Right Grant
- 2014-05-30 JP JP2014112536A patent/JP5926321B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012504825A (ja) * | 2008-10-05 | 2012-02-23 | マイクロソフト コーポレーション | 列ベースデータエンコードされた構造のクエリに対する効率的な大規模フィルタリングおよび/または並べ替え |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6199513B1 (ja) * | 2016-08-29 | 2017-09-20 | 株式会社 ビーアイマトリックスBi Matrix Co.,Ltd | キャッシュテーブルの統合基盤の2段階クエリ処理システム |
JP2019040245A (ja) * | 2017-08-22 | 2019-03-14 | 富士通株式会社 | データ提供プロラム、データ提供方法、及びデータ提供装置 |
JP7006013B2 (ja) | 2017-08-22 | 2022-01-24 | 富士通株式会社 | データ提供プロラム、データ提供方法、及びデータ提供装置 |
US11360975B2 (en) | 2017-08-22 | 2022-06-14 | Fujitsu Limited | Data providing apparatus and data providing method |
CN112989250A (zh) * | 2021-03-11 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种Web服务响应方法、装置及电子设备 |
CN112989250B (zh) * | 2021-03-11 | 2024-01-12 | 北京百度网讯科技有限公司 | 一种Web服务响应方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5926321B2 (ja) | 2016-05-25 |
KR101544560B1 (ko) | 2015-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5926321B2 (ja) | 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 | |
CN109997126B (zh) | 事件驱动提取、变换、加载(etl)处理 | |
US10725987B2 (en) | Forced ordering of a dictionary storing row identifier values | |
US9639542B2 (en) | Dynamic mapping of extensible datasets to relational database schemas | |
US9965504B2 (en) | Transient and persistent representation of a unified table metadata graph | |
US8924373B2 (en) | Query plans with parameter markers in place of object identifiers | |
US20160147821A1 (en) | Supporting Cursor Snapshot Semantics | |
US8843436B2 (en) | Systems and methods for performing direct reporting access to transaction databases | |
US20220083618A1 (en) | Method And System For Scalable Search Using MicroService And Cloud Based Search With Records Indexes | |
US10685031B2 (en) | Dynamic hash partitioning for large-scale database management systems | |
KR20200103543A (ko) | 지식-구동 연합 빅 데이터 쿼리 및 분석 플랫폼 | |
US9569477B1 (en) | Managing scanning of databases in data storage systems | |
US9569441B2 (en) | Archival of objects and dynamic search | |
US9734178B2 (en) | Searching entity-key associations using in-memory objects | |
KR20200103542A (ko) | 지식-구동 연합 빅 데이터 쿼리 및 분석 플랫폼 | |
US9122755B2 (en) | Instantaneous incremental search user interface | |
KR101892067B1 (ko) | 관계형 데이터베이스 기반의 텍스트 로그데이터 저장 및 검색 방법 | |
US8200673B2 (en) | System and method for on-demand indexing | |
JP6199513B1 (ja) | キャッシュテーブルの統合基盤の2段階クエリ処理システム | |
CN112685572B (zh) | 一种异构数据融合方法及装置 | |
US20130024761A1 (en) | Semantic tagging of user-generated content | |
US11055266B2 (en) | Efficient key data store entry traversal and result generation | |
US8666972B2 (en) | System and method for content management and determination of search conditions | |
US10817570B2 (en) | Hybrid connectivity for reporting application | |
US20180004808A1 (en) | Meta-facets for semantically-related dimensions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5926321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |