JP2012142004A - 計算機システム、ストリームデータ管理方法及びプログラム - Google Patents
計算機システム、ストリームデータ管理方法及びプログラム Download PDFInfo
- Publication number
- JP2012142004A JP2012142004A JP2012040886A JP2012040886A JP2012142004A JP 2012142004 A JP2012142004 A JP 2012142004A JP 2012040886 A JP2012040886 A JP 2012040886A JP 2012040886 A JP2012040886 A JP 2012040886A JP 2012142004 A JP2012142004 A JP 2012142004A
- Authority
- JP
- Japan
- Prior art keywords
- stream data
- data
- query
- stream
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】時系列に時刻情報が付与されたストリームデータを生成し、その生成したストリームデータについて、登録されたクエリに基づいてストリームデータ処理を行う計算機システムのストリームデータの生成方法であって、計算機システムに、クエリと、ストリームデータを構成する複数種類の構成要素を表すストリーム定義とからそのクエリに対応する前記構成要素を示すクエリ情報を記憶する記憶部と、ストリームデータを生成・送信するデータ生成部と、データ生成部から送信されたストリームデータの処理を行うストリームデータ処理部と、を設け、データ生成部が、そのクエリ情報に基づいて、ストリームデータ処理部に送信するストリームデータからより少ないストリームデータを生成する。
【選択図】図1
Description
次に、図を用いて、本発明を実施するための形態について詳細に説明する。まず、図1の原理図を用いて、本発明を適用した一実施の形態である計算機システムの原理を説明する。
なお、クエリ情報に記載された分析範囲が3つ分などの個数の範囲であり、ストリームデータすべてを間引く場合には、ストリームデータそのものを間引いたことを通知するためのデータ(以下、「nop(no−operation)データ」という。)を作成し、ストリームデータ処理部200に送信する。これは、nopデータをストリームデータ処理部200に通知することで、正しい分析結果を得るためである。即ちストリームデータ処理部200での分析において、例えば、直近3つ分のストリームデータを分析するといったデータの個数を分析範囲とした分析を行うものである場合、その直近3つ分のストリームデータの全てを分析することで正しい分析結果を出力することができるようになっている。従って、ストリームデータそのものを間引いた場合、ストリームデータ処理部200では、分析対象である間引かれたストリームデータを検出することが出来ず、正しい分析結果を出力することが出来ないこととなる。そこで、間引かれたデータに代えて、間引いたことを示すnopデータを通知することで、分析対象の条件に合わないデータも含めた正しい分析結果を出力することができる。
次いで、本発明を適用した計算機システムの第1の実施形態について、図を用いて詳細に説明する。図2は、本発明を適用した第1の実施形態である計算機システム1の全体構成を示す。
以上が、本発明を適用した計算機システム1の第1の実施形態の説明である。
次いで、第1の実施形態の変形例について説明する。本変形例では、第1の実施形態において、クエリの分析範囲として、更に時間の範囲を含んで分析を行う場合にもnopデータを作成するかどうかの判断を行うことを特徴とする。
次に、本発明を適用した計算機システム2000の第2の実施形態について説明する。第2の実施形態では、ストリームデータを間引くか否かの判断において、ストリームデータの滞留数に応じて判断を行う実施形態である。
図20は、バッファ状態情報テーブル1280を更新するフローを示す。
分析・出力されるストリームデータの量でもよい。また、バッファ状態情報テーブル1280を更新するタイミングは、ストリームデータを受信したときでもよいし或いは定期的に更新してもよい。
100 データ生成部
200 ストリームデータ処理部
1100、2100 データ送信計算機
1110 CPU
1120 DISK
1130 メモリ
1131、2110 間引部
1132 データ送信部
1133 接続部
1134 クエリ情報テーブル
1135 テーブル受信部
1200、2200 ストリームデータ処理計算機
1210 CPU
1220 DISK
1230 メモリ
1240 オペレーティングシステム
1250 データ送信部管理部
1251 送信部管理部
1252 テーブル転送部
1253 送信部管理テーブル
1260 クエリ管理部
1261 クエリ登録部
1262 クエリ解析部
1263 ストリームデータ定義
1264 クエリ定義
1265 クエリ情報テーブル
1270 ストリームデータ処理部
1271 ストリームデータ受信部
1272 クエリ処理部
1273 ストリームデータ送信部
1280 バッファ状態情報テーブル
1300 結果受信計算機
1310 CPU
1320 DISK
1330 メモリ
1331 ストリームデータ受信部
1332 アプリケーション実行部
1400 ネットワーク
1500 ネットワーク
2150 バッファ状態情報テーブル
Claims (8)
- 時系列に時刻情報が付与されたストリームデータに対して、登録されたクエリに基づいてストリームデータ処理を行う計算機システムであって、
前記計算機システムは、
前記クエリと、前記ストリームデータを構成する複数種類の構成要素を表すストリーム定義とから前記クエリが示す条件に対応する構成要素を示すクエリ情報を保持する記憶部と、
処理対象とするストリームデータから前記クエリ情報が示す構成要素以外の構成要素を削除した新たなストリームデータを生成し、これを送信するデータ生成部と、
該送信された新たなストリームデータを受信し、前記クエリに応じてストリームデータ演算を行うストリームデータ処理部と、
を有することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記ストリームデータ演算には、前記データ生成部から送信されたストリームデータの数に依存する演算を含むことを特徴とする計算機システム。 - 請求項2に記載の計算機システムであって、
前記ストリームデータの数に依存する演算は、前記データ生成部から送信されたストリームデータの所定単位数における平均値又は合計値の演算を含むことを特徴とする計算機システム。 - 請求項3に記載の計算機システムであって、
前記データ生成部は、前記クエリ情報が示す構成要素以外の構成要素を削除したストリームデータを生成する際、当該ストリームデータの全ての構成要素を削除する場合には、nopデータとしてのストリームデータを送信し、
前記ストリームデータ処理部は、前記nopデータを、前記平均値又は合計値の演算を行う際の所定単位数にのみ利用することを特徴とする計算機システム。 - 請求項1〜4の何れか一項に記載の計算機システムであって、
前記計算機システムは、前記クエリ情報を、前記計算機システムの外部から受信し、前記記憶部に保持することを特徴とする。 - 請求項1〜4の何れか一項に記載の計算機システムであって、
前記データ生成部は、前記クエリを、前記データ処理部に送信することを特徴とする計算機システム。 - 時系列に時刻情報が付与されたストリームデータに対して、登録されたクエリに基づいてストリームデータ処理を行う計算機システムのストリームデータ管理方法であって、
前記計算機システムは、
前記クエリと、前記ストリームデータを構成する複数種類の構成要素を表すストリーム定義とから前記クエリが示す条件に対応する構成要素を示すクエリ情報を保持する記憶部と、
ストリームデータを生成するデータ生成部と、
ストリームデータ演算を行うストリームデータ処理部と、を有し、
前記データ生成部が、処理対象とするストリームデータから前記クエリ情報が示す構成要素以外の構成要素を削除することで前記新たなストリームデータを生成し、これを送信する手順と、
前記ストリームデータデータ処理部が、
該送信された新たなストリームデータを受信し、前記クエリに応じてストリームデータ演算を行う手順と、
を含むことを特徴とするストリームデータ管理方法。 - 時系列に時刻情報が付与されたストリームデータに対して、登録されたクエリに基づいてストリームデータ処理を行う計算機システムに、
前記クエリと、前記ストリームデータを構成する複数種類の構成要素を表すストリーム定義とから前記クエリが示す条件に対応する構成要素を示すクエリ情報を保持させる手順と、
処理対象とするストリームデータから前記クエリ情報が示す構成要素以外の構成要素を削除した新たなストリームデータを生成させ、これを送信させる手順と、
該送信された新たなストリームデータを受信させ、前記クエリに応じてストリームデータ演算を実行させる手順と、
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012040886A JP5352691B2 (ja) | 2012-02-28 | 2012-02-28 | 計算機システム、ストリームデータ管理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012040886A JP5352691B2 (ja) | 2012-02-28 | 2012-02-28 | 計算機システム、ストリームデータ管理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009208820A Division JP4992945B2 (ja) | 2009-09-10 | 2009-09-10 | ストリームデータ生成方法、ストリームデータ生成装置及びストリームデータ生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012142004A true JP2012142004A (ja) | 2012-07-26 |
JP5352691B2 JP5352691B2 (ja) | 2013-11-27 |
Family
ID=46678150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012040886A Active JP5352691B2 (ja) | 2012-02-28 | 2012-02-28 | 計算機システム、ストリームデータ管理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5352691B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081759A (ja) * | 2012-10-16 | 2014-05-08 | Hitachi Ltd | ストリームデータ処理方法、ストリームデータ処理装置及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199015A (ja) * | 2000-12-27 | 2002-07-12 | Matsushita Electric Ind Co Ltd | ネットワークデータサーバ |
JP2006338432A (ja) * | 2005-06-03 | 2006-12-14 | Hitachi Ltd | ストリームデータ処理システムのクエリ処理方法 |
-
2012
- 2012-02-28 JP JP2012040886A patent/JP5352691B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199015A (ja) * | 2000-12-27 | 2002-07-12 | Matsushita Electric Ind Co Ltd | ネットワークデータサーバ |
JP2006338432A (ja) * | 2005-06-03 | 2006-12-14 | Hitachi Ltd | ストリームデータ処理システムのクエリ処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081759A (ja) * | 2012-10-16 | 2014-05-08 | Hitachi Ltd | ストリームデータ処理方法、ストリームデータ処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5352691B2 (ja) | 2013-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4992945B2 (ja) | ストリームデータ生成方法、ストリームデータ生成装置及びストリームデータ生成プログラム | |
US10021202B1 (en) | Pushed based real-time analytics system | |
US11016958B2 (en) | Recreating an OLTP table and reapplying database transactions for real-time analytics | |
JP6266630B2 (ja) | アーカイブされたリレーションを有する連続クエリの管理 | |
US8335782B2 (en) | Ranking query processing method for stream data and stream data processing system having ranking query processing mechanism | |
US8032554B2 (en) | Stream data processing method and system | |
US8055649B2 (en) | Scaled management system | |
US8775556B1 (en) | Automated segmentation and processing of web site traffic data over a rolling window of time | |
JP5377897B2 (ja) | ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム | |
JP6577588B2 (ja) | 向上したイベント処理のための構築されたデータストリーム | |
US9628355B1 (en) | System for validating site configuration based on real-time analytics data | |
US8775941B1 (en) | System for monitoring and reporting deviations of real-time analytics data from expected analytics data | |
US9189529B2 (en) | Queue monitoring and visualization | |
US8869036B1 (en) | System for troubleshooting site configuration based on real-time analytics data | |
WO2008150675A1 (en) | Event processing language | |
US20190102431A1 (en) | Logical queries in a distributed stream processing system | |
Carbone et al. | Large-scale data stream processing systems | |
US8782162B1 (en) | System for merging and comparing real-time analytics data with conventional analytics data | |
US8606907B1 (en) | Multi-tiered system for receiving and reporting web site traffic data | |
US11366801B1 (en) | Highly available storage using independent data stores | |
JP5352691B2 (ja) | 計算機システム、ストリームデータ管理方法及びプログラム | |
US20160077945A1 (en) | Storage system statistical data storage and analysis | |
Nishida et al. | Implementation of a hardware architecture to support high-speed database insertion on the internet | |
Wu et al. | Stream Processing | |
Kuoppala | Optimizing cloud storage and cost strategies for IoT sensor data using Amazon Web Services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130409 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130826 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5352691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |