JP2010108152A - ストリームデータ処理方法、及びそのシステム - Google Patents
ストリームデータ処理方法、及びそのシステム Download PDFInfo
- Publication number
- JP2010108152A JP2010108152A JP2008278306A JP2008278306A JP2010108152A JP 2010108152 A JP2010108152 A JP 2010108152A JP 2008278306 A JP2008278306 A JP 2008278306A JP 2008278306 A JP2008278306 A JP 2008278306A JP 2010108152 A JP2010108152 A JP 2010108152A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- execution
- data processing
- stream
- operators
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24542—Plan optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Operations Research (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
再帰的処理を含む一般のデータ処理を低レイテンシで実現できるストリームデータ処理方法及びシステムを提供する。
【解決手段】
ストリームデータ処理システム900は、複数のクエリの実行木から単一のオペレータグラフ931を構築し、ストリーム化演算の実行が、入力から出力に向かって一方通行で進むように、オペレータの実行順序を決定し、システム外部のデータを入力する外部発火オペレータと時限的にデータを生成する内部発火オペレータの発火時刻を監視し、オペレータ実行制御部916は、最も早い発火時刻のオペレータを起点として、決定したオペレータ実行順序に従って、当該時刻のオペレータグラフ931における処理を完結させる処理を繰り返す。
【選択図】図9
Description
REGISTER STREAM s1(id VARCHAR(30), val INT);
REGISTER STREAM s2(id VARCHAR(30), val INT);
REGISTER QUERY q
RSTREAM[30 SECOND](
SELECT s1.id AS id1, s2.id AS id2, s1.val
FROM s1[RANGE 5 MINUTE], s2[ROWS 1]
WHERE s1.val = s2.val
);
ここで、「REGISTER STREAM」で始まる2つのコマンドは、データソースからのストリームを受け付ける入力を定義するコマンドである。
(1)発火オペレータ群において,最も早い発火時刻のオペレータを選択する。選択されたオペレータを実行オペレータと呼ぶ。また,その発火時刻を実行時刻と呼ぶ。
(2)(1)で選択した実行オペレータを起点として,オペレータ実行順序の昇順に,オペレータグラフの出口までオペレータを順次実行する。
(3)この実行時刻をタイムスタンプとするタプルの処理を全て実行し,オペレータグラフ上から該当する発火時刻のタプルが無くなったら(1)に戻る。
(1)レイテンシを律速する要因はない。
(2)オペレータ間で処理タイミングにズレがないため,オペレータの実行順の非決定性によるレイテンシが発生しない。
(3)データタプル以外の無駄なタプルを処理するオーバヘッドは存在しない。
対応)あり、実行順は図8A、B、C中の四角枠で囲む数字と同一である。
301〜316,502,512,2012,2303,2315…クエリ登録コマンド
900…ストリームデータ処理システム
908…オペレータグラフ解析部
909…実行制御情報保存部
913…実行オペレータ抽出部
916…オペレータ実行制御部
931…オペレータグラフ
1100,3200…外部発火オペレータリスト
1101,3201…内部発火オペレータリスト
1000,2900…オペレータ間入出力関係表
1400,3100…オペレータ実行順表。
Claims (15)
- タイムスタンプが付与され、前記タイムスタンプの昇順に到来する時系列データの流れであるストリームを処理するストリームデータ処理方法であって、
複数のクエリの連携によって定義されたデータ処理を、前記クエリ個々に対して、基本データ処理単位であるオペレータをノードとする実行木を一つずつ作成し、作成した複数の前記実行木から単一のオペレータグラフを構築し、
前記オペレータグラフ上の全ての前記オペレータに対して、前記オペレータ間の入出力関係に基づいて、出力側オペレータに付与された実行順序が入力側オペレータの実行順序よりも大となるよう、オペレータ実行順序を付与し、
前記オペレータグラフから、前記オペレータグラフの外部からデータを受取る外部発火オペレータと、保持するタプルを時限的に出力する内部発火オペレータを抽出して、発火オペレータリストを構成し、
前記クエリの実行時点において、
前記発火オペレータリストに属する前記オペレータの発火時刻が、最も早いものからなる前記オペレータの集合を抽出して実行オペレータリストを作成し、
前記実行オペレータリストに属する前記オペレータの中で、前記オペレータに付与された前記オペレータ実行順序が最小である前記オペレータを実行することを特徴とするストリームデータ処理方法。 - 請求項1に記載のストリームデータ処理方法であって、
前記オペレータの実行によって、結果タプルが生成された場合は、前記オペレータの出力先の前記オペレータを、前記実行オペレータリストに追加し、
再び、前記実行オペレータリストに属する前記オペレータの中で、付与された前記オペレータ実行順序が最小である前記オペレータを実行する処理を、前記実行オペレータリストが空になるまで継続する、
ことを特徴とするストリームデータ処理方法。 - 請求項2に記載のストリームデータ処理方法であって、
前記実行オペレータリストが空になった時点で、
前記発火オペレータリストに属する前記オペレータで、前記オペレータの発火時刻が、最も早いものからなる前記オペレータの集合を抽出する繰り返し処理を継続する、
ことを特徴とするストリームデータ処理方法。 - タイムスタンプが付与され、前記タイムスタンプの昇順に到来する時系列データの流れであるストリームを処理するストリームデータの処理方法であって、
複数のクエリの連携によって定義されたデータ処理を、前記クエリ個々に対して、基本データ処理単位であるオペレータをノードとする実行木を作成し、作成した複数の前記実行木から単一のオペレータグラフを構築し、
前記オペレータグラフ上の全ての前記オペレータに対してオペレータ実行順序を付与する際、前記オペレータグラフを、前記オペレータの入出力関係に基づいて、入力側オペレータから出力側オペレータに向かう有向辺を持つ有向グラフに見立て、前記有向グラフを強連結成分の集合に分解し、前記強連結成分の集合に属する成分間の入出力関係に基づいて、出力側成分を構成する全ての前記オペレータに付与された前記オペレータ実行順序が、入力側成分を構成する全ての前記オペレータに付与された前記オペレータ実行順序よりも、大となるように決定し、
前記オペレータグラフから、前記オペレータグラフの外部からデータを受取る外部発火オペレータと、保持するタプルを時限的に出力する内部発火オペレータを抽出して、発火オペレータリストを構成し、
前記クエリの実行時点において、
前記発火オペレータリストに属する前記オペレータの発火時刻が、最も早いものからなる前記オペレータの集合を抽出して実行オペレータリストを作成し、前記実行オペレータリストに属する前記オペレータの中で、前記オペレータに付与された前記オペレータ実行順序が最小であるオペレータを実行する、
ことを特徴とするストリームデータ処理方法。 - 請求項4に記載のストリームデータ処理方法であって、
前記強連結成分の集合のうち、複数の前記オペレータから構成される成分について、複数の前記オペレータのうちの任意の一つを選択して展開点オペレータとし、
前記強連結成分の集合から、前記展開点オペレータに向かう有向辺を全て削除した有向グラフについて、前記強連結成分の集合に分解し、前記強連結成分の集合に属する成分間の入出力関係に基づいて、出力側成分を構成する全ての前記オペレータに付与された前記オペレータ実行順序が、入力側成分を構成する如何なる前記オペレータに付与された前記オペレータ実行順序よりも大となるように決定し、
前記強連結成分の集合の要素が全て単一のオペレータとなるまで、再帰的に同様の方法で前記オペレータ実行順序を決定する、
ことを特徴とするストリームデータ処理方法。 - 請求項5に記載のストリームデータ処理方法であって、
前記強連結成分における前記展開点オペレータとして、データソースから到来する前記ストリーム、またはストリーム化演算の出力であるストリームの各データのタイムスタンプを、未来に指定時間だけずらす遅延演算を選択する、
ことを特徴とするストリームデータ処理方法。 - 請求項6記載のストリームデータ処理方法であって、
前記強連結成分において、複数の前記オペレータの中に遅延演算が存在しない場合は、前記ストリーム化演算の出力先に、遅延演算を挿入する、
ことを特徴とするストリームデータ処理方法。 - 請求項6に記載のストリームデータ処理方法であって、
前記強連結成分において、前記複数のオペレータの中に遅延演算が存在しない場合は、クエリ定義エラーをユーザに通知する、
ことを特徴とするストリームデータ処理方法。 - 請求項6に記載のストリームデータ処理方法であって、
前記強連結成分において、前記遅延演算はデータ処理上の仮想的な微小時間だけ、前記ストリームの各データの前記タイムスタンプを未来にずらす、
ことを特徴とするストリームデータ処理方法。 - タイムスタンプが付与され、前記タイムスタンプの昇順に到来する時系列データであるストリームを処理するストリームデータ処理システムであって、
前記ストリームが入力されるネットワークインタフェースと、前記ストリームを処理する処理部とを備え、
前記処理部は、
個々のクエリに対して、基本データ処理単位であるオペレータをノードとする実行木を一つずつ作成し、作成した複数の前記実行木から単一のオペレータグラフを構築し、
前記オペレータグラフ上の全ての前記オペレータに対して、前記オペレータ間の入出力関係に基づいて、出力側オペレータに付与された実行順序が、入力側オペレータの実行順序よりも大となるよう、オペレータ実行順序を付与する、
ことを特徴とするストリームデータ処理システム。 - 請求項10に記載のストリームデータ処理システムであって、
前記処理部は、
前記オペレータグラフから、前記オペレータグラフの外部からデータを受取る外部発火オペレータと、保持するタプルを時限的に出力する内部発火オペレータを抽出して、発火オペレータリストを構成し、
前記クエリの実行時点において、
前記発火オペレータリストに属する前記オペレータの発火時刻が、最も早いものからなる前記オペレータの集合を抽出して実行オペレータリストを作成し、
前記実行オペレータリストに属する前記オペレータの中で、前記オペレータに付与された前記オペレータ実行順序が最小であるオペレータを実行する、
ことを特徴とするストリームデータ処理システム。 - 請求項11に記載のストリームデータ処理システムであって、
前記処理部は、
前記オペレータの実行によって結果タプルが生成された場合に、前記オペレータの出力先の前記オペレータを、前記実行オペレータリストに追加し、
再び、前記実行オペレータリストに属する前記オペレータの中で、付与された前記オペレータ実行順序が最小である前記オペレータを実行する処理を、前記実行オペレータリストが空になるまで継続し、
前記実行オペレータリストが空になった時点で、
前記発火オペレータリストに属する前記オペレータで、前記オペレータの前記発火時刻が、最も早いものからなる前記オペレータの集合を抽出する繰り返し処理を継続する、
ことを特徴とするストリームデータ処理システム。 - 請求項11に記載のストリームデータ処理システムであって、
前記処理部は、
前記オペレータ実行順序を決定する際に、
前記オペレータグラフを、前記オペレータの入出力関係に基づいて、入力側オペレータから出力側オペレータに向かう有向辺を持つ有向グラフに見立てて、前記有向グラフを、強連結成分の集合に分解し、前記強連結成分の集合に属する成分間の入出力関係に基づいて、出力側成分を構成する全ての前記オペレータに付与された前記オペレータ実行順序が、入力側成分を構成する如何なる前記オペレータに付与された前記オペレータ実行順序よりも大となるように決定する、
ことを特徴とするストリームデータ処理システム。 - 請求項13に記載のストリームデータ処理システムであって、
前記処理部は、
前記強連結成分における前記展開点オペレータとして、データソースから到来する前記ストリーム、またはストリーム化演算の出力であるストリームの各データのタイムスタンプを、未来に指定時間だけずらす遅延演算を選択する、
ことを特徴とするストリームデータ処理システム。 - 請求項14記載のストリームデータ処理システムであって、
前記強連結成分において、複数の前記オペレータの中に遅延演算が存在しない場合は、前記ストリーム化演算の出力先に遅延演算を挿入する、
ことを特徴とするストリームデータ処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008278306A JP5465413B2 (ja) | 2008-10-29 | 2008-10-29 | ストリームデータ処理方法、及びそのシステム |
US12/542,887 US8402015B2 (en) | 2008-10-29 | 2009-08-18 | Method for processing stream data and system thereof |
US13/778,255 US8788481B2 (en) | 2008-10-29 | 2013-02-27 | Method for processing stream data and system thereof |
US14/300,322 US9424312B2 (en) | 2008-10-29 | 2014-06-10 | Method for processing stream data and system thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008278306A JP5465413B2 (ja) | 2008-10-29 | 2008-10-29 | ストリームデータ処理方法、及びそのシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014009038A Division JP5782143B2 (ja) | 2014-01-22 | 2014-01-22 | 処理方法、及びストリームデータ処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010108152A true JP2010108152A (ja) | 2010-05-13 |
JP2010108152A5 JP2010108152A5 (ja) | 2011-11-10 |
JP5465413B2 JP5465413B2 (ja) | 2014-04-09 |
Family
ID=42118626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008278306A Active JP5465413B2 (ja) | 2008-10-29 | 2008-10-29 | ストリームデータ処理方法、及びそのシステム |
Country Status (2)
Country | Link |
---|---|
US (3) | US8402015B2 (ja) |
JP (1) | JP5465413B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114548A1 (ja) * | 2010-03-15 | 2011-09-22 | 株式会社日立製作所 | ストリームデータ処理障害回復方法および装置 |
JP2012043409A (ja) * | 2010-08-20 | 2012-03-01 | Internatl Business Mach Corp <Ibm> | データ・ストリームを処理するためのコンピュータ実装方法、システム及びコンピュータ・プログラム |
WO2012046316A1 (ja) * | 2010-10-06 | 2012-04-12 | 株式会社日立製作所 | ストリームデータ処理方法及び装置 |
WO2012059976A1 (ja) * | 2010-11-02 | 2012-05-10 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
WO2013104961A1 (en) * | 2012-01-11 | 2013-07-18 | International Business Machines Corporation | Triggering window conditions in stream computing applications |
JP2014067456A (ja) * | 2014-01-22 | 2014-04-17 | Hitachi Ltd | 処理方法、及びストリームデータ処理システム |
JP2014081759A (ja) * | 2012-10-16 | 2014-05-08 | Hitachi Ltd | ストリームデータ処理方法、ストリームデータ処理装置及びプログラム |
JP2014123354A (ja) * | 2012-12-20 | 2014-07-03 | Hitachi Ltd | グラフデータの再帰クエリを用いたストリームデータ処理方法 |
WO2016035189A1 (ja) * | 2014-09-04 | 2016-03-10 | 株式会社日立製作所 | ストリームデータ処理方法、ストリームデータ処理装置及び記憶媒体 |
JP5887418B2 (ja) * | 2012-09-14 | 2016-03-16 | 株式会社日立製作所 | ストリームデータ多重処理方法 |
US9325767B2 (en) | 2014-03-27 | 2016-04-26 | International Business Machines Corporation | Deploying a portion of a streaming application to one or more virtual machines |
US9405795B2 (en) | 2011-07-20 | 2016-08-02 | Hitachi, Ltd. | Stream data processing server and a non-transitory computer-readable storage medium storing a stream data processing program |
WO2018092199A1 (ja) * | 2016-11-16 | 2018-05-24 | 株式会社日立製作所 | ストリームデータの分散処理方法、ストリームデータの分散処理システム及び記憶媒体 |
WO2019176011A1 (ja) * | 2018-03-14 | 2019-09-19 | 日本電気株式会社 | 検索文活用装置および検索文活用方法 |
US10614072B2 (en) | 2013-06-05 | 2020-04-07 | International Business Machines Corporation | Method, program, and system for processing space-time database |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8589436B2 (en) * | 2008-08-29 | 2013-11-19 | Oracle International Corporation | Techniques for performing regular expression-based pattern matching in data streams |
US8935293B2 (en) | 2009-03-02 | 2015-01-13 | Oracle International Corporation | Framework for dynamically generating tuple and page classes |
US9430494B2 (en) | 2009-12-28 | 2016-08-30 | Oracle International Corporation | Spatial data cartridge for event processing systems |
US8959106B2 (en) * | 2009-12-28 | 2015-02-17 | Oracle International Corporation | Class loading using java data cartridges |
US9305057B2 (en) | 2009-12-28 | 2016-04-05 | Oracle International Corporation | Extensible indexing framework using data cartridges |
US8326821B2 (en) * | 2010-08-25 | 2012-12-04 | International Business Machines Corporation | Transforming relational queries into stream processing |
US8713049B2 (en) | 2010-09-17 | 2014-04-29 | Oracle International Corporation | Support for a parameterized query/view in complex event processing |
US9189280B2 (en) | 2010-11-18 | 2015-11-17 | Oracle International Corporation | Tracking large numbers of moving objects in an event processing system |
US8856060B2 (en) | 2011-03-09 | 2014-10-07 | International Business Machines Corporation | Creating stream processing flows from sets of rules |
US8990416B2 (en) * | 2011-05-06 | 2015-03-24 | Oracle International Corporation | Support for a new insert stream (ISTREAM) operation in complex event processing (CEP) |
US8645346B2 (en) * | 2011-06-16 | 2014-02-04 | Microsoft Corporation | Composable SQL query generation |
US8751205B2 (en) | 2011-06-29 | 2014-06-10 | Hewlett-Packard Development Company, L.P. | Generating discrete event simulation data |
US9329975B2 (en) * | 2011-07-07 | 2016-05-03 | Oracle International Corporation | Continuous query language (CQL) debugger in complex event processing (CEP) |
US8560526B2 (en) * | 2011-07-26 | 2013-10-15 | International Business Machines Corporation | Management system for processing streaming data |
US8959313B2 (en) | 2011-07-26 | 2015-02-17 | International Business Machines Corporation | Using predictive determinism within a streaming environment |
US8990452B2 (en) | 2011-07-26 | 2015-03-24 | International Business Machines Corporation | Dynamic reduction of stream backpressure |
US9148495B2 (en) | 2011-07-26 | 2015-09-29 | International Business Machines Corporation | Dynamic runtime choosing of processing communication methods |
US9069543B2 (en) * | 2011-12-22 | 2015-06-30 | International Business Machines Corporation | Predictive operator graph element processing |
US8943120B2 (en) * | 2011-12-22 | 2015-01-27 | International Business Machines Corporation | Enhanced barrier operator within a streaming environment |
US9430117B2 (en) | 2012-01-11 | 2016-08-30 | International Business Machines Corporation | Triggering window conditions using exception handling |
US9405553B2 (en) * | 2012-01-30 | 2016-08-02 | International Business Machines Corporation | Processing element management in a streaming data system |
US9009007B2 (en) | 2012-03-13 | 2015-04-14 | International Business Machines Corporation | Simulating stream computing systems |
US9146775B2 (en) | 2012-04-26 | 2015-09-29 | International Business Machines Corporation | Operator graph changes in response to dynamic connections in stream computing applications |
US11288277B2 (en) | 2012-09-28 | 2022-03-29 | Oracle International Corporation | Operator sharing for continuous queries over archived relations |
US9563663B2 (en) | 2012-09-28 | 2017-02-07 | Oracle International Corporation | Fast path evaluation of Boolean predicates |
US9158795B2 (en) * | 2012-09-28 | 2015-10-13 | International Business Machines Corporation | Compile-time grouping of tuples in a streaming application |
US9497250B2 (en) | 2012-10-29 | 2016-11-15 | International Business Machines Corporation | Runtime grouping of tuples in a streaming application |
US9930081B2 (en) | 2012-11-13 | 2018-03-27 | International Business Machines Corporation | Streams optional execution paths depending upon data rates |
US10956422B2 (en) | 2012-12-05 | 2021-03-23 | Oracle International Corporation | Integrating event processing with map-reduce |
US10298444B2 (en) | 2013-01-15 | 2019-05-21 | Oracle International Corporation | Variable duration windows on continuous data streams |
US9098587B2 (en) | 2013-01-15 | 2015-08-04 | Oracle International Corporation | Variable duration non-event pattern matching |
US9390135B2 (en) | 2013-02-19 | 2016-07-12 | Oracle International Corporation | Executing continuous event processing (CEP) queries in parallel |
US9047249B2 (en) | 2013-02-19 | 2015-06-02 | Oracle International Corporation | Handling faults in a continuous event processing (CEP) system |
US20140282415A1 (en) * | 2013-03-14 | 2014-09-18 | Cadence Design Systems, Inc. | Method and system for debugging a program |
US9280549B2 (en) | 2013-03-14 | 2016-03-08 | International Business Machines Corporation | Compressing tuples in a streaming application |
US9329970B2 (en) * | 2013-03-15 | 2016-05-03 | International Business Machines Corporation | Selecting an operator graph configuration for a stream-based computing application |
US9002846B2 (en) * | 2013-03-15 | 2015-04-07 | International Business Machines Corporation | Ending tuple processing in a stream-based computing application |
US9571545B2 (en) | 2013-03-15 | 2017-02-14 | International Business Machines Corporation | Evaluating a stream-based computing application |
US10565208B2 (en) * | 2013-03-26 | 2020-02-18 | Microsoft Technology Licensing, Llc | Analyzing multiple data streams as a single data object |
US9147010B2 (en) | 2013-04-17 | 2015-09-29 | International Business Machines Corporation | Reconfiguring an operator graph based on attribute usage |
US9418113B2 (en) | 2013-05-30 | 2016-08-16 | Oracle International Corporation | Value based windows on relations in continuous data streams |
US9237079B2 (en) * | 2013-11-19 | 2016-01-12 | International Business Machines Corporation | Increasing performance of a streaming application by running experimental permutations |
US9298485B2 (en) | 2013-11-19 | 2016-03-29 | International Business Machines Corporation | Maintaining virtual machines for cloud-based operators in a streaming application in a ready state |
US9262222B2 (en) | 2013-12-03 | 2016-02-16 | International Business Machines Corporation | Lazy initialization of operator graph in a stream computing application |
US9934279B2 (en) | 2013-12-05 | 2018-04-03 | Oracle International Corporation | Pattern matching across multiple input data streams |
US9438490B2 (en) | 2014-03-07 | 2016-09-06 | International Business Machines Corporation | Allocating operators of a streaming application to virtual machines based on monitored performance |
US9794139B2 (en) * | 2014-03-07 | 2017-10-17 | International Business Machines Corporation | Allocating operators of a streaming application to virtual machines based on monitored performance |
US9401946B2 (en) | 2014-03-27 | 2016-07-26 | International Business Machines Corporation | Deploying a portion of a streaming application to one or more virtual machines according to hardware type |
US9729419B2 (en) * | 2014-03-27 | 2017-08-08 | International Business Machines Corporation | Smart migration of overperforming operators of a streaming application to virtual machines in a cloud |
US9244978B2 (en) | 2014-06-11 | 2016-01-26 | Oracle International Corporation | Custom partitioning of a data stream |
US20150373071A1 (en) * | 2014-06-19 | 2015-12-24 | International Business Machines Corporation | On-demand helper operator for a streaming application |
US9712645B2 (en) | 2014-06-26 | 2017-07-18 | Oracle International Corporation | Embedded event processing |
US10120907B2 (en) | 2014-09-24 | 2018-11-06 | Oracle International Corporation | Scaling event processing using distributed flows and map-reduce operations |
US9886486B2 (en) | 2014-09-24 | 2018-02-06 | Oracle International Corporation | Enriching events with dynamically typed big data for event processing |
US10592500B2 (en) | 2015-01-27 | 2020-03-17 | International Business Machines Corporation | Eviction stream for data joins |
US9734206B2 (en) | 2015-04-14 | 2017-08-15 | International Business Machines Corporation | Intermediate window results in a streaming environment |
WO2017018901A1 (en) | 2015-07-24 | 2017-02-02 | Oracle International Corporation | Visually exploring and analyzing event streams |
CN106874320A (zh) | 2016-06-20 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 分布式流式数据处理的方法和装置 |
US10311052B2 (en) * | 2017-05-19 | 2019-06-04 | International Business Machines Corporation | Query governor enhancements for databases integrated with distributed programming environments |
US10587665B2 (en) | 2017-05-30 | 2020-03-10 | International Business Machines Corporation | Locking streaming operators |
US10901999B2 (en) | 2017-10-23 | 2021-01-26 | International Business Machines Corporation | Graph-based searching for data stream |
CN108667566B (zh) * | 2018-04-24 | 2020-12-01 | 天津芯海创科技有限公司 | Tcp流数据匹配装置 |
US10733191B2 (en) * | 2018-09-28 | 2020-08-04 | Microsoft Technology Licensing, Llc | Static streaming job startup sequence |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001222452A (ja) * | 2000-02-10 | 2001-08-17 | Ricoh Co Ltd | リレーショナルデータベースシステムにおける問い合わせ処理最適化装置 |
JP2007328716A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | ストリームデータ処理方法 |
WO2008043082A2 (en) * | 2006-10-05 | 2008-04-10 | Splunk Inc. | Time series search engine |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4723301B2 (ja) * | 2005-07-21 | 2011-07-13 | 株式会社日立製作所 | ストリームデータ処理システムおよびストリームデータ処理方法 |
JP4933222B2 (ja) * | 2006-11-15 | 2012-05-16 | 株式会社日立製作所 | インデックス処理方法及び計算機システム |
US7945540B2 (en) * | 2007-05-04 | 2011-05-17 | Oracle International Corporation | Method to create a partition-by time/tuple-based window in an event processing service |
US20080301125A1 (en) * | 2007-05-29 | 2008-12-04 | Bea Systems, Inc. | Event processing query language including an output clause |
US7979420B2 (en) * | 2007-10-16 | 2011-07-12 | Oracle International Corporation | Handling silent relations in a data stream management system |
US7996388B2 (en) * | 2007-10-17 | 2011-08-09 | Oracle International Corporation | Adding new continuous queries to a data stream management system operating on existing queries |
US7739265B2 (en) * | 2007-10-18 | 2010-06-15 | Oracle International Corporation | Deleting a continuous query from a data stream management system continuing to operate on other queries |
US7673065B2 (en) * | 2007-10-20 | 2010-03-02 | Oracle International Corporation | Support for sharing computation between aggregations in a data stream management system |
US7865502B2 (en) * | 2008-04-10 | 2011-01-04 | International Business Machines Corporation | Optimization of extensible markup language path language (XPATH) expressions in a database management system configured to accept extensible markup language (XML) queries |
JP5198929B2 (ja) * | 2008-04-25 | 2013-05-15 | 株式会社日立製作所 | ストリームデータ処理方法及び計算機システム |
-
2008
- 2008-10-29 JP JP2008278306A patent/JP5465413B2/ja active Active
-
2009
- 2009-08-18 US US12/542,887 patent/US8402015B2/en active Active
-
2013
- 2013-02-27 US US13/778,255 patent/US8788481B2/en active Active
-
2014
- 2014-06-10 US US14/300,322 patent/US9424312B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001222452A (ja) * | 2000-02-10 | 2001-08-17 | Ricoh Co Ltd | リレーショナルデータベースシステムにおける問い合わせ処理最適化装置 |
JP2007328716A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | ストリームデータ処理方法 |
WO2008043082A2 (en) * | 2006-10-05 | 2008-04-10 | Splunk Inc. | Time series search engine |
Non-Patent Citations (1)
Title |
---|
JPN7013003777; Brian Babcock et al.: '"Models and issues in data stream systems"' PODS '02 (Proceedings of the 21 ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems , 2002, P. 1-16, ACM * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8904225B2 (en) | 2010-03-15 | 2014-12-02 | Hitachi, Ltd. | Stream data processing failure recovery method and device |
JP2011192013A (ja) * | 2010-03-15 | 2011-09-29 | Hitachi Ltd | ストリームデータ処理障害回復方法および装置 |
WO2011114548A1 (ja) * | 2010-03-15 | 2011-09-22 | 株式会社日立製作所 | ストリームデータ処理障害回復方法および装置 |
JP2012043409A (ja) * | 2010-08-20 | 2012-03-01 | Internatl Business Mach Corp <Ibm> | データ・ストリームを処理するためのコンピュータ実装方法、システム及びコンピュータ・プログラム |
WO2012046316A1 (ja) * | 2010-10-06 | 2012-04-12 | 株式会社日立製作所 | ストリームデータ処理方法及び装置 |
WO2012059976A1 (ja) * | 2010-11-02 | 2012-05-10 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
JP5472885B2 (ja) * | 2010-11-02 | 2014-04-16 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
US9405795B2 (en) | 2011-07-20 | 2016-08-02 | Hitachi, Ltd. | Stream data processing server and a non-transitory computer-readable storage medium storing a stream data processing program |
WO2013104961A1 (en) * | 2012-01-11 | 2013-07-18 | International Business Machines Corporation | Triggering window conditions in stream computing applications |
GB2513263B (en) * | 2012-01-11 | 2020-02-26 | Ibm | Triggering window conditions in stream computing applications |
GB2513263A (en) * | 2012-01-11 | 2014-10-22 | Ibm | Triggering window conditions in stream computing applications |
US9798830B2 (en) | 2012-09-14 | 2017-10-24 | Hitachi, Ltd. | Stream data multiprocessing method |
JP5887418B2 (ja) * | 2012-09-14 | 2016-03-16 | 株式会社日立製作所 | ストリームデータ多重処理方法 |
JP2014081759A (ja) * | 2012-10-16 | 2014-05-08 | Hitachi Ltd | ストリームデータ処理方法、ストリームデータ処理装置及びプログラム |
JP2014123354A (ja) * | 2012-12-20 | 2014-07-03 | Hitachi Ltd | グラフデータの再帰クエリを用いたストリームデータ処理方法 |
US10614072B2 (en) | 2013-06-05 | 2020-04-07 | International Business Machines Corporation | Method, program, and system for processing space-time database |
JP2014067456A (ja) * | 2014-01-22 | 2014-04-17 | Hitachi Ltd | 処理方法、及びストリームデータ処理システム |
US9325766B2 (en) | 2014-03-27 | 2016-04-26 | International Business Machines Corporation | Deploying a portion of a streaming application to one or more virtual machines |
US9325767B2 (en) | 2014-03-27 | 2016-04-26 | International Business Machines Corporation | Deploying a portion of a streaming application to one or more virtual machines |
JPWO2016035189A1 (ja) * | 2014-09-04 | 2017-04-27 | 株式会社日立製作所 | ストリームデータ処理方法、ストリームデータ処理装置及び記憶媒体 |
WO2016035189A1 (ja) * | 2014-09-04 | 2016-03-10 | 株式会社日立製作所 | ストリームデータ処理方法、ストリームデータ処理装置及び記憶媒体 |
WO2018092199A1 (ja) * | 2016-11-16 | 2018-05-24 | 株式会社日立製作所 | ストリームデータの分散処理方法、ストリームデータの分散処理システム及び記憶媒体 |
WO2019176011A1 (ja) * | 2018-03-14 | 2019-09-19 | 日本電気株式会社 | 検索文活用装置および検索文活用方法 |
JPWO2019176011A1 (ja) * | 2018-03-14 | 2021-02-04 | 日本電気株式会社 | 検索文活用装置および検索文活用方法 |
JP7006769B2 (ja) | 2018-03-14 | 2022-01-24 | 日本電気株式会社 | 検索文活用装置および検索文活用方法 |
US11727059B2 (en) | 2018-03-14 | 2023-08-15 | Nec Corporation | Retrieval sentence utilization device and retrieval sentence utilization method |
Also Published As
Publication number | Publication date |
---|---|
US8402015B2 (en) | 2013-03-19 |
US20140289221A1 (en) | 2014-09-25 |
US8788481B2 (en) | 2014-07-22 |
US9424312B2 (en) | 2016-08-23 |
JP5465413B2 (ja) | 2014-04-09 |
US20100106946A1 (en) | 2010-04-29 |
US20130173587A1 (en) | 2013-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5465413B2 (ja) | ストリームデータ処理方法、及びそのシステム | |
US9846724B2 (en) | Integration of calculation models into SQL layer | |
US7467383B2 (en) | System for controlling task execution using a graphical representation of task dependency | |
US7877379B2 (en) | Delaying evaluation of expensive expressions in a query | |
CN107003868B (zh) | 处理包含联合类型操作的查询 | |
JP7216654B2 (ja) | 可変レベル並列性を用いたデータ処理動作を行うためのシステム及び方法 | |
KR20160058947A (ko) | 데이터에 적용되는 규칙 평가 | |
Cleary | Concurrency in C# Cookbook: Asynchronous, Parallel, and Multithreaded Programming | |
JP2009134689A (ja) | ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム | |
Meijer | Your mouse is a database | |
US20070106667A1 (en) | Generalized deadlock resolution in databases | |
US20120324289A1 (en) | Method and apparatus for testing data warehouses | |
Song et al. | Refactoring and publishing WS-BPEL processes to obtain more partners | |
CN111159268B (zh) | 一种ETL流程在Spark集群中运行的方法和装置 | |
JP2009539151A (ja) | 関係データベースシステムを制御するための方法 | |
US20050198627A1 (en) | Loop transformation for speculative parallel threads | |
Hallé | From complex event processing to simple event processing | |
Janssen et al. | From sequential layers to distributed processes: Deriving a distributed minimum weight spanning tree algorithm | |
JP5782143B2 (ja) | 処理方法、及びストリームデータ処理システム | |
JP5956031B2 (ja) | 処理方法、及びストリームデータ処理システム | |
CN112905598B (zh) | 基于接口实现分离的图任务中间结果存储方法及系统 | |
Desel et al. | Negotiation as concurrency primitive | |
CN110427210A (zh) | 一种storm拓扑任务的快速构建方法及装置 | |
CN109688014B (zh) | 关键字驱动的Web服务自动组合方法 | |
JP2024066421A (ja) | ストリームベースのトランザクション処理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5465413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |