JP2009266007A - ストリームデータ処理方法及び計算機システム - Google Patents
ストリームデータ処理方法及び計算機システム Download PDFInfo
- Publication number
- JP2009266007A JP2009266007A JP2008115765A JP2008115765A JP2009266007A JP 2009266007 A JP2009266007 A JP 2009266007A JP 2008115765 A JP2008115765 A JP 2008115765A JP 2008115765 A JP2008115765 A JP 2008115765A JP 2009266007 A JP2009266007 A JP 2009266007A
- Authority
- JP
- Japan
- Prior art keywords
- information
- result
- delay
- processing
- tuple
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Abstract
【解決手段】ウィンドウによって生存期間が定義されるデータに対して処理するストリームデータ処理方法において、遅延処理HBTに従い、遅延タプルを除く演算結果を未確定フラグとともに即時に出力するとともに、再生に必要な途中処理結果を生存期間とともに保持し、遅延タプル到着時には、遅延タプル、および処理結果復元タプルから正確な処理結果を算出する。
【選択図】図2
Description
(1)ストリームデータ処理システムに到着した時刻(システムタイムスタンプ)で制御して処理する方法と、
(2)データソースが付与した時刻(アプリケーションタイムスタンプ)で制御して処理する方法、
の2通りがある。上記(1)の方法の場合、システムタイムスタンプは遅延して到着した時刻となり、データソースが付与した時刻が処理に反映されない。そのため、遅延せずに到着した場合に出力されるべき結果が、出力できない問題がある。上記(2)の方法の場合、遅延タプルが到着するまで、処理を開始することができず、リアルタイムに処理結果を出力できない問題がある。そのため、上記(1)、(2)のどちらの方法も用いることができない。
秒を含めた形式に代表される他の形式でもよい。以下の図においても、同様とする。
上記の実施形態では、ウィンドウオペレータ802、803、結合オペレータ806、集計オペレータ807に関して説明したが、ウィンドウオペレータ、結合オペレータ、集計オペレータ以外のオペレータに関して、遅延タプル203を除く処理結果を未確定フラグとともに出力すると同時に、再生に必要な途中処理結果を生存期間とともに保持する処理や、途中処理結果、および遅延タプルから正確な処理結果を算出する処理をしても構わない。
以下では、本発明の第二の実施形態について説明する。
例えば、図6に示した温度ストリームデータ2011を入力し、図6に示したタプル509、514、519が9:05(ストリームデータ処理システム100の実時間であり、アプリケーションタイムスタンプとは異なる)にまとめて到着する場合を考える。
以下では、本発明の第三の実施形態について説明する。
例えば、図20に示したリアルタイム出力結果250、および図21に示した遅延出力結果251に対して、出力方法を切り替える場合を以下に示す。
本発明は、上記に示した第一から第三の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。また、上記に示した第一から第三の実施形態を組み合わせた実施形態も可能である。
108 センサ基地局
110 RFIDリーダー
112 ネットワーク
113 中継計算機
115、117 計算機
121、122、123 アプリケーション
201 ストリームデータ
202 遅延処理ハートビートタプル(HBT)
203 遅延タプル
204 遅延処理解消HBT
210 コマンド入力部
220 問合せ管理部
221 ストリームデータ設定部
222 ストリームデータ管理テーブル
223 問合せ設定部
224 問合せ管理テーブル
230 問合せ実行部
231 問合せ実行木スケジューラ
232 時間順ソート部
233 遅延処理HBT検知部
234 未確定フラグ付与部
235 結果復元タプル保持部
236 遅延タプル検知部
237 遅延タプル再計算部
238 遅延処理解消HBT検知部
240 問合せ実行領域
241 問合せ実行木
242 ウィンドウデータ領域
243 一時保存領域
244 結果復元タプル領域
250 リアルタイム出力結果
251 遅延出力結果
Claims (19)
- 計算機に入力されたストリームデータを1次情報として受け付けて、前記受け付けた1次情報のうち所定の期間の1次情報を取得して2次情報として生成する処理を前記計算機で実行するストリームデータ処理方法において、
前記計算機に入力されたストリームデータを1次情報として受け付けるステップと、
前記受け付けた1次情報に、当該1次情報が遅延して到着することを示す遅延情報が含まれるか否かを判定するステップと、
前記判定結果が遅延情報を含むときに、第1のリアルタイム処理を行うステップと、を含み、
前記第1のリアルタイム処理を行うステップは、
前記受け付けた1次情報のうち所定の生存期間に該当する1次情報を2次情報として抽出し、当該抽出した2次情報からリアルタイム処理結果を生成するステップと、
前記遅延情報に対応する1次情報を受け付けるステップと、
前記遅延した1次情報を受け付けた後に、前記リアルタイム処理結果を再計算するステップと、を含み、
前記抽出した2次情報からリアルタイム処理結果を生成するステップは、
前記遅延情報を受け付けたときに、前記遅延して到着する1次情報を除いた1次情報から前記生存期間に基づいて2次情報を求め、当該2次情報を再計算が必要なリアルタイム出力結果として出力するステップと、
前記遅延情報に対応する1次情報を受け付けた後の再計算に必要な情報として、前記リアルタイム出力結果を求める結果復元情報を前記生存期間とともに保持するステップと、を含み、
前記遅延した1次情報を受け付けた後に、前記リアルタイム処理結果を再計算するステップは、
前記遅延した1次情報と前記結果復元情報から前記2次情報を再計算し、当該再計算の結果を遅延出力結果として出力するステップと、
を含むことを特徴とするストリームデータ処理方法。 - 前記遅延情報を受け付けたとき前記2次情報を再計算が必要なリアルタイム出力結果として出力するステップでは、再計算が必要であることを示す未確定フラグを前記2次情報に付与して出力し、前記遅延した1情報を受け付けた後に前記2次情報を再計算し、遅延出力として出力するステップでは、再計算の結果であることを示す確定フラグを結果に付与して出力することを特徴とする請求項1に記載のストリームデータ処理方法。
- 前記受け付けた1次情報に、前記遅延情報に対応する1次情報が全て到着したことを示す遅延解消情報が含まれるか否かを判定するステップと、
前記判定結果が遅延解消情報を含むときに、第2のリアルタイム処理を行うステップと、をさらに含み、
前記第2のリアルタイム処理を行うステップは、
前記受け付けた1次情報のうち所定の生存期間に該当する1次情報を2次情報として抽出し、当該抽出した2次情報からリアルタイム処理結果を生成するステップを含み、
前記判定結果が遅延情報を含むときに、第1のリアルタイム処理を行うステップは、
前記遅延情報を受け付けてから遅延解消情報を受け付けるまでの間で実行されることを特徴とする請求項1に記載のストリームデータ処理方法。 - 前記受け付けた1次情報のうち所定の生存期間に該当する1次情報を2次情報として抽出し、当該抽出した2次情報からリアルタイム処理結果を生成するステップは、
前記1次情報を取得する処理要求を受け付けるステップと、
前記処理要求が前記1次情報から切り取るデータ列を指定し、当該1次情報を2次情報へと変換するウィンドウ演算を実行する処理要求か否かを判定するステップと、
前記判定結果で処理要求がウィンドウ演算を実行する処理要求の場合に、前記処理要求が前記データ列の数を指定するか否かを判定するステップと、
前記判定結果が前記データ列の数を指定する場合に、前記2次情報に未確定フラグを付与し、前記再計算に必要な処理途中結果としての結果復元情報を格納する結果復元情報領域に、前記切り取られたデータ列を前記生存期間とともに格納するステップと、
前記判定結果が前記データ列の数を指定するものでない場合に、前記処理要求がグループ別にデータ列の数を指定するグループ別ウィンドウであり、前記2次情報をグループ別に分類するグループ化キーが前記遅延情報に含まれるキーと同一であるか否かを判定するステップと、
前記判定結果がグループ別ウィンドウ、かつ前記グループ化キーが前記遅延情報に含まれるキーと同一である場合に、前記2次情報に前記未確定フラグを付与するステップと、
を含むことを特徴とする請求項1に記載のストリームデータ処理方法。 - 前記受け付けた1次情報のうち所定の生存期間に該当する1次情報を2次情報として抽出し、当該抽出した2次情報からリアルタイム処理結果を生成するステップは、
前記1次情報を取得する処理要求を受け付けるステップと、
前記処理要求が複数の前記1次情報を所定の条件のもとに結合して2次情報を生成する結合演算を要求するかを判定するステップと、
前記判定結果が結合演算を要求する場合に、一時的にデータを保存する一時保存領域を参照し、結合対象の結合用に一時的に保存された一時保存情報を取得するステップと、
前記1次情報が前記未確定フラグ付きの結合用一時保存情報と結合するか否かを判定するステップと、
前記1次情報が未確定フラグ付き情報であるか否かを判定するステップと、
前記1次情報が前記未確定フラグ付きの結合用一時保存情報と結合する場合、もしくは前記1次情報が前記未確定フラグ付きのタプルの場合に、前記結合結果に未確定フラグを付与するステップと、
前記結果復元情報領域に結合用一時保存情報を前記生存期間とともに結合用結果復元情報として格納するステップと、
を含むことを特徴とする請求項2に記載のストリームデータ処理方法。 - 前記遅延した1次情報を受け付けた後に、前記リアルタイム処理結果を再計算するステップは、
前記処理要求が前記結合演算の要求を含むか否かを判定するステップと、
前記判定結果が結合演算の要求を含むである場合に、前記遅延した1次情報のタイムスタンプに対応する前記生存期間を持つ前記結合用結果復元情報を前記結果復元情報領域から取得するステップと、
前記遅延した1次情報と結合対象の前記結合用結果復元情報を結合するステップと、
前記結合結果に対して遅延した1次情報から再計算を行って処理結果が確定したことを表す確定フラグを付与して出力するステップと、
前記遅延した1次情報のタイムスタンプよりも前記生存期間の生存終了時期が早い前記結果復元情報を結果復元情報領域から削除するステップと、
を含むことを特徴とする請求項5に記載のストリームデータ処理方法。 - 前記受け付けた1次情報のうち所定の生存期間に該当する1次情報を2次情報として抽出し、当該抽出した2次情報からリアルタイム処理結果を生成するステップは、
前記1次情報を取得する処理要求を受け付けるステップと、
前記処理要求が前記1次情報に対して集計処理を実行する要求か否かを判定する処理と、
前記判定結果が集計処理を要求する場合、一時的にデータを保存する一時保存領域を参照し、集計対象の結合用の一時保存情報を取得するステップと、
前記集計用の一時保存情報が前記未確定フラグ付きであるか否かを判定する処理と、
前記1次情報が未確定フラグ付き情報であるか否かを判定するステップと、
前記判定結果で集計用の一時保存情報が前記未確定フラグ付きである場合、もしくは前記1次情報が未確定フラグ付き情報である場合に、集計結果に未確定フラグを付与するステップと、
前記再計算に必要な処理途中結果としての結果復元情報を格納する結果復元情報領域に、前記集計用の一時的な保存情報を前記生存期間とともに集計用結果復元情報として格納する処理と、
を含むことを特徴とする請求項2に記載のストリームデータ処理方法。 - 前記遅延した1次情報を受け付けた後に、前記リアルタイム処理結果を再計算するステップは、
前記処理要求が前記集計オペレータであるか否かを判定するステップと、
前記判定結果が集計オペレータである場合に、前記結果復元情報領域を参照し、前記遅延した1次情報のタイムスタンプに対応する前記生存期間を持つ前記集計用結果復元情報を取得するステップと、
前記遅延した1次情報と集計対象の前記集計用結果復元情報から集計結果を再計算するステップと、
前記集計結果に対して遅延した1次情報から再計算を行って処理結果が確定したことを表す確定フラグを付与して出力するステップと、
前記遅延した1次情報のタイムスタンプよりも前記生存期間の生存終了時期が早い前記結果復元情報を結果復元情報領域から削除するステップと、
を含むことを特徴とする請求項7に記載のストリームデータ処理方法。 - 前記計算機のシステム時刻を取得するステップと、
前記入力されたストリームデータのうち、前記ストリームデータを送信したノードが最後に送信したストリームデータのタイムスタンプをアプリケーション時刻情報として取得するステップと、
前記アプリケーション時刻情報とシステム時刻とを比較してその差が前記ストリームデータのタイムアウトを検知するために予め設定された時間情報である遅延情報生成閾値以内であるか否かを判定する処理と、
前記判定結果で前記アプリケーション時刻情報と前記システム時刻との差が前記遅延情報生成閾値を超えていれば、遅延情報を生成するステップと、をさらに含み、
前記受け付けた1次情報に、当該1次情報が遅延して到着することを示す遅延情報が含まれるか否かを判定するステップは、
前記生成された遅延情報を入力とすることを特徴とする請求項1に記載のストリームデータ処理方法。 - 前記遅延情報を生成するステップは、
前記1次情報を送信する各ノードと前記1次情報との関係を管理するノードストリーム管理テーブル上の情報において、前記ノードから送られてくる前記ストリームデータの情報が予め設定されたスキーマ限定条件に含まれるか否かを判定する処理と、
前記判定結果が前記スキーマ限定条件に含まれる場合に、前記遅延情報に前記スキーマ限定条件を付与することを特徴とする請求項9に記載のストリームデータ処理方法 - 予め設定された選択により、前記計算機からユーザが操作する別の計算機に対し、前記リアルタイム処理結果と前記遅延出力結果の双方を出力するか、または前記遅延出力結果を出力せず、前記リアルタイム処理結果のみを出力するか、の何れかに決定することを特徴とする請求項1に記載のストリームデータ処理方法。
- 予め設定された選択により、前記遅延出力結果を含む正しい処理結果を外部記憶媒体に保存するか否かを決定するステップをさらに含み、
前記遅延出力結果を含む正しい処理結果を外部記憶媒体に保存する場合に、前記再計算が必要なリアルタイム出力結果は前記外部記憶媒体に保存せず、前記遅延情報を含まない1次情報から生成したリアルタイム出力結果、および前記遅延した1次情報により前記再計算を経たリアルタイム出力結果を前記外部記憶媒体に保存することを特徴とする請求項1に記載のストリームデータ処理方法。 - 前記再計算に必要な結果復元情報を前記生存期間とともに保持するデータ量が予め設定されたメモリ量上限値を超える場合に、前記結果復元情報うちのタイムスタンプの古いデータを削除するか、前記ストリームデータの入力を一次的にとめるか、もしくは前記ストリームデータの一部を削除して処理する何れかの手順を実行することを特徴とする請求項1に記載のストリームデータ処理方法。
- プロセッサと記憶装置及びインターフェースを備えて、前記記憶装置に設定されて、前記インターフェースを介して入力されたストリームデータを1次情報として取得し、該取得した1次情報に対して前記1次情報が処理対象となる生存期間を定めるウィンドウに基づいて2次情報を生成する計算機システムにおいて、
前記1次情報の一部が遅延して到着することを表す遅延処理情報に基づいて、前記遅延して到着する1次情報を除く処理結果を、リアルタイム処理結果として出力する第1の処理部と、
前記遅延情報に対応する1次情報が到着した場合の再計算に必要な結果復元情報を前記生存期間とともに保持する結果復元情報保持部と、
前記遅延情報に対応する1次情報が到着したときに前記結果復元情報および前記遅延情報に対応する1次情報から前記2次情報を再計算し、当該再計算の結果を遅延出力結果として出力する遅延タプル再計算部と、
を備えたことを特徴とする計算機システム。 - 前記入力されたストリームデータのうち、前記ストリームデータを送信したノードが最後に送信したストリームデータのタイムスタンプをアプリケーション時刻情報として取得し、前記アプリケーション時刻情報と計算機のシステム時刻とを比較してその差が前記ストリームデータのタイムアウトを検知するために予め設定された時間情報である遅延情報生成閾値以内であるか否かを判定するタイムアウト検知部と、
前記タイムアウト検知部の判定結果が遅延情報生成閾値を超えたという判定である場合に、遅延情報を生成する遅延処理ハートビートタプル生成部と、
を備えたことを特徴とする請求項14に記載の計算機システム。 - 前記第1の処理部は、
前記リアルタイム処理結果に、再計算が必要な2次情報であることを示す未確定フラグを付与し、
前記遅延タプル再計算部は、
前記遅延出力結果に再計算の結果であることを示す確定フラグを付与することを特徴とする請求項14に記載の計算機システム。 - 前記リアルタイム出力結果、および前記遅延出力結果に対して、出力する結果が前記遅延出力結果を出力せず、前記遅延出力結果を含む正しい処理結果を外部記憶媒体に保存するか否かを設定する出力方法設定部と、
前記出力する結果が前記遅延出力結果を出力せず、前記遅延出力結果を含む正しい処理結果を外部記憶媒体に保存する場合に、前記未確定フラグつきの処理結果は前記外部記憶媒体に保存せず、前記未確定フラグなし、および前記遅延情報に対応する1次情報により、処理を再計算し、処理結果が確定したことを表す確定フラグ付きの処理結果を外部記憶媒体に保存するアーカイブ実行部と、
前記リアルタイム出力結果のみを出力する出力結果制御部と、
を備えたことを特徴とする請求項16に記載の計算機システム。 - 計算機に入力されるストリームデータを1次情報として取得し、該取得した1次情報に対して前記1次情報が処理対象となる生存期間を定めるウィンドウに基づいて2次情報を生成するストリームデータ処理を計算機に実行させるプログラムにおいて、
前前記1次情報の一部が遅延して到着することを表す遅延情報に基づいて、前記遅延して到着する1次情報を除く処理結果を2次情報として抽出し、リアルタイム処理結果として出力する手順と、
、前記遅延情報に対応する1次情報が到着した場合の再計算に必要な処理途中結果を前記生存期間とともに保持する手順と、
前記遅延情報に対応する1次情報が到着したときに前記処理途中結果および前記遅延情報に対応する1次情報から前記2次情報を再計算し、遅延出力結果として出力する手順と、
を計算機に実行させることを特徴とするプログラム。 - 前記リアルタイム処理結果として出力する手順は、
前記リアルタイム処理結果に、再計算が必要な2次情報であることを示す未確定フラグを付与し、
前記遅延出力結果として出力する手順は、
前記遅延出力結果に再計算の結果であることを示す確定フラグを付与することを特徴とする請求項18に記載のプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008115765A JP5198929B2 (ja) | 2008-04-25 | 2008-04-25 | ストリームデータ処理方法及び計算機システム |
US12/230,289 US7849227B2 (en) | 2008-04-25 | 2008-08-27 | Stream data processing method and computer systems |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008115765A JP5198929B2 (ja) | 2008-04-25 | 2008-04-25 | ストリームデータ処理方法及び計算機システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009266007A true JP2009266007A (ja) | 2009-11-12 |
JP5198929B2 JP5198929B2 (ja) | 2013-05-15 |
Family
ID=41216096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008115765A Expired - Fee Related JP5198929B2 (ja) | 2008-04-25 | 2008-04-25 | ストリームデータ処理方法及び計算機システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7849227B2 (ja) |
JP (1) | JP5198929B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011165000A (ja) * | 2010-02-10 | 2011-08-25 | Nippon Telegr & Teleph Corp <Ntt> | データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム |
JP2013228991A (ja) * | 2012-04-25 | 2013-11-07 | Hitachi Ltd | シングルストリームの複数ウィンドウでのストリームデータ処理方法 |
JP2014123354A (ja) * | 2012-12-20 | 2014-07-03 | Hitachi Ltd | グラフデータの再帰クエリを用いたストリームデータ処理方法 |
JP2015501976A (ja) * | 2011-11-10 | 2015-01-19 | トレジャー データ, インク.Treasure Data, Inc. | 大量データプラットフォームを操作するシステム及び方法 |
JPWO2013137067A1 (ja) * | 2012-03-15 | 2015-08-03 | 日本電気株式会社 | 演算装置、演算方法及び演算プログラム |
JP2016071479A (ja) * | 2014-09-29 | 2016-05-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | データをストリーム処理する方法、並びに、そのコンピュータ・システム及びコンピュータ・システム用プログラム |
JP2016526719A (ja) * | 2013-06-21 | 2016-09-05 | 株式会社日立製作所 | 時間調整を使用したストリームデータ処理方法 |
JP2017529588A (ja) * | 2014-07-25 | 2017-10-05 | アビニシオ テクノロジー エルエルシー | ランダムに発生するイベントの遅延の適応のための変更可能な時系列 |
JP2018508881A (ja) * | 2015-01-29 | 2018-03-29 | シグナルエフエックス インコーポレイテッド | 計測されたソフトウェアから受信されるデータストリームのリアルタイム処理 |
JP2019020850A (ja) * | 2017-07-12 | 2019-02-07 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11709661B2 (en) | 2014-12-19 | 2023-07-25 | Splunk Inc. | Representing result data streams based on execution of data stream language programs |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8676841B2 (en) | 2008-08-29 | 2014-03-18 | Oracle International Corporation | Detection of recurring non-occurrences of events using pattern matching |
JP5465413B2 (ja) * | 2008-10-29 | 2014-04-09 | 株式会社日立製作所 | ストリームデータ処理方法、及びそのシステム |
JP5396184B2 (ja) * | 2009-07-31 | 2014-01-22 | 株式会社日立製作所 | 計算機システム及び複数計算機によるストリームデータ分散処理方法 |
US9112724B2 (en) * | 2009-12-01 | 2015-08-18 | Cisco Technology, Inc. | Minimum disruption MST reconfiguration (MDMR) |
US9305057B2 (en) | 2009-12-28 | 2016-04-05 | Oracle International Corporation | Extensible indexing framework using data cartridges |
US9430494B2 (en) | 2009-12-28 | 2016-08-30 | Oracle International Corporation | Spatial data cartridge for event processing systems |
JP5544006B2 (ja) * | 2010-02-18 | 2014-07-09 | 株式会社日立製作所 | 情報通信処理システム |
US8676756B2 (en) * | 2010-05-17 | 2014-03-18 | Invensys Systems, Inc. | Replicating time-series data values for retrieved supervisory control and manufacturing parameter values in a multi-tiered historian server environment |
JP5583476B2 (ja) * | 2010-05-21 | 2014-09-03 | 株式会社日立製作所 | ノード装置、ノードシステム、および情報処理方法 |
US8713049B2 (en) | 2010-09-17 | 2014-04-29 | Oracle International Corporation | Support for a parameterized query/view in complex event processing |
US8260803B2 (en) | 2010-09-23 | 2012-09-04 | Hewlett-Packard Development Company, L.P. | System and method for data stream processing |
US8620945B2 (en) | 2010-09-23 | 2013-12-31 | Hewlett-Packard Development Company, L.P. | Query rewind mechanism for processing a continuous stream of data |
US8260826B2 (en) | 2010-09-23 | 2012-09-04 | Hewlett-Packard Development Company, L.P. | Data processing system and method |
US9189280B2 (en) | 2010-11-18 | 2015-11-17 | Oracle International Corporation | Tracking large numbers of moving objects in an event processing system |
US8990416B2 (en) | 2011-05-06 | 2015-03-24 | Oracle International Corporation | Support for a new insert stream (ISTREAM) operation in complex event processing (CEP) |
US9329975B2 (en) | 2011-07-07 | 2016-05-03 | Oracle International Corporation | Continuous query language (CQL) debugger in complex event processing (CEP) |
US8880493B2 (en) | 2011-09-28 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | Multi-streams analytics |
US9674058B2 (en) * | 2011-11-07 | 2017-06-06 | Hitachi, Ltd. | Time series data processing device, time series data processing method, and computer-readable recording medium storing time series data processing program |
US8943120B2 (en) * | 2011-12-22 | 2015-01-27 | International Business Machines Corporation | Enhanced barrier operator within a streaming environment |
US8756209B2 (en) * | 2012-01-04 | 2014-06-17 | International Business Machines Corporation | Computing resource allocation based on query response analysis in a networked computing environment |
US9438656B2 (en) * | 2012-01-11 | 2016-09-06 | International Business Machines Corporation | Triggering window conditions by streaming features of an operator graph |
US9430117B2 (en) | 2012-01-11 | 2016-08-30 | International Business Machines Corporation | Triggering window conditions using exception handling |
US10725984B2 (en) * | 2012-03-16 | 2020-07-28 | Nec Corporation | Time series data device, time series data processing method and time series data processing program storage medium |
US9015339B2 (en) | 2012-04-25 | 2015-04-21 | International Business Machines Corporation | Monitoring streams buffering to optimize operator procressing |
US9607045B2 (en) * | 2012-07-12 | 2017-03-28 | Microsoft Technology Licensing, Llc | Progressive query computation using streaming architectures |
US8792633B2 (en) | 2012-09-07 | 2014-07-29 | Genesys Telecommunications Laboratories, Inc. | Method of distributed aggregation in a call center |
US8843524B2 (en) | 2012-09-25 | 2014-09-23 | International Business Machines Corporation | Handling out-of-sequence data in a streaming environment |
US9563663B2 (en) | 2012-09-28 | 2017-02-07 | Oracle International Corporation | Fast path evaluation of Boolean predicates |
US9262479B2 (en) | 2012-09-28 | 2016-02-16 | Oracle International Corporation | Join operations for continuous queries over archived views |
US9900432B2 (en) | 2012-11-08 | 2018-02-20 | Genesys Telecommunications Laboratories, Inc. | Scalable approach to agent-group state maintenance in a contact center |
US9756184B2 (en) | 2012-11-08 | 2017-09-05 | Genesys Telecommunications Laboratories, Inc. | System and method of distributed maintenance of contact center state |
US10412121B2 (en) * | 2012-11-20 | 2019-09-10 | Genesys Telecommunications Laboratories, Inc. | Distributed aggregation for contact center agent-groups on growing interval |
US9477464B2 (en) * | 2012-11-20 | 2016-10-25 | Genesys Telecommunications Laboratories, Inc. | Distributed aggregation for contact center agent-groups on sliding interval |
US10956422B2 (en) | 2012-12-05 | 2021-03-23 | Oracle International Corporation | Integrating event processing with map-reduce |
US9069726B2 (en) | 2012-12-12 | 2015-06-30 | Microsoft Technology Licensing, Llc | Iteratively calculating standard deviation for streamed data |
US10298444B2 (en) | 2013-01-15 | 2019-05-21 | Oracle International Corporation | Variable duration windows on continuous data streams |
US9390135B2 (en) | 2013-02-19 | 2016-07-12 | Oracle International Corporation | Executing continuous event processing (CEP) queries in parallel |
US9047249B2 (en) | 2013-02-19 | 2015-06-02 | Oracle International Corporation | Handling faults in a continuous event processing (CEP) system |
US9251205B2 (en) | 2013-02-21 | 2016-02-02 | International Business Machines Corporation | Streaming delay patterns in a streaming environment |
US9578171B2 (en) | 2013-03-26 | 2017-02-21 | Genesys Telecommunications Laboratories, Inc. | Low latency distributed aggregation for contact center agent-groups on sliding interval |
US9418113B2 (en) | 2013-05-30 | 2016-08-16 | Oracle International Corporation | Value based windows on relations in continuous data streams |
US9514214B2 (en) | 2013-06-12 | 2016-12-06 | Microsoft Technology Licensing, Llc | Deterministic progressive big data analytics |
US9384302B2 (en) | 2013-06-17 | 2016-07-05 | International Business Machines Corporation | Generating differences for tuple attributes |
US9934279B2 (en) | 2013-12-05 | 2018-04-03 | Oracle International Corporation | Pattern matching across multiple input data streams |
EP3085117A1 (en) * | 2013-12-17 | 2016-10-26 | British Telecommunications public limited company | Sensor network |
JP5782143B2 (ja) * | 2014-01-22 | 2015-09-24 | 株式会社日立製作所 | 処理方法、及びストリームデータ処理システム |
US9244978B2 (en) | 2014-06-11 | 2016-01-26 | Oracle International Corporation | Custom partitioning of a data stream |
US9277018B2 (en) * | 2014-06-11 | 2016-03-01 | Verizon Patent And Licensing Inc. | Mobile device detection of wireless beacons and automatic performance of actions |
US9712645B2 (en) | 2014-06-26 | 2017-07-18 | Oracle International Corporation | Embedded event processing |
US9886486B2 (en) | 2014-09-24 | 2018-02-06 | Oracle International Corporation | Enriching events with dynamically typed big data for event processing |
US10120907B2 (en) | 2014-09-24 | 2018-11-06 | Oracle International Corporation | Scaling event processing using distributed flows and map-reduce operations |
US9846632B2 (en) * | 2014-10-08 | 2017-12-19 | Signalfx, Inc. | Real-time reporting based on instrumentation of software |
US10592500B2 (en) * | 2015-01-27 | 2020-03-17 | International Business Machines Corporation | Eviction stream for data joins |
US10459832B2 (en) * | 2015-05-20 | 2019-10-29 | International Business Machines Corporation | How to track operator behavior via metadata |
WO2017018901A1 (en) | 2015-07-24 | 2017-02-02 | Oracle International Corporation | Visually exploring and analyzing event streams |
US20170293654A1 (en) * | 2016-04-12 | 2017-10-12 | International Business Machines Corporation | Deferred joining of a stream of tuples |
CN106874320A (zh) | 2016-06-20 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 分布式流式数据处理的方法和装置 |
US10740328B2 (en) | 2016-06-24 | 2020-08-11 | Microsoft Technology Licensing, Llc | Aggregate-query database system and processing |
US10726443B2 (en) | 2016-07-11 | 2020-07-28 | Samsung Electronics Co., Ltd. | Deep product placement |
US10552074B2 (en) | 2016-09-23 | 2020-02-04 | Samsung Electronics Co., Ltd. | Summarized data storage management system for streaming data |
US10025826B2 (en) | 2016-10-31 | 2018-07-17 | International Business Machines Corporation | Querying in-flight streamed data from a relational database |
US10127283B2 (en) | 2016-10-31 | 2018-11-13 | International Business Machines Corporation | Projecting effect of in-flight streamed data on a relational database |
US9836467B1 (en) * | 2016-10-31 | 2017-12-05 | International Business Machines Company | Altering in-flight streamed data from a relational database |
US10575067B2 (en) | 2017-01-04 | 2020-02-25 | Samsung Electronics Co., Ltd. | Context based augmented advertisement |
US10417239B2 (en) | 2017-01-13 | 2019-09-17 | International Business Machines Corporation | Reducing flow delays in a data streaming application caused by lookup operations |
US20180211176A1 (en) * | 2017-01-20 | 2018-07-26 | Alchemy IoT | Blended IoT Device Health Index |
US10678216B2 (en) | 2017-02-28 | 2020-06-09 | Sap Se | Manufacturing process data collection and analytics |
US10552435B2 (en) | 2017-03-08 | 2020-02-04 | Microsoft Technology Licensing, Llc | Fast approximate results and slow precise results |
CN107154834B (zh) * | 2017-04-12 | 2018-11-13 | 重庆大学 | 一种cad、gis、swmm数据协同传输和组织管理方法 |
US11682045B2 (en) | 2017-06-28 | 2023-06-20 | Samsung Electronics Co., Ltd. | Augmented reality advertisements on objects |
US11354295B2 (en) * | 2017-08-18 | 2022-06-07 | Paypal, Inc. | Self-healing real-time data processing |
US10691489B2 (en) | 2018-01-29 | 2020-06-23 | International Business Machines Corporation | Managing the processing of streamed data in a data streaming application using query information from a relational database |
US11204926B2 (en) | 2018-10-31 | 2021-12-21 | International Business Machines Corporation | Storing partial tuples from a streaming application in a database system |
CN110990438A (zh) * | 2019-12-09 | 2020-04-10 | 北京明略软件系统有限公司 | 数据处理方法、装置、电子设备和存储介质 |
US11188534B2 (en) * | 2020-01-14 | 2021-11-30 | Microsoft Technology Licensing, Llc | Optimizing input streams for a stream join model having a threshold function |
US20230073627A1 (en) * | 2021-08-30 | 2023-03-09 | Datadog, Inc. | Analytics database and monitoring system for structuring and storing data streams |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328716A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | ストリームデータ処理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5495600A (en) | 1992-06-03 | 1996-02-27 | Xerox Corporation | Conversion of queries to monotonically increasing incremental form to continuously query a append only database |
AU2003211057A1 (en) * | 2002-02-15 | 2003-09-09 | Digital Fountain, Inc. | System and method for reliably communicating the content of a live data stream |
JP4687253B2 (ja) | 2005-06-03 | 2011-05-25 | 株式会社日立製作所 | ストリームデータ処理システムのクエリ処理方法 |
US7512829B2 (en) | 2005-06-09 | 2009-03-31 | Microsoft Corporation | Real time event stream processor to ensure up-to-date and accurate result |
JP4723301B2 (ja) | 2005-07-21 | 2011-07-13 | 株式会社日立製作所 | ストリームデータ処理システムおよびストリームデータ処理方法 |
-
2008
- 2008-04-25 JP JP2008115765A patent/JP5198929B2/ja not_active Expired - Fee Related
- 2008-08-27 US US12/230,289 patent/US7849227B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328716A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | ストリームデータ処理方法 |
Non-Patent Citations (4)
Title |
---|
CSNG200600924034; 今木 常之: 'ストリームデータ処理におけるデータ生存期間管理方式' 情報処理学会研究報告 Vol.2006 No.78, 20060714, p.269-276, 社団法人情報処理学会 * |
CSNG200701126055; 樫山 俊彦: 'ストリームデータ処理におけるデータベースアーカイブ処理高速化の提案と評価' 情報処理学会研究報告 Vol.2007,No.65, 20070703, p.333-338, 社団法人情報処理学会 * |
JPN6012036604; 今木 常之: 'ストリームデータ処理におけるデータ生存期間管理方式' 情報処理学会研究報告 Vol.2006 No.78, 20060714, p.269-276, 社団法人情報処理学会 * |
JPN6012059342; 樫山 俊彦: 'ストリームデータ処理におけるデータベースアーカイブ処理高速化の提案と評価' 情報処理学会研究報告 Vol.2007,No.65, 20070703, p.333-338, 社団法人情報処理学会 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011165000A (ja) * | 2010-02-10 | 2011-08-25 | Nippon Telegr & Teleph Corp <Ntt> | データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム |
JP2015501976A (ja) * | 2011-11-10 | 2015-01-19 | トレジャー データ, インク.Treasure Data, Inc. | 大量データプラットフォームを操作するシステム及び方法 |
US9582528B2 (en) | 2011-11-10 | 2017-02-28 | Treasure Data, Inc. | System and method for operating a big-data platform |
JPWO2013137067A1 (ja) * | 2012-03-15 | 2015-08-03 | 日本電気株式会社 | 演算装置、演算方法及び演算プログラム |
JP2013228991A (ja) * | 2012-04-25 | 2013-11-07 | Hitachi Ltd | シングルストリームの複数ウィンドウでのストリームデータ処理方法 |
JP2014123354A (ja) * | 2012-12-20 | 2014-07-03 | Hitachi Ltd | グラフデータの再帰クエリを用いたストリームデータ処理方法 |
US10331672B2 (en) | 2013-06-21 | 2019-06-25 | Hitachi, Ltd. | Stream data processing method with time adjustment |
JP2016526719A (ja) * | 2013-06-21 | 2016-09-05 | 株式会社日立製作所 | 時間調整を使用したストリームデータ処理方法 |
JP2017529588A (ja) * | 2014-07-25 | 2017-10-05 | アビニシオ テクノロジー エルエルシー | ランダムに発生するイベントの遅延の適応のための変更可能な時系列 |
US10146502B2 (en) | 2014-09-29 | 2018-12-04 | International Business Machines Corporation | Stream-processing data |
JP2016071479A (ja) * | 2014-09-29 | 2016-05-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | データをストリーム処理する方法、並びに、そのコンピュータ・システム及びコンピュータ・システム用プログラム |
US10579453B2 (en) | 2014-09-29 | 2020-03-03 | International Business Machines Corporation | Stream-processing data |
US11709661B2 (en) | 2014-12-19 | 2023-07-25 | Splunk Inc. | Representing result data streams based on execution of data stream language programs |
US11733982B1 (en) | 2014-12-19 | 2023-08-22 | Splunk Inc. | Dynamically changing input data streams processed by data stream language programs |
JP2018508881A (ja) * | 2015-01-29 | 2018-03-29 | シグナルエフエックス インコーポレイテッド | 計測されたソフトウェアから受信されるデータストリームのリアルタイム処理 |
JP2020205055A (ja) * | 2015-01-29 | 2020-12-24 | スプランク インコーポレイテッド | 計測手段が組み込まれたソフトウェアから受信されるデータストリームのリアルタイム処理 |
US11194697B2 (en) | 2015-01-29 | 2021-12-07 | Splunk Inc. | Real-time processing of data streams received from instrumented software |
JP7121075B2 (ja) | 2015-01-29 | 2022-08-17 | スプランク インコーポレイテッド | 計測手段が組み込まれたソフトウェアから受信されるデータストリームのリアルタイム処理 |
JP2022140767A (ja) * | 2015-01-29 | 2022-09-27 | スプランク インコーポレイテッド | 計測手段が組み込まれたソフトウェアから受信されるデータストリームのリアルタイム処理 |
JP7439189B2 (ja) | 2015-01-29 | 2024-02-27 | スプランク インコーポレイテッド | 計測手段が組み込まれたソフトウェアから受信されるデータストリームのリアルタイム処理 |
US11928046B1 (en) | 2015-01-29 | 2024-03-12 | Splunk Inc. | Real-time processing of data streams received from instrumented software |
JP2019020850A (ja) * | 2017-07-12 | 2019-02-07 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20090271529A1 (en) | 2009-10-29 |
US7849227B2 (en) | 2010-12-07 |
JP5198929B2 (ja) | 2013-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5198929B2 (ja) | ストリームデータ処理方法及び計算機システム | |
JP4804233B2 (ja) | ストリームデータ処理方法 | |
JP5154366B2 (ja) | ストリームデータ処理プログラム及び計算機システム | |
US8335782B2 (en) | Ranking query processing method for stream data and stream data processing system having ranking query processing mechanism | |
US11102271B2 (en) | Temporal optimization of data operations using distributed search and server management | |
JP5377897B2 (ja) | ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム | |
US20200372007A1 (en) | Trace and span sampling and analysis for instrumented software | |
US9170984B2 (en) | Computing time-decayed aggregates under smooth decay functions | |
JP2008123426A (ja) | インデックス処理方法及び計算機システム | |
JP4992945B2 (ja) | ストリームデータ生成方法、ストリームデータ生成装置及びストリームデータ生成プログラム | |
US20210056073A1 (en) | Block data storage system in an event historian | |
WO2020037917A1 (zh) | 一种用户行为数据推荐方法、服务器及计算机可读介质 | |
JP2009251686A (ja) | 文書検索装置 | |
US10812322B2 (en) | Systems and methods for real time streaming | |
CN111400288A (zh) | 数据质量检查方法及系统 | |
JP2004005085A (ja) | ストレージネットワーク性能測定システム | |
EP3531640B1 (en) | Data stream guiding method, server, and system | |
CN115017159A (zh) | 数据处理方法及装置、存储介质及电子设备 | |
US11782920B1 (en) | Durable search queries for reliable distributed data retrieval | |
CN113742172B (zh) | 一种服务器日志的采集方法、系统及相关装置 | |
JP2009122995A (ja) | 関連処理記録の管理システム及び管理方法 | |
CN111291127A (zh) | 一种数据同步方法、装置、服务器及存储介质 | |
JP5372131B2 (ja) | インデックス処理方法及び計算機システム | |
EP3652669A1 (en) | Systems and methods for compiling a database | |
US20230073627A1 (en) | Analytics database and monitoring system for structuring and storing data streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130207 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5198929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |