JP2019537092A - 自動時間進行についての処理タイムスタンプおよびハートビートイベント - Google Patents

自動時間進行についての処理タイムスタンプおよびハートビートイベント Download PDF

Info

Publication number
JP2019537092A
JP2019537092A JP2019514248A JP2019514248A JP2019537092A JP 2019537092 A JP2019537092 A JP 2019537092A JP 2019514248 A JP2019514248 A JP 2019514248A JP 2019514248 A JP2019514248 A JP 2019514248A JP 2019537092 A JP2019537092 A JP 2019537092A
Authority
JP
Japan
Prior art keywords
event
batch
micro
timestamp
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019514248A
Other languages
English (en)
Other versions
JP7013450B2 (ja
JP2019537092A5 (ja
Inventor
パーク,ホヨン
ビシュノイ,サンディープ
ツッカラム,プラブ
Original Assignee
オラクル・インターナショナル・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オラクル・インターナショナル・コーポレイション filed Critical オラクル・インターナショナル・コーポレイション
Publication of JP2019537092A publication Critical patent/JP2019537092A/ja
Publication of JP2019537092A5 publication Critical patent/JP2019537092A5/ja
Priority to JP2022006554A priority Critical patent/JP7329633B2/ja
Application granted granted Critical
Publication of JP7013450B2 publication Critical patent/JP7013450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Abstract

イベントストリームにおけるイベントを処理するためのイベント処理システムが開示される。システムは、ストリームソースからの入来イベントをマイクロバッチするようにストリームプロセッサを構成するように構成される。システムはさらに、入来イベントのマイクロバッチについての単一のタイムスタンプを生成するように、および/またはストリームソースからの入来イベントのマイクロバッチを受信するように構成される。システムはさらに、単一のタイムスタンプをマイクロバッチの各イベントに割り当てるように、および/またはマイクロバッチのそれぞれのイベントごとに別個のタイムスタンプ値を生成するように構成され得る。いくつかの例では、システムはさらに、マイクロバッチのそれぞれのイベントごとに、別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てるように構成され得る。

Description

関連出願の相互参照
本願は、2016年9月15日に出願され「自動時間進行についての処理タイムスタンプおよびハートビートイベント(PROCESSING TIMESTAMPS AND HEARTBEAT EVENTS FOR AUTOMATIC TIME PROGRESSION)」と題された米国仮出願番号第62/395,044号の利益および優先権を米国特許法第119条(e)のもとで主張し、その開示全体をあらゆる目的のために本明細書に引用により援用する。
また、本願は、本願と同日に出願され「分散型イベント処理システムにおけるデータ直列化(DATA SERIALIZATION IN A DISTRIBUTED EVENT PROCESSING SYSTEM)」と題された出願連続番号第 号および代理人整理番号第088325−1043334(177600US)号と、本願と同日に出願され「分散型イベント処理システムのためのグラフ生成(GRAPH GENERATION FOR A DISTRIBUTED EVENT PROCESSING SYSTEM)」と題された出願連続番号第 号および代理人整理番号第088325−1043335(177610US)号と、本願と同日に出願され「クラスタリングイベント処理エンジン(CLUSTERING EVENT PROCESSING ENGINES)」と題された出願連続番号第 号および代理人整理番号第088325−1043336(177620US)号と、本願と同日に出願され「分散型イベント処理システムにおけるデータパーティショニングおよび並列処理(DATA PARTITIONING AND PARALLELISM IN A DISTRIBUTED EVENT PROCESSING SYSTEM)」と題された出願連続番号第 号および代理人整理番号第088325−1043337(177630US)号とに関連する。各出願の内容全体をその全体が記載されているが如く本明細書に引用により援用する。
背景
従来のデータベースシステムでは、データは、通常はテーブルの形態の1つ以上のデータベースに格納される。格納されたデータは、次いで、構造化照会言語(SQL)などのデータ管理言語を使用して照会され操作される。たとえば、SQLクエリは、データベースに格納されたデータから関連データを識別するように定義され実行されてもよい。したがって、SQLクエリは、データベースに格納された有限のデータセットに対して実行される。さらに、SQLクエリが実行される場合、それは有限のデータセットに対して一度実行されて、有限の静的な結果を生成する。したがって、格納された有限のデータセットに対して照会を行うようにデータベースが最適に準備される。
しかし、多数の現代のアプリケーションおよびシステムは、有限のデータセットの代わりに、連続データまたはイベントストリームの形態のデータを生成する。このようなアプリケーションの例としては、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール(たとえば、ネットワーク監視およびトラフィック管理アプリケーション)、クリックストリーム解析ツール、自動車交通監視などが挙げられるが、それらに限定されるものではない。このようなアプリケーションは、データストリームを処理することができる新しいタイプのアプリケーションの必要性を生じさせてきた。たとえば、温度センサは、温度読取値を送信するように構成されてもよい。
これらのタイプのイベントストリームベースのアプリケーションのためのデータの管理および処理は、強力な時間的焦点を有するデータ管理および照会機能を構築することを必要とする。連続的な無限のデータセットに対して長期間照会を行うことを含む異なる種類の照会機構が必要である。イベントストリーム処理に適合した製品一式を提供しているベンダもいるが、これらの製品提供は、依然として、今日のイベント処理ニーズに対処するのに必要な処理柔軟性が欠如している。
簡単な概要
ストリームソースからの入来イベントをマイクロバッチするようにストリームプロセッサを構成するための技術(たとえば、方法、システム、1つ以上のプロセッサによって実行可能なコードまたは命令を格納している非一時的なコンピュータ読取可能な媒体)が提供される。ある実施形態では、システムは、入来イベントのマイクロバッチについての単一のタイムスタンプを生成するように、および/またはストリームソースからの入来イベントのマイクロバッチを受信するように構成される。システムはさらに、単一のタイムスタンプをマイクロバッチの各イベントに割り当てるように、および/またはアルゴリズムに少なくとも部分的に基づいて、マイクロバッチのそれぞれのイベントごとに別個のタイムスタンプ値を生成するように構成される。いくつかの例では、システムはさらに、マイクロバッチのそれぞれのイベントごとに、別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てるように構成され得る。
特定の実施形態では、アルゴリズムは、ウォールクロック進行アルゴリズム、均等分散型アルゴリズム、均等分散型トップオフアルゴリズム、または単純なシーケンスアルゴリズムを含む。いくつかの例では、別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることは、別個のタイムスタンプ値のうちの個々のタイムスタンプ値を、マイクロバッチの各イベントについての単一のタイムスタンプに付加することを含む。さらに、アルゴリズムは、マイクロバッチの各イベントに固有のタイムスタンプを提供し、および/またはアルゴリズムは、マイクロバッチの各イベントがマイクロバッチの一部として識別可能であることを保証する。場合によっては、システムはさらに、各イベントを、1つ以上の連続クエリ言語エンジンパーティションに割り当てるように、1つ以上の連続クエリ言語エンジンパーティションの第1のパーティションを識別するように、および/または第1のパーティションが、第1のパーティションに割り当てられるバッチにおける複数のイベントのイベント数よりも大きいウィンドウサイズを有すると判断するように構成され得る。さらに、場合によっては、システムは、第1のパーティションについてのハートビートイベントを生成するように、および/またはハートビートイベントを第1のパーティションに挿入するように構成され得る。
上記および下記の技術は、多くの方法でおよび多くの文脈で実現することができる。以下でさらに詳細に説明するように、以下の図面を参照していくつかの例示的な実現例および文脈を提供する。しかし、以下の実現例および文脈は、多くのもののうちのいくつかに過ぎない。
本開示の実施形態に従う例示的なイベント処理システムの態様を示す図である。 本開示の実施形態を組み込むことができるイベント処理システムの簡略化された高レベル図である。 本開示の実施形態に従う分散型イベント処理システムの例示的なユースケースを示すブロック図である。 本開示の一実施形態に従う処理の例示的なフロー図である。 本開示の別の実施形態に従う処理の例示的なフロー図である。 本開示の別の実施形態に従う処理の例示的なフロー図である。 本開示の実施形態を実現するための分散型システムの簡略図である。 本開示の実施形態に従って実施形態のシステムの1つ以上のコンポーネントによって提供されるサービスをクラウドサービスとして提供することができるシステム環境の1つ以上のコンポーネントの簡略ブロック図である。 本開示の実施形態を実現するために用いられ得る例示的なコンピュータシステムを示す図である。
詳細な説明
以下の説明では、さまざまな実施形態が説明される。説明目的で、実施形態の完全な理解を提供するために具体的な構成および詳細が記載される。しかし、実施形態は具体的な詳細がなくても実施され得ることも当業者には明らかであろう。さらに、説明されている実施形態を曖昧にすることを避けるために、周知の特徴は省略または簡略化され得る。
複合イベント処理(CEP)の概要
複合イベント処理(CEP)は、イベント駆動型アーキテクチャに基づいてアプリケーションを構築するためのモジュール式プラットフォームを提供する。CEPプラットフォームの中心には、アプリケーションが宣言型SQL状言語を使用してデータのストリームに対してパターンマッチング操作をフィルタリング、照会および実行できるようにする連続クエリ言語(CQL)がある。開発者は、CQLを軽量なJava(登録商標)プログラミングモデルと共に用いてアプリケーションを書くことができる。その他のプラットフォームモジュールとしては、ほんの数例を挙げると、機能豊富なIDE、管理コンソール、クラスタリング、分散型キャッシング、イベントリポジトリ、およびモニタリングがある。
イベント駆動型アーキテクチャおよび複合イベント処理がエンタープライズコンピューティング環境の顕著な機能となるにつれて、CEP技術を用いてミッションクリティカルなアプリケーションを構築し始めている企業が増えている。今日、ミッションクリティカルなCEPアプリケーションは、さまざまな業界で見ることができる。たとえば、CEP技術は電力業界では、電力会社が電力需要の変化に瞬時に反応できるようにすることによって電力会社をより効率的にするために用いられている。CEP技術はクレジットカード業界では、潜在的に不正なトランザクションが発生した場合にそのようなトランザクションをリアルタイムで検出するために用いられている。ミッションクリティカルなCEPアプリケーションのリストは増加し続けている。CEP技術を用いたミッションクリティカルなアプリケーションの構築によって、CEPアプリケーションを高可用性および高耐故障性にする必要性が生じている。
今日の情報技術(IT)環境は、金融市場およびネットワーク性能の監視から、ビジネスプロセスの実行およびRFIDタグ付き資産の追跡まで、あらゆるものに対して連続的なデータストリームを生成する。CEPは、ビジネス業務の効率を高めるイベント処理アプリケーションを開発するための豊富な宣言型の環境を提供する。CEPは、複数のイベントストリームを処理してパターンおよび傾向をリアルタイムで検出し、企業に対して、新たな機会を活用するまたは開発リスクを軽減するために必要な可視性を提供することができる。
連続的なデータストリーム(イベントストリームとも称される)は、明確な終端を持たない、本来は連続的または無限であり得るデータまたはイベントのストリームを含み得る。論理的には、イベントまたはデータストリームは、一連のデータ要素(イベントとも称される)であり得、各データ要素は、関連付けられたタイムスタンプを有する。連続的なイベントストリームは、論理的には、一袋または一組の要素(s,T)として表現され得、「s」はデータ部分を表わし、「T」は時間領域内にある。「s」部分は、一般にタプルまたはイベントと称される。したがって、イベントストリームは、一連のタイムスタンプ付きタプルまたはイベントであり得る。
いくつかの局面では、ストリームにおけるイベントに関連付けられたタイムスタンプは、クロックタイムと同一であってもよい。しかし、他の例では、イベントストリームにおけるイベントに関連付けられた時間は、アプリケーションドメインによって定義されてもよく、クロックタイムに対応しているのではなくたとえば代わりにシーケンス番号によって表わされてもよい。したがって、イベントストリームにおけるイベントに関連付けられた時間情報は、番号、タイムスタンプ、または時間の概念を表わすその他の情報によって表わすことができる。入力イベントストリームを受信するシステムでは、イベントは、タイムスタンプが増加する順にシステムに到着する。同一のタイムスタンプを有する2つ以上のイベントがある場合もある。
いくつかの例では、イベントストリームにおけるイベントは、何らかの世俗的なイベントの発生(たとえば、いつ温度センサが値を新たな値に変更したか、いつ株式銘柄の価格が変化したか)を表わし得、イベントに関連付けられた時間情報は、データストリームイベントによって表わされる世俗的なイベントがいつ発生したかを示し得る。
イベントがイベントストリームを介して受信される場合、イベントに関連付けられた時間情報を使用して、当該イベントストリームにおけるイベントが、タイムスタンプ値が増加する順に到着することを保証し得る。これにより、イベントストリームにおける受信したイベントは、それらの関連付けられた時間情報に基づいて順序付けすることが可能になり得る。この順序付けを可能にするために、後に生成されるイベントが前に生成されるイベントよりも遅いタイムスタンプを有するように、タイムスタンプは、減少しない態様でイベントストリームにおけるイベントに関連付けられ得る。別の例として、時間情報としてシーケンス番号が使用されている場合には、後に生成されるイベントに関連付けられたシーケンス番号は、前に生成されるイベントに関連付けられたシーケンス番号よりも大きくてもよい。いくつかの例では、たとえばデータストリームイベントによって表わされる世俗的なイベントが同時に発生する場合、複数のイベントが同一のタイムスタンプまたはシーケンス番号に関連付けられてもよい。同一のイベントストリームに属するイベントは、一般に、前のイベントが後のイベントよりも前に処理される状態で、関連付けられた時間情報によってイベントに対して課される順序で処理され得る。
イベントストリームにおけるイベントに関連付けられた時間情報(たとえば、タイムスタンプ)は、ストリームのソースによって設定されてもよく、または代替的に、ストリームを受信するシステムによって設定されてもよい。たとえば、特定の実施形態では、イベントストリームを受信するシステム上でハートビートが維持されてもよく、イベントに関連付けられた時間は、当該ハートビートによって測定されるシステムへのイベントの到着時間に基づいてもよい。イベントストリームにおける2つのイベントが同一の時間情報を有することが可能である。なお、タイムスタンプ順序付け要件は1つのイベントストリームに特有であるが、異なるストリームのイベントを任意にさしはさんでもよい。
イベントストリームは、関連付けられたスキーマ「S」を有し、当該スキーマは、時間情報と、一組の1つ以上の名前付き属性とを備える。特定のイベントストリームに属する全てのイベントは、当該特定のイベントストリームに関連付けられたスキーマに一致する。したがって、イベントストリーム(s,T)では、イベントストリームは、(<time_stamp>, <attribute(s)>)としてスキーマ「S」を有し得、<attributes>は、スキーマのデータ部分を表わし、1つ以上の属性を備え得る。たとえば、株式相場表示機イベントストリームのためのスキーマは、属性<stock symbol>および<stock price>を備えていてもよい。このようなストリームを介して受信した各イベントは、タイムスタンプと、2つの属性を有することになる。たとえば、株式相場表示機イベントストリームは、以下のイベントおよび関連付けられたタイムスタンプを受信し得る。
上記のストリームにおいて、ストリーム要素(<timestamp_N+l>, <ORCL,62>)では、イベントは、属性「stock_symbol」および「stock_value」を有する<ORCL,62>である。当該ストリーム要素に関連付けられたタイムスタンプは、「timestamp_N+l」である。したがって、連続的なイベントストリームはイベントのフローであり、各イベントは同一の一連の属性を有する。
上記のように、ストリームは、CQLクエリが作用し得る原理データソースであり得る。ストリームSは、一袋の(「複数組の」とも称される)要素(s,T)であり得、「s」はスキーマS内にあり、「T」は時間領域内にある。さらに、ストリーム要素は、一連のタイムスタンプ付きタプル挿入として表わすことができるタプル・タイムスタンプ対であり得る。言い換えれば、ストリームは、一連のタイムスタンプ付きタプルであり得る。場合によっては、同一のタイムスタンプを有する2つ以上のタプルがあってもよい。そして、入力ストリームのタプルは、タイムスタンプが増加する順にシステムに到着することを要求され得る。代替的に、関係(「時間変化関係」とも称され、リレーショナルデータベースからのデータを含み得る「リレーショナルデータ」と混同すべきではない)は、時間領域からスキーマRのタプルの無限の集合へのマッピングであってもよい。いくつかの例では、関係は、タプルの順序付けされていない、時間変化的な集合(すなわち、瞬間的な関係)であってもよい。場合によっては、時間の各インスタンスにおいて、関係は、有界集合であってもよい。また、関係は、関係の変化する状態を取り込むための挿入、削除および/または更新を含み得る一連のタイムスタンプ付きタプルとして表わすこともできる。ストリームと同様に、関係は、関係の各タプルが一致し得る固定のスキーマを有し得る。さらに、本明細書では、連続クエリは、一般に、ストリームおよび/または関係の(すなわち、ストリームおよび/または関係に対して照会される)データを処理することが可能であり得る。また、関係は、ストリームのデータを参照し得る。
いくつかの局面では、CQLエンジンは、本格的なクエリ言語を含み得る。したがって、ユーザは、クエリの観点から計算を指定し得る。さらに、CQLエンジンは、クエリ言語特徴、オペレータ共有、豊かなパターンマッチング、豊かな言語構造などを利用してメモリを最適化するように設計され得る。さらに、いくつかの例では、CQLエンジンは、履歴データもストリーミングデータも処理し得る。たとえば、ユーザは、カリフォルニアセールスが特定の目標値を上回ると警告を送信するようにクエリを設定してもよい。したがって、いくつかの例では、当該警告は、少なくとも一部には履歴販売データおよび入来ライブ(すなわち、リアルタイム)販売データに基づき得る。
いくつかの例では、CQLエンジンまたは以下で説明する概念の他の特徴は、リアルタイムの態様で履歴文脈(すなわち、倉庫データ)と入来データとを組み合わせるように構成され得る。したがって、場合によっては、本開示は、データベース格納情報および流れている情報の境界について説明することができる。データベース格納情報も流れている情報もBIデータを含み得る。したがって、いくつかの例では、データベースは、BIサーバであってもよく、またはいずれかのタイプのデータベースであってもよい。さらに、いくつかの例では、本開示の特徴は、どのようにしてコードをプログラムするか、またはそうでなければどのようにしてコードを書込むかをユーザが知らなくても、上記の特徴を実現することを可能にし得る。言い換えれば、当該特徴は、非開発者が履歴データとリアルタイムデータとの組み合わせを実現することを可能にする機能豊富なユーザインターフェイス(UI)または他の態様で提供され得る。
いくつかの実施形態では、連続的な(たとえば、CQL)クエリが作成または登録されると、当該クエリは構文解析および意味解析を受ける場合があり、その最後に論理クエリプランが作成される。たとえば、「alter query <queryname> start」DDLを発行することによってCQLクエリが開始されると、論理クエリプランは物理クエリプランに変換され得る。一例では、物理クエリプランは、物理演算子の有向非巡回グラフ(DAG)として表され得る。次に、物理演算子が実行演算子に変換されて、そのCQLクエリの最終クエリプランに到達し得る。CQLエンジンへの入来イベントは、ソース演算子に達し、最終的に、演算子のイベントに対する処理を実行して適切な出力イベントを生成する態様で、演算子とともに下流に移動する。
イベント処理アプリケーション
IT環境におけるrawインフラストラクチャおよびビジネスイベントの量と速度は、飛躍的に増加している。金融サービスのための株式データをストリーミングしているか、軍事用の衛星データをストリーミングしているか、または運送および物流業界のリアルタイムな車両位置データをストリーミングしているかにかかわらず、さまざまな業界の企業が、大量の複雑なデータをリアルタイムで処理しなければならない。さらに、モバイルデバイスの急激な増加および高速接続の普及により、モバイルデータも飛躍的に増加している。同時に、ビジネスプロセスの俊敏性および実行に対する需要も高まっている。これら2つの傾向によって、組織は、実装のイベント駆動型のアーキテクチャパターンをサポートできる必要性に迫られている。リアルタイムなイベント処理には、イベント処理要件を実行するインフラストラクチャとアプリケーション開発環境の両方が必要である。これらの要件は、日常的なユースケースから非常に高速なデータおよびイベントのスループットまでをスケーリングするニーズが含まれる場合が多く、潜在的に、秒単位ではなくマイクロ秒単位で測定される待ち時間を伴う。また、イベント処理アプリケーションで、これらのイベントのフローの複雑なパターンの検出が必要となる場合が多い。
Oracle Stream Analyticsプラットフォームは、幅広い業界および機能分野を対象としている。以下は、ユースケースの一部である。
電気通信:リアルタイムな呼詳細(CDR)記録を監視し、分散サービス妨害攻撃を検出する能力。
金融サービス:ミリ秒またはマイクロ秒単位で存在する裁定取引の機会を資本化する能力。金融証券取引のリアルタイムなリスク分析、監視および報告を実行し、外国為替価格を計算する能力。
運送:出発地や到着地の都市の天候、地上クルーの作業、空港のセキュリティなどにより運航の問題が発生した場合に、乗客に通知して、荷物の場所を検出する能力。
公共機関/軍隊:地理的に分散した敵の情報を検出し、抽象化し、敵の攻撃の可能性が高い場合を解読する能力。該当するほとんどのリソースに対し、緊急事態への対応の警告を出す能力。
保険:潜在的に不正な請求を学習して検出する能力。
ITシステム:障害のあるアプリケーションやサーバをリアルタイムで検出し、修正措置をトリガする能力。
サプライチェーンおよび物流:出荷をリアルタイムで追跡し、到着遅延の可能性を検出および報告する能力。
処理タイムスタンプ
近年、潜在的に無限のリアルタイムデータストリームに対してクエリを連続的に実行することができるデータストリーム管理システム(DSM)が開発されている。新たなDSMの中には、単一のフレームワークからバッチ処理とストリーム処理との組み合わせを提供するためにマイクロバッチ方式のストリーム処理を採用しているシステムもある。Spark(登録商標)上で動作するSpark Streamingは、このようなシステムの1つである。しかし、マイクロバッチ方式のストリーム処理は、イベントごとの処理を提供せず、マイクロバッチについての全てのイベントに同一のタイムスタンプを割り当てる。その結果、マイクロバッチ方式のストリーム処理は、同一のマイクロバッチ内の関係を検出することができないか、または、ウィンドウスライド持続時間がミリ秒もしくはナノ秒であるべき特定の場合について正確な結果を作成することができなかった。
Oracle Stream Analyticsを用いた上記の問題に対する1つの解決策は、マイクロバッチにおける各イベントに固有のタイムスタンプを生成することである。
タイムスタンプを生成する際には以下のアルゴリズムが用いられる。
1) バッチについて生成されたイベントの開始時間として「batchTime」を用いる
2) バッチ−1の終端がハートビートイベントとして送信される
3) バッチから作成されたタプルについての全てのタイムスタンプは範囲(currentBatchTime+batchDuration−2)内にあるべきである
4) タプルが作成される摂取段階においてタイムスタンプが割り当てられる
5) currentBatchTimeからcurrentBatchTime+batchDurationの範囲内にタイムスタンプを分散させるための4つの異なるポリシーがある(ウォールクロック進行(wall clock progression)、均等分散型、均等分散型トップオフ、および/またはシーケンス型トップオフ)
この解決策では、以下が新しい。
−マイクロバッチ方式のストリーム処理に対して処理タイムスタンプを追加する
−自動時間進行についての処理タイムスタンプについてハートビートを追加する
本明細書に記載の特徴を使用する前は、マイクロバッチ方式のストリーム処理は、イベントごとに異なるタイムスタンプを割り当てることができず、イベントごとの処理が不可能であった。イベントごとの処理がないと、ストリーム処理および時系列分析が不可能ではないにしても非常に困難である。これは、イベントごとの処理を追加し、マイクロバッチ方式のストリーム処理では解決不可能であったユースケースを解決可能にすることによって、マイクロバッチ方式のストリーム処理のいくつかの欠点を解決する。
図1は、マイクロバッチ方式のシステム内でタイムスタンプを処理するための例示的なフロー100を示す。いくつかの例では、ドライバ104の一部として実行されるDAGスケジューラ102がマイクロバッチジョブを起動する。このジョブは、入力イベントを読み出し、CQLRDD108を子変換として有するConvertToTupleRDD変換を使用するcreateTuples106を使用してタプルを作成するETL変換を含み得る。CQLRDD108の計算方法は、現在のバッチ時間を開始時間としてセットし、親(ConvertToTupleRDD)変換の計算方法を呼出す。いくつかの例では、ConvertToTupleRDDの計算方法は、処理時間発生器110を使用して処理タイムスタンプをRDD内のタプルにセットする。処理時間発生器110は、さまざまな分散方策を使用してタイムスタンプをバッチ同士の間に分散させる。たとえば、処理時間発生器110は、ウォールクロック分散方策112、均等分散型分散方策114、均等分散型トップオフ分散方策116、またはシーケンス型トップオフ分散方策118を使用し得る。
ウォールクロック進行112:
・現在時刻のベースとの差を使用する
・摂取遅延を組み込む
・オーバーフロー保護
−上記の差を最大で何らかの時間(たとえばバッチ持続時間の1/2または2/3)にキャップする
−キャップに到達した後にシーケンスを使用する
均等分散型114:
・マイクロバッチにおけるイベントの数を取得する
・間隔=(バッチ持続時間)/(イベントの数)
均等分散型トップオフ116:
・分散は「maxRate」を提供することによってユーザによって制御される
シーケンス型トップオフ(単純なシーケンス)118:
・マイクロバッチにおける各イベントはバッチ時間からシーケンス番号を取得する
・単位は、バッチの終端に達した後にナノ秒に進むことによってオーバーフロー保護を有するミリ秒である
イベント処理サービス
図2は、本開示の一実施形態を組み込むことができるイベント処理システム200の簡略化された高レベル図を示す。ある実施形態では、イベント処理システム200は、オラクル(登録商標)によって管理されるOracle Event Processor(OEP)システムを表わし得る。イベント処理システム200は、1つ以上のイベントソース(604,206,208)と、イベントストリームを処理するための環境を提供するように構成されたイベント処理サービス(EPS)202(CQサービス202とも称される)と、1つ以上のイベントシンク(610,212)とを備え得る。イベントソースは、EPS202によって受信されるイベントストリームを生成する。EPS202は、1つ以上のイベントソースから1つ以上のイベントストリームを受信し得る。
たとえば、図2に示されるように、EPS202は、イベントソース204から第1の入力イベントストリーム214を受信し、イベントソース206から第2の入力イベントストリーム216を受信し、イベントソース208から第3のイベントストリーム218を受信する。1つ以上のイベント処理アプリケーション(614,216および218)がEPS202上にデプロイされてEPS202によって実行され得る。EPS202によって実行されるイベント処理アプリケーションは、1つ以上の入力イベントストリームを聞き取り、注目すべきイベントとして入力イベントストリームから1つ以上のイベントを選択する処理ロジックに基づいて、この1つ以上のイベントストリームを介して受信したイベントを処理するように構成され得る。次いで、この注目すべきイベントは、1つ以上の出力イベントストリームの形態で1つ以上のイベントシンク(610,212)に送信され得る。たとえば、図2では、EPS202は、第1の出力イベントストリーム220をイベントシンク210に出力し、第2の出力イベントストリーム222をイベントシンク212に出力する。特定の実施形態では、イベントソース、イベント処理アプリケーション、およびイベントシンクは、他のコンポーネントに対する変更を生じさせることなくこれらのコンポーネントのうちのいずれかを追加または除去することができるように互いに分離される。
一実施形態では、EPS202は、共有サービスを有する、Equinox OSGiに基づくものなどの軽量なJava(登録商標)アプリケーションコンテナを備えるJavaサーバとして実現され得る。いくつかの実施形態では、EPS202は、たとえばJRockit Real Timeを使用してイベントを処理するための超高スループットおよびマイクロ秒待ち時間をサポートし得る。また、EPS202は、イベント処理アプリケーションを開発するためのツール(たとえば、Oracle CEP VisualizerおよびOracle CEP IDE)を含む開発プラットフォーム(たとえば、完全なリアルタイムなエンドツーエンドJavaイベント駆動型アーキテクチャ(EDA)開発プラットフォーム)を提供し得る。
イベント処理アプリケーションは、1つ以上の入力イベントストリームを聞き取って、1つ以上の入力イベントストリームから1つ以上の注目すべきイベントを選択するための論理(たとえば、クエリ)を実行し、選択された注目すべきイベントを1つ以上の出力イベントストリームを介して1つ以上のイベントソースに出力するように構成される。図2は、1つのこのようなイベント処理アプリケーション214のためのドリルダウンを提供する。図2に示されるように、イベント処理アプリケーション214は、入力イベントストリーム218を聞き取って、入力イベントストリーム218から1つ以上の注目すべきイベントを選択するための論理を備える連続クエリ230を実行し、選択された注目すべきイベントを出力イベントストリーム222を介してイベントシンク212に出力するように構成される。イベントソースの例としては、アダプタ(たとえば、JMS、HTTPおよびファイル)、チャネル、プロセッサ、テーブル、キャッシュなどが挙げられるが、それらに限定されるものではない。イベントシンクの例としては、アダプタ(たとえば、JMS、HTTPおよびファイル)、チャネル、プロセッサ、キャッシュなどが挙げられるが、それらに限定されるものではない。
図2におけるイベント処理アプリケーション214は、1つの入力ストリームを聞き取って、選択されたイベントを1つの出力ストリームを介して出力するものとして示されているが、これは限定的であるよう意図されるものではない。代替的な実施形態では、イベント処理アプリケーションは、1つ以上のイベントソースから受信した複数の入力ストリームを聞き取って、監視されたストリームからイベントを選択し、選択されたイベントを1つ以上の出力イベントストリームを介して1つ以上のイベントシンクに出力するように構成され得る。同一のクエリを2つ以上のイベントシンクおよび異なるタイプのイベントシンクに関連付けることができる。
無限の性質のために、イベントストリームを介して受信されるデータの量は、一般に非常に多い。その結果、照会目的で全てのデータを格納またはアーカイブすることは、一般に非現実的であり、望ましくない。イベントストリームの処理は、受信した全てのイベントデータを格納する必要なしにイベントがEPS202によって受信されるときにリアルタイムでイベントの処理を必要とする。したがって、EPS202は、受信した全てのイベントを格納する必要なしにイベントがEPS202によって受信されるときにイベントの処理を実行することを可能にする特別な照会機構を提供する。
イベント駆動型アプリケーションは、ルール駆動型であり、これらのルールは、入力ストリームを処理するために使用される連続クエリの形態で表現され得る。連続クエリは、クエリ処理の結果として、どのイベントを注目すべきイベントとして選択して出力すべきかを含む、受信したイベントに対して実行される処理を識別する命令(たとえば、論理)を備え得る。連続クエリは、データストアに留まって、イベントの入力ストリームの処理およびイベントの出力ストリームの生成に使用され得る。連続クエリは、典型的に、フィルタリングおよび集約機能を実行して、入力イベントストリームから注目すべきイベントを発見して抽出する。その結果、出力イベントストリームにおける送信イベントの数は、一般に、イベントが選択される入力イベントストリームにおけるイベントの数よりもはるかに少なくなる。
有限のデータセットに対して一度実行されるSQLクエリとは異なって、EPS202を有するアプリケーションによって特定のイベントストリームのために登録された連続クエリは、当該イベントストリームにおいてイベントが受信されるたびに実行され得る。連続クエリの実行の一部として、EPS202は、連続クエリによって指定された命令に基づいて、受信したイベントを評価して、連続クエリの実行の結果として、1つ以上のイベントを注目すべきイベントとして選択すべきか否かを判断して出力する。
連続クエリは、さまざまな言語を使用してプログラムされ得る。特定の実施形態では、連続クエリは、オラクル社によって提供されるCQLを使用して構成され、オラクルの複合イベント処理(CEP)製品提供によって使用され得る。オラクルのCQLは、イベントストリームに対して実行可能なクエリ(CQLクエリと称される)をプログラムするために使用できる宣言型言語である。特定の実施形態では、CQLは、ストリーミングイベントデータの処理をサポートする追加の構造を有するSQLに基づく。
図2に示されるシステム200は、図2に示されているコンポーネント以外の他のコンポーネントを有していてもよいということが理解されるべきである。さらに、図2に示される実施形態は、本開示の実施形態を組み込むことができるシステムの一例に過ぎない。いくつかの他の実施形態では、システム200は、図2に示されるよりも多くのコンポーネントもしくは少ないコンポーネントを有していてもよく、2つ以上のコンポーネントを組み合わせてもよく、またはコンポーネントの異なる構成もしくは配置を有していてもよい。システム200は、サービスプロバイダコンピュータ、パーソナルコンピュータ、ポータブルデバイス(たとえば、携帯電話もしくはデバイス)、ワークステーション、ネットワークコンピュータ、メインフレーム、キオスク、サーバ、またはその他のデータ処理システムを含むさまざまなタイプのシステムであってもよい。
いくつかの例では、マイクロバッチ方式のストリーム処理は、イベントごとの処理を提供せず、マイクロバッチ内の全てのイベントに同一のタイムスタンプを割り当てる。その結果、マイクロバッチ方式のストリーム処理は、同一のマイクロバッチ内のイベントから関係を検出することができない場合がある。
マイクロバッチ内の全てのイベントに同一のタイムスタンプを有することについてのより深刻な問題は、ウィンドウスライド持続時間がミリ秒またはナノ秒でない限りは、正確な結果が作成されない場合があることである。図3はそのような場合を示しており、このユースケースは、3秒間隔で3つ以上のトランザクションを有するクレジットカードにフラグを立てることである。バッチ間隔は各々が1秒であってもよく、イベント到着率は2イベント/秒/バッチであると仮定する。処理タイムスタンプは、システムへの摂取からタプルを作成する際にタプルに割り当てられるタイムスタンプである。各タイムスタンプは単調に増加すべきであり、先のタイムスタンプと重なり合うべきでなく、または先のタイムスタンプで複製されるべきでない。各バッチに同一のタイムスタンプを用いることによって、システムは2つのウィンドウについて以下のイベントを見ることになる。
時間t0におけるウィンドウ:{(E1,CC1),(E2,CC2),(E3,CC3),(E4,CC4),(E5,CC5),(E6,CC6)}
時間t1におけるウィンドウ:{(E3,CC3),(E4,CC4),(E5,CC5),(E6,CC2),(E7,CC2),(E8,CC6)}
ウィンドウ長が3秒であると仮定して、時間t0におけるウィンドウはt0からt3に進み、一方、時間t1におけるウィンドウはt1からt4に進む。したがって、CC2,t0.5:(E2,CC2),t2.5:(E6,CC2),t3:(E7,CC2)についてのイベントのみを見ると、0.5秒のスライドを有する3秒のウィンドウ内に3つのトランザクションがあるが、各バッチに同一のタイムスタンプを使用する上記のシステムはこれを見過ごす。言い換えれば、当該システムは、イベントE7およびE8の両方にバッチ時間t4を割り当て、デフォルトでこのバッチ間隔を使用してスライドする。しかし、1秒スライドすることによって、当該システムは、t=3.5におけるCC2に3つのトランザクションがあったという事実を見過ごすことになる。
自動時間進行についてのハートビートイベント
イベントごとの処理を提供するために、処理タイムスタンプおよびイベントタイムスタンプが追加されている。イベントごとの処理システム内では、システムは時間を連続的に進行させる必要がある。そうしなければ、
−出力の遅延
−ウィンドウからの満了がない
−イベント検出パターンマッチングを見過ごすことによって持続時間ファイアがない
などの問題が生じ得る。
この問題を説明するために、2つのエグゼキュータ上で動作する2つのcqlエンジン上で動作する範囲ウィンドウを有する例を挙げてみる。簡潔にするために、各バッチは1つのレコードを含むと仮定する。
クエリ:SELECT * FROM S[RANGE 3]
入力:
1001および1002は、処理パーティション−1であるCQLエンジン1に進むと仮定する。したがって、CQLエンジン1のウィンドウは以下の2つのレコード
{(1001,1),(1002,2)}
を有することになる。
また、残りの3つのイベントは、処理パーティション−2であるCQLエンジン2に進む。したがって、CQLエンジン2のウィンドウは以下の3つのレコード
{(1003,3),(1004,4),(1005,5)}
を有することになる。
ゆえに、このアプリケーションタイムスタンプの場合、(1003,3)はノード2上で動作するパーティションに属するため、(1003,3)が到着するとノード1における空のCQL RDDが評価されることになる。次に他の3つの入力によって、タイムスタンプは1005に移動する。したがって、理想的には、CQLエンジン1におけるウィンドウのイベントはウィンドウサイズが3であるときに満了すべきである。これらのイベントを満了させるために、CQLエンジン1はCQL RDD計算からのハートビートを必要とし得る。しかし、誰が1003のハートビートをCQLエンジン1に伝播するのかが分からない/不明である場合がある。
いくつかの例では、1つの解決策は、パーティショニング前からのハートビートを挿入し、次にパーティションの最新のイベントタイムスタンプを追跡することである。別の実施形態は、出力イベントをタイムスタンプでソートし、最新のハートビートを全てのパーティションに伝播することである。たとえば、
カスタムパーティショナーからのハートビートが挿入され得る。
そして次に、
CQL RDDから、スナップショット情報が送信され得、パーティションからの最大イベント時間が追加され得る。場合によっては、バッチのmax(largest eventtime)がgetCQLEngine要求の一部としてCQL RDDに返される。
バッチ1
CQLEngineTracker
p1の最大イベントタイムスタンプ−1002
p2の最大イベントタイムスタンプ−1005
バッチの最大イベントタイムスタンプ=1005
バッチ2
1002<1005であるため、getCQLEngine(P1)が1005を返す
(1005)のハートビートが入力タプルの前にCQLEngineに送信される
p1の最大イベントタイムスタンプ−1005
1005=1005であるため、getCQLEngine(P2)はハートビートを含まない
図4は、ハートビートを生成するためのフロー400を示す。ConvertToTupleRDD変換から処理タイムスタンプを作成する間、初期のハートビートが生成される。各バッチについて、バッチについての処理タイムスタンプ持続時間内の最高のタイムスタンプを有するバッチの最後に、1つのハートビートイベントを付加する。バッチが空であり、バッチについての入力イベントがない場合でも、時間進行を保証するために依然として1つのハートビートイベントを挿入する。
ハートビートは、以下のアルゴリズムを使用してパーティショニング論理から伝播する。
1.402において、タイムスタンプをキーとしてsortBykey変換を使用してRDDにおけるタプルをソートする
2.404において、HeartbeatPropagateRDDを使用してハートビートをパーティションにコピーする
3.406において、partitionBy変換を使用して実際のパーティショニングを行ない、さらに、パーティションへのハートビートの実際の伝播も行なわれる
実際のHeartbeatPropagationアルゴリズムは以下のように働く。
1.最後の1つを除いて全てのハートビートをスキップする
2.複製のハートビートタイムスタンプを除去する
3.パーティション番号を持つHBParitionValueを有することによって、ハートビートを全てのパーティションにコピーする
パーティショニングはフィールドによって何らかのグループによって行なわれるため、ハートビートイベントはタイムスタンプしか持っていないので、ハートビートイベントをこのような判断基準を用いてパーティションすることはできない。HBParitionValueは、内部にパーティション情報を持つ特別なマークオブジェクトである。パーティショナーがハートビートイベントからのHBParitionValueを見ると、パーティション値が適切に抽出され得、ハートビートイベントをパーティションにセットするために使用される。
例示的な方法
図5は、本開示の実施形態に従ってタイムスタンプを処理するための一組の動作を記述する処理500の例示的なフロー図である。特定の実施形態では、処理500は、図1のドライバ104などのドライバ、図1の処理時間発生器110などの発生器、および/または図2のイベント処理サービス200などのサービスによって実行され得、これらの各々は分散型イベント処理システムの一部であってもよい。図5の処理は、イベントのバッチにおけるデータがタイムスタンプされ得る1つの技術を説明している。図5に示される特定の一連の処理ステップは限定的であるよう意図されるものではない。代替の実施形態は、さまざまな配置および組み合わせにおいて図5に示されるよりも多くのステップまたは少ないステップを有し得る。
特定の実施形態では、処理500は502において、ストリームソースからの入来イベントをマイクロバッチするようにストリームプロセッサを構成することによって開始する。504において、処理は、入来イベントのマイクロバッチについての単一のタイムスタンプを生成することを含む。特定の例では、処理500は、506においてストリームソースから入来イベントのマイクロバッチを受信することと、508において単一のタイムスタンプをマイクロバッチの各イベントに割り当てることとを含み得る。510において、処理500は、アルゴリズムに少なくとも部分的に基づいて、マイクロバッチのそれぞれのイベントごとに別個のタイムスタンプ値を生成することを含む。さらに、512において、処理500は、マイクロバッチのそれぞれのイベントごとに、別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることを含む。
図6は、ハートビートイベントを生成して、マイクロバッチされたデータにハートビートイベントを挿入するための一組の動作を記述する処理600の例示的なフロー図である。ある実施形態では、処理600は図5の処理500の動作の付加的な詳細を説明している。特定の例では、処理600は602において、各イベントを1つ以上の連続クエリ言語エンジンパーティションに割り当てることによって開始する。604において、処理は、1つ以上の連続クエリ言語エンジンパーティションの第1のパーティションを識別することを含む。606において、処理は、第1のパーティションが、第1のパーティションに割り当てられるバッチにおける複数のイベントのイベント数よりも大きいウィンドウサイズを有すると判断することを含む。608において、処理は、第1のパーティションについてのハートビートイベントを生成することを含む。610において、処理は、ハートビートイベントを第1のパーティションに挿入することを含む。
例示的なシステム
図7〜図9は、さまざまな実施形態に従って本開示の態様を実現するための例示的な環境の態様を示す。図7は、本開示の一実施形態を実現するための分散型システム700の簡略図を示す。示されている実施形態では、分散型システム700は、1つ以上のクライアントコンピューティングデバイス702,704,706および708を含み、それらは、1つ以上のネットワーク710を介してウェブブラウザ、所有権付きクライアント(たとえばOracle Forms)などのクライアントアプリケーションを実行および動作させるように構成される。サーバ712は、リモートクライアントコンピューティングデバイス702,704,706および708とネットワーク710を介して通信可能に結合されてもよい。
さまざまな実施形態では、サーバ712は、イベント処理サービスを提供するサービスおよびアプリケーションなどの1つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。特定の実施形態では、サーバ712は、非仮想および仮想環境を含むことができる他のサービスまたはソフトウェアアプリケーションも提供できる。いくつかの実施形態では、これらのサービスは、ウェブベースのサービスもしくはクラウドサービスとして、またはソフトウェア・アズ・ア・サービス(SaaS)モデルの下で、クライアントコンピューティングデバイス702,704,706および/または708のユーザに対して提供されてもよい。クライアントコンピューティングデバイス702,704,706および/または708を動作させるユーザは、次いで、1つ以上のクライアントアプリケーションを利用してサーバ712と対話して、これらのコンポーネントによって提供されるサービスを利用してもよい。
図7に示される構成では、システム700のソフトウェアコンポーネント718,720および722は、サーバ712上で実現されるものとして示されている。他の実施形態では、システム700のコンポーネントのうちの1つ以上および/またはこれらのコンポーネントによって提供されるサービスは、クライアントコンピューティングデバイス702,704,706および/または708のうちの1つ以上によって実現されてもよい。クライアントコンピューティングデバイスを動作させるユーザは、次いで、1つ以上のクライアントアプリケーションを利用して、これらのコンポーネントによって提供されるサービスを用いてもよい。これらのコンポーネントはハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせにおいて実現されてもよい。分散型システム700とは異なってもよいさまざまな異なるシステム構成が可能であることが理解されるべきである。図7に示される実施形態は、したがって、実施形態のシステムを実現するための分散型システムの一例であり、限定的であるよう意図されるものではない。
クライアントコンピューティングデバイス702,704,706および/または708は、さまざまなタイプのコンピューティングシステムを含み得る。たとえば、クライアントデバイスは、携帯可能な手持ち式のデバイス(たとえば、iPhone(登録商標)、セルラー電話、iPad(登録商標)、コンピューティングタブレット、携帯情報端末(PDA))またはウェアラブルデバイス(たとえばGoogle Glass(登録商標)頭部装着型ディスプレイ)を含んでもよく、Microsoft Windows(登録商標) Mobile(登録商標)などのソフトウェア、および/もしくは、iOS、Windows Phone、Android、BlackBerry 7、Palm OSなどのさまざまなモバイルオペレーティングシステムを動作させる。クライアントデバイスは、インターネット関連アプリケーション、電子メール、ショートメッセージサービス(SMS)アプリケーションのようなさまざまなアプリケーションをサポートしてもよく、さまざまな他の通信プロトコルを使用してもよい。クライアントコンピューティングデバイスは、一例として、Microsoft Windows(登録商標)、Apple Macintosh(登録商標)および/またはLinux(登録商標)オペレーティングシステムのさまざまなバージョンを実行するパーソナルコンピュータおよび/またはラップトップコンピュータを含む、汎用パーソナルコンピュータも含んでもよい。クライアントコンピューティングデバイスは、たとえばGoogle Chrome OSなどのさまざまなGNU/Linuxオペレーティングシステムを限定を伴うことなく含む、さまざまな市場で入手可能なUNIX(登録商標)またはUNIXのようなオペレーティングシステムのいずれかを実行するワークステーションコンピュータであり得る。クライアントコンピューティングデバイスは、ネットワーク710を介して通信することができる、シンクライアントコンピュータ、インターネットにより可能化されるゲームシステム(たとえば、Kinect(登録商標)ジェスチャ入力デバイスを伴うかまたは伴わないMicrosoft Xboxゲームコンソール)および/または個人メッセージ伝達デバイスなどの電子デバイスも含んでもよい。
図7の分散型システム700は、4つのクライアントコンピューティングデバイスとともに示されているが、任意の数のクライアントコンピューティングデバイスがサポートされてもよい。センサを伴うデバイスなど、他のデバイスがサーバ712と対話してもよい。
分散型システム700におけるネットワーク710は、TCP/IP(伝送制御プロトコル/インターネットプロトコル)、SNA(システムネットワークアーキテクチャ)、IPX(インターネットパケット交換)、AppleTalkなどを限定を伴うことなく含む、さまざまな入手可能なプロトコルのうちのいずれかを用いてデータ通信をサポートすることができる、当業者が精通している任意のタイプのネットワークであってもよい。単なる例として、ネットワーク710は、ローカルエリアネットワーク(LAN)、イーサネット(登録商標)に基づくネットワーク、トークンリング、ワイドエリアネットワーク、インターネット(登録商標)、仮想ネットワーク、仮想プライベートネットワーク(VPN)、イントラネット、エクストラネット、公衆交換電話網(PSTN)、赤外線ネットワーク、無線ネットワーク(たとえば、米国電気電子学会(IEEE)702.11のプロトコル一式のいずれかの下で動作するネットワーク、ブルートゥース(登録商標)および/もしくは任意の他の無線プロトコル)、ならびに/またはこれらおよび/もしくは他のネットワークの任意の組み合わせであることができる。
サーバ712は、1つ以上の汎用コンピュータ、専用のサーバコンピュータ(一例としてPC(パーソナルコンピュータ)サーバ、UNIX(登録商標)サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウント型サーバなどを含む)、サーバファーム、サーバクラスタ、またはその他の適切な構成および/または組み合わせで構成されてもよい。サーバ712は、仮想オペレーティングシステムを実行する1つ以上の仮想マシン、または仮想化を伴う他のコンピューティングアーキテクチャを含み得る。論理ストレージデバイスの1つ以上の柔軟なプールを仮想化してサーバのために仮想ストレージデバイスを維持することができる。仮想ネットワークを、サーバ712によって、ソフトウェア定義のネットワーク接続を用いて制御することができる。さまざまな実施形態では、サーバ712は、前述の開示に記載される1つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。たとえば、サーバ712は、本開示の実施形態に従って上記の処理を実行するためのサーバに対応してもよい。
サーバ712は、上記のもののうちのいずれかを含むオペレーティングシステム、および任意の市場で入手可能なサーバオペレーティングシステムを実行してもよい。サーバ712は、HTTP(ハイパーテキスト転送プロトコル)サーバ、FTP(ファイル転送プロトコル)サーバ、CGI(コモンゲートウェイインターフェイス)サーバ、JAVA(登録商標)サーバ、データベースサーバなどを含む、さまざまなさらに他のサーバアプリケーションおよび/または中間層アプリケーションのうちのいずれかも実行してもよい。例示的なデータベースサーバは、オラクル、マイクロソフト、サイベース、IBM(インターナショナルビジネスマシンズ)などから市場で入手可能なものを含むが、それらに限定されるものではない。
いくつかの実現例では、サーバ712は、クライアントコンピューティングデバイス702,704,706および708のユーザから受信されるデータフィードおよび/またはイベント更新情報を解析および整理統合するための1つ以上のアプリケーションを含んでもよい。一例として、データフィードおよび/またはイベント更新情報は、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール(たとえば、ネットワーク監視およびトラフィック管理アプリケーション)、クリックストリーム解析ツール、自動車交通監視などに関連するリアルタイムなイベントを含んでもよい、1つ以上の第三者情報源および連続データストリームから受信される、Twitter(登録商標)フィード、Facebook(登録商標)更新情報またはリアルタイムな更新情報を含んでもよいが、それらに限定されるものではない。サーバ712は、データフィードおよび/またはリアルタイムなイベントをクライアントコンピューティングデバイス702,704,706および708の1つ以上の表示デバイスを介して表示するための1つ以上のアプリケーションも含んでもよい。
分散型システム700は、1つ以上のデータベース714および716も含んでもよい。これらのデータベースは、イベント情報、および本開示の実施形態によって使用される他の情報などの情報を格納するための機構を提供することができる。データベース714および716は、さまざまな位置にあってもよい。一例として、データベース714および716のうちの1つ以上は、サーバ712に局在する(および/またはサーバ712に常駐する)非一時的な記憶媒体にあってもよい。代替的に、データベース714および716は、サーバ712から遠隔にあり、ネットワークベースまたは専用の接続を介してサーバ712と通信してもよい。一組の実施形態では、データベース714および716は、記憶域ネットワーク(SAN)にあってもよい。同様に、サーバ712に帰する機能を実行するための任意の必要なファイルが、適宜、サーバ712上においてローカルに、および/または遠隔で格納されてもよい。一組の実施形態では、データベース714および716は、SQLフォーマットされたコマンドに応答してデータを格納、更新および検索取得するように適合される、オラクルによって提供されるデータベースなどのリレーショナルデータベースを含んでもよい。
図面のうちのいくつかに示されるシステムは、さまざまな構成で提供されてもよい。いくつかの実施形態では、システムは、システムの1つ以上のコンポーネントが1つ以上のクラウドインフラストラクチャシステムの1つ以上のネットワークに分散された分散型システムとして構成されてもよい。
クラウドインフラストラクチャシステムは、1つ以上のサーバコンピューティングデバイス、ネットワークデバイス、および/またはストレージデバイスの集合である。これらのリソースは、クラウドサービスプロバイダによって分割され、何らかの方法で顧客に割り当てられてもよい。たとえば、カリフォルニア州レッドウッドショアーズのオラクル社のようなクラウドサービスプロバイダは、ソフトウェア・アズ・ア・サービス(SaaS)カテゴリの下で提供される1つ以上のサービス、プラットフォーム・アズ・ア・サービス(PaaS)カテゴリの下で提供されるサービス、インフラストラクチャ・アズ・ア・サービス(IaaS)カテゴリの下で提供されるサービス、またはハイブリッドサービスを含む他のカテゴリのサービスを含むがそれらに限定されるものではないさまざまなタイプのクラウドサービスを提供し得る。SaaSサービスの例としては、Oracle Fusionアプリケーションなどの一連のオンデマンドアプリケーションを構築して提供する機能が挙げられるが、これに限定されるものではない。SaaSサービスは、顧客が、クラウドインフラストラクチャシステム上で実行されているアプリケーションのためのソフトウェアを購入する必要なく、そのようなアプリケーションを利用することを可能にする。PaaSサービスの例としては、(オラクルなどの)組織が既存のアプリケーションを共有の共通のアーキテクチャにおいて整理統合することができるサービスや、Oracle Java Cloud Service(JCS)、Oracle Database Cloud Service(DBCS)などのプラットフォームによって提供される共有サービスを活用する新たなアプリケーションを構築する能力が挙げられるが、それらに限定されるものではない。IaaSサービスは、典型的に、ストレージ、ネットワーク、ならびにSaaSプラットフォームおよびPaaSプラットフォームによって提供されるサービスを利用する顧客に対する他の基礎的計算リソースなどの基本的な計算リソースの管理および制御を容易にする。
図8は、本開示の実施形態に従って、実施形態のシステムの1つ以上のコンポーネントによって提供されるサービスがクラウドサービスとして提供されてもよいシステム環境800の1つ以上のコンポーネントの簡略ブロック図である。示されている実施形態では、システム環境800は、1つ以上のクライアントコンピューティングデバイス804,806および808を含み、これらは、クラウドサービスを提供するクラウドインフラストラクチャシステム802と対話するようにユーザによって使用されてもよい。クライアントコンピューティングデバイスは、ウェブブラウザ、所有権付きクライアントアプリケーション(たとえばOracle Forms)、または何らかの他のアプリケーションなどのクライアントアプリケーションを動作させるように構成されてもよく、当該クライアントアプリケーションは、クラウドインフラストラクチャシステム802と対話して、クラウドインフラストラクチャシステム802によって提供されるサービスを使用するようにクライアントコンピューティングデバイスのユーザによって使用されてもよい。
図に示されるクラウドインフラストラクチャシステム802は図示されるもの以外の他のコンポーネントを有してもよいことが理解されるべきである。さらに、図に示される実施形態は、本開示の実施形態を組み込むことができるクラウドインフラストラクチャシステムの一例に過ぎない。いくつかの他の実施形態では、クラウドインフラストラクチャシステム802は、図に示されるよりも多くのコンポーネントもしくは少ないコンポーネントを有していてもよく、2つ以上のコンポーネントを組み合わせてもよく、またはコンポーネントの異なる構成もしくは配置を有してもよい。
クライアントコンピューティングデバイス804,806および808は、502,504,506および508に対して上記されたものと同様のデバイスであってもよい。
例示的なシステム環境800が3つのクライアントコンピューティングデバイスとともに示されているが、任意の数のクライアントコンピューティングデバイスがサポートされてもよい。センサを伴うデバイスなどの他のデバイスがクラウドインフラストラクチャシステム802と対話してもよい。
ネットワーク810は、クライアント804,806および808とクラウドインフラストラクチャシステム802との間におけるデータの通信および交換を容易にしてもよい。各ネットワークは、ネットワーク810に対して上記したものを含む、さまざまな市場で入手可能なプロトコルのうちのいずれかを用いてデータ通信をサポートすることができる、当業者が精通している任意のタイプのネットワークであってもよい。
クラウドインフラストラクチャシステム802は、1つ以上のコンピュータ、および/または、サーバ812に対して上記したものを含み得るサーバを備え得る。
特定の実施形態では、クラウドインフラストラクチャシステムによって提供されるサービスは、オンラインデータストレージおよびバックアップソリューション、ウェブベースの電子メールサービス、ホスト型オフィススイートおよび文書コラボレーションサービス、データベース処理、管理された技術サポートサービスなどの、オンデマンドでクラウドインフラストラクチャシステムのユーザに利用可能にされるサービスのホストを含んでもよい。クラウドインフラストラクチャシステムによって提供されるサービスは、動的にスケーリングしてそのユーザのニーズを満たすことができる。クラウドインフラストラクチャシステムによって提供されるサービスのある具体的なインスタンス化は、本明細書では「サービスインスタンス」と称される。一般に、クラウドサービスプロバイダのシステムからインターネットなどの通信ネットワークを介してユーザに利用可能にされる任意のサービスは、「クラウドサービス」と称される。典型的に、パブリックなクラウド環境においては、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客自身のオンプレミスのサーバおよびシステムとは異なる。たとえば、クラウドサービスプロバイダのシステムは、アプリケーションを運営管理してもよく、ユーザは、インターネットなどの通信ネットワークを介して、オンデマンドで、アプリケーションをオーダーし使用してもよい。
いくつかの例では、コンピュータネットワーククラウドインフラストラクチャにおけるサービスは、ストレージ、ホスト型データベース、ホスト型ウェブサーバ、ソフトウェアアプリケーション、またはクラウドベンダによってユーザに提供されるかもしくは他の態様で当該技術分野において公知であるような他のサービスに対する保護されたコンピュータネットワークアクセスを含んでもよい。たとえば、サービスは、クラウド上のリモートストレージに対するインターネットを介してのパスワード保護されたアクセスを含むことができる。別の例として、サービスは、ネットワーク接続された開発者による個人的な使用のために、ウェブサービスベースのホスト型リレーショナルデータベースおよびスクリプト言語ミドルウェアエンジンを含むことができる。別の例として、サービスは、クラウドベンダのウェブサイトにおいて運営管理される電子メールソフトウェアアプリケーションに対するアクセスを含むことができる。
特定の実施形態では、クラウドインフラストラクチャシステム802は、セルフサービスの、サブスクリプションベースの、弾性的にスケーラブルで、信頼性があり、高可用性の、安全な態様で顧客に対して配送される一連のアプリケーション、ミドルウェア、およびデータベースサービス提供を含んでもよい。そのようなクラウドインフラストラクチャシステムの一例は、本譲受人によって提供されるOracle Public Cloudである。
さまざまな実施形態では、クラウドインフラストラクチャシステム802は、クラウドインフラストラクチャシステム802によって提供されるサービスに対する顧客のサブスクリプションを自動的にプロビジョニングし、管理し、および追跡するように適合されてもよい。クラウドインフラストラクチャシステム802は、クラウドサービスをさまざまなデプロイメントモデルを介して提供してもよい。たとえば、サービスは、クラウドインフラストラクチャシステム802が(たとえばオラクル社によって所有される)クラウドサービスを販売する組織によって所有され、サービスが一般大衆または異なる業界企業に対して利用可能にされるパブリッククラウドモデルの下で提供されてもよい。別の例として、サービスは、クラウドインフラストラクチャシステム802が単一の組織に対してのみ動作され、その組織内における1つ以上のエンティティに対してサービスを提供してもよいプライベートクラウドモデルの下で提供されてもよい。また、クラウドサービスは、クラウドインフラストラクチャシステム802およびクラウドインフラストラクチャシステム802によって提供されるサービスが、関連するコミュニティにおけるいくつかの組織によって共有されるコミュニティクラウドモデルの下で提供されてもよい。また、クラウドサービスは、2つ以上の異なるモデルの組み合わせであるハイブリッドクラウドモデルの下で提供されてもよい。
いくつかの実施形態では、クラウドインフラストラクチャシステム802によって提供されるサービスは、ソフトウェア・アズ・ア・サービス(SaaS)カテゴリ、プラットフォーム・アズ・ア・サービス(PaaS)カテゴリ、インフラストラクチャ・アズ・ア・サービス(IaaS)カテゴリ、またはハイブリッドサービスを含む他のサービスのカテゴリの下で提供される1つ以上のサービスを含んでもよい。顧客は、サブスクリプションオーダーを介して、クラウドインフラストラクチャシステム802によって提供される1つ以上のサービスをオーダーしてもよい。クラウドインフラストラクチャシステム802は、次いで、処理を実行して、顧客のサブスクリプションオーダーにおけるサービスを提供する。
いくつかの実施形態では、クラウドインフラストラクチャシステム802によって提供されるサービスは、アプリケーションサービス、プラットフォームサービスおよびインフラストラクチャサービスを含んでもよいが、それらに限定されるものではない。いくつかの例では、アプリケーションサービスは、クラウドインフラストラクチャシステムによってSaaSプラットフォームを介して提供されてもよい。SaaSプラットフォームは、SaaSカテゴリに入るクラウドサービスを提供するように構成されてもよい。たとえば、SaaSプラットフォームは、一連のオンデマンドアプリケーションを統合された開発およびデプロイメントプラットフォーム上で構築し配送する機能を提供してもよい。SaaSプラットフォームは、SaaSサービスを提供するための基本的なソフトウェアおよびインフラストラクチャを管理および制御してもよい。SaaSプラットフォームによって提供されるサービスを利用することによって、顧客は、クラウドインフラストラクチャシステムにおいて実行されるアプリケーションを利用することができる。顧客は、別個のライセンスおよびサポートを購入する必要なくアプリケーションサービスを取得することができる。さまざまな異なるSaaSサービスが提供されてもよい。その例としては、大きな組織に販売実績管理、企業統合、およびビジネスの柔軟性のためのソリューションを提供するサービスが挙げられるが、それらに限定されるものではない。
いくつかの実施形態では、プラットフォームサービスは、クラウドインフラストラクチャシステムによってPaaSプラットフォームを介して提供されてもよい。PaaSプラットフォームは、PaaSカテゴリに入るクラウドサービスを提供するように構成されてもよい。プラットフォームサービスの例としては、(オラクルなどの)組織が既存のアプリケーションを共有の共通のアーキテクチャにおいて整理統合することができるサービス、およびプラットフォームによって提供される共有サービスを活用する新たなアプリケーションを構築する機能を挙げることができるが、それらに限定されるものではない。PaaSプラットフォームは、PaaSサービスを提供するための基本的なソフトウェアおよびインフラストラクチャを管理および制御してもよい。顧客は、クラウドインフラストラクチャシステムによって提供されるPaaSサービスを、別個のライセンスおよびサポートを購入する必要なく取得することができる。プラットフォームサービスの例としては、Oracle Java Cloud Service(JCS)、Oracle Database Cloud Service(DBCS)などが挙げられるが、それらに限定されるものではない。
PaaSプラットフォームによって提供されるサービスを利用することによって、顧客は、クラウドインフラストラクチャシステムによってサポートされるプログラミング言語およびツールを使用することができ、デプロイされたサービスを制御することもできる。いくつかの実施形態では、クラウドインフラストラクチャシステムによって提供されるプラットフォームサービスは、データベースクラウドサービス、ミドルウェアクラウドサービス(たとえばOracle Fusion Middlewareサービス)、およびJavaクラウドサービスを含んでもよい。一実施形態では、データベースクラウドサービスは、組織がデータベースリソースをプールし、顧客にデータベース・アズ・ア・サービスをデータベースクラウドの形式で提供することを可能にする共有のサービスデプロイメントモデルをサポートしてもよい。ミドルウェアクラウドサービスは、顧客がさまざまなビジネスアプリケーションを開発およびデプロイするためのプラットフォームをクラウドインフラストラクチャシステムにおいて提供してもよく、Javaクラウドサービスは、顧客がJavaアプリケーションをデプロイするためのプラットフォームをクラウドインフラストラクチャシステムにおいて提供してもよい。
さまざまな異なるインフラストラクチャサービスがIaaSプラットフォームによってクラウドインフラストラクチャシステムにおいて提供されてもよい。インフラストラクチャサービスは、ストレージ、ネットワーク、ならびにSaaSプラットフォームおよびPaaSプラットフォームによって提供されるサービスを利用する顧客に対する他の基礎的計算リソースなどの基本的な計算リソースの管理および制御を容易にする。
特定の実施形態では、クラウドインフラストラクチャシステム802は、クラウドインフラストラクチャシステムの顧客に対してさまざまなサービスを提供するよう用いられるリソースを提供するためのインフラストラクチャリソース830も含んでもよい。一実施形態では、インフラストラクチャリソース830は、サーバ、ストレージ、ならびにPaaSプラットフォームおよびSaaSプラットフォームによって提供されるサービスを実行するためのネットワーキングリソースなどの、ハードウェアの予め統合され最適化された組み合わせを含んでもよい。
いくつかの実施形態では、クラウドインフラストラクチャシステム802におけるリソースは、複数のユーザによって共有され、要求につき動的に再割り当てされてもよい。また、リソースは、ユーザに対してさまざまな時間ゾーンで割り当てられてもよい。たとえば、クラウドインフラストラクチャシステム830は、第1の時間ゾーンにおけるユーザの第1の組がクラウドインフラストラクチャシステムのリソースをある特定の時間の間利用することを可能にし、次いで、異なる時間ゾーンに位置するユーザの別の組に対する同一のリソースの再割り当てを可能にし、それによって、リソースの利用を最大化してもよい。
特定の実施形態では、クラウドインフラストラクチャシステム802のさまざまなコンポーネントまたはモジュールによって共有されてクラウドインフラストラクチャシステム802によって提供されるサービスによって共有されるある数の内部共有サービス832が提供されてもよい。これらの内部共有サービスは、セキュリティおよびアイデンティティサービス、統合サービス、エンタープライズリポジトリサービス、エンタープライズマネージャサービス、ウイルススキャンおよびホワイトリストサービス、高可用性、バックアップおよび回復サービス、クラウドサポートを可能にするためのサービス、電子メールサービス、通知サービス、ファイル転送サービスなどを含んでもよいが、それらに限定されるものではない。
特定の実施形態では、クラウドインフラストラクチャシステム802は、クラウドインフラストラクチャシステムにおいてクラウドサービス(たとえば、SaaS、PaaS、およびIaaSサービス)の包括的な管理を提供してもよい。一実施形態では、クラウド管理機能は、クラウドインフラストラクチャシステム802によって受信される顧客のサブスクリプションをプロビジョニングし、管理し、および追跡する機能などを含んでもよい。
一実施形態では、図に示されるように、クラウド管理機能は、オーダー管理モジュール820、オーダーオーケストレーションモジュール822、オーダープロビジョニングモジュール824、オーダー管理および監視モジュール826、ならびにアイデンティティ管理モジュール828などの1つ以上のモジュールによって提供されてもよい。これらのモジュールは、1つ以上のコンピュータおよび/もしくはサーバを含んでもよく、またはそれらを用いて提供されてもよく、それらは、汎用コンピュータ、専用のサーバコンピュータ、サーバファーム、サーバクラスタ、またはその他の適切な構成および/もしくは組み合わせであってもよい。
例示的な動作834において、クライアントデバイス804,806または808などのクライアントデバイスを用いる顧客は、クラウドインフラストラクチャシステム802によって提供される1つ以上のサービスを要求し、クラウドインフラストラクチャシステム802によって提供される1つ以上のサービスに対するサブスクリプションに対するオーダーを行なうことによって、クラウドインフラストラクチャシステム802と対話してもよい。特定の実施形態では、顧客は、クラウドUI812、クラウドUI814および/またはクラウドUI816などのクラウドユーザインターフェイス(UI)にアクセスし、サブスクリプションオーダーをこれらのUIを介して行なってもよい。顧客がオーダーを行なうことに応答してクラウドインフラストラクチャシステム802によって受信されるオーダー情報は、顧客を識別する情報、およびクラウドインフラストラクチャシステム802によって提供される、その顧客が契約する予定の1つ以上のサービスを含んでもよい。
オーダーが顧客によって行われた後、オーダー情報は、クラウドUI812,814および/または816を介して受信される。
動作836において、オーダーは、オーダーデータベース818に保存される。オーダーデータベース818は、クラウドインフラストラクチャシステム818によって動作されるいくつかのデータベースのうちの1つであり得、他のシステム要素と連携して動作され得る。
動作838において、オーダー情報は、オーダー管理モジュール820に転送される。いくつかの例では、オーダー管理モジュール820は、オーダーを検証すること、および検証次第そのオーダーを予約することなど、オーダーに関連する請求および課金機能を実行するように構成されてもよい。
動作840において、オーダーに関する情報は、オーダーオーケストレーションモジュール822に通信される。オーダーオーケストレーションモジュール822は、オーダー情報を利用して、顧客によってなされたオーダーに対してサービスおよびリソースのプロビジョニングをオーケストレーションし得る。いくつかの例では、オーダーオーケストレーションモジュール822は、オーダープロビジョニングモジュール824のサービスを使用してサブスクライブされたサービスをサポートするようにリソースのプロビジョニングをオーケストレーションしてもよい。
特定の実施形態では、オーダーオーケストレーションモジュール822は、各オーダーに関連付けられたビジネスプロセスの管理を可能にし、ビジネス論理を適用して、オーダーがプロビジョニングに進むべきか否かを判断する。動作842において、新たなサブスクリプションに対するオーダーを受信すると、オーダーオーケストレーションモジュール822は、リソースを割り当てて、サブスクリプションオーダーを満たすのに必要とされるそれらのリソースを構成するよう、オーダープロビジョニングモジュール824に対して要求を送信する。オーダープロビジョニングモジュール824は、顧客によってオーダーされたサービスに対するリソースの割り当てを可能にする。オーダープロビジョニングモジュール824は、クラウドインフラストラクチャシステム800によって提供されるクラウドサービスと、要求されたサービスを提供するためのリソースをプロビジョニングするよう用いられる物理的インプリメンテーション層との間にある抽象化レベルを提供する。これにより、サービスおよびリソースが実際にオンザフライでプロビジョニングされるか、サービスおよびリソースが予めプロビジョニングされて要求時にのみ割り当てられる/あてがわれるかなどの、インプリメンテーション詳細からオーダーオーケストレーションモジュール822を分離することができる。
動作844において、サービスおよびリソースがプロビジョニングされると、提供されたサービスの通知が、クラウドインフラストラクチャシステム802のオーダープロビジョニングモジュール824によってクライアントデバイス804,806および/または808上の顧客に送信されてもよい。動作846において、顧客のサブスクリプションオーダーは、オーダー管理および監視モジュール826によって管理および追跡されてもよい。いくつかの例では、オーダー管理および監視モジュール826は、使用されるストレージの量、転送されるデータの量、ユーザの人数、ならびにシステムアップ時間およびシステムダウン時間の量などの、サブスクリプションオーダーにおけるサービスの使用統計を収集するように構成されてもよい。
特定の実施形態では、クラウドインフラストラクチャシステム800は、アイデンティティ管理モジュール828を含んでもよい。アイデンティティ管理モジュール828は、クラウドインフラストラクチャシステム800におけるアクセス管理および承認サービスなどのアイデンティティサービスを提供するように構成されてもよい。いくつかの実施形態では、アイデンティティ管理モジュール828は、クラウドインフラストラクチャシステム802によって提供されるサービスを利用することを望む顧客についての情報を制御してもよい。そのような情報は、そのような顧客のアイデンティティを認証する情報、およびそれらの顧客がさまざまなシステムリソース(たとえばファイル、ディレクトリ、アプリケーション、通信ポート、メモリセグメントなど)に対してどのアクションを実行することが承認されるかを記述する情報を含み得る。アイデンティティ管理モジュール828は、各顧客についての記述的情報ならびにどのように誰によってその記述的情報がアクセスおよび修正され得るかについての情報の管理も含んでもよい。
図9は、本開示の実施形態を実現するために使用され得る例示的なコンピュータシステム900を示す。いくつかの実施形態では、コンピュータシステム900は、上記のさまざまなサーバおよびコンピュータシステムのいずれかを実現するよう用いられてもよい。図9に示されるように、コンピュータシステム900は、多数の周辺サブシステムとバスサブシステム902を介して通信する処理サブシステム904を含むさまざまなサブシステムを含む。これらの周辺サブシステムは、処理加速ユニット906、I/Oサブシステム908、ストレージサブシステム918および通信サブシステム924を含んでもよい。ストレージサブシステム918は、有形のコンピュータ読取可能な記憶媒体922およびシステムメモリ910を含んでもよい。
バスサブシステム902は、コンピュータシステム900のさまざまなコンポーネントおよびサブシステムに意図されるように互いに通信させるための機構を提供する。バスサブシステム902は単一のバスとして概略的に示されているが、バスサブシステムの代替的実施例は複数のバスを利用してもよい。バスサブシステム902は、さまざまなバスアーキテクチャのうちのいずれかを用いるメモリバスまたはメモリコントローラ、周辺バスおよびローカルバスを含むいくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、そのようなアーキテクチャは、業界標準アーキテクチャ(Industry Standard Architecture:ISA)バス、マイクロチャネルアーキテクチャ(Micro Channel Architecture:MCA)バス、エンハンストISA(Enhanced ISA:EISA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション(Video Electronics Standards Association:VESA)ローカルバス、およびIEEE P1386.1規格に従って製造される中二階バスとして実現され得る周辺コンポーネントインターコネクト(Peripheral Component Interconnect:PCI)バスなどを含んでもよい。
処理サブシステム904は、コンピュータシステム900の動作を制御し、1つ以上の処理ユニット932,934などを含んでもよい。処理ユニットは、シングルコアもしくはマルチコアプロセッサを含む1つ以上のプロセッサ、プロセッサの1つ以上のコア、またはそれらの組み合わせであってもよい。いくつかの実施形態では、処理サブシステム904は、グラフィックスプロセッサ、デジタル信号プロセッサ(DSP)などの1つ以上の専用コプロセッサを含むことができる。いくつかの実施形態では、処理サブシステム904の処理ユニットの一部または全部は、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)などのカスタマイズされた回路を使用して実装することができる。
いくつかの実施形態では、処理サブシステム904内の処理ユニットは、システムメモリ910内またはコンピュータ読取可能な記憶媒体922上に格納された命令を実行することができる。さまざまな実施形態では、処理ユニットはさまざまなプログラムまたはコード命令を実行することができ、複数の同時に実行するプログラムまたはプロセスを維持することができる。任意の所与の時点で、実行されるべきプログラムコードの一部または全部は、システムメモリ910内および/または潜在的に1つ以上の記憶装置を含むコンピュータ読取可能な記憶媒体上910に常駐することができる。適切なプログラミングを介して、処理サブシステム904は、使用パターンに応答して文書(たとえばウェブページ)を動的に修正するために上記のさまざまな機能を提供することができる。
特定の実施形態では、コンピュータシステム900によって実行される全体的な処理を加速するよう、カスタマイズされた処理を実行するために、または処理サブシステム904によって実行される処理の一部をオフロードするために、処理加速ユニット906が設けられてもよい。
I/Oサブシステム908は、コンピュータシステム900に情報を入力するための、および/またはコンピュータシステム900から、もしくはコンピュータシステム900を介して、情報を出力するための、デバイスおよび機構を含んでもよい。一般に、「入力デバイス」という語の使用は、コンピュータシステム900に情報を入力するための全ての考えられ得るタイプのデバイスおよび機構を含むよう意図される。ユーザインターフェイス入力デバイスは、たとえば、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを伴う音声入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、ユーザが入力デバイスを制御しそれと対話することを可能にするMicrosoft Kinect(登録商標)モーションセンサ、Microsoft Xbox(登録商標)360ゲームコントローラ、ジェスチャおよび音声コマンドを用いる入力を受信するためのインターフェイスを提供するデバイスなど、モーション感知および/またはジェスチャ認識デバイスも含んでもよい。ユーザインターフェイス入力デバイスは、ユーザの眼球活動(たとえば、写真を撮っている間および/またはメニュー選択を行なっている間の「瞬き」)を検出し、そのアイジェスチャを入力デバイス(たとえばGoogle Glass(登録商標))への入力として変換するGoogle Glass(登録商標)瞬き検出器などのアイジェスチャ認識デバイスも含んでもよい。また、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドを介して音声認識システム(たとえばSiri(登録商標)ナビゲータ)と対話することを可能にする音声認識感知デバイスを含んでもよい。
ユーザインターフェイス入力デバイスの他の例は、三次元(3D)マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルカムコーダ、ポータブルメディアプレーヤ、ウェブカム、画像スキャナ、指紋スキャナ、バーコードリーダ3Dスキャナ、3Dプリンタ、レーザレンジファインダ、および視線追跡デバイスなどの聴覚/視覚デバイスを含むが、それらに限定されるものではない。また、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影、磁気共鳴撮像、ポジションエミッショントモグラフィー、医療用超音波検査デバイスなどの医療用画像化入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、たとえば、MIDIキーボード、デジタル楽器などの音声入力デバイスも含んでもよい。
ユーザインターフェイス出力デバイスは、ディスプレイサブシステム、インジケータライト、または音声出力デバイスなどの非ビジュアルディスプレイなどを含んでもよい。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)またはプラズマディスプレイを使うものなどのフラットパネルデバイス、投影デバイス、タッチスクリーンなどであってもよい。一般に、「出力デバイス」という語の使用は、コンピュータシステム900からユーザまたは他のコンピュータに情報を出力するための全ての考えられ得るタイプのデバイスおよび機構を含むよう意図される。たとえば、ユーザインターフェイス出力デバイスは、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力デバイスおよびモデムなどの、テキスト、グラフィックスおよび音声/映像情報を視覚的に伝えるさまざまな表示デバイスを含んでもよいが、それらに限定されるものではない。
ストレージサブシステム918は、コンピュータシステム900によって使用される情報を格納するためのリポジトリまたはデータストアを提供する。ストレージサブシステム918は、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構成を記憶するための有形の非一時的なコンピュータ読取可能な記憶媒体を提供する。処理サブシステム904によって実行されると、上述の機能を提供するソフトウェア(プログラム、コードモジュール、命令)が、ストレージサブシステム918に格納されてもよい。ソフトウェアは、処理サブシステム904の1つ以上の処理ユニットによって実行されてもよい。ストレージサブシステム918はまた、本開示に従って使用されるデータを格納するためのリポジトリを提供してもよい。
ストレージサブシステム918は、揮発性および不揮発性メモリデバイスを含む1つ以上の非一時的メモリデバイスを含んでもよい。図9に示されるように、ストレージサブシステム918は、システムメモリ910およびコンピュータ読取可能な記憶媒体922を含む。システムメモリ910は、プログラム実行中に命令およびデータを記憶するための揮発性主ランダムアクセスメモリ(RAM)と、固定命令が記憶される不揮発性読み出し専用メモリ(ROM)またはフラッシュメモリとを含む、いくつかのメモリを含んでもよい。いくつかの実現例では、起動中などにコンピュータシステム900内の要素間における情報の転送を助ける基本的なルーチンを含むベーシックインプット/アウトプットシステム(BIOS)が、典型的に、ROMに記憶されてもよい。RAMは、典型的に、処理サブシステム904によって現在動作され実行されているデータおよび/またはプログラムモジュールを含む。いくつかの実現例では、システムメモリ910は、スタティックランダムアクセスメモリ(SRAM)またはダイナミックランダムアクセスメモリ(DRAM)などの複数の異なるタイプのメモリを含んでもよい。
一例として、限定を伴うことなく、図9に示されるように、システムメモリ910は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム(RDBMS)などを含んでもよいアプリケーションプログラム912、プログラムデータ914、およびオペレーティングシステム916を記憶してもよい。一例として、オペレーティングシステム916は、Microsoft Windows(登録商標)、Apple Macintosh(登録商標)および/もしくはLinuxオペレーティングシステム、さまざまな市場で入手可能なUNIX(登録商標)またはUNIXのようなオペレーティングシステム(さまざまなGNU/Linuxオペレーティングシステム、Google Chrome(登録商標)OSなどを含むがそれらに限定されない)、ならびに/または、iOS、Windows(登録商標) Phone、Android(登録商標) OS、BlackBerry(登録商標) 7 OS、およびPalm(登録商標) OSオペレーティングシステムなどのモバイルオペレーティングシステムのさまざまなバージョンを含んでもよい。
コンピュータ読取可能な記憶媒体922は、いくつかの実施形態の機能を提供するプログラミングおよびデータ構成を格納してもよい。処理サブシステム904によって実行されると、プロセッサが上記の機能を提供するソフトウェア(プログラム、コードモジュール、命令)がストレージサブシステム918に格納されてもよい。一例として、コンピュータ読取可能な記憶媒体922は、ハードディスクドライブ、磁気ディスクドライブ、CD ROM、DVD、Blu−Ray(登録商標)ディスクなどの光ディスクドライブ、またはその他の光学媒体のような不揮発性メモリを含んでもよい。コンピュータ読取可能な記憶媒体922は、Zip(登録商標)ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス(USB)フラッシュドライブ、セキュアデジタル(SD)カード、DVDディスク、デジタルビデオテープなどを含んでもよいが、それらに限定されるものではない。コンピュータ読取可能な記憶媒体922は、フラッシュメモリベースのSSD、エンタープライズフラッシュドライブ、ソリッドステートROMなどの不揮発性メモリに基づくソリッドステートドライブ(SSD)、ソリッドステートRAM、ダイナミックRAM、スタティックRAMなどの揮発性メモリに基づくSSD、DRAMベースのSSD、磁気抵抗RAM(MRAM)SSD、およびDRAMとフラッシュメモリベースのSSDとの組み合わせを使用するハイブリッドSSDも含んでもよい。コンピュータ読取可能な媒体922は、コンピュータ読取可能な命令、データ構造、プログラムモジュール、および他のデータのストレージをコンピュータシステム900に提供してもよい。
いくつかの実施形態では、ストレージサブシステム900は、コンピュータ読取可能な記憶媒体922にさらに接続可能なコンピュータ読取可能な記憶媒体リーダ920も含んでもよい。システムメモリ910とともに、およびオプションとしてシステムメモリ910との組み合わせで、コンピュータ読取可能な記憶媒体922は、コンピュータ読取可能な情報を記憶するためにリモート、ローカル、固定および/またはリムーバブル記憶装置に記憶媒体を加えたものを包括的に表わしてもよい。
特定の実施形態では、コンピュータシステム900は、1つ以上の仮想マシンを実行するためのサポートを提供してもよい。コンピュータシステム900は、仮想マシンの構成および管理を容易にするためのハイパーバイザなどのプログラムを実行してもよい。各仮想マシンには、メモリ、計算(たとえばプロセッサ、コア)、I/O、およびネットワーキングリソースが割り当てられてもよい。各仮想マシンは、典型的に、コンピュータシステム900によって実行される他の仮想マシンによって実行されるオペレーティングシステムと同一であっても異なっていてもよい、それ自体のオペレーティングシステムを実行する。したがって、複数のオペレーティングシステムが潜在的にコンピュータシステム900によって同時に実行され得る。各仮想マシンは、一般に、他の仮想マシンとは独立して動作する。
通信サブシステム924は、他のコンピュータシステムおよびネットワークに対するインターフェイスを提供する。通信サブシステム924は、他のシステムとコンピュータシステム900との間のデータの送受のためのインターフェイスとして働く。たとえば、通信サブシステム924は、コンピュータシステム900が、1つ以上のクライアントデバイスとの間で情報を送受信するために、インターネットを介して1つ以上のクライアントデバイスへの通信チャネルを確立することを可能にすることができる。さらに、通信サブシステム924を使用して、成功したログインの通知、または特権アカウントマネージャから要求側ユーザへのパスワードの再入力の通知を伝達することができる。
通信サブシステム924は、有線および/または無線通信プロトコルの両方をサポートしてもよい。たとえば、特定の実施形態では、通信サブシステム924は、(たとえば、セルラー電話技術、3G、4GもしくはEDGE(グローバル進化のための高速データレート)などの先進データネットワーク技術、WiFi(IEEE802.11ファミリー規格、もしくは他のモバイル通信技術、またはそれらのいずれかの組み合わせを用いて)無線音声および/またはデータネットワークにアクセスするための無線周波数(RF)送受信機コンポーネント、グローバルポジショニングシステム(GPS)受信機コンポーネント、ならびに/または他のコンポーネントを含んでもよい。いくつかの実施形態では、通信サブシステム924は、無線インターフェイスに加えて、またはその代わりに、有線ネットワーク接続(たとえば、イーサネット)を提供することができる。
通信サブシステム924は、さまざまな形式でデータを送受信することができる。たとえば、いくつかの実施形態では、通信サブシステム924は、構造化されたおよび/または構造化されていないデータフィード926、イベントストリーム9217、イベント更新情報930などの形式で入力通信を受信してもよい。たとえば、通信サブシステム924は、ソーシャルメディアネットワークおよび/またはTwitter(登録商標)フィード、Facebook(登録商標)更新情報、Rich Site Summary(RSS)フィードなどのウェブフィード、および/もしくは1つ以上の第三者情報源からのリアルタイム更新情報などの他の通信サービスのユーザからリアルタイムでデータフィード926を受信(または送信)するように構成されてもよい。
いくつかの実施形態では、通信サブシステム924は、連続データストリームの形式でデータを受信するように構成されてもよく、当該連続データストリームは、明確な終端を持たない、本来は連続的または無限であり得るリアルタイムイベントのイベントストリーム928および/またはイベント更新情報930を含んでもよい。連続データを生成するアプリケーションの例としては、たとえば、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール(たとえば、ネットワーク監視およびトラフィック管理アプリケーション)、クリックストリーム解析ツール、自動車交通監視などを挙げることができる。
また、通信サブシステム924は、構造化されたおよび/または構造化されていないデータフィード926、イベントストリーム928、イベント更新情報930などを、コンピュータシステム900に結合される1つ以上のストリーミングデータソースコンピュータと通信し得る1つ以上のデータベースに出力するよう構成されてもよい。
コンピュータシステム900は、手持ち式の携帯デバイス(たとえば、iPhone(登録商標)携帯電話、iPad(登録商標)コンピューティングタブレット、PDA)、ウェアラブルデバイス(たとえば、Google Glass(登録商標)頭部装着型ディスプレイ)、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含む、さまざまなタイプのもののうちの1つであり得る。
常に変化するコンピュータおよびネットワークの性質のため、図9に示されるコンピュータシステム900の記載は、単に具体的な例として意図される。図9に示されるシステムよりも多くのコンポーネントまたは少ないコンポーネントを有する多くの他の構成が可能である。本明細書における開示および教示に基づいて、当業者は、さまざまな実施形態を実現するための他の態様および/または方法を理解するであろう。
本開示の特定の実施形態が記載されたが、さまざまな変形例、変更例、代替的な構造および等価物も本開示の範囲内に包含される。本開示の実施形態は、ある特定のデータ処理環境内の動作に限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、本開示の実施形態は特定の一連のトランザクションおよびステップを使用して記載されたが、本開示の範囲は記載された一連のトランザクションおよびステップに限定されないことは当業者には明らかである。上述した実施形態のさまざまな特徴および態様は、個別にまたはともに使用されてもよい。
さらに、本開示の実施形態はハードウェアとソフトウェアとの特定の組み合わせを用いて記載されたが、ハードウェアとソフトウェアとの他の組み合わせも本開示の範囲内にあることを認識すべきである。本開示の実施形態は、ハードウェアにおいてのみ、またはソフトウェアにおいてのみ、またはそれらの組み合わせを用いて実現されてもよい。本明細書に記載されたさまざまなプロセスは、同一のプロセッサまたは任意の組み合わせの異なるプロセッサ上で実現可能である。したがって、構成要素またはモジュールがある特定の動作を実行するように構成されるとして記載されている場合、そのような構成は、たとえば、当該動作を実行するよう電子回路を設計することによって、当該動作を実行するようプログラミング可能な電子回路(マイクロプロセッサなど)をプログラムすることによって、またはそれらの任意の組み合わせによって達成可能である。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されるものではないさまざまな技術を使用して通信することができ、異なる対のプロセスは異なる技術を使用してもよく、または同一の対のプロセスは異なる時間に異なる技術を使用してもよい。
したがって、明細書および図面は、限定的な意味ではなく例示的であると見なされるべきである。しかしながら、特許請求の範囲に記載されたより広範な精神および範囲から逸脱することなく、明細書および図面に対して追加、削減、削除、ならびに他の修正および変更がなされ得ることが明らかであろう。このように、具体的な開示の実施形態が記載されたが、これらは限定的であるよう意図されるものではない。さまざまな修正および均等物が以下の特許請求の範囲内にある。

Claims (20)

  1. 方法であって、
    ストリームソースからの入来イベントをマイクロバッチするようにストリームプロセッサを構成することと、
    前記入来イベントのマイクロバッチについての単一のタイムスタンプを生成することと、
    前記ストリームソースからの前記入来イベントの前記マイクロバッチを受信することと、
    前記単一のタイムスタンプを前記マイクロバッチの各イベントに割り当てることと、
    アルゴリズムに少なくとも部分的に基づいて、前記マイクロバッチのそれぞれのイベントごとに別個のタイムスタンプ値を生成することと、
    前記マイクロバッチのそれぞれのイベントごとに、前記別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることとを備える、方法。
  2. 前記アルゴリズムは、ウォールクロック進行アルゴリズム、均等分散型アルゴリズム、均等分散型トップオフアルゴリズム、または単純なシーケンスアルゴリズムを備える、請求項1に記載の方法。
  3. 前記別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることは、前記別個のタイムスタンプ値のうちの前記個々のタイムスタンプ値を、前記マイクロバッチの各イベントについての前記単一のタイムスタンプに付加することを備える、請求項1または2に記載の方法。
  4. 前記アルゴリズムは、前記マイクロバッチの各イベントに固有のタイムスタンプを提供する、請求項1から3のいずれか1項に記載の方法。
  5. 前記アルゴリズムは、前記マイクロバッチの各イベントが前記マイクロバッチの一部として識別可能であることを保証する、請求項4に記載の方法。
  6. 各イベントを、1つ以上の連続クエリ言語エンジンパーティションに割り当てることをさらに備える、請求項1から5のいずれか1項に記載の方法。
  7. 前記1つ以上の連続クエリ言語エンジンパーティションの第1のパーティションを識別することと、
    前記第1のパーティションが、前記第1のパーティションに割り当てられる前記マイクロバッチにおける複数のイベントのイベント数よりも大きいウィンドウサイズを有すると判断することとをさらに備える、請求項6に記載の方法。
  8. 前記第1のパーティションについてのハートビートイベントを生成することと、
    前記ハートビートイベントを前記第1のパーティションに挿入することとをさらに備える、請求項7に記載の方法。
  9. システムであって、
    コンピュータによって実行可能な命令を格納するように構成されたメモリと、
    前記メモリにアクセスして、前記コンピュータによって実行可能な命令を実行するように構成されたプロセッサとを備え、前記コンピュータによって実行可能な命令は、少なくとも、
    ストリームソースからの入来イベントをマイクロバッチするようにストリームプロセッサを構成する命令と、
    前記入来イベントのマイクロバッチについての単一のタイムスタンプを生成する命令と、
    前記ストリームソースからの前記入来イベントの前記マイクロバッチを受信する命令と、
    前記単一のタイムスタンプを前記マイクロバッチの各イベントに割り当てる命令と、
    アルゴリズムに少なくとも部分的に基づいて、前記マイクロバッチのそれぞれのイベントごとに別個のタイムスタンプ値を生成する命令と、
    前記マイクロバッチのそれぞれのイベントごとに、前記別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てる命令とを備える、システム。
  10. 前記アルゴリズムは、ウォールクロック進行アルゴリズム、均等分散型アルゴリズム、均等分散型トップオフアルゴリズム、または単純なシーケンスアルゴリズムを備える、請求項9に記載のシステム。
  11. 前記別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることは、前記別個のタイムスタンプ値のうちの前記個々のタイムスタンプ値を、前記マイクロバッチの各イベントについての前記単一のタイムスタンプに付加することを備える、請求項9または10に記載のシステム。
  12. 前記アルゴリズムは、前記マイクロバッチの各イベントに固有のタイムスタンプを提供する、請求項9か11のいずれか1項に記載のシステム。
  13. 前記アルゴリズムは、前記マイクロバッチの各イベントが前記マイクロバッチの一部として識別可能であることを保証する、請求項12に記載のシステム。
  14. 前記プロセッサは、少なくとも、
    各イベントを、1つ以上の連続クエリ言語エンジンパーティションに割り当てる、前記コンピュータによって実行可能な命令と、
    前記1つ以上の連続クエリ言語エンジンパーティションの第1のパーティションを識別する、前記コンピュータによって実行可能な命令と、
    前記第1のパーティションが、前記第1のパーティションに割り当てられる前記マイクロバッチにおける複数のイベントのイベント数よりも大きいウィンドウサイズを有すると判断する、前記コンピュータによって実行可能な命令と、
    前記第1のパーティションについてのハートビートイベントを生成する、前記コンピュータによって実行可能な命令と、
    前記ハートビートイベントを前記第1のパーティションに挿入する、前記コンピュータによって実行可能な命令とを実行するようにさらに構成される、請求項9から13のいずれか1項に記載のシステム。
  15. コンピュータによって実行可能なコードを格納しているコンピュータ読取可能な媒体であって、前記コンピュータによって実行可能なコードは、プロセッサによって実行されると前記プロセッサに動作を行なわせ、前記動作は、
    ストリームソースからの入来イベントをマイクロバッチするようにストリームプロセッサを構成することと、
    前記入来イベントのマイクロバッチについての単一のタイムスタンプを生成することと、
    前記ストリームソースからの前記入来イベントの前記マイクロバッチを受信することと、
    前記単一のタイムスタンプを前記マイクロバッチの各イベントに割り当てることと、
    アルゴリズムに少なくとも部分的に基づいて、前記マイクロバッチのそれぞれのイベントごとに別個のタイムスタンプ値を生成することと、
    前記マイクロバッチのそれぞれのイベントごとに、前記別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることとを備える、コンピュータ読取可能な媒体。
  16. 前記アルゴリズムは、ウォールクロック進行アルゴリズム、均等分散型アルゴリズム、均等分散型トップオフアルゴリズム、または単純なシーケンスアルゴリズムを備える、請求項15に記載のコンピュータ読取可能な媒体。
  17. 前記別個のタイムスタンプ値のうちの個々のタイムスタンプ値を割り当てることは、前記別個のタイムスタンプ値のうちの前記個々のタイムスタンプ値を、前記マイクロバッチの各イベントについての前記単一のタイムスタンプに付加することを備える、請求項15または16に記載のコンピュータ読取可能な媒体。
  18. 前記アルゴリズムは、前記マイクロバッチの各イベントに固有のタイムスタンプを提供する、請求項15から17のいずれか1項に記載のコンピュータ読取可能な媒体。
  19. 前記アルゴリズムは、前記マイクロバッチの各イベントが前記マイクロバッチの一部として識別可能であることを保証する、請求項18に記載のコンピュータ読取可能な媒体。
  20. 前記動作は、
    各イベントを、1つ以上の連続クエリ言語エンジンパーティションに割り当てることと、
    前記1つ以上の連続クエリ言語エンジンパーティションの第1のパーティションを識別することと、
    前記第1のパーティションが、前記第1のパーティションに割り当てられる前記マイクロバッチにおける複数のイベントのイベント数よりも大きいウィンドウサイズを有すると判断することと、
    前記第1のパーティションについてのハートビートイベントを生成することと、
    前記ハートビートイベントを前記第1のパーティションに挿入することとを備える、請求項15から19のいずれか1項に記載のコンピュータ読取可能な媒体。
JP2019514248A 2016-09-15 2017-09-07 自動時間進行についての処理タイムスタンプおよびハートビートイベント Active JP7013450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022006554A JP7329633B2 (ja) 2016-09-15 2022-01-19 自動時間進行についての処理タイムスタンプおよびハートビートイベント

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662395044P 2016-09-15 2016-09-15
US62/395,044 2016-09-15
US15/696,501 US10514952B2 (en) 2016-09-15 2017-09-06 Processing timestamps and heartbeat events for automatic time progression
US15/696,501 2017-09-06
PCT/US2017/050514 WO2018052792A1 (en) 2016-09-15 2017-09-07 Processing timestamps and heartbeat events for automatic time progression

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022006554A Division JP7329633B2 (ja) 2016-09-15 2022-01-19 自動時間進行についての処理タイムスタンプおよびハートビートイベント

Publications (3)

Publication Number Publication Date
JP2019537092A true JP2019537092A (ja) 2019-12-19
JP2019537092A5 JP2019537092A5 (ja) 2020-07-30
JP7013450B2 JP7013450B2 (ja) 2022-01-31

Family

ID=61560030

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019514248A Active JP7013450B2 (ja) 2016-09-15 2017-09-07 自動時間進行についての処理タイムスタンプおよびハートビートイベント
JP2022006554A Active JP7329633B2 (ja) 2016-09-15 2022-01-19 自動時間進行についての処理タイムスタンプおよびハートビートイベント

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022006554A Active JP7329633B2 (ja) 2016-09-15 2022-01-19 自動時間進行についての処理タイムスタンプおよびハートビートイベント

Country Status (5)

Country Link
US (2) US10514952B2 (ja)
EP (1) EP3513312B1 (ja)
JP (2) JP7013450B2 (ja)
CN (1) CN109863485B (ja)
WO (1) WO2018052792A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023506784A (ja) * 2019-12-13 2023-02-20 ライブパーソン, インコーポレイテッド 双方向通信システムのためのサービスとしての機能クラウドチャットボット
DE112021006183T5 (de) 2020-11-27 2023-09-28 Nec Corporation Management-vorrichtung, system, management-verfahren und management-programm

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514952B2 (en) 2016-09-15 2019-12-24 Oracle International Corporation Processing timestamps and heartbeat events for automatic time progression
WO2024182174A1 (en) * 2023-02-28 2024-09-06 Microsoft Technology Licensing, Llc Techniques for ingesting time-series based event data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244486A (ja) * 2009-04-10 2010-10-28 Hitachi Ltd データ処理システム、その処理方法、及び計算機
JP2014512608A (ja) * 2011-04-08 2014-05-22 ザ・ボーイング・カンパニー 一時的なデータウェアハウスにデータをロードするための方法およびシステム
US20150169683A1 (en) * 2013-12-17 2015-06-18 Microsoft Corporation Analytical Data Processing Engine
CN105871603A (zh) * 2016-03-29 2016-08-17 中国科学院软件研究所 一种基于内存数据网格的实时流式数据处理失效恢复系统及方法
JP2016526719A (ja) * 2013-06-21 2016-09-05 株式会社日立製作所 時間調整を使用したストリームデータ処理方法
JPWO2016067335A1 (ja) * 2014-10-27 2017-04-27 株式会社日立製作所 ストリームデータの処理方法及びストリームデータ処理装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452153B2 (en) * 2003-07-11 2013-05-28 Ricoh Company, Ltd. Associating pre-generated barcodes with temporal events
US8099452B2 (en) * 2006-09-05 2012-01-17 Microsoft Corporation Event stream conditioning
US20080301135A1 (en) * 2007-05-29 2008-12-04 Bea Systems, Inc. Event processing query language using pattern matching
US8028194B2 (en) * 2008-07-25 2011-09-27 Inmage Systems, Inc Sequencing technique to account for a clock error in a backup system
GB0817022D0 (en) * 2008-09-17 2008-10-22 Sage Technologies Ltd Information synchronisation
US8413169B2 (en) * 2009-10-21 2013-04-02 Microsoft Corporation Time-based event processing using punctuation events
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US8874526B2 (en) * 2010-03-31 2014-10-28 Cloudera, Inc. Dynamically processing an event using an extensible data model
CN103891249B (zh) * 2011-08-18 2017-12-12 瑞典爱立信有限公司 用于确定事件实例的方法和设备
US20130339473A1 (en) * 2012-06-15 2013-12-19 Zynga Inc. Real time analytics via stream processing
US9563663B2 (en) * 2012-09-28 2017-02-07 Oracle International Corporation Fast path evaluation of Boolean predicates
US8943107B2 (en) * 2012-12-04 2015-01-27 At&T Intellectual Property I, L.P. Generating and using temporal metadata partitions
US10956422B2 (en) * 2012-12-05 2021-03-23 Oracle International Corporation Integrating event processing with map-reduce
US10298444B2 (en) * 2013-01-15 2019-05-21 Oracle International Corporation Variable duration windows on continuous data streams
US9992269B1 (en) * 2013-02-25 2018-06-05 EMC IP Holding Company LLC Distributed complex event processing
US9654538B1 (en) * 2013-03-11 2017-05-16 DataTorrent, Inc. Dynamic partitioning of instances in distributed streaming platform for real-time applications
US9674249B1 (en) * 2013-03-11 2017-06-06 DataTorrent, Inc. Distributed streaming platform for real-time applications
US8978034B1 (en) * 2013-03-15 2015-03-10 Natero, Inc. System for dynamic batching at varying granularities using micro-batching to achieve both near real-time and batch processing characteristics
US10013318B2 (en) * 2013-04-16 2018-07-03 Entit Software Llc Distributed event correlation system
US9418113B2 (en) * 2013-05-30 2016-08-16 Oracle International Corporation Value based windows on relations in continuous data streams
US9244978B2 (en) * 2014-06-11 2016-01-26 Oracle International Corporation Custom partitioning of a data stream
US10049171B2 (en) * 2014-09-10 2018-08-14 Ca, Inc. Batch processed data structures in a log repository referencing a template repository and an attribute repository
US10120907B2 (en) * 2014-09-24 2018-11-06 Oracle International Corporation Scaling event processing using distributed flows and map-reduce operations
US9886486B2 (en) * 2014-09-24 2018-02-06 Oracle International Corporation Enriching events with dynamically typed big data for event processing
JP6412762B2 (ja) 2014-10-01 2018-10-24 日清製粉株式会社 揚げパン類の製造方法
US10747812B1 (en) * 2014-10-01 2020-08-18 EMC IP Holding Company LLC Video analytics
US20160219089A1 (en) * 2015-01-23 2016-07-28 Ebay Inc. Systems and methods for messaging and processing high volume data over networks
WO2016115735A1 (en) * 2015-01-23 2016-07-28 Murthy Sharad R Processing high volume network data
CN107431664B (zh) * 2015-01-23 2021-03-12 电子湾有限公司 消息传递系统和方法
US10211969B1 (en) * 2015-07-21 2019-02-19 Kelly Littlepage Secure system for the synchronized collection and distribution of transactional messages among untrusted geographically distributed users
WO2017018901A1 (en) * 2015-07-24 2017-02-02 Oracle International Corporation Visually exploring and analyzing event streams
WO2017023432A1 (en) * 2015-08-05 2017-02-09 Google Inc. Data flow windowing and triggering
EP3128423A1 (en) * 2015-08-06 2017-02-08 Hewlett-Packard Enterprise Development LP Distributed event processing
US10235417B1 (en) * 2015-09-02 2019-03-19 Amazon Technologies, Inc. Partitioned search of log events
US9672082B2 (en) * 2015-10-21 2017-06-06 Oracle International Corporation Guaranteeing the event order for multi-stage processing in distributed systems
US10127120B2 (en) * 2015-10-22 2018-11-13 Oracle International Corporation Event batching, output sequencing, and log based state storage in continuous query processing
US10514952B2 (en) 2016-09-15 2019-12-24 Oracle International Corporation Processing timestamps and heartbeat events for automatic time progression

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244486A (ja) * 2009-04-10 2010-10-28 Hitachi Ltd データ処理システム、その処理方法、及び計算機
JP2014512608A (ja) * 2011-04-08 2014-05-22 ザ・ボーイング・カンパニー 一時的なデータウェアハウスにデータをロードするための方法およびシステム
JP2016526719A (ja) * 2013-06-21 2016-09-05 株式会社日立製作所 時間調整を使用したストリームデータ処理方法
US20150169683A1 (en) * 2013-12-17 2015-06-18 Microsoft Corporation Analytical Data Processing Engine
JPWO2016067335A1 (ja) * 2014-10-27 2017-04-27 株式会社日立製作所 ストリームデータの処理方法及びストリームデータ処理装置
CN105871603A (zh) * 2016-03-29 2016-08-17 中国科学院软件研究所 一种基于内存数据网格的实时流式数据处理失效恢复系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023506784A (ja) * 2019-12-13 2023-02-20 ライブパーソン, インコーポレイテッド 双方向通信システムのためのサービスとしての機能クラウドチャットボット
DE112021006183T5 (de) 2020-11-27 2023-09-28 Nec Corporation Management-vorrichtung, system, management-verfahren und management-programm

Also Published As

Publication number Publication date
US20180074856A1 (en) 2018-03-15
JP7013450B2 (ja) 2022-01-31
EP3513312A1 (en) 2019-07-24
WO2018052792A1 (en) 2018-03-22
EP3513312B1 (en) 2020-12-30
JP2022058669A (ja) 2022-04-12
US20200042351A1 (en) 2020-02-06
US11061722B2 (en) 2021-07-13
US10514952B2 (en) 2019-12-24
CN109863485B (zh) 2023-04-14
JP7329633B2 (ja) 2023-08-18
CN109863485A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
JP7333424B2 (ja) 分散イベント処理システムのためのグラフ生成
JP7316341B2 (ja) ストリームデータにおける空間変化検出器
JP7018435B2 (ja) スナップショットおよび状態のマイクロバッチ方式による管理
US9729542B2 (en) Compartmentalizing application distribution for disparate electronic devices
US10942900B2 (en) Techniques for tenant controlled visualizations and management of files in cloud storage systems
US9723025B2 (en) Dependent entity provisioning
US10291626B2 (en) Managing temporal aspects of accounts and entitlements
US10482404B2 (en) Delegated privileged access grants
JP7329633B2 (ja) 自動時間進行についての処理タイムスタンプおよびハートビートイベント
JP2017530469A (ja) イベント処理のための動的に型付けされたビッグデータによるイベントの充実化
US10104086B2 (en) Techniques for fine grained protection of resources in an access management environment
US20150199535A1 (en) Organization-based policies
US20150199625A1 (en) Logical and physical organization management

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220119

R150 Certificate of patent or registration of utility model

Ref document number: 7013450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150