JP2018531465A6 - メッセージデータを格納するためのシステム及び方法 - Google Patents
メッセージデータを格納するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2018531465A6 JP2018531465A6 JP2018518524A JP2018518524A JP2018531465A6 JP 2018531465 A6 JP2018531465 A6 JP 2018531465A6 JP 2018518524 A JP2018518524 A JP 2018518524A JP 2018518524 A JP2018518524 A JP 2018518524A JP 2018531465 A6 JP2018531465 A6 JP 2018531465A6
- Authority
- JP
- Japan
- Prior art keywords
- buffer
- message
- channel
- storing
- messages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- UIIMBOGNXHQVGW-UHFFFAOYSA-M buffer Substances [Na+].OC([O-])=O UIIMBOGNXHQVGW-UHFFFAOYSA-M 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000004590 computer program Methods 0.000 claims abstract description 18
- 230000001276 controlling effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000010410 layer Substances 0.000 description 9
- 230000002085 persistent Effects 0.000 description 5
- 230000000875 corresponding Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101700084907 ampp Proteins 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 230000003287 optical Effects 0.000 description 2
- 230000000644 propagated Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001186 cumulative Effects 0.000 description 1
- 230000001066 destructive Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
PubSubシステムにメッセージデータを格納するためのコンピュータストレージ媒体に符号化されたコンピュータプログラムを含む方法、システム、及び装置を記述する。ある一定の実施例では、複数の個別のチャネルのためのメッセージが複数の発行者から受信される。メッセージは順序付けられ、複数のバッファに格納され、各チャネルは、固有のそれぞれのバッファを有する。メッセージがチャネルのためのバッファの書込可能部分に書き込まれた後に、バッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタがアトミック動作で進められる。アトミック動作に続いて、メッセージは読取可能部分に入り、PubSubシステム構成要素及び/又は処理によってアクセスすることができる。一般的に、1又は2以上の購読者、構成要素、又は処理は、並行して読取可能部分からメッセージを読み取ることができる。
【選択図】 図4A
【選択図】 図4A
Description
〔関連出願への相互参照〕
この出願は、これによりその開示が引用によって本明細書に全体的に組み込まれる2015年10月9日出願の米国特許出願第1の4/879,661号に対する優先権を主張するものである。
この出願は、これによりその開示が引用によって本明細書に全体的に組み込まれる2015年10月9日出願の米国特許出願第1の4/879,661号に対する優先権を主張するものである。
本明細書は、データ通信システム、特に、リアルタイムのスケーラブル発行(出版)−購読(publish-subscribe)メッセージングを実施するシステムに関する。
発行−購読パターン(又は「PubSub」)は、いわゆる発行者が、トピックに対するメッセージを発行し、いわゆる購読者が、購読している特定のトピックに関するメッセージを受信するソフトウエアシステムによって実施されるデータ通信メッセージング取り決めである。トピック毎に1又は2以上の発行者が存在する可能性があり、発行者は、一般的に、どの購読者が、もし居れば、発行されたメッセージを受信するかの知識を持っていない。一部のPubSubシステムは、メッセージをキャッシュに入れず、又は小さいキャッシュを有し、購読者が、特定のトピックに対する購読予約の時点の前で発行されたメッセージを受信しない場合があることを意味する。PubSubシステムは、メッセージ発行のサージ中又は特定のトピックに対する購読者の数が増加する時に性能不安定を受け易い可能性がある。
本明細書に説明するシステム及び方法は、PubSubシステムによって正確にかつ効率的にメッセージが受信及び格納されることを可能にする。ある一定の実施例では、PubSubシステムは、メッセージデータの個別のストリームに各々が対応する複数のチャネルを含む。各チャネルは、チャネルのためのメッセージを格納するそれぞれのバッファを有する。メッセージは、バッファの書込可能部分に書き込まれかつバッファの読取可能部分から読み取られる。ポインタが、バッファの読取可能及び書込可能部分の間の境界を指示又はその境界を定める。書込可能部分へのメッセージの書込が成功した後で、ポインタは、アトミック動作で前進し、その後にメッセージが読取可能部分に存在する。
有利なことに、PubSubシステム構成要素は、各バッファからの読取及び各バッファへの書込を並行して行うことができる。これは、PubSubシステムに関連付けられた構成要素及び処理が、読取及び/又は書込目的のために同時に各バッファにアクセスすることを可能にする。加えてアトミック動作の使用は、バッファの読取可能部分のメッセージデータが正確であることを保証する。一般的に、アトミック動作は、ポインタが先に進んで新しいメッセージが読取可能部分に移動するまで、PubSubシステム構成要素が新しいメッセージを読み取るのを阻止する。
本明細書に説明するシステム及び方法の実施形態は、複数の処理(例えば、ERLANG待ち行列処理)が同じメモリ空間を共有することを可能にする「ゼロコピー待ち行列」分散ストレージシステムを提供する。一部の実施例では、このゼロコピー待ち行列は、(i)超高速メモリ書込及びメモリ読取、(ii)並行書込のための超低待ち時間(例えば100ナノ秒未満)、及び/又は(iii)最大50,000並行読取のための超低待ち時間(例えば10ナノ秒未満)を可能にする。ゼロコピー待ち行列は、自動バックプレッシャー機構を導入し、最大読取/書込スループットを達成する。
本明細書に説明する問題を解決するための既存の手法は、一般的には、ハッシュテーブル、又は内蔵ERLANGタームストレージ(ETS)などの鍵‐値ストアを利用する。ETSは、ERLANG仮想機械の一部であるインメモリデータベースであり、かつ破壊的アップデートが許可される仮想機械のセクションに位置する。このようなアップデートは高速であり、かつプログラマーがある一定の重要なコードを最適化する容易な方法を提供するが、ETSテーブルは、同時読取及び書込の速度に制限を加える固有のロッキング機構を提供する。
比較すると、本明細書に説明するゼロコピー待ち行列方式の実施例は、ロックが使用されないのでこのような固有の制限を有することはない。これは本来、読取機が書込機を決してブロックせず、かつ書込機が読取機を決してブロックしないことを意味する。従って読取機及び書込機の両方が何れの中断もなく全速で機能する。
ある一定の実施では、ゼロコピー待ち行列は、非ブロッキングアルゴリズムのカテゴリー、又は厳密には「待ちなし」アルゴリズムに入る。待ちなしは、処理の不足なく高速システム全体スループットを提供する。
一般的に、本明細書に説明する主題の一態様は、複数の発行者から複数の個別のチャネルの1つに各々が関連付けられた複数のメッセージを受信する段階、各チャネルに関連付けられたメッセージを順序付ける段階、チャネルに割り当てられたメッセージの順序に従ってチャネルのそれぞれのバッファにチャネルの各々の各メッセージを格納する段階を1又は2以上のコンピュータによって実行するアクションを含む方法に具現化することができ、格納する段階は、バッファの書込可能部分にメッセージを格納する段階及び、アトミック動作が完了した後にメッセージがバッファの読取可能部分に入るようにアトミック動作においてバッファの読取可能部分とバッファの書込可能部分の境界を定めるポインタを前進させる段階、及び格納中にバッファの1又は2以上の読取可能部分から1又は2以上の購読者が読み取ることを可能にする段階を含む。
ある一定の実施では、アトミック動作は別の処理又は実行のスレッドによって中断することができない。バッファの書込可能部分にメッセージを格納する段階は、バッファの書込可能部分の第1の場所にメッセージの長さを格納する段階、及び第1の場所の次のバッファの書込可能部分にメッセージを格納する段階を含むことができる。アトミック動作においてバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階は、メッセージの長さとポインタの現在値の和をポインタに格納する段階を含むことができる。
一部の実施例では、各バッファが単一のチャネルのためのメッセージだけを格納する。特定のチャネルのための各バッファは、バッファの有効期間に基づいて異なる時間に満了することができる。特定のバッファは、コンピュータの1つの書込処理に対応することができる。様々な実施では、各バッファがそれぞれの有効期間を有し、有効期間の満了により発行者及び購読者がバッファにアクセスできないようになる。各チャネルに関連付けられたメッセージを順序付ける段階は、メッセージのそれぞれの受信時間に従ってメッセージを順序付ける段階を含むことができる。
別の態様では、本明細書に説明する主題は、命令を格納している非一時的コンピュータ可読媒体を含むシステムに具現化することができる。本発明のシステムは、命令を実行するよう構成されたデータ処理装置を含み、複数の個別のチャネルに1つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階、各チャネルに関連付けられたメッセージを順序付ける段階、チャネルに割り当てられたメッセージの順序に従ってチャネルのそれぞれのバッファにチャネルの各々の各メッセージを格納する段階を含む作動を実行し、格納する段階は、バッファの書込可能部分にメッセージを格納する段階及びアトミック動作が完了した後にメッセージがバッファの読取可能部分に入るようにアトミック動作においてバッファの読取可能部分とバッファの書込可能部分との境界を定めるポインタを前進させる段階、及び格納中にバッファの1又は2以上の読取可能部分から1又は2以上の購読者が読み取ることを可能にする段階を含む。
ある一定の実施では、アトミック動作は、別の処理又は実行のスレッドによって中断することができない。バッファの書込可能部分にメッセージを格納する段階は、バッファの書込可能部分の第1の場所にメッセージの長さを格納する段階及び第1の場所の次のバッファの書込可能部分にメッセージを格納する段階を含むことができる。アトミック動作におけるバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階は、ポインタにメッセージの長さとポインタの現在値との和を格納する段階を含むことができる。
一部の実施例では、各バッファは単一のチャネルのためのメッセージだけを格納する。特定のチャネルのための各バッファは、バッファの有効期間に基づいて異なる時間に満了することができる。特定のバッファは、コンピュータの1つの書込処理に対応することができる。様々な実施では、各バッファはそれぞれの有効期間を有し、有効期間の満了により発行者及び購読者がバッファにアクセスできないようになる。各チャネルに関連付けられたメッセージを順序付ける段階は、メッセージのそれぞれの受信時間に従ってメッセージを順序付ける段階を含むことができる。
別の態様では、本明細書に説明する主題は、データ処理装置の処理モードを制御するための1又は2以上の非一時的ストレージ媒体に格納されたコンピュータプログラム製品に具現化することができる。本発明のコンピュータプログラム製品は、複数の発行者から複数の個別のチャネルの1つに各々が関連付けられた複数のメッセージを受信する段階、各チャネルに関連付けられたメッセージを順序付ける段階、チャネルに割り当てられたメッセージの順序に従ってチャネルのそれぞれのバッファにチャネルの各々の各メッセージを格納する段階を含む作動をデータ処理装置に実行させるようにデータ処理装置によって実行可能であり、格納する段階は、バッファの書込可能部分にメッセージを格納する段階及びアトミック動作が完了した後にメッセージがバッファの読取可能部分に入るようにアトミック動作でバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階、及び1又は2以上の購読者が格納中にバッファの1又は2以上の読取可能部分から読み取ることを可能にする段階を含む。
ある一定の実施では、アトミック動作は、別の処理又は実行のスレッドによって中断することができない。バッファの書込可能部分にメッセージを格納する段階は、バッファの書込可能部分の第1の場所にメッセージの長さを格納する段階及び第1の場所の次のバッファの書込可能部分にメッセージを格納する段階を含むことができる。アトミック動作でバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階は、ポインタにメッセージの長さとポインタの現在値との和を格納する段階を含むことができる。
一部の実施例では、各バッファは単一のチャネルのためのメッセージだけを格納する。特定のチャネルのための各バッファは、バッファの有効期間に基づいて異なる時間に満了することができる。特定のバッファは、コンピュータの1つの書込処理に対応することができる。様々な実施では、各バッファはそれぞれの有効期間を有し、有効期間の満了により発行者及び購読者がバッファにアクセスできないようになる。各チャネルに関連付けられたメッセージを順序付ける段階は、メッセージのそれぞれの受信時間に従ってメッセージを順序付ける段階を含むことができる。
本明細書に説明する主題の1又は2以上の実施形態の詳細は、添付図面及び以下の説明に示している。本発明の主題の他の特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
図1Aは、PubSub通信パターンをサポートする例示的システム100を示している。発行者クライアント(例えば、発行者1)は、システム100によってメッセージを指名チャネル(例えば、「チャネル1」)に発行することができる。メッセージは、テキスト、画像コンテンツ、音声コンテンツ、マルチメディアコンテンツ、ビデオコンテンツ、及びバイナリデータなどの1又は2以上を含むあらゆるタイプの情報を含むことができる。メッセージデータの他のタイプも可能である。購読者クライアント(例えば、購読者2)は、システム100を使用して指名チャネルを購読予約し、かつ購読要求後に又は所与の位置(例えば、メッセージ番号又は時間オフセット)から発生するメッセージの受信を開始することができる。クライアントは、発行者及び購読者の両方とすることができる。
構成に応じて、PubSubシステムは、以下のように分類することができる。
・1対1(1:1)。この構成では、チャネル毎に1人の発行者及び1人の購読者がいる。典型的な使用事例は、プライベートメッセージングである。
・1対多数(1:N)。この構成では、チャネル毎に1人の発行者と複数の購読者がいる。典型的な使用事例は、放送メッセージ(例えば、株価)である。
・多数対多数(M:N)。この構成では、単一チャネルに発行する多くの発行者がいる。
メッセージは、次に、複数の購読者に配信される。典型的な使用事例は、地図アプリケーションである。
・1対1(1:1)。この構成では、チャネル毎に1人の発行者及び1人の購読者がいる。典型的な使用事例は、プライベートメッセージングである。
・1対多数(1:N)。この構成では、チャネル毎に1人の発行者と複数の購読者がいる。典型的な使用事例は、放送メッセージ(例えば、株価)である。
・多数対多数(M:N)。この構成では、単一チャネルに発行する多くの発行者がいる。
メッセージは、次に、複数の購読者に配信される。典型的な使用事例は、地図アプリケーションである。
指名チャネルを生成するのに必要な個別の作動はない。チャネルが購読された時又はメッセージがチャネルに発行された時にチャネルが暗黙的に生成される。一部の実施では、チャネル名は、名前空間によって限定することができる。名前空間は、1又は2以上のチャネル名を含む。異なる名前空間は、曖昧さを生じることなく同じチャネル名を有することができる。名前空間名は、名前空間及びチャネネームがドットによって分けられる場合のチャネル名の接頭辞とすることができる。一部の実施では、チャネル許可設定を指定する時に名前空間を使用することができる。例えば、メッセージングシステム100は、app1.foo及びapp1.system.notificationsチャネルを有することができ、ここで「appl」は、名前空間の名称である。本発明のシステムは、クライアントがappl.fooチャネルを購読及び発行することを可能にすることができる。しかし、クライアントは、appl.system.notificationsチャネルを発行しないが購読のみとすることができる。
図1Bは、例示的クライアントデバイス上のソフトウエアの機能層を示している。クライアントデバイス(例えば、クライアント102)は、例えば、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、又はサーバコンピュータのようなデータ処理装置である。他のタイプのクライアントデバイスも可能である。アプリケーション層104は、PubSubシステム100に統合することになるエンド−ユーザアプリケーションを含む。メッセージング層106は、アプリケーション層104がチャネル購読、メッセージ発行、メッセージ取り出し、ユーザ認証、及びユーザ許可のようなシステム100のサービスを利用するプログラミングインタフェースである。一部の実施では、メッセージング層106との間で送られるメッセージは、JavaScript(登録商標)オブジェクト表記(JSON)オブジェクトとして符号化される。他のメッセージ符号化方式も可能である。
オペレーティングシステム108層は、クライアント102のオペレーティングシステムソフトウエアを含む。様々な実施では、持続的又は非持続的接続を使用してシステム100にメッセージを送信する及びシステム100からメッセージを受信することができる。持続的接続は、例えば、ネットワークソケットを使用して生成することができる。TCP/IP層112のようなトランスポートプロトコルは、メッセージング層106によって使用されるシステム100とのトランスポート制御プロトコル/インターネットプロトコル通信を実施し、接続を通じてシステム100にメッセージを送信する。例えば、ユーザデータグラムプロトコル(UDP)を含む他の通信プロトコルも可能である。更に別の実施では、任意的なトランスポート層セキュリティ(TLS)層110を利用してメッセージの機密性を保証することができる。
図2は、例示的メッセージングシステム100の図である。システム100は、PubSub通信パターンを実施するための機能性を提供する。本発明のシステムは、例えば、1又は2以上の地理的な場所で1又は2以上のデータセンター122に配備することができるソフトウエア構成要素及びストレージを含む。本発明のシステムは、MXノード(例えば、MXノード又は多重化ノード202、204、及び206)、Qノード(例えば、Qノード又は待ち行列ノード208、210、及び212)、1又は2以上のチャネルマネージャノード(例えば、チャネルマネージャ214、215)、及び任意的に1又は2以上のCノード(例えば、Cノード又はキャッシュノード220及び222)を含む。各ノードは、仮想機械又は物理機械(例えば、データ処理装置)で実行することができる。各MXノードは、外部ネットワーク216を通じた1又は2以上の発行者及び/又は購読者接続の終端ポイントとして機能する。MXノード、Qノード、Cノード、及びチャネルマネージャ間の内部通信は、例えば、内部ネットワーク218を通じて行われる。例示的に、MXノード204をクライアント102からの購読者接続の終端とすることができる。各Qノードは、MXノードによって消費するチャネルデータをバッファに入れる。チャネルに発行されたメッセージの順序付けられたシーケンスが論理的チャネルストリームである。例えば、3つのクライアントが所与のチャネルにメッセージを発行する場合に、クライアントによって発行された複合メッセージは、チャネルストリームを含む。メッセージは、チャネルストリーム内でクライアントによる発行の時間により、MXノードによる受信の時間により、又はQノードによる受信の時間によって順序付けることができる。チャネルストリームのメッセージを順序付けるための他の方法も可能である。1よりも多いメッセージが順序の同じ位置に割り当てられる場合に、順序の後ろのシーケンスを有するメッセージの1つを(例えば、ランダムに)選択することができる。各チャネルマネージャノードは、チャネルストリームをいわゆるストリームレットに分割することによってQノードの負荷を管理する役割を果たす。ストリームレットは以下に詳しく説明する。任意的Cノードは、キャッシュ及びQノードからの負荷除去を提供する。
例示的メッセージングシステム100では、1又は2以上のクライアントデバイス(発行者及び/又は購読者)は、MXノード(MX204など)へのそれぞれの持続的接続(例えば、TCP接続)を設定する。MXノードは、これらの接続の終端ポイントとして機能する。例えば、これらの接続によって運ばれた外部メッセージ(例えば、それぞれのクライアントデバイスとMXノード間)は、外部プロトコル(例えば、JSON)に基づいて符号化することができる。MXノードは、外部プロトコルを終了して外部メッセージを内部通信に翻訳し、逆も同様である。MXノードは、クライアントの代わりにストリームレットを発行及び購読する。従って、MXノードは、同じチャネルを購読又は発行するクライアントデバイスの要求を多重化及び融合することができ、従って、1つずつの代わりに1つとして複数のクライアントデバイスを表している。
例示的メッセージングシステム100では、Qノード(例えば、Qノード208)は、1又は2以上のチャネルストリームの1又は2以上のストリームレットを格納することができる。ストリームレットは、チャネルストリームの一部分のためのデータバッファである。ストリームレットは、そのストレージが満杯である時に書込に対して閉じることになる。ストリームレットは、ストリームレットの有効期間(TTL)が満了した時に読取及び書込に対して閉じて割り当てを解除する。例示的に、ストリームレットは、1MBの最大サイズ及び3分のTTLを有することができる。異なるチャネルが異なるTTLによって制限されるストリームレットを有することができる。例えば、1つのチャネル内のストリームレットは、3分まで存在することができる一方、別のチャネル内のストリームレットは、10分まで存在することができる。様々な実施では、ストリームレットは、Qノードで実行されるコンピュータ処理に対応する。コンピュータ処理は、ストリームレットのTTLが満了した後に終了することができ、従って、例えば、Qノードに戻るコンピュータリソース(ストリームレット)を解放する。
クライアントデバイスから発行要求を受信した時に、MXノード(例えば、MX204)は、チャネルマネージャ(例えば、チャネルマネージャ214)に要求してストリームレットへのアクセスを許可し、発行されるメッセージを書き込む。しかし、MXノードがチャネル内のストリームレットへの書込アクセスを予め許可される(かつチャネルが書込に対して閉じていない)場合に、MXノードは、ストリームレットにアクセスする許可を要求する必要なくこのストリームレットにメッセージを書き込むことができることに注意されたい。メッセージがチャネル内のストリームレットに書き込まれた状態で、メッセージは、MXノードによって読み取られ、このチャネルの購読者に提供することができる。
同様に、クライアントデバイスからチャネル購読要求を受信した時に、MXノードは、チャネル内のストリームレットへのアクセスの許可をチャネルマネージャに要求してメッセージを読み取る。MXノードがチャネル内のストリームレットへの読取アクセスを予め許可されている(かつチャネルのTTLが読取に対して閉じていない)場合に、MXノードは、ストリームレットにアクセスする許可を要求する必要なくストリームレットからメッセージを読み取ることができる。読取メッセージは、チャネルに購読予約したクライアントデバイスに転送することができる。様々な実施では、ストリームレットから読み取られたメッセージは、MXノードによってキャッシュに入れられ、それによってMXノードは、ストリームレットから読み取るのに必要な時間数を低減することができる。
例示的に、MXノードは、MXノードが特定のチャネル内のストリームレットを格納する特定のQノードのストリームレットにデータのブロックを格納することを可能にするチャネルマネージャからの許可を要求することができる。例示的ストリームレット許可要求及び許可データ構造は以下の通りである。
StreamletGrantRequestデータ構造は、ストリームchannelの名前及びMXノードがストリームレットからの読取又はストリームレットへの書込を意図するか否かを示すモードを格納する。MXノードは、StreamletGrantRequestをチャネルマネージャノードに送信する。チャネルマネージャノードは、相応にMXノードにStreamletGrantRequestデータ構造を送信する。StreamletGrantResponseは、ストリームレットの識別子(streamlet−id)、ストリームレットの最大サイズ(limit−size)、ストリームレットが格納することができるメッセージの最大数(limit−msgs)、TTL(limit−life)、及びストリームレットが存在するQノードの識別子(q−node)を含有する。StreamletGrantRequest及びStreamletGrantResponseはまた、ストリームレットから読み取るためのストリームレットの位置(又はチャネルの位置)を示す位置フィールドを有することができる。
許可は、ストリームレットが閉じた状態で無効になる。例えば、ストリームレットは、ストリームレットのTTLが満了した状態で読取及び書込に対して閉じ、ストリームレットのストレージが満杯の時はストリームレットが書込に対して閉じる。許可が無効になった時に、MXノードは、ストリームレットから読み取る又はストリームレットに書き込むためのチャネルマネージャからの新しい許可を要求することができる。新しい許可は、異なるストリームレットを参照することになり、かつ新しいストリームレットが存在する場所に応じて同じか又は異なるQノードを意味することになる。
図3Aは、様々な実施形態でデータをストリームレットに書き込む例示的方法のデータ流れ図である。図3Aでは、ストリームレットに書き込むためのMXノード(例えば、MX202)要求が、上述のようにチャネルマネージャ(例えば、チャネルマネージャ214)によって許可された時に、MXノードは、チャネルマネージャ(302)から受信した許可応答で識別されたQノードとの送信制御プロトコル(TCP)接続を確立する。ストリームレットは、複数の書込許可(例えば、複数の発行者クライアントによって発行されたメッセージに対する)によって同時に書き込むことができる。MXノードとQノード間の接続プロトコルの他のタイプも可能である。
MXノードは、次に、MXノードがQノードに書き込みたいストリームレットの識別子を備えた準備−発行メッセージを送信する(304)。ストリームレット識別子及びQノード識別子は、上述のように書込許可でチャネルマネージャによって提供することができる。Qノードは、識別されたストリームレットのハンドラ処理301(例えば、Qノードで実行されるコンピュータ処理)にメッセージを渡す(306)。ハンドラ処理は、MXノードに肯定応答を送信することができる(308)。肯定応答を受信した後に、MXノードは、識別されたストリームレットに受信したデータを格納するハンドラ処理へのメッセージの書込(発行)(例えば、310、312、314、及び318)を開始する。ハンドラ処理はまた、受信したデータの肯定応答(316、320)をMXノードに送信することができる。一部の実施では、肯定応答は、抱き合わせ又は累積的とすることができる。例えば、ハンドラ処理は、予め決められたデータ量が受信される毎に(例えば、100メッセージが受信される毎に)、又は予め決められた時間毎に(例えば、1ミリ秒毎に)MXノードに肯定応答を送信することができる。ネーグルのアルゴリズムのような他の肯定応答スケジューリングアルゴリズムを使用することもできる。
ストリームレットが、発行されたデータをそれ以上受け入れられない場合(例えば、ストリームレットが満杯の時)、ハンドラ処理は、問題を示す否定応答(NAK)メッセージ(330)、次に、EOF(ファイルの終わり)メッセージ(332)を送信する。従って、ハンドラ処理は、発行許可のためのMXノードとのアソシエーションを閉じる。MXノードが格納する追加のメッセージを有する場合に、MXノードは、チャネルマネージャから別のストリームレットの書込許可を要求することができる。
図3Bは、様々な実施形態におけるストリームレットからデータを読み取る例示的方法のデータ流れ図である。図3Bでは、MXノード(例えば、MX202)は、チャネルマネージャ(例えば、チャネルマネージャ214)に特定のメッセージから始まる特定のチャネル又はチャネルの時間オフセットを読み取るための要求を送信する。チャネルマネージャは、特定のメッセージを含有するストリームレットの識別子、特定のメッセージに対応するストリームレットにおける位置、及び特定のストリームレットを含有するQノード(例えば、Qノード208)の識別子を含む読取許可をMXノードに戻す。MXノードは、QノードとのTCP接続を確立する(352)。MXノードとQノード間の接続プロトコルの他のタイプも可能である。
MXノードは、ストリームレットの識別子(Qノード内)及びMXノードが読み取りたいストリームレットの位置を備えた購読メッセージをQノードに送信する(356)。Qノードは、購読メッセージをストリームレットのハンドラ処理351に渡す(356)。ハンドラ処理は、MXノードに肯定応答を送信することができる(358)。ハンドラ処理は、ストリームレットの位置で開始されるメッセージ(360、364、366)をMXノードに送信する。一部の実施では、ハンドラ処理は、ストリームレットのメッセージの全てをMXノードに送信することができる。特定のストリームレット内の最後のメッセージを送信した後に、ハンドラ処理は、最後のメッセージの通知をMXノードに送信することができる。MXノードは、特定のチャネル内の次のメッセージを含有する別のストリームレットに対する別の要求をチャネルマネージャに送信することができる。
特定のストリームレットが閉じた場合(例えば、特定のストリームレットのTTLが満了した後)、ハンドラ処理は、非購読メッセージ(390)、次に、EOFメッセージ(392)を送信して読取許可のためのMXノードとのアソシエーションを閉じることができる。MXノードは、MXノードが特定のチャネル内のメッセージのために別のストリームレットに移る(例えば、チャネルマネージャによって示されたように)時にハンドラ処理とのアソシエーションを閉じることができる。MXノードは、MXノードが、対応するクライアントデバイスから非購読メッセージを受信した場合に、ハンドラ処理とのアソシエーションを閉じることができる。
様々な実施では、ストリームレットは、同じ時間インスタンスに書き込み、かつ読み取ることができる。例えば、同じ時間インスタンスに有効読取許可及び有効書込許可を存在させることができる。様々な実施では、複数の読取許可(例えば、複数の発行者クライアントによって購読されるチャネルに対する)によって同時にストリームレットを読み取ることができる。ストリームレットのハンドラ処理は、例えば、到着時間に基づいて同時書込許可からのメッセージを順序付けし、その順序に基づいてメッセージを格納することができる。従って、複数の発行者クライアントからチャネルに発行されたメッセージは、チャネル内のストリームレットにシリアル化して格納することができる。
メッセージングシステム100では、1又は2以上のCノード(例えば、Cノード220)は、1又は2以上のQノードからのデータ転送をアンロードすることができる。例えば、特定のチャネルのためのストリームレットをQノードから要求する多くのMXノードが存在する場合に、ストリームレットをアンロードして1又は2以上のCノードをキャッシュに入れることができる。MXノード(例えば、チャネルマネージャから読取許可によって命令される)は、代わりにCノードからストリームレットを読み取ることができる。
上述のように、メッセージングシステム100内のチャネルのためのメッセージは、チャネルストリームで順序付けされる。チャネルマネージャ(例えば、チャネルマネージャ214)は、それぞれのQノードに各々が存在する固定サイズストリームレットにチャネルストリームを分割する。従って、チャネルストリームの格納は、多くのQノード間で共有することができ、各Qノードは、チャネルストリームの一部分(1又は2以上のストリームレット)を格納する。特に、ストリームレットは、Qノード上のコンピュータ処理に関連付けられたレジスタ及び動的メモリ要素に格納することができ、従って、ハードディスクのような持続性低速ストレージデバイスにアクセスする必要性を回避する。これは高速のメッセージアクセスをもたらす。チャネルマネージャは、Qノードのそれぞれのワークロードをモニタし、いかなる1つのQノードの過負荷も回避する方法でストリームレットを割り当てることにより、メッセージングシステム100のQノード間の負荷の均衡を取ることができる
様々な実施では、チャネルマネージャは、各アクティブストリームレット、ストリームレットが存在するそれぞれのQノード、及びストリームレットの第1のメッセージの位置の識別、及びストリームレットが書込に対して閉じているか否かを識別するリストを維持する。一部の実施では、Qノードは、満杯であるために又はストリームレットのTTLが満了した時にストリームレットが閉じていることをストリームレットに発行しているチャネルマネージャ及びあらゆるMXノードに通知する。ストリームレットが閉じている時に、MXノードがストリームレットからメッセージの取り出しを継続することができるようにストリームレットのTTLが満了するまでアクティブストリームレットのチャネルマネージャのリストにストリームレットが残る。
MXノードが所与のチャネルに対する書込許可を要求して書き込むことができるチャネルのためのストリームレットがない時に、チャネルマネージャは、Qノードの1つに新しいストリームレットを割り当て、ストリームレットのアイデンティティ及びStreamletGrantのQノードを戻す。そうでなければ、チャネルマネージャは、ストリームレット及び対応するQノードをStreamletGrantに書き込むために現在開いているというアイデンティティを戻す。MXノードは、ストリームレットが満杯になるか又はストリームレットのTTLが満了するまでストリームレットにメッセージを発行することができ、この後で新しいストリームレットをチャネルマネージャによって割り当てることができる。
MXノードが所与のチャネルの読取許可を要求して読み取ることができるチャネルのためのストリームレットがない時に、チャネルマネージャは、Qノードの1つに新しいストリームレットを割り当て、ストリームレットのアイデンティティ及びStreamletGrantのQノードを戻す。そうでなければ、チャネルマネージャは、ストリームレットのアイデンティティ及びMXノードが読み取りたい位置を含有するQノードを戻す。Qノードは、送信するストリームレットのメッセージがなくなるまで指定された位置で始まるストリームレットからMXノードへのメッセージの送信を開始することができる。新しいメッセージがストリームレットに発行された時に、このストリームレットを購読しているMXノードは、新しいメッセージを受信する。ストリームレットのTTLが満了した場合に、ハンドラ351は、EOFメッセージ(392)をストリームレットを購読するいずれのMXノードにも送信する。
図2に関して上述したように、メッセージングシステム100は、複数のチャネルマネージャ(例えば、チャネルマネージャ214、215)を含むことができる。複数のチャネルマネージャは、弾力性を提供して単一障害点を回避する。例えば、1つのチャネルマネージャは、それが維持するストリームレットと現在の許可のリストとを別の「スレーブ」チャネルマネージャに複製することができる。別の例として、複数のチャネルマネージャは、Paxos又はRaftプロトコルのような分散コンセンサスプロトコルを使用して複数のチャネルマネージャ間で作動を調整することができる。
ある一定の実施では、PubSubシステムは、1又は2以上のチャネルのための複数の発行者からのメッセージを受信する。PubSubシステム構成要素(例えば、Qノード又はMXノード)は、メッセージを順序付けかつメッセージを1又は2以上のバッファ(例えば1つのチャネルにつき1つのバッファ)に書き込むことができる。様々なシステム構成要素及び/又は処理は、バッファからメッセージを読み取りこのメッセージを1又は2以上の受信者又は購読者に配信することができる。
図4A及び4Bは、PubSubシステムにメッセージデータを格納するための例示的バッファ400又はゼロコピー待ち行列の略図である。バッファ400は、読取可能部分402及び書込可能部分404を含む。PubSubシステムの1又は2以上の構成要素又は処理(例えばQノード又はMXノード)は、メッセージを書込可能部分404に書き込むことができる及び/又は読取可能部分402からメッセージを読み取ることができる。ポインタ406は、読取可能部分402と書込可能部分404の間の境界408を定める。ポインタ406は、例えばメモリアドレスとすることができる又はそれを含むことができる。
図4Aは、一回目にメッセージ410及び412が読取可能部分402に格納されかつ新しいメッセージ414が書込可能部分404に書き込まれる例示的バッファ400を示す。ポインタ406は、読取可能部分402と書込可能部分404の間の境界408がメッセージ412とメッセージ414の間にあることを示す。この一回目に、1又は2以上のPubSubシステム構成要素又は処理(例えばQノード又はMXノード)は読取可能部分402からメッセージ410及び412を読み取ることができる。PubSubシステム構成要素又は処理は、新しいメッセージ414を書込可能部分404に書き込むこともできる。様々な実施例では、PubSubシステム構成要素及び/又は処理は、読取及び書込が同時に起こるように並行してバッファ400から読み取りかつバッファ400に書き込むことができる。例えば、複数の構成要素及び/又は処理は、同時に読取可能部分402からメッセージ410及び/又はメッセージ412を読み取ることができる。メッセージ410及び/又はメッセージ412が読み取られる間、構成要素又は処理は、新しいメッセージ414を書込可能部分404に書き込むことができる。矢印415は、バッファ400を通ってメッセージデータが流れる方向を示す。矢印415が示すように、新しいメッセージはバッファの右手側に追加され、これによって古いメッセージが左手側になり、新しいメッセージが右手側になる。
図4Bは、二回目にメッセージ414のバッファ400への書込が成功し、メッセージ414が今のところ読取可能部分402の中にあることを示すためにポインタ406が進められた例示的バッファ400を示す。この二回目に、メッセージ410、412、及び414は、読取可能部分402から読み取ることができ、新しいメッセージ416が、書込可能部分404に書き込まれる。メッセージ416がバッファ400に書き込まれた状態で、追加のアトミック動作を実行し、ポインタ406及び境界408を更に前進させることができ、これによってメッセージ416が読取可能部分402の中に入る。追加のメッセージを書込可能部分404に書き込むことができる。
好ましい実施では、新しいメッセージは、書込可能部分404に書き込まれ、何れかの追加の新しいメッセージが書込可能部分404に追加される前に読取可能部分402に移される。これは、別の新しいメッセージによって新しいメッセージが上書きされるのを阻止する。新しいメッセージのバッファ400への書込が成功した状態で、新しいメッセージの長さに従ってポインタ406を新しい位置に前進させることができる。ポインタ406の新しい位置は、例えばポインタ406の前の位置に加えて新しいメッセージの長さとすることができる。ポインタ位置及びメッセージの長さはメモリに格納することができる。
好ましい実施では、ポインタ406は、アトミック動作で新しい位置に進められ、この間はバッファ400に関連付けられたある一定の読取又は書込活動は禁じられる。例えば、アトミック動作中、PubSubシステム構成要素又は処理は、バッファ400に書き込む及び/又は最も新しくバッファ400に追加されたメッセージを読み取ることができない。これに代えて又はこれに加えて、PubSubシステム構成要素は、アトミック動作中にポインタ406を読み取ることができない。これは、1よりも多いCPUサイクルを取ることがあるポインタ406が進んでいる間にPubSubシステム構成要素又は処理が誤ったポインタ位置を読み取るのを阻止することができる。一般的に、ポインタ406がアトミック動作で進んだ及び新しいメッセージが読取可能部分402に入るまで、新しくバッファ400に追加されたメッセージは読取可能部分402の一部ではないか又は読み取ることができない。読取可能部分402の全ての他のメッセージは、アトミック動作前、アトミック動作中、及び/又はアトミック動作後に読み取ることができる。ある一定の実施例では、アトミック動作は、アトミック追加又はフェッチ・アンド・追加動作である。アトミック動作は、別の処理又は実行のスレッドによって中断することができないことが好ましい。様々な実施では、メッセージが順序付けられ、一度に1つ(すなわち連続的に)書込可能部分404に書き込まれる。メッセージを順序付ける段階は、例えば受信の時間(例えば、メッセージがPubSubシステムによって受信された順序)に従ってメッセージを並べる段階又は優先順位付けする段階を含むことができる。一度に1つメッセージを書き込む段階は、新しいメッセージが別の新しいメッセージによって上書きされるのを阻止する。何れかの新しいメッセージが書込可能部分404に書き込まれる前に、ポインタ406を前進させることによって、前の新しいメッセージを読取可能部分402に完全に書き込みかつ移さなければならない。
ある一定の実施例では、バッファ400は、全地球的にアクセス可能なストレージデバイス上にメモリの一部分を割り当てることによって実施される。全地球的にアクセス可能なストレージデバイスの一部分は、ポインタの情報(例えばメモリアドレス)を格納することができる。バッファ400は、有効期間を割り当てることができ、有効期間の後にバッファが満了し、それ以上書込及び読取のためにアクセスできない。
一般的に、バッファ400は、PubSubシステムの構成要素の一部を形成するか又はPubSubシステムの構成要素によって使用される。例えばバッファ400は、PubSubシステムのQノード又はMXノードの一部を形成することができるか、又はPubSubシステムのQノード又はMXノードによって使用される。PubSubシステムの各MXノード及び各Qノードは、メッセージデータを格納するための各ノード固有のバッファのセットを有するか又は使用することができる。バッファの各セットは、1つのチャネルにつき1つのバッファ、又は1つのチャネルにつき1よりも多いバッファを含むことができる。一部の事例では、PubSubシステム構成要素の全てのチャネルのためのメッセージデータを格納するために単一のバッファを使用することができる。
バッファを使用する又は含む各MXノード、Qノード、又は他のPubSubシステム構成要素は、構成要素によって受信された何れの所与のメッセージにもコピーを1つだけ作ることが好ましい。これは、MXノード及びQノードによって実行しなければならない書込の量を最小化し、他の処理のためにCPU時間を解放する。購読者、構成要素、又はメッセージを要求する処理とメッセージを共有するために、バッファ400でのメッセージの位置(例えば、メモリアドレス)は、バッファ400における位置からメッセージを読み取ることができる購読者又は処理に提供することができる。
構成要素又は処理がバッファ400にメッセージを書き込みたい時は、バッファ400の書込処理(例えば、ERLANG書込処理)にメッセージを送信することができる。書込処理は、メッセージが受信される順序で(例えば、書込処理によるメッセージ又は通知の受信の時間に基づいて)バッファ400にメッセージ及び他のメッセージを書き込むことができる。バッファ400に書き込まれた各メッセージに対して、書込処理は、まずバッファの書込可能部分404に(例えば、ポインタ406の現在の位置によって示されるバッファ400のテールエンドに)メッセージを書き込むことができる。書込処理は、アトミック動作(例えば、フェッチ・アンド・追加アトミック動作)を使用して新しく書き込まれたメッセージの後の位置にポインタ406を移動させることができる。一部の事例では、各メッセージの長さが、メッセージ自体と共に(例えば、メッセージの前方に)バッファ400に書き込まれ、これによって読取機は、メッセージの大きさ(例えばバイト)を知る。
図5は、PubSubシステムの複数のチャネルのためのデータを格納する例示的方法500の流れ図である。PubSubシステムは、複数の発行者から複数のメッセージを受信する(段階502)。発行者は、例えば、ユーザのクライアントデバイス、MXノード、又はQノードとすることができる。メッセージの各々は、複数の個別のチャネルの1つに関連付けられることが好ましい。メッセージは、各チャネルに対して、例えば、メッセージが発行者から受信された順序に従って順序付けられる(段階504)。チャネルの各々の各メッセージは、チャネルのためのそれぞれのバッファに格納される(段階506)。チャネルのためのメッセージを格納するために、メッセージは、チャネルに割り当てられたメッセージの順序に従ってそれぞれのバッファの書込可能部分に書き込まれる。バッファの読取可能部分と書込可能部分の間の境界を定めるポインタがアトミック動作で進められる(段階508)。ポインタを進めた後に、メッセージはバッファの読取可能部分に入る。1又は2以上の購読者は、バッファの1又は2以上の読取可能部分から読み取ることを許可される(段階510)。
様々な実施では、本明細書に説明するシステム及び方法は、高メッセージトラフィックの期間中にシステムへの圧力を低減する自動バックプレッシャー機構を利用する。一般的に、バックプレッシャーは、システムの縁部で負荷を減らす方法である。バックプレッシャーは、システムリソースが多数の書込要求を処理できない時にシステムがクラッシュ又は溢れるのを阻止することができる。例えば、ゼロコピー待ち行列(例えば、バッファ400)が、制限されたサイズを有するので、あるポイントではゼロコピー待ち行列がそのストレージ容量に達する。ゼロコピー待ち行列が満杯である時に、システム構成要素は、少なくともアトミック動作に起因して、ゼロコピー待ち行列に書き込むことができない。この場合、書込動作を試みる書込機(例えば、MXノード又はQノード)は、ゼロコピー待ち行列が満杯であることを書込機に伝えるエラーメッセージを受信することになる。書込機は、外部エンティティ(例えば、アービター)に質問して書き込みできる次のゼロコピー待ち行列を識別することによって書込動作を再試行することができる。古いゼロコピー待ち行列バッファは、10秒、30秒、60秒、又はそれ以上である場合があるある一定の有効期間後に再生利用されることが好ましい。
本明細書に説明する主題及び作動の実施形態は、本明細書及び本明細書の構造的均等物又はこれらの1又は2以上の組合せで開示する構造を含むデジタル電子回路、又はコンピュータソフトウエア、ファームウエア、又はハードウエアを用いて実施することができる。本明細書に説明する主題の実施形態は、1又は2以上のコンピュータプログラムとして、すなわち、デジタル処理装置によって実行するために又はその作動を制御するためにコンピュータストレージ媒体上に符号化されるコンピュータプログラム命令の1又は2以上のモジュールとして実施することができる。これに代えて又はこれに加えて、プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置によって実行するのに適する受信装置に送信する情報を符号化するために生成される機械発生式電気、光学、又は電磁信号で符号化することができる。コンピュータストレージ媒体は、コンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダム又はシリアルアクセスメモリアレイ又はデバイス、又はこれらの1又は2以上の組合せとすることができ、又はこれらに含めることができる。更に、コンピュータストレージ媒体は伝播信号ではないが、コンピュータストレージ媒体は、人工的発生式伝播信号で符号化されたコンピュータプログラム命令のソース又は宛先とすることができる。コンピュータストレージ媒体は、1又は2以上の個別の物理的構成要素又は媒体(例えば、複数のCD、ディスク、又は他のストレージデバイス)とすることができ、又はこれらに含めることができる。
本明細書に説明する作動は、1又は2以上のコンピュータ可読ストレージデバイスに格納されたか又は他のソースから受信したデータにデータ処理装置によって実行される作動として実施することができる。
「データ処理装置」という語は、一例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又はマルチプロセッサ、又は上述の組合せを含むデータを処理するための全ての種類の装置、デバイス、及び機械を網羅する。装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)を含むことができる。装置は、ハードウエアに加えて、問題のコンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時間環境、仮想機械、又はこれらの1又は2以上の組合せを構成するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピュータ及びグリッドコンピュータインフラストラクチャーのような様々な異なるコンピュータモデルインフラストラクチャーを実現することができる。
コンピュータプログラム(プログラム、ソフトウエア、ソフトウエアアプリケーション、スクリプト、又はコードとしても公知)は、コンパイル又は解釈言語、宣言、手順、又は機能言語を含むプログラミング言語のあらゆる形態で書くことができ、独立プログラムとして又はモジュール、構成要素、サブルーチン、オブジェクト、又はコンピュータ環境に使用するのに適する他のユニットとして含むいずれの形態でも配備することができる。コンピュータプログラムは、ファイルシステムのファイルに対応することができるが、対応する必要はない。プログラムは、他のプログラム又はデータ(例えば、マークアップ言語リソースに格納された1又は2以上のスクリプト)を保持するファイルの一部分に、問題のプログラム専用単一ファイルに、又は複数の調節されたファイル(例えば、1又は2以上のモジュール、サブプログラム、又はコードの一部分を格納するファイル)に格納することができる。コンピュータプログラムは、1つのコンピュータ又は1つのサイトに位置するか又は複数のサイトにわたって分散されて通信ネットワークによって相互接続された複数のコンピュータで実行されるように配備される。
本明細書に説明した処理及び論理フローは、1又は2以上のコンピュータプログラムを実行する1又は2以上のプログラマブルプロセッサによって実行され、入力データを演算して出力を生成することによってアクションを実行することができる。処理及び論理フローは、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)によって実行することができ、装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)として実施することができる。
コンピュータプログラムの実行に適するプロセッサは、一例として、汎用及び専用マイクロプロセッサの両方、及びあらゆる種類のデジタルコンピュータのいずれか1つ又はそれよりも多いプロセッサを含む。一般的に、プロセッサは、読取専用メモリ又はランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの基本的な要素は、命令に従ってアクションを実行するためのプロセッサ、及び命令及びデータを格納するための1又は2以上のメモリデバイスである。一般的にコンピュータは、データを格納するための1又は2以上の大容量ストレージデバイス、例えば、磁気、磁気光学ディスク、又は光学ディスクを含むか、これらからデータを受信するか又はデータを転送し、又はこの両方のために作動的に結合される。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータは、別のデバイス、幾つか挙げると、例えば、スマートフォン、移動音声又は映像プレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、又は携帯式ストレージデバイス(例えば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に組み込むことができる。コンピュータプログラム命令及びデータを格納するのに適するデバイスは、一例として、半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスク又は着脱可能ディスク、磁気光学ディスク、及びCD−ROM及びDVD−ROMディスクを含む不揮発性メモリ、媒体、及びメモリデバイスの全ての形態を含む。プロセッサ及びメモリは、専用論理回路によって補足又は専用論理回路に組み込むことができる。
ユーザとの対話を提供するために、本明細書に説明する主題の実施形態は、ディスプレイデバイス、例えば、ユーザに情報を表示するためのディスプレイデバイス、例えば、CRT(ブラウン管)又はLCD(液晶ディスプレイ)モニタ、及びキーボード及びポインティングデバイス、例えば、ユーザがコンピュータに入力を与えることを可能にするマウス又はトラックボールを有するコンピュータを用いて実施することができる。他の種類のデバイスを使用して、同様にユーザとの対話を提供することができ、例えば、ユーザに提供されるフィードバックは、センサ式フィードバックのあらゆる形態、例えば、視覚フィードバック、聴覚フィードバック、又は触知フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触知入力を含むあらゆる形態で受信することができる。コンピュータは、ユーザによって使用されるデバイスにリソースを送信し、デバイスからリソースを受信することにより、例えば、ウェブブラウザから受信した要求に応じてユーザのクライアントデバイスのウェブブラウザにウェブページを送信することによってユーザと対話することができる。
本明細書に説明する主題の実施形態は、バックエンド構成要素を例えばデータサーバとして含むか、又はミドルウェア構成要素、例えば、アプリケーションサーバを含むか、又はフロントエンド構成要素、例えば、ユーザが本明細書に説明する主題の実施と対話することを可能にするグラフィカルユーザインタフェース又はウェブブラウザを有するクライアントコンピュータ、又は1又は2以上のこれらのバックエンド、ミドルウェア、又はフロントエンド構成要素のあらゆる組合せを含むコンピュータシステムを用いて実施することができる。本発明のシステムの構成要素は、デジタルデータ通信のあらゆる形態又は媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)及びワイドエリアネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)及びピアツーピアネットワーク(例えば、アドホックピアツープアネットワーク)を含む。
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般的に互いから遠隔にあり、一般的に通信ネットワーク上で対話する。クライアントとサーバの関係は、それぞれのコンピュータで実行されて互いにクライアント−サーバ関係を有するコンピュータプログラムによって発生する。一部の実施形態では、サーバは、データ(例えば、HTMLページ)をクライアントデバイスに送信する(クライアントデバイスと対話するユーザにデータを表示してユーザからユーザ入力を受信するために)。クライアントデバイスで生成されたデータ(例えば、ユーザ対話の結果)は、サーバでクライアントデバイスから受信することができる。
1又は2以上のコンピュータのシステムは、作動中にシステムにアクションを実行させるシステム上にインストールされたソフトウエア、ファームウエア、ハードウエア、又はその組合せを有することによって特定の作動又はアクションを実行するように構成することができる。1又は2以上のコンピュータプログラムは、データ処理装置によって実行された時に装置にアクションを実行させる命令を含むことによって特定の作動又はアクションを実行するように構成することができる。
本明細書は多くの特定の実施の詳細を含有するが、これらは、いずれの発明又は主張することができる範囲の制限として解釈すべきではなく、逆に特定の発明の特定の実施形態に固有の特徴の説明として解釈しなければならない。個別の実施形態の関連で本明細書に説明するある一定の特徴は、単一実施形態に組み合わせて実施することができる。対照的に、単一実施形態の関連で説明する様々な特徴は、複数の実施形態で別々に又はあらゆる適切な部分組合せを用いて実施することができる。更に、特徴は、ある一定の組合せで作用するように上述し、更にそのように最初に主張したが、主張した組合せからの1又は2以上の特徴は、一部の事例では組合せから削除することができ、主張した組合せを部分組合せ又は部分組合せの変形に向けることができる。
同様に、作動は、特定の順序で図面に示されているが、これは、望ましい結果を達成するためにそのような作動を示された特定の順序又は連続的な順序で実行し、又は全ての例示された作動を実行することが望ましいとして理解すべきではない。ある状況では、マルチタスク及び並列処理が有利である場合がある。上述の実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を要求するものとして理解すべきではなく、説明したプログラム構成要素及びシステムは、一般的に単一ソフトウエア製品に互いに統合するか又は複数のソフトウエア製品にパッケージ化することができることを理解しなければならない。
すなわち、本主題の特定の実施形態を説明した。他の実施形態も特許請求の範囲内である。一部の事例では、特許請求の範囲に説明するアクションを異なる順序で実行して望ましい結果を達成することができる。更に、添付の図に示す処理は、望ましい結果を達成するために必ずしも示す特定の順序又は連続的な順序を必要としない。ある一定の実施では、マルチタスク及び並列処理が有利である場合がある。
400 例示的バッファ
402 読取可能部分
404 書込可能部分
406 ポインタ
408 境界
402 読取可能部分
404 書込可能部分
406 ポインタ
408 境界
Claims (27)
- 複数の個別のチャネルの1つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階と、
各チャネルに関連付けられた前記メッセージを順序付ける段階と、
前記チャネルに割り当てられた前記メッセージの前記順序に従って該チャネルのためのそれぞれのバッファに該チャネルの各々の各メッセージを格納する段階であって、格納する段階が、該バッファの書込可能部分に該メッセージを格納する段階及びアトミック動作で該バッファの読取可能部分と該バッファの該書込可能部分の間の境界を定めるポインタを該アトミック動作が完了した後に該メッセージが該バッファの該読取可能部分にあるように前進させる段階を含む前記格納する段階と、
前記格納する段階中に1又は2以上の購読者が前記バッファの1又は2以上の前記読取可能部分から読み取ることを可能にする段階と、
を1又は2以上のコンピュータによって実行する段階、
を含むことを特徴とする方法。 - 前記アトミック動作は、別の処理又は実行のスレッドによって中断することができないことを特徴とする請求項1に記載の方法。
- 前記バッファの前記書込可能部分に前記メッセージを格納する段階は、該バッファの該書込可能部分内の第1の場所で該メッセージの長さを格納する段階と、該第1の場所に続く該バッファの該書込可能部分に該メッセージを格納する段階とを含むことを特徴とする請求項1に記載の方法。
- アトミック動作で前記バッファの前記読取可能部分と該バッファの前記書込可能部分の間の前記境界を定める前記ポインタを前進させる段階は、前記メッセージの長さと該ポインタの現在値の和を該ポインタに格納する段階を含むことを特徴とする請求項1に記載の方法。
- 各バッファが、単一のチャネルのためのメッセージだけを格納することを特徴とする請求項1に記載の方法。
- 特定のチャネルのための各バッファが、該バッファに対する有効期間に基づいて異なる時間に満了することを特徴とする請求項1に記載の方法。
- 特定のバッファが、前記コンピュータのうちの1つでの書込処理に対応することを特徴とする請求項1に記載の方法。
- 各バッファが、それぞれの有効期間を有し、その満了時に該バッファは、発行者及び購読者に対してアクセス不能にされることになることを特徴とする請求項1に記載の方法。
- 各チャネルに関連付けられた前記メッセージを順序付ける段階は、該メッセージを該メッセージのそれぞれの受信時間に従って順序付ける段階を含むことを特徴とする請求項1に記載の方法。
- 命令をそこに格納した非一時的コンピュータ可読媒体と、
複数の個別のチャネルの1つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階、
各チャネルに関連付けられた前記メッセージを順序付ける段階、
前記チャネルに割り当てられた前記メッセージの前記順序に従って該チャネルのためのそれぞれのバッファに該チャネルの各々の各メッセージを格納する段階であって、格納する段階が、該バッファの書込可能部分に該メッセージを格納する段階及びアトミック動作で該バッファの読取可能部分と該バッファの該書込可能部分の間の境界を定めるポインタを該アトミック動作が完了した後に該メッセージが該バッファの該読取可能部分にあるように前進させる段階を含む前記格納する段階、及び
前記格納する段階中に1又は2以上の購読者が前記バッファの1又は2以上の前記読取可能部分から読み取ることを可能にする段階、
を含む作動を実行するために前記命令を実行するように構成されたデータ処理装置と、
を含むことを特徴とするシステム。 - 前記アトミック動作は、別の処理又は実行のスレッドによって中断することができないことを特徴とする請求項10に記載のシステム。
- 前記バッファの前記書込可能部分に前記メッセージを格納する段階は、該バッファの該書込可能部分内の第1の場所で該メッセージの長さを格納する段階と、該第1の場所に続く該バッファの該書込可能部分に該メッセージを格納する段階とを含むことを特徴とする請求項10に記載の方法。
- アトミック動作で前記バッファの前記読取可能部分と該バッファの前記書込可能部分の間の前記境界を定める前記ポインタを前進させる段階は、前記メッセージの長さと該ポインタの現在値の和を該ポインタに格納する段階を含むことを特徴とする請求項10に記載のシステム。
- 各バッファが、単一のチャネルのためのメッセージだけを格納することを特徴とする請求項10に記載のシステム。
- 特定のチャネルのための各バッファが、該バッファに対する有効期間に基づいて異なる時間に満了することを特徴とする請求項10に記載のシステム。
- 特定のバッファが、コンピュータのうちの1つでの書込処理に対応することを特徴とする請求項10に記載のシステム。
- 各バッファが、それぞれの有効期間を有し、その満了時に該バッファは、発行者及び購読者に対してアクセス不能にされることになることを特徴とする請求項10に記載のシステム。
- 各チャネルに関連付けられた前記メッセージを順序付ける段階は、該メッセージを該メッセージのそれぞれの受信時間に従って順序付ける段階を含むことを特徴とする請求項10に記載のシステム。
- データ処理装置の処理モードを制御するための1又は2以上の非一時的ストレージ媒体に格納されたコンピュータプログラム製品であって、
複数の個別のチャネルの1つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階、
各チャネルに関連付けられた前記メッセージを順序付ける段階、
前記チャネルに割り当てられた前記メッセージの前記順序に従って該チャネルのためのそれぞれのバッファに該チャネルの各々の各メッセージを格納する段階であって、格納する段階が、該バッファの書込可能部分に該メッセージを格納する段階及びアトミック動作で該バッファの読取可能部分と該バッファの該書込可能部分の間の境界を定めるポインタを該アトミック動作が完了した後に該メッセージが該バッファの該読取可能部分にあるように前進させる段階を含む前記格納する段階、及び
前記格納する段階中に1又は2以上の購読者が前記バッファの1又は2以上の前記読取可能部分から読み取ることを可能にする段階、
を含む作動を前記データ処理装置に行わせるように該データ処理装置によって実行可能である、
ことを特徴とする製品。 - 前記アトミック動作は、別の処理又は実行のスレッドによって中断することができないことを特徴とする請求項19に記載のコンピュータプログラム製品。
- 前記バッファの前記書込可能部分に前記メッセージを格納する段階は、該バッファの該書込可能部分内の第1の場所で該メッセージの長さを格納する段階と、該第1の場所に続く該バッファの該書込可能部分に該メッセージを格納する段階とを含むことを特徴とする請求項19に記載のコンピュータプログラム製品。
- アトミック動作で前記バッファの前記読取可能部分と該バッファの前記書込可能部分の間の前記境界を定める前記ポインタを前進させる段階は、前記メッセージの長さと該ポインタの現在値の和を該ポインタに格納する段階を含むことを特徴とする請求項19に記載のコンピュータプログラム製品。
- 各バッファが、単一のチャネルのためのメッセージだけを格納することを特徴とする請求項19に記載のコンピュータプログラム製品。
- 特定のチャネルのための各バッファが、該バッファに対する有効期間に基づいて異なる時間に満了することを特徴とする請求項19に記載のコンピュータプログラム製品。
- 特定のバッファが、コンピュータのうちの1つでの書込処理に対応することを特徴とする請求項19に記載のコンピュータプログラム製品。
- 各バッファが、それぞれの有効期間を有し、その満了時に該バッファは、発行者及び購読者に対してアクセス不能にされることになることを特徴とする請求項19に記載のコンピュータプログラム製品。
- 各チャネルに関連付けられた前記メッセージを順序付ける段階は、該メッセージを該メッセージのそれぞれの受信時間に従って順序付ける段階を含むことを特徴とする請求項19に記載のコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/879,661 US9385976B1 (en) | 2015-10-09 | 2015-10-09 | Systems and methods for storing message data |
US14/879,661 | 2015-10-09 | ||
PCT/US2016/037358 WO2017062073A1 (en) | 2015-10-09 | 2016-06-14 | Systems and methods for storing message data |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018531465A JP2018531465A (ja) | 2018-10-25 |
JP2018531465A6 true JP2018531465A6 (ja) | 2018-12-13 |
JP6732899B2 JP6732899B2 (ja) | 2020-07-29 |
Family
ID=56235052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018518524A Expired - Fee Related JP6732899B2 (ja) | 2015-10-09 | 2016-06-14 | メッセージデータを格納するためのシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (4) | US9385976B1 (ja) |
EP (1) | EP3360297A1 (ja) |
JP (1) | JP6732899B2 (ja) |
CN (1) | CN108370345A (ja) |
AU (1) | AU2016335508A1 (ja) |
WO (1) | WO2017062073A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602455B2 (en) | 2015-08-07 | 2017-03-21 | Machine Zone, Inc. | Scalable, real-time messaging system |
US9407585B1 (en) | 2015-08-07 | 2016-08-02 | Machine Zone, Inc. | Scalable, real-time messaging system |
US9319365B1 (en) | 2015-10-09 | 2016-04-19 | Machine Zone, Inc. | Systems and methods for storing and transferring message data |
US9385976B1 (en) | 2015-10-09 | 2016-07-05 | Machine Zone, Inc. | Systems and methods for storing message data |
US9397973B1 (en) | 2015-10-16 | 2016-07-19 | Machine Zone, Inc. | Systems and methods for transferring message data |
US9602450B1 (en) * | 2016-05-16 | 2017-03-21 | Machine Zone, Inc. | Maintaining persistence of a messaging system |
US10404647B2 (en) | 2016-06-07 | 2019-09-03 | Satori Worldwide, Llc | Message compression in scalable messaging system |
US9608928B1 (en) * | 2016-07-06 | 2017-03-28 | Machine Zone, Inc. | Multiple-speed message channel of messaging system |
US9967203B2 (en) | 2016-08-08 | 2018-05-08 | Satori Worldwide, Llc | Access control for message channels in a messaging system |
US10374986B2 (en) | 2016-08-23 | 2019-08-06 | Satori Worldwide, Llc | Scalable, real-time messaging system |
US10305981B2 (en) | 2016-08-31 | 2019-05-28 | Satori Worldwide, Llc | Data replication in scalable messaging system |
US9667681B1 (en) | 2016-09-23 | 2017-05-30 | Machine Zone, Inc. | Systems and methods for providing messages to multiple subscribers |
US10187278B2 (en) | 2017-02-24 | 2019-01-22 | Satori Worldwide, Llc | Channel management in scalable messaging system |
US10447623B2 (en) | 2017-02-24 | 2019-10-15 | Satori Worldwide, Llc | Data storage systems and methods using a real-time messaging system |
US10270726B2 (en) | 2017-02-24 | 2019-04-23 | Satori Worldwide, Llc | Selective distribution of messages in a scalable, real-time messaging system |
CN110225134A (zh) * | 2019-06-21 | 2019-09-10 | 浙江数值跳跃网络科技有限公司 | 一种区块链系统中多终端可用数据通信同步协议 |
US11449339B2 (en) * | 2019-09-27 | 2022-09-20 | Red Hat, Inc. | Memory barrier elision for multi-threaded workloads |
US11675771B1 (en) * | 2020-10-29 | 2023-06-13 | Splunk Inc. | Identity resolution |
US11178091B1 (en) * | 2020-11-12 | 2021-11-16 | Chicago Mercantile Exchange Inc. | Message ordering buffer |
US11709620B2 (en) * | 2020-11-13 | 2023-07-25 | Ford Global Technologies, Llc | Methods and systems for memory management in a publish and subscribe system |
US11429290B2 (en) | 2020-11-13 | 2022-08-30 | Argo AI, LLC | Methods and systems for providing a lockless access to a shared memory region in a publish and subscribe system |
CN114297109B (zh) * | 2021-12-28 | 2024-05-24 | 中汽创智科技有限公司 | 一种基于订阅发布模式的数据处理方法、装置、电子设备及存储介质 |
GB2617345B (en) * | 2022-04-04 | 2024-06-05 | Aptiv Technoologies Ag | Data transmission system, vehicle comprising the data transmission system, data transmission method and computer program |
US20230385137A1 (en) * | 2022-05-24 | 2023-11-30 | Chaitanya Parkhi | Method and system for self-managing and controlling message queues |
Family Cites Families (115)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2762097A (en) * | 1952-11-22 | 1956-09-11 | Kruger Susan | Ingot mould apparatus |
US4264924A (en) | 1978-03-03 | 1981-04-28 | Freeman Michael J | Dedicated channel interactive cable television system |
US5706331A (en) | 1995-08-22 | 1998-01-06 | Motorola, Inc. | System and method for selecting a subsystem for message traffic in an integrated communication network |
US5878228A (en) | 1996-11-15 | 1999-03-02 | Northern Telecom Limited | Data transfer server with time slots scheduling base on transfer rate and predetermined data |
US5982436A (en) | 1997-03-28 | 1999-11-09 | Philips Electronics North America Corp. | Method for seamless splicing in a video encoder |
US8121828B2 (en) | 1999-01-28 | 2012-02-21 | Ati Technologies Ulc | Detecting conditions for transfer of execution from one computer instruction stream to another and executing transfer on satisfaction of the conditions |
US7065633B1 (en) | 1999-01-28 | 2006-06-20 | Ati International Srl | System for delivering exception raised in first architecture to operating system coded in second architecture in dual architecture CPU |
US8074055B1 (en) | 1999-01-28 | 2011-12-06 | Ati Technologies Ulc | Altering data storage conventions of a processor when execution flows from first architecture code to second architecture code |
DE60040846D1 (de) | 1999-02-26 | 2009-01-02 | Henry Haugland | Massenerzeugung individualer virtueller servern, vertueller webseiten sowie virtueller webobjekten |
US6549959B1 (en) | 1999-08-30 | 2003-04-15 | Ati International Srl | Detecting modification to computer memory by a DMA device |
TW454120B (en) | 1999-11-11 | 2001-09-11 | Miralink Corp | Flexible remote data mirroring |
EP1130845A3 (en) * | 2000-02-18 | 2001-09-12 | Agilent Technologies Inc. a Delaware Corporation | Publish/subscribe system |
US8086672B2 (en) | 2000-06-17 | 2011-12-27 | Microsoft Corporation | When-free messaging |
US20020038373A1 (en) | 2000-07-21 | 2002-03-28 | John Border | Method and system for improving network performance enhancing proxy architecture with gateway redundancy |
US7929562B2 (en) | 2000-11-08 | 2011-04-19 | Genesis Telecommunications Laboratories, Inc. | Method and apparatus for optimizing response time to events in queue |
US6718327B1 (en) | 2001-08-31 | 2004-04-06 | Openwave Systems Inc. | Fault-tolerant queue with autonomous client operation |
US7406537B2 (en) | 2002-11-26 | 2008-07-29 | Progress Software Corporation | Dynamic subscription and message routing on a topic between publishing nodes and subscribing nodes |
US7668908B2 (en) | 2001-12-14 | 2010-02-23 | Microsoft Corporation | System and method for generalized and distributed scalable eventing system |
US7376092B2 (en) | 2002-04-03 | 2008-05-20 | Precache Inc. | Method and apparatus for implementing persistent and reliable message delivery |
US7162628B2 (en) | 2002-07-23 | 2007-01-09 | Cisco Technology, Inc. | Method, system, apparatus and program product for temporary personalization of a computer terminal |
US7720910B2 (en) | 2002-07-26 | 2010-05-18 | International Business Machines Corporation | Interactive filtering electronic messages received from a publication/subscription service |
US8176154B2 (en) | 2002-09-30 | 2012-05-08 | Avaya Inc. | Instantaneous user initiation voice quality feedback |
US8606859B2 (en) | 2002-10-17 | 2013-12-10 | Tibco Software Inc. | Method and system to communicate messages in a computer network |
US7657596B2 (en) | 2002-10-24 | 2010-02-02 | Sun Microsystems, Inc. | Distributed data sharing methods and systems |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US7616208B2 (en) | 2002-12-18 | 2009-11-10 | Genesys Conferencing Ltd. | Method and system for application broadcast |
US7676580B2 (en) | 2003-03-27 | 2010-03-09 | Microsoft Corporation | Message delivery with configurable assurances and features between two endpoints |
GB0308035D0 (en) | 2003-04-08 | 2003-05-14 | Ibm | Liveness monitoring in a publish/subscribe messaging system |
US20050047396A1 (en) | 2003-08-29 | 2005-03-03 | Helm David P. | System and method for selecting the size of dynamic voice jitter buffer for use in a packet switched communications system |
US7885901B2 (en) | 2004-01-29 | 2011-02-08 | Yahoo! Inc. | Method and system for seeding online social network contacts |
US20050262205A1 (en) * | 2004-04-30 | 2005-11-24 | Nikolov Radoslav I | Delivering messages in an enterprise messaging system using message selector hierarchy |
US7640357B2 (en) | 2004-04-30 | 2009-12-29 | Sap Ag | Transmitting enterprise messages based on buffer sizes |
US8095598B2 (en) * | 2004-04-30 | 2012-01-10 | Sap Ag | Methods and apparatus for subscribing/publishing messages in an enterprising computing environment |
US7649937B2 (en) | 2004-06-22 | 2010-01-19 | Auction Management Solutions, Inc. | Real-time and bandwidth efficient capture and delivery of live video to multiple destinations |
US7613813B2 (en) | 2004-09-10 | 2009-11-03 | Cavium Networks, Inc. | Method and apparatus for reducing host overhead in a socket server implementation |
US8051140B2 (en) | 2004-10-08 | 2011-11-01 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device control |
US8065384B2 (en) | 2004-10-08 | 2011-11-22 | Sharp Laboratories Of America, Inc. | Methods and systems for imaging device event notification subscription |
US7774720B1 (en) | 2004-10-15 | 2010-08-10 | Oracle America, Inc. | Connectivity map editor |
US20060106840A1 (en) | 2004-11-04 | 2006-05-18 | International Business Machines Corporation | System and method for tracking notifications in a publish subscribe system |
US7779418B2 (en) * | 2004-12-30 | 2010-08-17 | Oracle International Corporation | Publisher flow control and bounded guaranteed delivery for message queues |
CA2594036A1 (en) | 2005-01-06 | 2006-07-13 | Tervela, Inc. | Intelligent messaging application programming interface |
US8788565B2 (en) | 2005-07-18 | 2014-07-22 | Wayne Bevan | Dynamic and distributed queueing and processing system |
US7941448B2 (en) | 2005-08-26 | 2011-05-10 | At&T Intellectual Property Ii, Lp | System and method for event driven publish-subscribe communications |
US7917124B2 (en) | 2005-09-20 | 2011-03-29 | Accenture Global Services Limited | Third party access gateway for telecommunications services |
WO2007063585A1 (ja) | 2005-11-30 | 2007-06-07 | Fujitsu Limited | 通信装置およびフレーム制御方法 |
US8965409B2 (en) | 2006-03-17 | 2015-02-24 | Fatdoor, Inc. | User-generated community publication in an online neighborhood social network |
US8127021B2 (en) | 2006-03-18 | 2012-02-28 | Metafluent, Llc | Content aware routing of subscriptions for streaming and static data |
GB2439195B8 (en) | 2006-06-12 | 2011-01-19 | Enigmatec Corp Ltd | Self-managed distributed mediation networks. |
US8429702B2 (en) | 2006-09-11 | 2013-04-23 | At&T Intellectual Property I, L.P. | Methods and apparatus for selecting and pushing customized electronic media content |
GB0623914D0 (en) * | 2006-11-30 | 2007-01-10 | Ibm | Flexible topic identification in a publish/subscribe system |
CN101222449A (zh) * | 2007-01-10 | 2008-07-16 | 国际商业机器公司 | 发布/订阅系统和方法 |
US9270944B2 (en) | 2007-02-14 | 2016-02-23 | Time Warner Cable Enterprises Llc | Methods and apparatus for content delivery notification and management |
US8396959B2 (en) | 2007-03-21 | 2013-03-12 | Inetco Systems Limited | Method and system for monitoring messages passed over a network |
US8145704B2 (en) | 2007-06-13 | 2012-03-27 | Ntech Properties, Inc. | Method and system for providing media programming |
US8799213B2 (en) | 2007-07-31 | 2014-08-05 | Oracle International Corporation | Combining capture and apply in a distributed information sharing system |
US9224150B2 (en) | 2007-12-18 | 2015-12-29 | Napo Enterprises, Llc | Identifying highly valued recommendations of users in a media recommendation network |
US8234193B2 (en) | 2008-03-03 | 2012-07-31 | Wildfire Interactive, Inc. | Method and system for providing online promotions through a social network-based platform |
US8452833B2 (en) | 2008-05-13 | 2013-05-28 | International Business Machines Corporation | Cached message distribution via HTTP redirects |
US8898293B2 (en) | 2009-01-28 | 2014-11-25 | Headwater Partners I Llc | Service offer set publishing to device agent with on-device service selection |
US8539359B2 (en) | 2009-02-11 | 2013-09-17 | Jeffrey A. Rapaport | Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic |
US8301687B2 (en) | 2009-03-31 | 2012-10-30 | Software Ag | Systems and/or methods for standards-based messaging |
US20130254314A1 (en) | 2009-06-09 | 2013-09-26 | Edmond K. Chow | Digital content delivery |
US8392555B2 (en) | 2009-06-01 | 2013-03-05 | International Business Machines Corporation | Push-back mechanism for pub/sub brokers |
US20110060812A1 (en) | 2009-09-10 | 2011-03-10 | Level 3 Communications, Llc | Cache server with extensible programming framework |
US8375095B2 (en) | 2009-12-22 | 2013-02-12 | Microsoft Corporation | Out of order durable message processing |
US9021046B2 (en) | 2010-01-15 | 2015-04-28 | Joyent, Inc | Provisioning server resources in a cloud resource |
JP5340186B2 (ja) | 2010-01-21 | 2013-11-13 | アラクサラネットワークス株式会社 | パケット中継装置及びパケットを中継する方法 |
US8850015B2 (en) | 2010-01-26 | 2014-09-30 | Cisco Technology, Inc. | Network-network interface |
US8489674B2 (en) | 2010-03-11 | 2013-07-16 | Yahoo! Inc. | Distributed publish/subscribe system |
US9338064B2 (en) | 2010-06-23 | 2016-05-10 | Twilio, Inc. | System and method for managing a computing cluster |
US8626778B2 (en) | 2010-07-23 | 2014-01-07 | Oracle International Corporation | System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases |
US8441965B2 (en) | 2010-08-05 | 2013-05-14 | Apple Inc. | Methods and apparatus for reducing data transmission overhead |
US8589732B2 (en) | 2010-10-25 | 2013-11-19 | Microsoft Corporation | Consistent messaging with replication |
CN102469032B (zh) | 2010-10-29 | 2015-03-25 | 国际商业机器公司 | 发布-订阅消息传递的方法和系统 |
WO2012078971A2 (en) | 2010-12-10 | 2012-06-14 | Rockefeller Consulting Technology Integration, Inc. | Systems and methods for integrating personal social networks within an organization |
US20120150960A1 (en) | 2010-12-13 | 2012-06-14 | Gargi Nalawade | Social Networking |
US20120278728A1 (en) | 2011-04-29 | 2012-11-01 | Sling Media Inc. | Download monitoring in a media distribution system |
US8719876B2 (en) | 2011-05-06 | 2014-05-06 | Verizon Patent And Licensing Inc. | Video on demand architecture |
US8886731B2 (en) | 2011-06-01 | 2014-11-11 | Microsoft Corporation | Decentralized relaying algorithm for mobile devices |
US20130031177A1 (en) | 2011-07-29 | 2013-01-31 | Myxer, Inc. | Systems and methods for dynamic media selection |
US9177336B2 (en) | 2011-09-08 | 2015-11-03 | Telefonaktiebolaget L M Ericsson (Publ) | Apparatuses and methods for recommending a path through an information space |
CN103077179B (zh) | 2011-09-12 | 2016-08-31 | 克利特股份有限公司 | 用于显示社交网络的用户的个人时间线的计算机实现方法,计算机系统及其计算机可读介质 |
US20130066967A1 (en) | 2011-09-12 | 2013-03-14 | Vizibility Inc. | System and method for discovering and interacting with common connections |
US8607249B2 (en) * | 2011-09-22 | 2013-12-10 | Oracle International Corporation | System and method for efficient concurrent queue implementation |
EP2780806A1 (en) | 2011-11-18 | 2014-09-24 | Thomson Licensing | System comprising a publish/subscribe broker for a remote management of end-user devices, and respective end-user device |
US9456053B2 (en) | 2011-12-14 | 2016-09-27 | Level 3 Communications, Llc | Content delivery network |
DE112011106016T5 (de) | 2011-12-23 | 2014-09-11 | Intel Corporation | Gemeinsame Sendeschlange |
JP2013192025A (ja) * | 2012-03-14 | 2013-09-26 | Nec Corp | メッセージングシステム、メッセージング方法およびプログラム |
CN103379021B (zh) * | 2012-04-24 | 2017-02-15 | 中兴通讯股份有限公司 | 实现分布式消息队列的方法及系统 |
US20130290449A1 (en) | 2012-04-25 | 2013-10-31 | Origami Labs, Inc. | Privacy-based social content broadcast systems and methods |
CN102724304A (zh) * | 2012-06-06 | 2012-10-10 | 哈尔滨工程大学 | 订阅/发布系统中信息仓库联邦及数据同步方法 |
BR112014004057A2 (pt) * | 2012-07-02 | 2017-03-07 | Sony Corp | dispositivo e método de transmissão, e, aparelho de rede |
US20140114738A1 (en) | 2012-10-24 | 2014-04-24 | Erick Tseng | Automatic Check-In Using Social-Networking Information |
US20140237057A1 (en) | 2013-02-21 | 2014-08-21 | Genesys Telecommunications Laboratories, Inc. | System and method for processing private messages in a contact center |
US9043822B1 (en) | 2013-03-14 | 2015-05-26 | Cox Communications, Inc. | Remote time shift buffering with shadow tuning |
US8850490B1 (en) | 2013-05-07 | 2014-09-30 | Google Inc. | Consuming paid media in an internet-based content platform |
US9767138B2 (en) | 2013-06-12 | 2017-09-19 | Oracle International Corporation | In-database sharded queue for a shared-disk database |
US8824664B1 (en) | 2013-06-13 | 2014-09-02 | Genesys Telecommunications Laboratories, Inc. | System and method for controlling lifespan of interaction requests |
US9342554B2 (en) | 2013-07-05 | 2016-05-17 | Facebook, Inc. | Techniques to generate mass push notifications |
US9813515B2 (en) | 2013-10-04 | 2017-11-07 | Akamai Technologies, Inc. | Systems and methods for caching content with notification-based invalidation with extension to clients |
US9729653B2 (en) | 2014-01-23 | 2017-08-08 | Software Ag | Systems and/or methods for automatically tuning a delivery system for transmission of large, volatile data |
US20150262151A1 (en) | 2014-03-11 | 2015-09-17 | Nibl, Inc. | Access Control System for Online Content |
US9450895B2 (en) | 2014-03-28 | 2016-09-20 | Futurewei Technologies, Inc. | Context-aware dynamic policy selection for messaging behavior |
US20150317676A1 (en) | 2014-05-01 | 2015-11-05 | Vibe-It LLC | Systems and methods for monitoring and responding to customer feedback |
US20150379160A1 (en) | 2014-06-29 | 2015-12-31 | Yaniv AVRAHAM | Apparatus and methods for transferring focus control and related return content within a graphical user interface |
US10033784B2 (en) | 2014-07-14 | 2018-07-24 | International Business Machines Corporation | Predictive management of offline storage content for mobile applications and optimized network usage for mobile devices |
US20160219089A1 (en) | 2015-01-23 | 2016-07-28 | Ebay Inc. | Systems and methods for messaging and processing high volume data over networks |
US9742651B2 (en) | 2015-03-05 | 2017-08-22 | International Business Machines Corporation | Client-side fault tolerance in a publish-subscribe system |
US10432741B2 (en) | 2015-03-25 | 2019-10-01 | Open Access Technology International, Inc. | Systems and methods for guaranteeing delivery of pushed data to remote clients |
CN104836723B (zh) * | 2015-03-31 | 2020-07-31 | 青岛海尔智能家电科技有限公司 | 基于mqtt主题订阅机制的通信方法以及接入网关 |
US9319363B1 (en) | 2015-08-07 | 2016-04-19 | Machine Zone, Inc. | Scalable, real-time messaging system |
US9407585B1 (en) | 2015-08-07 | 2016-08-02 | Machine Zone, Inc. | Scalable, real-time messaging system |
US9319365B1 (en) | 2015-10-09 | 2016-04-19 | Machine Zone, Inc. | Systems and methods for storing and transferring message data |
US9385976B1 (en) | 2015-10-09 | 2016-07-05 | Machine Zone, Inc. | Systems and methods for storing message data |
US9397973B1 (en) | 2015-10-16 | 2016-07-19 | Machine Zone, Inc. | Systems and methods for transferring message data |
-
2015
- 2015-10-09 US US14/879,661 patent/US9385976B1/en active Active
-
2016
- 2016-06-14 AU AU2016335508A patent/AU2016335508A1/en not_active Abandoned
- 2016-06-14 WO PCT/US2016/037358 patent/WO2017062073A1/en active Application Filing
- 2016-06-14 JP JP2018518524A patent/JP6732899B2/ja not_active Expired - Fee Related
- 2016-06-14 EP EP16742043.9A patent/EP3360297A1/en not_active Ceased
- 2016-06-14 CN CN201680072287.6A patent/CN108370345A/zh active Pending
- 2016-10-11 US US15/290,695 patent/US9838340B2/en not_active Expired - Fee Related
-
2017
- 2017-10-31 US US15/799,659 patent/US10218646B2/en not_active Expired - Fee Related
-
2019
- 2019-01-10 US US16/245,134 patent/US10541945B2/en not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6732899B2 (ja) | メッセージデータを格納するためのシステム及び方法 | |
JP2018531465A6 (ja) | メッセージデータを格納するためのシステム及び方法 | |
US10389674B2 (en) | Systems and methods for storing and transferring message data | |
US10637947B2 (en) | Scalable, real-time messaging system | |
US10630785B2 (en) | Scalable, real-time messaging system | |
JP2018532201A (ja) | メッセージデータを転送するためのシステム及び方法 | |
JP2019535072A (ja) | 複数の購読者にメッセージを提供するためのシステム及び方法 | |
JP2018531472A (ja) | スケーラブルなリアルタイムメッセージングシステム | |
JP2018531472A6 (ja) | スケーラブルなリアルタイムメッセージングシステム | |
JP2019532399A (ja) | スケーラブルメッセージングシステムにおけるデータ複製 |