JP2018531465A - メッセージデータを格納するためのシステム及び方法 - Google Patents

メッセージデータを格納するためのシステム及び方法 Download PDF

Info

Publication number
JP2018531465A
JP2018531465A JP2018518524A JP2018518524A JP2018531465A JP 2018531465 A JP2018531465 A JP 2018531465A JP 2018518524 A JP2018518524 A JP 2018518524A JP 2018518524 A JP2018518524 A JP 2018518524A JP 2018531465 A JP2018531465 A JP 2018531465A
Authority
JP
Japan
Prior art keywords
buffer
message
channel
storing
messages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018518524A
Other languages
English (en)
Other versions
JP2018531465A6 (ja
JP6732899B2 (ja
Inventor
ユネス ハフリ
ユネス ハフリ
Original Assignee
サトリ ワールドワイド リミテッド ライアビリティ カンパニー
サトリ ワールドワイド リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サトリ ワールドワイド リミテッド ライアビリティ カンパニー, サトリ ワールドワイド リミテッド ライアビリティ カンパニー filed Critical サトリ ワールドワイド リミテッド ライアビリティ カンパニー
Publication of JP2018531465A publication Critical patent/JP2018531465A/ja
Publication of JP2018531465A6 publication Critical patent/JP2018531465A6/ja
Application granted granted Critical
Publication of JP6732899B2 publication Critical patent/JP6732899B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/567—Integrating service provisioning from a plurality of service providers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9042—Separate storage for different parts of the packet, e.g. header and payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/72—Admission control; Resource allocation using reservation actions during connection setup
    • H04L47/722—Admission control; Resource allocation using reservation actions during connection setup at the destination endpoint, e.g. reservation of terminal resources or buffer space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/826—Involving periods of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/214—Monitoring or handling of messages using selective forwarding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

ＰｕｂＳｕｂシステムにメッセージデータを格納するためのコンピュータストレージ媒体に符号化されたコンピュータプログラムを含む方法、システム、及び装置を記述する。ある一定の実施例では、複数の個別のチャネルのためのメッセージが複数の発行者から受信される。メッセージは順序付けられ、複数のバッファに格納され、各チャネルは、固有のそれぞれのバッファを有する。メッセージがチャネルのためのバッファの書込可能部分に書き込まれた後に、バッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタがアトミック動作で進められる。アトミック動作に続いて、メッセージは読取可能部分に入り、ＰｕｂＳｕｂシステム構成要素及び／又は処理によってアクセスすることができる。一般的に、１又は２以上の購読者、構成要素、又は処理は、並行して読取可能部分からメッセージを読み取ることができる。【選択図】 図４Ａ

Description

〔関連出願への相互参照〕
この出願は、これによりその開示が引用によって本明細書に全体的に組み込まれる２０１５年１０月９日出願の米国特許出願第１の４／８７９，６６１号に対する優先権を主張するものである。
本明細書は、データ通信システム、特に、リアルタイムのスケーラブル発行（出版）−購読（publish-subscribe）メッセージングを実施するシステムに関する。
発行−購読パターン（又は「ＰｕｂＳｕｂ」）は、いわゆる発行者が、トピックに対するメッセージを発行し、いわゆる購読者が、購読している特定のトピックに関するメッセージを受信するソフトウエアシステムによって実施されるデータ通信メッセージング取り決めである。トピック毎に１又は２以上の発行者が存在する可能性があり、発行者は、一般的に、どの購読者が、もし居れば、発行されたメッセージを受信するかの知識を持っていない。一部のＰｕｂＳｕｂシステムは、メッセージをキャッシュに入れず、又は小さいキャッシュを有し、購読者が、特定のトピックに対する購読予約の時点の前で発行されたメッセージを受信しない場合があることを意味する。ＰｕｂＳｕｂシステムは、メッセージ発行のサージ中又は特定のトピックに対する購読者の数が増加する時に性能不安定を受け易い可能性がある。
本明細書に説明するシステム及び方法は、ＰｕｂＳｕｂシステムによって正確にかつ効率的にメッセージが受信及び格納されることを可能にする。ある一定の実施例では、ＰｕｂＳｕｂシステムは、メッセージデータの個別のストリームに各々が対応する複数のチャネルを含む。各チャネルは、チャネルのためのメッセージを格納するそれぞれのバッファを有する。メッセージは、バッファの書込可能部分に書き込まれかつバッファの読取可能部分から読み取られる。ポインタが、バッファの読取可能及び書込可能部分の間の境界を指示又はその境界を定める。書込可能部分へのメッセージの書込が成功した後で、ポインタは、アトミック動作で前進し、その後にメッセージが読取可能部分に存在する。
有利なことに、ＰｕｂＳｕｂシステム構成要素は、各バッファからの読取及び各バッファへの書込を並行して行うことができる。これは、ＰｕｂＳｕｂシステムに関連付けられた構成要素及び処理が、読取及び／又は書込目的のために同時に各バッファにアクセスすることを可能にする。加えてアトミック動作の使用は、バッファの読取可能部分のメッセージデータが正確であることを保証する。一般的に、アトミック動作は、ポインタが先に進んで新しいメッセージが読取可能部分に移動するまで、ＰｕｂＳｕｂシステム構成要素が新しいメッセージを読み取るのを阻止する。
本明細書に説明するシステム及び方法の実施形態は、複数の処理（例えば、ＥＲＬＡＮＧ待ち行列処理）が同じメモリ空間を共有することを可能にする「ゼロコピー待ち行列」分散ストレージシステムを提供する。一部の実施例では、このゼロコピー待ち行列は、（ｉ）超高速メモリ書込及びメモリ読取、（ｉｉ）並行書込のための超低待ち時間（例えば１００ナノ秒未満）、及び／又は（ｉｉｉ）最大５０，０００並行読取のための超低待ち時間（例えば１０ナノ秒未満）を可能にする。ゼロコピー待ち行列は、自動バックプレッシャー機構を導入し、最大読取／書込スループットを達成する。
本明細書に説明する問題を解決するための既存の手法は、一般的には、ハッシュテーブル、又は内蔵ＥＲＬＡＮＧタームストレージ（ＥＴＳ）などの鍵‐値ストアを利用する。ＥＴＳは、ＥＲＬＡＮＧ仮想機械の一部であるインメモリデータベースであり、かつ破壊的アップデートが許可される仮想機械のセクションに位置する。このようなアップデートは高速であり、かつプログラマーがある一定の重要なコードを最適化する容易な方法を提供するが、ＥＴＳテーブルは、同時読取及び書込の速度に制限を加える固有のロッキング機構を提供する。
比較すると、本明細書に説明するゼロコピー待ち行列方式の実施例は、ロックが使用されないのでこのような固有の制限を有することはない。これは本来、読取機が書込機を決してブロックせず、かつ書込機が読取機を決してブロックしないことを意味する。従って読取機及び書込機の両方が何れの中断もなく全速で機能する。
ある一定の実施では、ゼロコピー待ち行列は、非ブロッキングアルゴリズムのカテゴリー、又は厳密には「待ちなし」アルゴリズムに入る。待ちなしは、処理の不足なく高速システム全体スループットを提供する。
一般的に、本明細書に説明する主題の一態様は、複数の発行者から複数の個別のチャネルの１つに各々が関連付けられた複数のメッセージを受信する段階、各チャネルに関連付けられたメッセージを順序付ける段階、チャネルに割り当てられたメッセージの順序に従ってチャネルのそれぞれのバッファにチャネルの各々の各メッセージを格納する段階を１又は２以上のコンピュータによって実行するアクションを含む方法に具現化することができ、格納する段階は、バッファの書込可能部分にメッセージを格納する段階及び、アトミック動作が完了した後にメッセージがバッファの読取可能部分に入るようにアトミック動作においてバッファの読取可能部分とバッファの書込可能部分の境界を定めるポインタを前進させる段階、及び格納中にバッファの１又は２以上の読取可能部分から１又は２以上の購読者が読み取ることを可能にする段階を含む。
ある一定の実施では、アトミック動作は別の処理又は実行のスレッドによって中断することができない。バッファの書込可能部分にメッセージを格納する段階は、バッファの書込可能部分の第１の場所にメッセージの長さを格納する段階、及び第１の場所の次のバッファの書込可能部分にメッセージを格納する段階を含むことができる。アトミック動作においてバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階は、メッセージの長さとポインタの現在値の和をポインタに格納する段階を含むことができる。
一部の実施例では、各バッファが単一のチャネルのためのメッセージだけを格納する。特定のチャネルのための各バッファは、バッファの有効期間に基づいて異なる時間に満了することができる。特定のバッファは、コンピュータの１つの書込処理に対応することができる。様々な実施では、各バッファがそれぞれの有効期間を有し、有効期間の満了により発行者及び購読者がバッファにアクセスできないようになる。各チャネルに関連付けられたメッセージを順序付ける段階は、メッセージのそれぞれの受信時間に従ってメッセージを順序付ける段階を含むことができる。
別の態様では、本明細書に説明する主題は、命令を格納している非一時的コンピュータ可読媒体を含むシステムに具現化することができる。本発明のシステムは、命令を実行するよう構成されたデータ処理装置を含み、複数の個別のチャネルに１つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階、各チャネルに関連付けられたメッセージを順序付ける段階、チャネルに割り当てられたメッセージの順序に従ってチャネルのそれぞれのバッファにチャネルの各々の各メッセージを格納する段階を含む作動を実行し、格納する段階は、バッファの書込可能部分にメッセージを格納する段階及びアトミック動作が完了した後にメッセージがバッファの読取可能部分に入るようにアトミック動作においてバッファの読取可能部分とバッファの書込可能部分との境界を定めるポインタを前進させる段階、及び格納中にバッファの１又は２以上の読取可能部分から１又は２以上の購読者が読み取ることを可能にする段階を含む。
ある一定の実施では、アトミック動作は、別の処理又は実行のスレッドによって中断することができない。バッファの書込可能部分にメッセージを格納する段階は、バッファの書込可能部分の第１の場所にメッセージの長さを格納する段階及び第１の場所の次のバッファの書込可能部分にメッセージを格納する段階を含むことができる。アトミック動作におけるバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階は、ポインタにメッセージの長さとポインタの現在値との和を格納する段階を含むことができる。
一部の実施例では、各バッファは単一のチャネルのためのメッセージだけを格納する。特定のチャネルのための各バッファは、バッファの有効期間に基づいて異なる時間に満了することができる。特定のバッファは、コンピュータの１つの書込処理に対応することができる。様々な実施では、各バッファはそれぞれの有効期間を有し、有効期間の満了により発行者及び購読者がバッファにアクセスできないようになる。各チャネルに関連付けられたメッセージを順序付ける段階は、メッセージのそれぞれの受信時間に従ってメッセージを順序付ける段階を含むことができる。
別の態様では、本明細書に説明する主題は、データ処理装置の処理モードを制御するための１又は２以上の非一時的ストレージ媒体に格納されたコンピュータプログラム製品に具現化することができる。本発明のコンピュータプログラム製品は、複数の発行者から複数の個別のチャネルの１つに各々が関連付けられた複数のメッセージを受信する段階、各チャネルに関連付けられたメッセージを順序付ける段階、チャネルに割り当てられたメッセージの順序に従ってチャネルのそれぞれのバッファにチャネルの各々の各メッセージを格納する段階を含む作動をデータ処理装置に実行させるようにデータ処理装置によって実行可能であり、格納する段階は、バッファの書込可能部分にメッセージを格納する段階及びアトミック動作が完了した後にメッセージがバッファの読取可能部分に入るようにアトミック動作でバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階、及び１又は２以上の購読者が格納中にバッファの１又は２以上の読取可能部分から読み取ることを可能にする段階を含む。
ある一定の実施では、アトミック動作は、別の処理又は実行のスレッドによって中断することができない。バッファの書込可能部分にメッセージを格納する段階は、バッファの書込可能部分の第１の場所にメッセージの長さを格納する段階及び第１の場所の次のバッファの書込可能部分にメッセージを格納する段階を含むことができる。アトミック動作でバッファの読取可能部分とバッファの書込可能部分との間の境界を定めるポインタを前進させる段階は、ポインタにメッセージの長さとポインタの現在値との和を格納する段階を含むことができる。
一部の実施例では、各バッファは単一のチャネルのためのメッセージだけを格納する。特定のチャネルのための各バッファは、バッファの有効期間に基づいて異なる時間に満了することができる。特定のバッファは、コンピュータの１つの書込処理に対応することができる。様々な実施では、各バッファはそれぞれの有効期間を有し、有効期間の満了により発行者及び購読者がバッファにアクセスできないようになる。各チャネルに関連付けられたメッセージを順序付ける段階は、メッセージのそれぞれの受信時間に従ってメッセージを順序付ける段階を含むことができる。
本明細書に説明する主題の１又は２以上の実施形態の詳細は、添付図面及び以下の説明に示している。本発明の主題の他の特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
ＰｕｂＳｕｂ通信パターンをサポートする例示的システムを示す図である。 例示的クライアントデバイス上のソフトウエアの機能層を示す図である。 例示的メッセージングシステムの図である。 データをストリームレットに書き込む例示的方法のデータ流れ図である。 ストリームレットからデータを読み取る例示的方法のデータ流れ図である。 一回目の例示的バッファを示す略図である。 二回目の図４Ａの例示的バッファを示す略図である。 バッファにメッセージを格納する例示的方法を示す図である。
図１Ａは、ＰｕｂＳｕｂ通信パターンをサポートする例示的システム１００を示している。発行者クライアント（例えば、発行者１）は、システム１００によってメッセージを指名チャネル（例えば、「チャネル１」）に発行することができる。メッセージは、テキスト、画像コンテンツ、音声コンテンツ、マルチメディアコンテンツ、ビデオコンテンツ、及びバイナリデータなどの１又は２以上を含むあらゆるタイプの情報を含むことができる。メッセージデータの他のタイプも可能である。購読者クライアント（例えば、購読者２）は、システム１００を使用して指名チャネルを購読予約し、かつ購読要求後に又は所与の位置（例えば、メッセージ番号又は時間オフセット）から発生するメッセージの受信を開始することができる。クライアントは、発行者及び購読者の両方とすることができる。
構成に応じて、ＰｕｂＳｕｂシステムは、以下のように分類することができる。
・１対１（１：１）。この構成では、チャネル毎に１人の発行者及び１人の購読者がいる。典型的な使用事例は、プライベートメッセージングである。
・１対多数（１：Ｎ）。この構成では、チャネル毎に１人の発行者と複数の購読者がいる。典型的な使用事例は、放送メッセージ（例えば、株価）である。
・多数対多数（Ｍ：Ｎ）。この構成では、単一チャネルに発行する多くの発行者がいる。
メッセージは、次に、複数の購読者に配信される。典型的な使用事例は、地図アプリケーションである。
指名チャネルを生成するのに必要な個別の作動はない。チャネルが購読された時又はメッセージがチャネルに発行された時にチャネルが暗黙的に生成される。一部の実施では、チャネル名は、名前空間によって限定することができる。名前空間は、１又は２以上のチャネル名を含む。異なる名前空間は、曖昧さを生じることなく同じチャネル名を有することができる。名前空間名は、名前空間及びチャネネームがドットによって分けられる場合のチャネル名の接頭辞とすることができる。一部の実施では、チャネル許可設定を指定する時に名前空間を使用することができる。例えば、メッセージングシステム１００は、ａｐｐ１．ｆｏｏ及びａｐｐ１．ｓｙｓｔｅｍ．ｎｏｔｉｆｉｃａｔｉｏｎｓチャネルを有することができ、ここで「ａｐｐｌ」は、名前空間の名称である。本発明のシステムは、クライアントがａｐｐｌ．ｆｏｏチャネルを購読及び発行することを可能にすることができる。しかし、クライアントは、ａｐｐｌ．ｓｙｓｔｅｍ．ｎｏｔｉｆｉｃａｔｉｏｎｓチャネルを発行しないが購読のみとすることができる。
図１Ｂは、例示的クライアントデバイス上のソフトウエアの機能層を示している。クライアントデバイス（例えば、クライアント１０２）は、例えば、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、又はサーバコンピュータのようなデータ処理装置である。他のタイプのクライアントデバイスも可能である。アプリケーション層１０４は、ＰｕｂＳｕｂシステム１００に統合することになるエンド−ユーザアプリケーションを含む。メッセージング層１０６は、アプリケーション層１０４がチャネル購読、メッセージ発行、メッセージ取り出し、ユーザ認証、及びユーザ許可のようなシステム１００のサービスを利用するプログラミングインタフェースである。一部の実施では、メッセージング層１０６との間で送られるメッセージは、ＪａｖａＳｃｒｉｐｔ（登録商標）オブジェクト表記（ＪＳＯＮ）オブジェクトとして符号化される。他のメッセージ符号化方式も可能である。
オペレーティングシステム１０８層は、クライアント１０２のオペレーティングシステムソフトウエアを含む。様々な実施では、持続的又は非持続的接続を使用してシステム１００にメッセージを送信する及びシステム１００からメッセージを受信することができる。持続的接続は、例えば、ネットワークソケットを使用して生成することができる。ＴＣＰ／ＩＰ層１１２のようなトランスポートプロトコルは、メッセージング層１０６によって使用されるシステム１００とのトランスポート制御プロトコル／インターネットプロトコル通信を実施し、接続を通じてシステム１００にメッセージを送信する。例えば、ユーザデータグラムプロトコル（ＵＤＰ）を含む他の通信プロトコルも可能である。更に別の実施では、任意的なトランスポート層セキュリティ（ＴＬＳ）層１１０を利用してメッセージの機密性を保証することができる。
図２は、例示的メッセージングシステム１００の図である。システム１００は、ＰｕｂＳｕｂ通信パターンを実施するための機能性を提供する。本発明のシステムは、例えば、１又は２以上の地理的な場所で１又は２以上のデータセンター１２２に配備することができるソフトウエア構成要素及びストレージを含む。本発明のシステムは、ＭＸノード（例えば、ＭＸノード又は多重化ノード２０２、２０４、及び２０６）、Ｑノード（例えば、Ｑノード又は待ち行列ノード２０８、２１０、及び２１２）、１又は２以上のチャネルマネージャノード（例えば、チャネルマネージャ２１４、２１５）、及び任意的に１又は２以上のＣノード（例えば、Ｃノード又はキャッシュノード２２０及び２２２）を含む。各ノードは、仮想機械又は物理機械（例えば、データ処理装置）で実行することができる。各ＭＸノードは、外部ネットワーク２１６を通じた１又は２以上の発行者及び／又は購読者接続の終端ポイントとして機能する。ＭＸノード、Ｑノード、Ｃノード、及びチャネルマネージャ間の内部通信は、例えば、内部ネットワーク２１８を通じて行われる。例示的に、ＭＸノード２０４をクライアント１０２からの購読者接続の終端とすることができる。各Ｑノードは、ＭＸノードによって消費するチャネルデータをバッファに入れる。チャネルに発行されたメッセージの順序付けられたシーケンスが論理的チャネルストリームである。例えば、３つのクライアントが所与のチャネルにメッセージを発行する場合に、クライアントによって発行された複合メッセージは、チャネルストリームを含む。メッセージは、チャネルストリーム内でクライアントによる発行の時間により、ＭＸノードによる受信の時間により、又はＱノードによる受信の時間によって順序付けることができる。チャネルストリームのメッセージを順序付けるための他の方法も可能である。１よりも多いメッセージが順序の同じ位置に割り当てられる場合に、順序の後ろのシーケンスを有するメッセージの１つを（例えば、ランダムに）選択することができる。各チャネルマネージャノードは、チャネルストリームをいわゆるストリームレットに分割することによってＱノードの負荷を管理する役割を果たす。ストリームレットは以下に詳しく説明する。任意的Ｃノードは、キャッシュ及びＱノードからの負荷除去を提供する。
例示的メッセージングシステム１００では、１又は２以上のクライアントデバイス（発行者及び／又は購読者）は、ＭＸノード（ＭＸ２０４など）へのそれぞれの持続的接続（例えば、ＴＣＰ接続）を設定する。ＭＸノードは、これらの接続の終端ポイントとして機能する。例えば、これらの接続によって運ばれた外部メッセージ（例えば、それぞれのクライアントデバイスとＭＸノード間）は、外部プロトコル（例えば、ＪＳＯＮ）に基づいて符号化することができる。ＭＸノードは、外部プロトコルを終了して外部メッセージを内部通信に翻訳し、逆も同様である。ＭＸノードは、クライアントの代わりにストリームレットを発行及び購読する。従って、ＭＸノードは、同じチャネルを購読又は発行するクライアントデバイスの要求を多重化及び融合することができ、従って、１つずつの代わりに１つとして複数のクライアントデバイスを表している。
例示的メッセージングシステム１００では、Ｑノード（例えば、Ｑノード２０８）は、１又は２以上のチャネルストリームの１又は２以上のストリームレットを格納することができる。ストリームレットは、チャネルストリームの一部分のためのデータバッファである。ストリームレットは、そのストレージが満杯である時に書込に対して閉じることになる。ストリームレットは、ストリームレットの有効期間（ＴＴＬ）が満了した時に読取及び書込に対して閉じて割り当てを解除する。例示的に、ストリームレットは、１ＭＢの最大サイズ及び３分のＴＴＬを有することができる。異なるチャネルが異なるＴＴＬによって制限されるストリームレットを有することができる。例えば、１つのチャネル内のストリームレットは、３分まで存在することができる一方、別のチャネル内のストリームレットは、１０分まで存在することができる。様々な実施では、ストリームレットは、Ｑノードで実行されるコンピュータ処理に対応する。コンピュータ処理は、ストリームレットのＴＴＬが満了した後に終了することができ、従って、例えば、Ｑノードに戻るコンピュータリソース（ストリームレット）を解放する。
クライアントデバイスから発行要求を受信した時に、ＭＸノード（例えば、ＭＸ２０４）は、チャネルマネージャ（例えば、チャネルマネージャ２１４）に要求してストリームレットへのアクセスを許可し、発行されるメッセージを書き込む。しかし、ＭＸノードがチャネル内のストリームレットへの書込アクセスを予め許可される（かつチャネルが書込に対して閉じていない）場合に、ＭＸノードは、ストリームレットにアクセスする許可を要求する必要なくこのストリームレットにメッセージを書き込むことができることに注意されたい。メッセージがチャネル内のストリームレットに書き込まれた状態で、メッセージは、ＭＸノードによって読み取られ、このチャネルの購読者に提供することができる。
同様に、クライアントデバイスからチャネル購読要求を受信した時に、ＭＸノードは、チャネル内のストリームレットへのアクセスの許可をチャネルマネージャに要求してメッセージを読み取る。ＭＸノードがチャネル内のストリームレットへの読取アクセスを予め許可されている（かつチャネルのＴＴＬが読取に対して閉じていない）場合に、ＭＸノードは、ストリームレットにアクセスする許可を要求する必要なくストリームレットからメッセージを読み取ることができる。読取メッセージは、チャネルに購読予約したクライアントデバイスに転送することができる。様々な実施では、ストリームレットから読み取られたメッセージは、ＭＸノードによってキャッシュに入れられ、それによってＭＸノードは、ストリームレットから読み取るのに必要な時間数を低減することができる。
例示的に、ＭＸノードは、ＭＸノードが特定のチャネル内のストリームレットを格納する特定のＱノードのストリームレットにデータのブロックを格納することを可能にするチャネルマネージャからの許可を要求することができる。例示的ストリームレット許可要求及び許可データ構造は以下の通りである。
Figure 2018531465
ＳｔｒｅａｍｌｅｔＧｒａｎｔＲｅｑｕｅｓｔデータ構造は、ストリームｃｈａｎｎｅｌの名前及びＭＸノードがストリームレットからの読取又はストリームレットへの書込を意図するか否かを示すモードを格納する。ＭＸノードは、ＳｔｒｅａｍｌｅｔＧｒａｎｔＲｅｑｕｅｓｔをチャネルマネージャノードに送信する。チャネルマネージャノードは、相応にＭＸノードにＳｔｒｅａｍｌｅｔＧｒａｎｔＲｅｑｕｅｓｔデータ構造を送信する。ＳｔｒｅａｍｌｅｔＧｒａｎｔＲｅｓｐｏｎｓｅは、ストリームレットの識別子（ｓｔｒｅａｍｌｅｔ−ｉｄ）、ストリームレットの最大サイズ（ｌｉｍｉｔ−ｓｉｚｅ）、ストリームレットが格納することができるメッセージの最大数（ｌｉｍｉｔ−ｍｓｇｓ）、ＴＴＬ（ｌｉｍｉｔ−ｌｉｆｅ）、及びストリームレットが存在するＱノードの識別子（ｑ−ｎｏｄｅ）を含有する。ＳｔｒｅａｍｌｅｔＧｒａｎｔＲｅｑｕｅｓｔ及びＳｔｒｅａｍｌｅｔＧｒａｎｔＲｅｓｐｏｎｓｅはまた、ストリームレットから読み取るためのストリームレットの位置（又はチャネルの位置）を示す位置フィールドを有することができる。
許可は、ストリームレットが閉じた状態で無効になる。例えば、ストリームレットは、ストリームレットのＴＴＬが満了した状態で読取及び書込に対して閉じ、ストリームレットのストレージが満杯の時はストリームレットが書込に対して閉じる。許可が無効になった時に、ＭＸノードは、ストリームレットから読み取る又はストリームレットに書き込むためのチャネルマネージャからの新しい許可を要求することができる。新しい許可は、異なるストリームレットを参照することになり、かつ新しいストリームレットが存在する場所に応じて同じか又は異なるＱノードを意味することになる。
図３Ａは、様々な実施形態でデータをストリームレットに書き込む例示的方法のデータ流れ図である。図３Ａでは、ストリームレットに書き込むためのＭＸノード（例えば、ＭＸ２０２）要求が、上述のようにチャネルマネージャ（例えば、チャネルマネージャ２１４）によって許可された時に、ＭＸノードは、チャネルマネージャ（３０２）から受信した許可応答で識別されたＱノードとの送信制御プロトコル（ＴＣＰ）接続を確立する。ストリームレットは、複数の書込許可（例えば、複数の発行者クライアントによって発行されたメッセージに対する）によって同時に書き込むことができる。ＭＸノードとＱノード間の接続プロトコルの他のタイプも可能である。
ＭＸノードは、次に、ＭＸノードがＱノードに書き込みたいストリームレットの識別子を備えた準備−発行メッセージを送信する（３０４）。ストリームレット識別子及びＱノード識別子は、上述のように書込許可でチャネルマネージャによって提供することができる。Ｑノードは、識別されたストリームレットのハンドラ処理３０１（例えば、Ｑノードで実行されるコンピュータ処理）にメッセージを渡す（３０６）。ハンドラ処理は、ＭＸノードに肯定応答を送信することができる（３０８）。肯定応答を受信した後に、ＭＸノードは、識別されたストリームレットに受信したデータを格納するハンドラ処理へのメッセージの書込（発行）（例えば、３１０、３１２、３１４、及び３１８）を開始する。ハンドラ処理はまた、受信したデータの肯定応答（３１６、３２０）をＭＸノードに送信することができる。一部の実施では、肯定応答は、抱き合わせ又は累積的とすることができる。例えば、ハンドラ処理は、予め決められたデータ量が受信される毎に（例えば、１００メッセージが受信される毎に）、又は予め決められた時間毎に（例えば、１ミリ秒毎に）ＭＸノードに肯定応答を送信することができる。ネーグルのアルゴリズムのような他の肯定応答スケジューリングアルゴリズムを使用することもできる。
ストリームレットが、発行されたデータをそれ以上受け入れられない場合（例えば、ストリームレットが満杯の時）、ハンドラ処理は、問題を示す否定応答（ＮＡＫ）メッセージ（３３０）、次に、ＥＯＦ（ファイルの終わり）メッセージ（３３２）を送信する。従って、ハンドラ処理は、発行許可のためのＭＸノードとのアソシエーションを閉じる。ＭＸノードが格納する追加のメッセージを有する場合に、ＭＸノードは、チャネルマネージャから別のストリームレットの書込許可を要求することができる。
図３Ｂは、様々な実施形態におけるストリームレットからデータを読み取る例示的方法のデータ流れ図である。図３Ｂでは、ＭＸノード（例えば、ＭＸ２０２）は、チャネルマネージャ（例えば、チャネルマネージャ２１４）に特定のメッセージから始まる特定のチャネル又はチャネルの時間オフセットを読み取るための要求を送信する。チャネルマネージャは、特定のメッセージを含有するストリームレットの識別子、特定のメッセージに対応するストリームレットにおける位置、及び特定のストリームレットを含有するＱノード（例えば、Ｑノード２０８）の識別子を含む読取許可をＭＸノードに戻す。ＭＸノードは、ＱノードとのＴＣＰ接続を確立する（３５２）。ＭＸノードとＱノード間の接続プロトコルの他のタイプも可能である。
ＭＸノードは、ストリームレットの識別子（Ｑノード内）及びＭＸノードが読み取りたいストリームレットの位置を備えた購読メッセージをＱノードに送信する（３５６）。Ｑノードは、購読メッセージをストリームレットのハンドラ処理３５１に渡す（３５６）。ハンドラ処理は、ＭＸノードに肯定応答を送信することができる（３５８）。ハンドラ処理は、ストリームレットの位置で開始されるメッセージ（３６０、３６４、３６６）をＭＸノードに送信する。一部の実施では、ハンドラ処理は、ストリームレットのメッセージの全てをＭＸノードに送信することができる。特定のストリームレット内の最後のメッセージを送信した後に、ハンドラ処理は、最後のメッセージの通知をＭＸノードに送信することができる。ＭＸノードは、特定のチャネル内の次のメッセージを含有する別のストリームレットに対する別の要求をチャネルマネージャに送信することができる。
特定のストリームレットが閉じた場合（例えば、特定のストリームレットのＴＴＬが満了した後）、ハンドラ処理は、非購読メッセージ（３９０）、次に、ＥＯＦメッセージ（３９２）を送信して読取許可のためのＭＸノードとのアソシエーションを閉じることができる。ＭＸノードは、ＭＸノードが特定のチャネル内のメッセージのために別のストリームレットに移る（例えば、チャネルマネージャによって示されたように）時にハンドラ処理とのアソシエーションを閉じることができる。ＭＸノードは、ＭＸノードが、対応するクライアントデバイスから非購読メッセージを受信した場合に、ハンドラ処理とのアソシエーションを閉じることができる。
様々な実施では、ストリームレットは、同じ時間インスタンスに書き込み、かつ読み取ることができる。例えば、同じ時間インスタンスに有効読取許可及び有効書込許可を存在させることができる。様々な実施では、複数の読取許可（例えば、複数の発行者クライアントによって購読されるチャネルに対する）によって同時にストリームレットを読み取ることができる。ストリームレットのハンドラ処理は、例えば、到着時間に基づいて同時書込許可からのメッセージを順序付けし、その順序に基づいてメッセージを格納することができる。従って、複数の発行者クライアントからチャネルに発行されたメッセージは、チャネル内のストリームレットにシリアル化して格納することができる。
メッセージングシステム１００では、１又は２以上のＣノード（例えば、Ｃノード２２０）は、１又は２以上のＱノードからのデータ転送をアンロードすることができる。例えば、特定のチャネルのためのストリームレットをＱノードから要求する多くのＭＸノードが存在する場合に、ストリームレットをアンロードして１又は２以上のＣノードをキャッシュに入れることができる。ＭＸノード（例えば、チャネルマネージャから読取許可によって命令される）は、代わりにＣノードからストリームレットを読み取ることができる。
上述のように、メッセージングシステム１００内のチャネルのためのメッセージは、チャネルストリームで順序付けされる。チャネルマネージャ（例えば、チャネルマネージャ２１４）は、それぞれのＱノードに各々が存在する固定サイズストリームレットにチャネルストリームを分割する。従って、チャネルストリームの格納は、多くのＱノード間で共有することができ、各Ｑノードは、チャネルストリームの一部分（１又は２以上のストリームレット）を格納する。特に、ストリームレットは、Ｑノード上のコンピュータ処理に関連付けられたレジスタ及び動的メモリ要素に格納することができ、従って、ハードディスクのような持続性低速ストレージデバイスにアクセスする必要性を回避する。これは高速のメッセージアクセスをもたらす。チャネルマネージャは、Ｑノードのそれぞれのワークロードをモニタし、いかなる１つのＱノードの過負荷も回避する方法でストリームレットを割り当てることにより、メッセージングシステム１００のＱノード間の負荷の均衡を取ることができる
様々な実施では、チャネルマネージャは、各アクティブストリームレット、ストリームレットが存在するそれぞれのＱノード、及びストリームレットの第１のメッセージの位置の識別、及びストリームレットが書込に対して閉じているか否かを識別するリストを維持する。一部の実施では、Ｑノードは、満杯であるために又はストリームレットのＴＴＬが満了した時にストリームレットが閉じていることをストリームレットに発行しているチャネルマネージャ及びあらゆるＭＸノードに通知する。ストリームレットが閉じている時に、ＭＸノードがストリームレットからメッセージの取り出しを継続することができるようにストリームレットのＴＴＬが満了するまでアクティブストリームレットのチャネルマネージャのリストにストリームレットが残る。
ＭＸノードが所与のチャネルに対する書込許可を要求して書き込むことができるチャネルのためのストリームレットがない時に、チャネルマネージャは、Ｑノードの１つに新しいストリームレットを割り当て、ストリームレットのアイデンティティ及びＳｔｒｅａｍｌｅｔＧｒａｎｔのＱノードを戻す。そうでなければ、チャネルマネージャは、ストリームレット及び対応するＱノードをＳｔｒｅａｍｌｅｔＧｒａｎｔに書き込むために現在開いているというアイデンティティを戻す。ＭＸノードは、ストリームレットが満杯になるか又はストリームレットのＴＴＬが満了するまでストリームレットにメッセージを発行することができ、この後で新しいストリームレットをチャネルマネージャによって割り当てることができる。
ＭＸノードが所与のチャネルの読取許可を要求して読み取ることができるチャネルのためのストリームレットがない時に、チャネルマネージャは、Ｑノードの１つに新しいストリームレットを割り当て、ストリームレットのアイデンティティ及びＳｔｒｅａｍｌｅｔＧｒａｎｔのＱノードを戻す。そうでなければ、チャネルマネージャは、ストリームレットのアイデンティティ及びＭＸノードが読み取りたい位置を含有するＱノードを戻す。Ｑノードは、送信するストリームレットのメッセージがなくなるまで指定された位置で始まるストリームレットからＭＸノードへのメッセージの送信を開始することができる。新しいメッセージがストリームレットに発行された時に、このストリームレットを購読しているＭＸノードは、新しいメッセージを受信する。ストリームレットのＴＴＬが満了した場合に、ハンドラ３５１は、ＥＯＦメッセージ（３９２）をストリームレットを購読するいずれのＭＸノードにも送信する。
図２に関して上述したように、メッセージングシステム１００は、複数のチャネルマネージャ（例えば、チャネルマネージャ２１４、２１５）を含むことができる。複数のチャネルマネージャは、弾力性を提供して単一障害点を回避する。例えば、１つのチャネルマネージャは、それが維持するストリームレットと現在の許可のリストとを別の「スレーブ」チャネルマネージャに複製することができる。別の例として、複数のチャネルマネージャは、Ｐａｘｏｓ又はＲａｆｔプロトコルのような分散コンセンサスプロトコルを使用して複数のチャネルマネージャ間で作動を調整することができる。
ある一定の実施では、ＰｕｂＳｕｂシステムは、１又は２以上のチャネルのための複数の発行者からのメッセージを受信する。ＰｕｂＳｕｂシステム構成要素（例えば、Ｑノード又はＭＸノード）は、メッセージを順序付けかつメッセージを１又は２以上のバッファ（例えば１つのチャネルにつき１つのバッファ）に書き込むことができる。様々なシステム構成要素及び／又は処理は、バッファからメッセージを読み取りこのメッセージを１又は２以上の受信者又は購読者に配信することができる。
図４Ａ及び４Ｂは、ＰｕｂＳｕｂシステムにメッセージデータを格納するための例示的バッファ４００又はゼロコピー待ち行列の略図である。バッファ４００は、読取可能部分４０２及び書込可能部分４０４を含む。ＰｕｂＳｕｂシステムの１又は２以上の構成要素又は処理（例えばＱノード又はＭＸノード）は、メッセージを書込可能部分４０４に書き込むことができる及び／又は読取可能部分４０２からメッセージを読み取ることができる。ポインタ４０６は、読取可能部分４０２と書込可能部分４０４の間の境界４０８を定める。ポインタ４０６は、例えばメモリアドレスとすることができる又はそれを含むことができる。
図４Ａは、一回目にメッセージ４１０及び４１２が読取可能部分４０２に格納されかつ新しいメッセージ４１４が書込可能部分４０４に書き込まれる例示的バッファ４００を示す。ポインタ４０６は、読取可能部分４０２と書込可能部分４０４の間の境界４０８がメッセージ４１２とメッセージ４１４の間にあることを示す。この一回目に、１又は２以上のＰｕｂＳｕｂシステム構成要素又は処理（例えばＱノード又はＭＸノード）は読取可能部分４０２からメッセージ４１０及び４１２を読み取ることができる。ＰｕｂＳｕｂシステム構成要素又は処理は、新しいメッセージ４１４を書込可能部分４０４に書き込むこともできる。様々な実施例では、ＰｕｂＳｕｂシステム構成要素及び／又は処理は、読取及び書込が同時に起こるように並行してバッファ４００から読み取りかつバッファ４００に書き込むことができる。例えば、複数の構成要素及び／又は処理は、同時に読取可能部分４０２からメッセージ４１０及び／又はメッセージ４１２を読み取ることができる。メッセージ４１０及び／又はメッセージ４１２が読み取られる間、構成要素又は処理は、新しいメッセージ４１４を書込可能部分４０４に書き込むことができる。矢印４１５は、バッファ４００を通ってメッセージデータが流れる方向を示す。矢印４１５が示すように、新しいメッセージはバッファの右手側に追加され、これによって古いメッセージが左手側になり、新しいメッセージが右手側になる。
図４Ｂは、二回目にメッセージ４１４のバッファ４００への書込が成功し、メッセージ４１４が今のところ読取可能部分４０２の中にあることを示すためにポインタ４０６が進められた例示的バッファ４００を示す。この二回目に、メッセージ４１０、４１２、及び４１４は、読取可能部分４０２から読み取ることができ、新しいメッセージ４１６が、書込可能部分４０４に書き込まれる。メッセージ４１６がバッファ４００に書き込まれた状態で、追加のアトミック動作を実行し、ポインタ４０６及び境界４０８を更に前進させることができ、これによってメッセージ４１６が読取可能部分４０２の中に入る。追加のメッセージを書込可能部分４０４に書き込むことができる。
好ましい実施では、新しいメッセージは、書込可能部分４０４に書き込まれ、何れかの追加の新しいメッセージが書込可能部分４０４に追加される前に読取可能部分４０２に移される。これは、別の新しいメッセージによって新しいメッセージが上書きされるのを阻止する。新しいメッセージのバッファ４００への書込が成功した状態で、新しいメッセージの長さに従ってポインタ４０６を新しい位置に前進させることができる。ポインタ４０６の新しい位置は、例えばポインタ４０６の前の位置に加えて新しいメッセージの長さとすることができる。ポインタ位置及びメッセージの長さはメモリに格納することができる。
好ましい実施では、ポインタ４０６は、アトミック動作で新しい位置に進められ、この間はバッファ４００に関連付けられたある一定の読取又は書込活動は禁じられる。例えば、アトミック動作中、ＰｕｂＳｕｂシステム構成要素又は処理は、バッファ４００に書き込む及び／又は最も新しくバッファ４００に追加されたメッセージを読み取ることができない。これに代えて又はこれに加えて、ＰｕｂＳｕｂシステム構成要素は、アトミック動作中にポインタ４０６を読み取ることができない。これは、１よりも多いＣＰＵサイクルを取ることがあるポインタ４０６が進んでいる間にＰｕｂＳｕｂシステム構成要素又は処理が誤ったポインタ位置を読み取るのを阻止することができる。一般的に、ポインタ４０６がアトミック動作で進んだ及び新しいメッセージが読取可能部分４０２に入るまで、新しくバッファ４００に追加されたメッセージは読取可能部分４０２の一部ではないか又は読み取ることができない。読取可能部分４０２の全ての他のメッセージは、アトミック動作前、アトミック動作中、及び／又はアトミック動作後に読み取ることができる。ある一定の実施例では、アトミック動作は、アトミック追加又はフェッチ・アンド・追加動作である。アトミック動作は、別の処理又は実行のスレッドによって中断することができないことが好ましい。様々な実施では、メッセージが順序付けられ、一度に１つ（すなわち連続的に）書込可能部分４０４に書き込まれる。メッセージを順序付ける段階は、例えば受信の時間（例えば、メッセージがＰｕｂＳｕｂシステムによって受信された順序）に従ってメッセージを並べる段階又は優先順位付けする段階を含むことができる。一度に１つメッセージを書き込む段階は、新しいメッセージが別の新しいメッセージによって上書きされるのを阻止する。何れかの新しいメッセージが書込可能部分４０４に書き込まれる前に、ポインタ４０６を前進させることによって、前の新しいメッセージを読取可能部分４０２に完全に書き込みかつ移さなければならない。
ある一定の実施例では、バッファ４００は、全地球的にアクセス可能なストレージデバイス上にメモリの一部分を割り当てることによって実施される。全地球的にアクセス可能なストレージデバイスの一部分は、ポインタの情報（例えばメモリアドレス）を格納することができる。バッファ４００は、有効期間を割り当てることができ、有効期間の後にバッファが満了し、それ以上書込及び読取のためにアクセスできない。
一般的に、バッファ４００は、ＰｕｂＳｕｂシステムの構成要素の一部を形成するか又はＰｕｂＳｕｂシステムの構成要素によって使用される。例えばバッファ４００は、ＰｕｂＳｕｂシステムのＱノード又はＭＸノードの一部を形成することができるか、又はＰｕｂＳｕｂシステムのＱノード又はＭＸノードによって使用される。ＰｕｂＳｕｂシステムの各ＭＸノード及び各Ｑノードは、メッセージデータを格納するための各ノード固有のバッファのセットを有するか又は使用することができる。バッファの各セットは、１つのチャネルにつき１つのバッファ、又は１つのチャネルにつき１よりも多いバッファを含むことができる。一部の事例では、ＰｕｂＳｕｂシステム構成要素の全てのチャネルのためのメッセージデータを格納するために単一のバッファを使用することができる。
バッファを使用する又は含む各ＭＸノード、Ｑノード、又は他のＰｕｂＳｕｂシステム構成要素は、構成要素によって受信された何れの所与のメッセージにもコピーを１つだけ作ることが好ましい。これは、ＭＸノード及びＱノードによって実行しなければならない書込の量を最小化し、他の処理のためにＣＰＵ時間を解放する。購読者、構成要素、又はメッセージを要求する処理とメッセージを共有するために、バッファ４００でのメッセージの位置（例えば、メモリアドレス）は、バッファ４００における位置からメッセージを読み取ることができる購読者又は処理に提供することができる。
構成要素又は処理がバッファ４００にメッセージを書き込みたい時は、バッファ４００の書込処理（例えば、ＥＲＬＡＮＧ書込処理）にメッセージを送信することができる。書込処理は、メッセージが受信される順序で（例えば、書込処理によるメッセージ又は通知の受信の時間に基づいて）バッファ４００にメッセージ及び他のメッセージを書き込むことができる。バッファ４００に書き込まれた各メッセージに対して、書込処理は、まずバッファの書込可能部分４０４に（例えば、ポインタ４０６の現在の位置によって示されるバッファ４００のテールエンドに）メッセージを書き込むことができる。書込処理は、アトミック動作（例えば、フェッチ・アンド・追加アトミック動作）を使用して新しく書き込まれたメッセージの後の位置にポインタ４０６を移動させることができる。一部の事例では、各メッセージの長さが、メッセージ自体と共に（例えば、メッセージの前方に）バッファ４００に書き込まれ、これによって読取機は、メッセージの大きさ（例えばバイト）を知る。
図５は、ＰｕｂＳｕｂシステムの複数のチャネルのためのデータを格納する例示的方法５００の流れ図である。ＰｕｂＳｕｂシステムは、複数の発行者から複数のメッセージを受信する（段階５０２）。発行者は、例えば、ユーザのクライアントデバイス、ＭＸノード、又はＱノードとすることができる。メッセージの各々は、複数の個別のチャネルの１つに関連付けられることが好ましい。メッセージは、各チャネルに対して、例えば、メッセージが発行者から受信された順序に従って順序付けられる（段階５０４）。チャネルの各々の各メッセージは、チャネルのためのそれぞれのバッファに格納される（段階５０６）。チャネルのためのメッセージを格納するために、メッセージは、チャネルに割り当てられたメッセージの順序に従ってそれぞれのバッファの書込可能部分に書き込まれる。バッファの読取可能部分と書込可能部分の間の境界を定めるポインタがアトミック動作で進められる（段階５０８）。ポインタを進めた後に、メッセージはバッファの読取可能部分に入る。１又は２以上の購読者は、バッファの１又は２以上の読取可能部分から読み取ることを許可される（段階５１０）。
様々な実施では、本明細書に説明するシステム及び方法は、高メッセージトラフィックの期間中にシステムへの圧力を低減する自動バックプレッシャー機構を利用する。一般的に、バックプレッシャーは、システムの縁部で負荷を減らす方法である。バックプレッシャーは、システムリソースが多数の書込要求を処理できない時にシステムがクラッシュ又は溢れるのを阻止することができる。例えば、ゼロコピー待ち行列（例えば、バッファ４００）が、制限されたサイズを有するので、あるポイントではゼロコピー待ち行列がそのストレージ容量に達する。ゼロコピー待ち行列が満杯である時に、システム構成要素は、少なくともアトミック動作に起因して、ゼロコピー待ち行列に書き込むことができない。この場合、書込動作を試みる書込機（例えば、ＭＸノード又はＱノード）は、ゼロコピー待ち行列が満杯であることを書込機に伝えるエラーメッセージを受信することになる。書込機は、外部エンティティ（例えば、アービター）に質問して書き込みできる次のゼロコピー待ち行列を識別することによって書込動作を再試行することができる。古いゼロコピー待ち行列バッファは、１０秒、３０秒、６０秒、又はそれ以上である場合があるある一定の有効期間後に再生利用されることが好ましい。
本明細書に説明する主題及び作動の実施形態は、本明細書及び本明細書の構造的均等物又はこれらの１又は２以上の組合せで開示する構造を含むデジタル電子回路、又はコンピュータソフトウエア、ファームウエア、又はハードウエアを用いて実施することができる。本明細書に説明する主題の実施形態は、１又は２以上のコンピュータプログラムとして、すなわち、デジタル処理装置によって実行するために又はその作動を制御するためにコンピュータストレージ媒体上に符号化されるコンピュータプログラム命令の１又は２以上のモジュールとして実施することができる。これに代えて又はこれに加えて、プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置によって実行するのに適する受信装置に送信する情報を符号化するために生成される機械発生式電気、光学、又は電磁信号で符号化することができる。コンピュータストレージ媒体は、コンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダム又はシリアルアクセスメモリアレイ又はデバイス、又はこれらの１又は２以上の組合せとすることができ、又はこれらに含めることができる。更に、コンピュータストレージ媒体は伝播信号ではないが、コンピュータストレージ媒体は、人工的発生式伝播信号で符号化されたコンピュータプログラム命令のソース又は宛先とすることができる。コンピュータストレージ媒体は、１又は２以上の個別の物理的構成要素又は媒体（例えば、複数のＣＤ、ディスク、又は他のストレージデバイス）とすることができ、又はこれらに含めることができる。
本明細書に説明する作動は、１又は２以上のコンピュータ可読ストレージデバイスに格納されたか又は他のソースから受信したデータにデータ処理装置によって実行される作動として実施することができる。
「データ処理装置」という語は、一例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又はマルチプロセッサ、又は上述の組合せを含むデータを処理するための全ての種類の装置、デバイス、及び機械を網羅する。装置は、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含むことができる。装置は、ハードウエアに加えて、問題のコンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時間環境、仮想機械、又はこれらの１又は２以上の組合せを構成するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピュータ及びグリッドコンピュータインフラストラクチャーのような様々な異なるコンピュータモデルインフラストラクチャーを実現することができる。
コンピュータプログラム（プログラム、ソフトウエア、ソフトウエアアプリケーション、スクリプト、又はコードとしても公知）は、コンパイル又は解釈言語、宣言、手順、又は機能言語を含むプログラミング言語のあらゆる形態で書くことができ、独立プログラムとして又はモジュール、構成要素、サブルーチン、オブジェクト、又はコンピュータ環境に使用するのに適する他のユニットとして含むいずれの形態でも配備することができる。コンピュータプログラムは、ファイルシステムのファイルに対応することができるが、対応する必要はない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語リソースに格納された１又は２以上のスクリプト）を保持するファイルの一部分に、問題のプログラム専用単一ファイルに、又は複数の調節されたファイル（例えば、１又は２以上のモジュール、サブプログラム、又はコードの一部分を格納するファイル）に格納することができる。コンピュータプログラムは、１つのコンピュータ又は１つのサイトに位置するか又は複数のサイトにわたって分散されて通信ネットワークによって相互接続された複数のコンピュータで実行されるように配備される。
本明細書に説明した処理及び論理フローは、１又は２以上のコンピュータプログラムを実行する１又は２以上のプログラマブルプロセッサによって実行され、入力データを演算して出力を生成することによってアクションを実行することができる。処理及び論理フローは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行することができ、装置は、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）として実施することができる。
コンピュータプログラムの実行に適するプロセッサは、一例として、汎用及び専用マイクロプロセッサの両方、及びあらゆる種類のデジタルコンピュータのいずれか１つ又はそれよりも多いプロセッサを含む。一般的に、プロセッサは、読取専用メモリ又はランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの基本的な要素は、命令に従ってアクションを実行するためのプロセッサ、及び命令及びデータを格納するための１又は２以上のメモリデバイスである。一般的にコンピュータは、データを格納するための１又は２以上の大容量ストレージデバイス、例えば、磁気、磁気光学ディスク、又は光学ディスクを含むか、これらからデータを受信するか又はデータを転送し、又はこの両方のために作動的に結合される。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータは、別のデバイス、幾つか挙げると、例えば、スマートフォン、移動音声又は映像プレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は携帯式ストレージデバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に組み込むことができる。コンピュータプログラム命令及びデータを格納するのに適するデバイスは、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスク又は着脱可能ディスク、磁気光学ディスク、及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む不揮発性メモリ、媒体、及びメモリデバイスの全ての形態を含む。プロセッサ及びメモリは、専用論理回路によって補足又は専用論理回路に組み込むことができる。
ユーザとの対話を提供するために、本明細書に説明する主題の実施形態は、ディスプレイデバイス、例えば、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ、及びキーボード及びポインティングデバイス、例えば、ユーザがコンピュータに入力を与えることを可能にするマウス又はトラックボールを有するコンピュータを用いて実施することができる。他の種類のデバイスを使用して、同様にユーザとの対話を提供することができ、例えば、ユーザに提供されるフィードバックは、センサ式フィードバックのあらゆる形態、例えば、視覚フィードバック、聴覚フィードバック、又は触知フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触知入力を含むあらゆる形態で受信することができる。コンピュータは、ユーザによって使用されるデバイスにリソースを送信し、デバイスからリソースを受信することにより、例えば、ウェブブラウザから受信した要求に応じてユーザのクライアントデバイスのウェブブラウザにウェブページを送信することによってユーザと対話することができる。
本明細書に説明する主題の実施形態は、バックエンド構成要素を例えばデータサーバとして含むか、又はミドルウェア構成要素、例えば、アプリケーションサーバを含むか、又はフロントエンド構成要素、例えば、ユーザが本明細書に説明する主題の実施と対話することを可能にするグラフィカルユーザインタフェース又はウェブブラウザを有するクライアントコンピュータ、又は１又は２以上のこれらのバックエンド、ミドルウェア、又はフロントエンド構成要素のあらゆる組合せを含むコンピュータシステムを用いて実施することができる。本発明のシステムの構成要素は、デジタルデータ通信のあらゆる形態又は媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）及びピアツーピアネットワーク（例えば、アドホックピアツープアネットワーク）を含む。
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般的に互いから遠隔にあり、一般的に通信ネットワーク上で対話する。クライアントとサーバの関係は、それぞれのコンピュータで実行されて互いにクライアント−サーバ関係を有するコンピュータプログラムによって発生する。一部の実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアントデバイスに送信する（クライアントデバイスと対話するユーザにデータを表示してユーザからユーザ入力を受信するために）。クライアントデバイスで生成されたデータ（例えば、ユーザ対話の結果）は、サーバでクライアントデバイスから受信することができる。
１又は２以上のコンピュータのシステムは、作動中にシステムにアクションを実行させるシステム上にインストールされたソフトウエア、ファームウエア、ハードウエア、又はその組合せを有することによって特定の作動又はアクションを実行するように構成することができる。１又は２以上のコンピュータプログラムは、データ処理装置によって実行された時に装置にアクションを実行させる命令を含むことによって特定の作動又はアクションを実行するように構成することができる。
本明細書は多くの特定の実施の詳細を含有するが、これらは、いずれの発明又は主張することができる範囲の制限として解釈すべきではなく、逆に特定の発明の特定の実施形態に固有の特徴の説明として解釈しなければならない。個別の実施形態の関連で本明細書に説明するある一定の特徴は、単一実施形態に組み合わせて実施することができる。対照的に、単一実施形態の関連で説明する様々な特徴は、複数の実施形態で別々に又はあらゆる適切な部分組合せを用いて実施することができる。更に、特徴は、ある一定の組合せで作用するように上述し、更にそのように最初に主張したが、主張した組合せからの１又は２以上の特徴は、一部の事例では組合せから削除することができ、主張した組合せを部分組合せ又は部分組合せの変形に向けることができる。
同様に、作動は、特定の順序で図面に示されているが、これは、望ましい結果を達成するためにそのような作動を示された特定の順序又は連続的な順序で実行し、又は全ての例示された作動を実行することが望ましいとして理解すべきではない。ある状況では、マルチタスク及び並列処理が有利である場合がある。上述の実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を要求するものとして理解すべきではなく、説明したプログラム構成要素及びシステムは、一般的に単一ソフトウエア製品に互いに統合するか又は複数のソフトウエア製品にパッケージ化することができることを理解しなければならない。
すなわち、本主題の特定の実施形態を説明した。他の実施形態も特許請求の範囲内である。一部の事例では、特許請求の範囲に説明するアクションを異なる順序で実行して望ましい結果を達成することができる。更に、添付の図に示す処理は、望ましい結果を達成するために必ずしも示す特定の順序又は連続的な順序を必要としない。ある一定の実施では、マルチタスク及び並列処理が有利である場合がある。
４００ 例示的バッファ
４０２ 読取可能部分
４０４ 書込可能部分
４０６ ポインタ
４０８ 境界

Claims (27)

  1. 複数の個別のチャネルの１つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階と、
    各チャネルに関連付けられた前記メッセージを順序付ける段階と、
    前記チャネルに割り当てられた前記メッセージの前記順序に従って該チャネルのためのそれぞれのバッファに該チャネルの各々の各メッセージを格納する段階であって、格納する段階が、該バッファの書込可能部分に該メッセージを格納する段階及びアトミック動作で該バッファの読取可能部分と該バッファの該書込可能部分の間の境界を定めるポインタを該アトミック動作が完了した後に該メッセージが該バッファの該読取可能部分にあるように前進させる段階を含む前記格納する段階と、
    前記格納する段階中に１又は２以上の購読者が前記バッファの１又は２以上の前記読取可能部分から読み取ることを可能にする段階と、
    を１又は２以上のコンピュータによって実行する段階、
    を含むことを特徴とする方法。
  2. 前記アトミック動作は、別の処理又は実行のスレッドによって中断することができないことを特徴とする請求項１に記載の方法。
  3. 前記バッファの前記書込可能部分に前記メッセージを格納する段階は、該バッファの該書込可能部分内の第１の場所で該メッセージの長さを格納する段階と、該第１の場所に続く該バッファの該書込可能部分に該メッセージを格納する段階とを含むことを特徴とする請求項１に記載の方法。
  4. アトミック動作で前記バッファの前記読取可能部分と該バッファの前記書込可能部分の間の前記境界を定める前記ポインタを前進させる段階は、前記メッセージの長さと該ポインタの現在値の和を該ポインタに格納する段階を含むことを特徴とする請求項１に記載の方法。
  5. 各バッファが、単一のチャネルのためのメッセージだけを格納することを特徴とする請求項１に記載の方法。
  6. 特定のチャネルのための各バッファが、該バッファに対する有効期間に基づいて異なる時間に満了することを特徴とする請求項１に記載の方法。
  7. 特定のバッファが、前記コンピュータのうちの１つでの書込処理に対応することを特徴とする請求項１に記載の方法。
  8. 各バッファが、それぞれの有効期間を有し、その満了時に該バッファは、発行者及び購読者に対してアクセス不能にされることになることを特徴とする請求項１に記載の方法。
  9. 各チャネルに関連付けられた前記メッセージを順序付ける段階は、該メッセージを該メッセージのそれぞれの受信時間に従って順序付ける段階を含むことを特徴とする請求項１に記載の方法。
  10. 命令をそこに格納した非一時的コンピュータ可読媒体と、
    複数の個別のチャネルの１つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階、
    各チャネルに関連付けられた前記メッセージを順序付ける段階、
    前記チャネルに割り当てられた前記メッセージの前記順序に従って該チャネルのためのそれぞれのバッファに該チャネルの各々の各メッセージを格納する段階であって、格納する段階が、該バッファの書込可能部分に該メッセージを格納する段階及びアトミック動作で該バッファの読取可能部分と該バッファの該書込可能部分の間の境界を定めるポインタを該アトミック動作が完了した後に該メッセージが該バッファの該読取可能部分にあるように前進させる段階を含む前記格納する段階、及び
    前記格納する段階中に１又は２以上の購読者が前記バッファの１又は２以上の前記読取可能部分から読み取ることを可能にする段階、
    を含む作動を実行するために前記命令を実行するように構成されたデータ処理装置と、
    を含むことを特徴とするシステム。
  11. 前記アトミック動作は、別の処理又は実行のスレッドによって中断することができないことを特徴とする請求項１０に記載のシステム。
  12. 前記バッファの前記書込可能部分に前記メッセージを格納する段階は、該バッファの該書込可能部分内の第１の場所で該メッセージの長さを格納する段階と、該第１の場所に続く該バッファの該書込可能部分に該メッセージを格納する段階とを含むことを特徴とする請求項１０に記載の方法。
  13. アトミック動作で前記バッファの前記読取可能部分と該バッファの前記書込可能部分の間の前記境界を定める前記ポインタを前進させる段階は、前記メッセージの長さと該ポインタの現在値の和を該ポインタに格納する段階を含むことを特徴とする請求項１０に記載のシステム。
  14. 各バッファが、単一のチャネルのためのメッセージだけを格納することを特徴とする請求項１０に記載のシステム。
  15. 特定のチャネルのための各バッファが、該バッファに対する有効期間に基づいて異なる時間に満了することを特徴とする請求項１０に記載のシステム。
  16. 特定のバッファが、コンピュータのうちの１つでの書込処理に対応することを特徴とする請求項１０に記載のシステム。
  17. 各バッファが、それぞれの有効期間を有し、その満了時に該バッファは、発行者及び購読者に対してアクセス不能にされることになることを特徴とする請求項１０に記載のシステム。
  18. 各チャネルに関連付けられた前記メッセージを順序付ける段階は、該メッセージを該メッセージのそれぞれの受信時間に従って順序付ける段階を含むことを特徴とする請求項１０に記載のシステム。
  19. データ処理装置の処理モードを制御するための１又は２以上の非一時的ストレージ媒体に格納されたコンピュータプログラム製品であって、
    複数の個別のチャネルの１つに各々が関連付けられた複数のメッセージを複数の発行者から受信する段階、
    各チャネルに関連付けられた前記メッセージを順序付ける段階、
    前記チャネルに割り当てられた前記メッセージの前記順序に従って該チャネルのためのそれぞれのバッファに該チャネルの各々の各メッセージを格納する段階であって、格納する段階が、該バッファの書込可能部分に該メッセージを格納する段階及びアトミック動作で該バッファの読取可能部分と該バッファの該書込可能部分の間の境界を定めるポインタを該アトミック動作が完了した後に該メッセージが該バッファの該読取可能部分にあるように前進させる段階を含む前記格納する段階、及び
    前記格納する段階中に１又は２以上の購読者が前記バッファの１又は２以上の前記読取可能部分から読み取ることを可能にする段階、
    を含む作動を前記データ処理装置に行わせるように該データ処理装置によって実行可能である、
    ことを特徴とする製品。
  20. 前記アトミック動作は、別の処理又は実行のスレッドによって中断することができないことを特徴とする請求項１９に記載のコンピュータプログラム製品。
  21. 前記バッファの前記書込可能部分に前記メッセージを格納する段階は、該バッファの該書込可能部分内の第１の場所で該メッセージの長さを格納する段階と、該第１の場所に続く該バッファの該書込可能部分に該メッセージを格納する段階とを含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
  22. アトミック動作で前記バッファの前記読取可能部分と該バッファの前記書込可能部分の間の前記境界を定める前記ポインタを前進させる段階は、前記メッセージの長さと該ポインタの現在値の和を該ポインタに格納する段階を含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
  23. 各バッファが、単一のチャネルのためのメッセージだけを格納することを特徴とする請求項１９に記載のコンピュータプログラム製品。
  24. 特定のチャネルのための各バッファが、該バッファに対する有効期間に基づいて異なる時間に満了することを特徴とする請求項１９に記載のコンピュータプログラム製品。
  25. 特定のバッファが、コンピュータのうちの１つでの書込処理に対応することを特徴とする請求項１９に記載のコンピュータプログラム製品。
  26. 各バッファが、それぞれの有効期間を有し、その満了時に該バッファは、発行者及び購読者に対してアクセス不能にされることになることを特徴とする請求項１９に記載のコンピュータプログラム製品。
  27. 各チャネルに関連付けられた前記メッセージを順序付ける段階は、該メッセージを該メッセージのそれぞれの受信時間に従って順序付ける段階を含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
JP2018518524A 2015-10-09 2016-06-14 メッセージデータを格納するためのシステム及び方法 Expired - Fee Related JP6732899B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/879,661 2015-10-09
US14/879,661 US9385976B1 (en) 2015-10-09 2015-10-09 Systems and methods for storing message data
PCT/US2016/037358 WO2017062073A1 (en) 2015-10-09 2016-06-14 Systems and methods for storing message data

Publications (3)

Publication Number Publication Date
JP2018531465A true JP2018531465A (ja) 2018-10-25
JP2018531465A6 JP2018531465A6 (ja) 2018-12-13
JP6732899B2 JP6732899B2 (ja) 2020-07-29

Family

ID=56235052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518524A Expired - Fee Related JP6732899B2 (ja) 2015-10-09 2016-06-14 メッセージデータを格納するためのシステム及び方法

Country Status (6)

Country Link
US (4) US9385976B1 (ja)
EP (1) EP3360297A1 (ja)
JP (1) JP6732899B2 (ja)
CN (1) CN108370345A (ja)
AU (1) AU2016335508A1 (ja)
WO (1) WO2017062073A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602455B2 (en) 2015-08-07 2017-03-21 Machine Zone, Inc. Scalable, real-time messaging system
US9407585B1 (en) 2015-08-07 2016-08-02 Machine Zone, Inc. Scalable, real-time messaging system
US9319365B1 (en) 2015-10-09 2016-04-19 Machine Zone, Inc. Systems and methods for storing and transferring message data
US9385976B1 (en) 2015-10-09 2016-07-05 Machine Zone, Inc. Systems and methods for storing message data
US9397973B1 (en) 2015-10-16 2016-07-19 Machine Zone, Inc. Systems and methods for transferring message data
US9602450B1 (en) * 2016-05-16 2017-03-21 Machine Zone, Inc. Maintaining persistence of a messaging system
US10404647B2 (en) 2016-06-07 2019-09-03 Satori Worldwide, Llc Message compression in scalable messaging system
US9608928B1 (en) * 2016-07-06 2017-03-28 Machine Zone, Inc. Multiple-speed message channel of messaging system
US9967203B2 (en) 2016-08-08 2018-05-08 Satori Worldwide, Llc Access control for message channels in a messaging system
US10374986B2 (en) 2016-08-23 2019-08-06 Satori Worldwide, Llc Scalable, real-time messaging system
US10305981B2 (en) 2016-08-31 2019-05-28 Satori Worldwide, Llc Data replication in scalable messaging system
US9667681B1 (en) 2016-09-23 2017-05-30 Machine Zone, Inc. Systems and methods for providing messages to multiple subscribers
US10187278B2 (en) 2017-02-24 2019-01-22 Satori Worldwide, Llc Channel management in scalable messaging system
US10447623B2 (en) 2017-02-24 2019-10-15 Satori Worldwide, Llc Data storage systems and methods using a real-time messaging system
US10270726B2 (en) 2017-02-24 2019-04-23 Satori Worldwide, Llc Selective distribution of messages in a scalable, real-time messaging system
CN110225134A (zh) * 2019-06-21 2019-09-10 浙江数值跳跃网络科技有限公司 一种区块链系统中多终端可用数据通信同步协议
US11449339B2 (en) * 2019-09-27 2022-09-20 Red Hat, Inc. Memory barrier elision for multi-threaded workloads
EP4188567A1 (en) * 2020-08-03 2023-06-07 Google LLC Game platform using zero-copy data transfer
US11675771B1 (en) * 2020-10-29 2023-06-13 Splunk Inc. Identity resolution
US11178091B1 (en) * 2020-11-12 2021-11-16 Chicago Mercantile Exchange Inc. Message ordering buffer
US11709620B2 (en) * 2020-11-13 2023-07-25 Ford Global Technologies, Llc Methods and systems for memory management in a publish and subscribe system
US11429290B2 (en) 2020-11-13 2022-08-30 Argo AI, LLC Methods and systems for providing a lockless access to a shared memory region in a publish and subscribe system
CN114297109B (zh) * 2021-12-28 2024-05-24 中汽创智科技有限公司 一种基于订阅发布模式的数据处理方法、装置、电子设备及存储介质
GB2617345B (en) * 2022-04-04 2024-06-05 Aptiv Technoologies Ag Data transmission system, vehicle comprising the data transmission system, data transmission method and computer program
US20230385137A1 (en) * 2022-05-24 2023-11-30 Chaitanya Parkhi Method and system for self-managing and controlling message queues

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285287A (ja) * 2000-02-18 2001-10-12 Agilent Technol Inc プレフィルタリング及びポストフィルタリングを利用したパブリッシュ／サブスクライブ装置及び方法
US20050256931A1 (en) * 2004-04-30 2005-11-17 Bernd Follmeg Methods and apparatuses for processing messages in an enterprise computing environment
US20050262205A1 (en) * 2004-04-30 2005-11-24 Nikolov Radoslav I Delivering messages in an enterprise messaging system using message selector hierarchy
US20080133541A1 (en) * 2006-11-30 2008-06-05 International Business Machines Corporation Flexible Topic Identification in a Publish/Subscribe System
US20080168122A1 (en) * 2007-01-10 2008-07-10 Benjamin Joseph Fletcher Publish/subscribe system
JP2013192025A (ja) * 2012-03-14 2013-09-26 Nec Corp メッセージングシステム、メッセージング方法およびプログラム

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2762097A (en) * 1952-11-22 1956-09-11 Kruger Susan Ingot mould apparatus
US4264924A (en) 1978-03-03 1981-04-28 Freeman Michael J Dedicated channel interactive cable television system
US5706331A (en) 1995-08-22 1998-01-06 Motorola, Inc. System and method for selecting a subsystem for message traffic in an integrated communication network
US5878228A (en) 1996-11-15 1999-03-02 Northern Telecom Limited Data transfer server with time slots scheduling base on transfer rate and predetermined data
US5982436A (en) 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
US7065633B1 (en) 1999-01-28 2006-06-20 Ati International Srl System for delivering exception raised in first architecture to operating system coded in second architecture in dual architecture CPU
US8065504B2 (en) 1999-01-28 2011-11-22 Ati International Srl Using on-chip and off-chip look-up tables indexed by instruction address to control instruction execution in a processor
US8074055B1 (en) 1999-01-28 2011-12-06 Ati Technologies Ulc Altering data storage conventions of a processor when execution flows from first architecture code to second architecture code
ATE414942T1 (de) 1999-02-26 2008-12-15 Henry Haugland Massenerzeugung individualer virtueller servern, vertueller webseiten sowie virtueller webobjekten
US7254806B1 (en) 1999-08-30 2007-08-07 Ati International Srl Detecting reordered side-effects
TW454120B (en) 1999-11-11 2001-09-11 Miralink Corp Flexible remote data mirroring
US8086672B2 (en) 2000-06-17 2011-12-27 Microsoft Corporation When-free messaging
US7219158B2 (en) 2000-07-21 2007-05-15 Hughes Network Systems Llc Method and system for improving network performance using a performance enhancing proxy
US7929562B2 (en) 2000-11-08 2011-04-19 Genesis Telecommunications Laboratories, Inc. Method and apparatus for optimizing response time to events in queue
US6718327B1 (en) 2001-08-31 2004-04-06 Openwave Systems Inc. Fault-tolerant queue with autonomous client operation
US7406537B2 (en) 2002-11-26 2008-07-29 Progress Software Corporation Dynamic subscription and message routing on a topic between publishing nodes and subscribing nodes
US7668908B2 (en) 2001-12-14 2010-02-23 Microsoft Corporation System and method for generalized and distributed scalable eventing system
US7376092B2 (en) 2002-04-03 2008-05-20 Precache Inc. Method and apparatus for implementing persistent and reliable message delivery
US7162628B2 (en) 2002-07-23 2007-01-09 Cisco Technology, Inc. Method, system, apparatus and program product for temporary personalization of a computer terminal
US7720910B2 (en) 2002-07-26 2010-05-18 International Business Machines Corporation Interactive filtering electronic messages received from a publication/subscription service
US8176154B2 (en) 2002-09-30 2012-05-08 Avaya Inc. Instantaneous user initiation voice quality feedback
AU2003301374A1 (en) 2002-10-17 2004-05-04 Tibco Software Inc. Method and system to communicate messages in a computer network
US7657596B2 (en) 2002-10-24 2010-02-02 Sun Microsystems, Inc. Distributed data sharing methods and systems
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US7616208B2 (en) 2002-12-18 2009-11-10 Genesys Conferencing Ltd. Method and system for application broadcast
US7676580B2 (en) 2003-03-27 2010-03-09 Microsoft Corporation Message delivery with configurable assurances and features between two endpoints
GB0308035D0 (en) 2003-04-08 2003-05-14 Ibm Liveness monitoring in a publish/subscribe messaging system
US20050047396A1 (en) 2003-08-29 2005-03-03 Helm David P. System and method for selecting the size of dynamic voice jitter buffer for use in a packet switched communications system
US7885901B2 (en) 2004-01-29 2011-02-08 Yahoo! Inc. Method and system for seeding online social network contacts
US7640357B2 (en) 2004-04-30 2009-12-29 Sap Ag Transmitting enterprise messages based on buffer sizes
US7649937B2 (en) 2004-06-22 2010-01-19 Auction Management Solutions, Inc. Real-time and bandwidth efficient capture and delivery of live video to multiple destinations
US7613813B2 (en) 2004-09-10 2009-11-03 Cavium Networks, Inc. Method and apparatus for reducing host overhead in a socket server implementation
US8051140B2 (en) 2004-10-08 2011-11-01 Sharp Laboratories Of America, Inc. Methods and systems for imaging device control
US8065384B2 (en) 2004-10-08 2011-11-22 Sharp Laboratories Of America, Inc. Methods and systems for imaging device event notification subscription
US7774720B1 (en) 2004-10-15 2010-08-10 Oracle America, Inc. Connectivity map editor
US20060106840A1 (en) 2004-11-04 2006-05-18 International Business Machines Corporation System and method for tracking notifications in a publish subscribe system
US7779418B2 (en) * 2004-12-30 2010-08-17 Oracle International Corporation Publisher flow control and bounded guaranteed delivery for message queues
CA2594036A1 (en) 2005-01-06 2006-07-13 Tervela, Inc. Intelligent messaging application programming interface
US8788565B2 (en) 2005-07-18 2014-07-22 Wayne Bevan Dynamic and distributed queueing and processing system
US7941448B2 (en) 2005-08-26 2011-05-10 At&T Intellectual Property Ii, Lp System and method for event driven publish-subscribe communications
US7917124B2 (en) 2005-09-20 2011-03-29 Accenture Global Services Limited Third party access gateway for telecommunications services
JP4658142B2 (ja) 2005-11-30 2011-03-23 富士通株式会社 通信装置およびフレーム制御方法
US8965409B2 (en) 2006-03-17 2015-02-24 Fatdoor, Inc. User-generated community publication in an online neighborhood social network
US8281026B2 (en) 2006-03-18 2012-10-02 Metafluent, Llc System and method for integration of streaming and static data
WO2007144611A1 (en) 2006-06-12 2007-12-21 Enigmatec Corporation Self-managed distributed mediation networks
US8429702B2 (en) 2006-09-11 2013-04-23 At&T Intellectual Property I, L.P. Methods and apparatus for selecting and pushing customized electronic media content
US9270944B2 (en) 2007-02-14 2016-02-23 Time Warner Cable Enterprises Llc Methods and apparatus for content delivery notification and management
US8396959B2 (en) 2007-03-21 2013-03-12 Inetco Systems Limited Method and system for monitoring messages passed over a network
US8145704B2 (en) 2007-06-13 2012-03-27 Ntech Properties, Inc. Method and system for providing media programming
US8799213B2 (en) 2007-07-31 2014-08-05 Oracle International Corporation Combining capture and apply in a distributed information sharing system
US9224150B2 (en) 2007-12-18 2015-12-29 Napo Enterprises, Llc Identifying highly valued recommendations of users in a media recommendation network
US8234193B2 (en) 2008-03-03 2012-07-31 Wildfire Interactive, Inc. Method and system for providing online promotions through a social network-based platform
US8452833B2 (en) 2008-05-13 2013-05-28 International Business Machines Corporation Cached message distribution via HTTP redirects
US8898293B2 (en) 2009-01-28 2014-11-25 Headwater Partners I Llc Service offer set publishing to device agent with on-device service selection
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8301687B2 (en) 2009-03-31 2012-10-30 Software Ag Systems and/or methods for standards-based messaging
US20130254314A1 (en) 2009-06-09 2013-09-26 Edmond K. Chow Digital content delivery
US8392555B2 (en) 2009-06-01 2013-03-05 International Business Machines Corporation Push-back mechanism for pub/sub brokers
US20110060812A1 (en) 2009-09-10 2011-03-10 Level 3 Communications, Llc Cache server with extensible programming framework
US8375095B2 (en) 2009-12-22 2013-02-12 Microsoft Corporation Out of order durable message processing
US8346935B2 (en) 2010-01-15 2013-01-01 Joyent, Inc. Managing hardware resources by sending messages amongst servers in a data center
JP5340186B2 (ja) 2010-01-21 2013-11-13 アラクサラネットワークス株式会社 パケット中継装置及びパケットを中継する方法
US8850015B2 (en) 2010-01-26 2014-09-30 Cisco Technology, Inc. Network-network interface
US8489674B2 (en) 2010-03-11 2013-07-16 Yahoo! Inc. Distributed publish/subscribe system
US9338064B2 (en) 2010-06-23 2016-05-10 Twilio, Inc. System and method for managing a computing cluster
US8626778B2 (en) 2010-07-23 2014-01-07 Oracle International Corporation System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases
US8441965B2 (en) 2010-08-05 2013-05-14 Apple Inc. Methods and apparatus for reducing data transmission overhead
US8589732B2 (en) 2010-10-25 2013-11-19 Microsoft Corporation Consistent messaging with replication
CN102469032B (zh) 2010-10-29 2015-03-25 国际商业机器公司 发布-订阅消息传递的方法和系统
WO2012078971A2 (en) 2010-12-10 2012-06-14 Rockefeller Consulting Technology Integration, Inc. Systems and methods for integrating personal social networks within an organization
US20120150960A1 (en) 2010-12-13 2012-06-14 Gargi Nalawade Social Networking
US20120278728A1 (en) 2011-04-29 2012-11-01 Sling Media Inc. Download monitoring in a media distribution system
US8719876B2 (en) 2011-05-06 2014-05-06 Verizon Patent And Licensing Inc. Video on demand architecture
US8886731B2 (en) 2011-06-01 2014-11-11 Microsoft Corporation Decentralized relaying algorithm for mobile devices
US20130031216A1 (en) 2011-07-29 2013-01-31 Myxer, Inc. Systems and methods for generation of customized media playlists
US9177336B2 (en) 2011-09-08 2015-11-03 Telefonaktiebolaget L M Ericsson (Publ) Apparatuses and methods for recommending a path through an information space
US20130066967A1 (en) 2011-09-12 2013-03-14 Vizibility Inc. System and method for discovering and interacting with common connections
US9191355B2 (en) 2011-09-12 2015-11-17 Crytek Gmbh Computer-implemented method for posting messages about future events to users of a social network, computer system and computer-readable medium thereof
US8607249B2 (en) * 2011-09-22 2013-12-10 Oracle International Corporation System and method for efficient concurrent queue implementation
CN103946804B (zh) 2011-11-18 2017-11-21 汤姆逊许可公司 包括用于终端用户装置的远程管理的发布/订阅代理及相应的终端用户装置的系统
EP3249546B1 (en) 2011-12-14 2022-02-09 Level 3 Communications, LLC Content delivery network
US10051038B2 (en) 2011-12-23 2018-08-14 Intel Corporation Shared send queue
CN103379021B (zh) * 2012-04-24 2017-02-15 中兴通讯股份有限公司 实现分布式消息队列的方法及系统
US20130290449A1 (en) 2012-04-25 2013-10-31 Origami Labs, Inc. Privacy-based social content broadcast systems and methods
CN102724304A (zh) * 2012-06-06 2012-10-10 哈尔滨工程大学 订阅/发布系统中信息仓库联邦及数据同步方法
US9451298B2 (en) * 2012-07-02 2016-09-20 Sony Corporation Transmission device, transmission method, and network apparatus
US20140114738A1 (en) 2012-10-24 2014-04-24 Erick Tseng Automatic Check-In Using Social-Networking Information
US20140237057A1 (en) 2013-02-21 2014-08-21 Genesys Telecommunications Laboratories, Inc. System and method for processing private messages in a contact center
US9043822B1 (en) 2013-03-14 2015-05-26 Cox Communications, Inc. Remote time shift buffering with shadow tuning
US8850490B1 (en) 2013-05-07 2014-09-30 Google Inc. Consuming paid media in an internet-based content platform
US9767138B2 (en) 2013-06-12 2017-09-19 Oracle International Corporation In-database sharded queue for a shared-disk database
US8824664B1 (en) 2013-06-13 2014-09-02 Genesys Telecommunications Laboratories, Inc. System and method for controlling lifespan of interaction requests
US9342554B2 (en) 2013-07-05 2016-05-17 Facebook, Inc. Techniques to generate mass push notifications
US9813515B2 (en) 2013-10-04 2017-11-07 Akamai Technologies, Inc. Systems and methods for caching content with notification-based invalidation with extension to clients
US9729653B2 (en) 2014-01-23 2017-08-08 Software Ag Systems and/or methods for automatically tuning a delivery system for transmission of large, volatile data
US20150262151A1 (en) 2014-03-11 2015-09-17 Nibl, Inc. Access Control System for Online Content
US9450895B2 (en) 2014-03-28 2016-09-20 Futurewei Technologies, Inc. Context-aware dynamic policy selection for messaging behavior
US20150317676A1 (en) 2014-05-01 2015-11-05 Vibe-It LLC Systems and methods for monitoring and responding to customer feedback
US20150379160A1 (en) 2014-06-29 2015-12-31 Yaniv AVRAHAM Apparatus and methods for transferring focus control and related return content within a graphical user interface
US10033784B2 (en) 2014-07-14 2018-07-24 International Business Machines Corporation Predictive management of offline storage content for mobile applications and optimized network usage for mobile devices
US20160219089A1 (en) 2015-01-23 2016-07-28 Ebay Inc. Systems and methods for messaging and processing high volume data over networks
US9742651B2 (en) 2015-03-05 2017-08-22 International Business Machines Corporation Client-side fault tolerance in a publish-subscribe system
US10432741B2 (en) 2015-03-25 2019-10-01 Open Access Technology International, Inc. Systems and methods for guaranteeing delivery of pushed data to remote clients
CN104836723B (zh) * 2015-03-31 2020-07-31 青岛海尔智能家电科技有限公司 基于mqtt主题订阅机制的通信方法以及接入网关
US9407585B1 (en) 2015-08-07 2016-08-02 Machine Zone, Inc. Scalable, real-time messaging system
US9319363B1 (en) 2015-08-07 2016-04-19 Machine Zone, Inc. Scalable, real-time messaging system
US9319365B1 (en) 2015-10-09 2016-04-19 Machine Zone, Inc. Systems and methods for storing and transferring message data
US9385976B1 (en) 2015-10-09 2016-07-05 Machine Zone, Inc. Systems and methods for storing message data
US9397973B1 (en) 2015-10-16 2016-07-19 Machine Zone, Inc. Systems and methods for transferring message data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285287A (ja) * 2000-02-18 2001-10-12 Agilent Technol Inc プレフィルタリング及びポストフィルタリングを利用したパブリッシュ／サブスクライブ装置及び方法
US20050256931A1 (en) * 2004-04-30 2005-11-17 Bernd Follmeg Methods and apparatuses for processing messages in an enterprise computing environment
US20050262205A1 (en) * 2004-04-30 2005-11-24 Nikolov Radoslav I Delivering messages in an enterprise messaging system using message selector hierarchy
US20080133541A1 (en) * 2006-11-30 2008-06-05 International Business Machines Corporation Flexible Topic Identification in a Publish/Subscribe System
US20080168122A1 (en) * 2007-01-10 2008-07-10 Benjamin Joseph Fletcher Publish/subscribe system
JP2013192025A (ja) * 2012-03-14 2013-09-26 Nec Corp メッセージングシステム、メッセージング方法およびプログラム

Also Published As

Publication number Publication date
US9838340B2 (en) 2017-12-05
CN108370345A (zh) 2018-08-03
US20180069810A1 (en) 2018-03-08
US10218646B2 (en) 2019-02-26
US10541945B2 (en) 2020-01-21
JP6732899B2 (ja) 2020-07-29
WO2017062073A1 (en) 2017-04-13
US20170104696A1 (en) 2017-04-13
AU2016335508A1 (en) 2018-05-10
US20190149487A1 (en) 2019-05-16
US9385976B1 (en) 2016-07-05
EP3360297A1 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
JP6732899B2 (ja) メッセージデータを格納するためのシステム及び方法
JP2018531465A6 (ja) メッセージデータを格納するためのシステム及び方法
US10389674B2 (en) Systems and methods for storing and transferring message data
US10637947B2 (en) Scalable, real-time messaging system
US9843640B2 (en) Scalable, real-time messaging system
US9876745B2 (en) Systems and methods for transferring message data
US9319363B1 (en) Scalable, real-time messaging system
JP2019535072A (ja) 複数の購読者にメッセージを提供するためのシステム及び方法
JP2018531472A (ja) スケーラブルなリアルタイムメッセージングシステム
JP2018531472A6 (ja) スケーラブルなリアルタイムメッセージングシステム
JP2019532399A (ja) スケーラブルメッセージングシステムにおけるデータ複製

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6732899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees