JP5050649B2 - Computer system, method, and program for queuing - Google Patents
Computer system, method, and program for queuing Download PDFInfo
- Publication number
- JP5050649B2 JP5050649B2 JP2007137469A JP2007137469A JP5050649B2 JP 5050649 B2 JP5050649 B2 JP 5050649B2 JP 2007137469 A JP2007137469 A JP 2007137469A JP 2007137469 A JP2007137469 A JP 2007137469A JP 5050649 B2 JP5050649 B2 JP 5050649B2
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- probability value
- queue
- service request
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000008569 process Effects 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 241001466538 Gymnogyps Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241000122205 Chamaeleonidae Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Multi Processors (AREA)
Description
本発明は、コンピュータのネットワーク化に関し、より具体的には、コンピュータのクラスタ環境におけるキューイングに関する。即ち、本発明は、このようなキューイングを行うコンピュータシステム、方法、及びプログラムに関する。 The present invention relates to computer networking, and more specifically to queuing in a cluster environment of computers. That is, the present invention relates to a computer system, method, and program for performing such queuing.
グリッド及びクラスタコンピューティングを用いる分散システムにおいて計算量の多いタスクを処理するには、負荷バランシングがますます重要な問題となってきた。１９９０年代からこのような分散システムの使用が増加したのには、いくつかの理由がある。まず、科学者たちは、並列アルゴリズムを効果的に用いることにより、複数のワークステーション及びパーソナルコンピュータにおいて、スーパーコンピュータと同じぐらいの速さで、複雑な計算タスクを処理することができるようになった。スーパーコンピュータは卓越した計算力を備えるとこれまでは考えられてきたが、１台のスーパーコンピュータを購入するよりも複数のワークステーション及びパーソナルコンピュータを共用した方がはるかにコストは安い。２番目に、インターネット、無線ネットワーク、及びモバイルコンピューティングが急成長したことによって、データ及びユーザの場所が分散しているために分散コンピューティング環境を必要とするアプリケーションが多数生じた。最後に重要なことであるが、インターネットのような広域ネットワークではユーザの数が急激に増加し得るので、短時間でサーバに高負荷がかかる可能性があり、そうすると、サーバは「ホットスポット」となって、キューにおけるユーザ要求の待ち時間が大幅に長くなることにより、ユーザに対する平均サービス時間が非合理的に増加する。 Load balancing has become an increasingly important issue for handling computationally intensive tasks in distributed systems using grid and cluster computing. There are several reasons why the use of such distributed systems has increased since the 1990s. First, scientists have been able to process complex computational tasks on multiple workstations and personal computers as fast as supercomputers by effectively using parallel algorithms. . Although it has been believed that supercomputers have outstanding computing power, it is much cheaper to share multiple workstations and personal computers than to buy a single supercomputer. Second, the rapid growth of the Internet, wireless networks, and mobile computing has resulted in many applications that require a distributed computing environment due to the distributed data and user locations. Last but not least, in a wide area network like the Internet, the number of users can increase exponentially, which can put a heavy load on the server in a short time, and the server is a “hot spot”. Thus, the average service time for the user increases unreasonably due to the significantly increased waiting time for user requests in the queue.
従って、グリッド及びクラスタコンピューティング環境では、１種類のユーザ要求を処理するのに複数個（複数インスタンス）のサーバがインストールされており、これをサーバプール若しくはクラスタと呼ぶことがある。クラスタにおけるサーバはいずれも、計算タスクである要求を処理することができ、要求はそれを処理するのに使用可能な１つのサーバが割り当てられるまで、キューに並んでいなければならない。このクラスタに使用可能なサーバがない場合、その要求を別のクラスタに転送することは可能であるが、これらのクラスタをネットワーク化することは、効率、スケーラビリティ（拡張可能性）、及びセキュリティの点で困難である。例えば２００４年には、世界的に、３７，７９０のホストを含む９５６のコンドルプール(Condor pool：計算資源、即ちサーバのホストコンピュータのクラスタ）があった。伝えられるところによると、グーグル(Google)（登録商標）のようなサービスプロバイダは、そのクラスタに約１０万台のコンピュータを備えている。２００５年１２月８日の報告によると、グリッド（Grid）は、世界に、３５０万台のコンピュータデバイス及び１３０万人のメンバーを包含している。 Therefore, in a grid and cluster computing environment, a plurality of (multiple instances) servers are installed to process one type of user request, which may be referred to as a server pool or cluster. Any server in the cluster can process a request that is a computational task, and the request must be queued until one server is assigned that can be used to process it. If there are no servers available in this cluster, it is possible to forward the request to another cluster, but networking these clusters is efficient, scalable, and secure. It is difficult. For example, in 2004, there were 956 condor pools (condor pools, ie, a cluster of host computers of servers) including 37,790 hosts worldwide. Reportedly, service providers such as Google® have approximately 100,000 computers in their cluster. According to a December 8, 2005 report, the Grid encompasses 3.5 million computer devices and 1.3 million members worldwide.
非特許文献１〜非特許文献３には、このような従来のグリッド・クラスタコンピューティング技術が記載されている。また非特許文献４には、従来のキューイング技術が記載されている。
Non-Patent
一般的には、待ち行列理論において広く研究されてきたように、複数のサーバに対して共通キューを用いる方が、１つのサーバに対してそれぞれ別個のキューを用いるよりも効率が良い。その理由は、共通キューによれば、キューが空でない（即ち、要求が待っている）ときは常に、いずれのアイドルサーバにもタスクを割り当てることができるからである。しかしながら、サーバがネットワーク上の地理的に分散した場所（即ち、別々のクラスタ）にインストールされている場合（特に、イントラネットが地球上の複数の場所に及ぶ世界的ビジネスの場合）、このような共通キューを実施することは実際には非常に困難である。例えば、コンドルプールは、フロッキング(flocking)及びグライディングイン(gliding in)を用いて、クラスタ外部にある使用可能なサーバを探し出すが、世界的ネットワークではスケーラビリティ及び性能に限りがある。 Generally, as has been widely studied in queuing theory, using a common queue for a plurality of servers is more efficient than using a separate queue for each server. The reason is that, according to the common queue, a task can be assigned to any idle server whenever the queue is not empty (ie, a request is waiting). However, if the servers are installed in geographically dispersed locations on the network (ie, separate clusters) (especially for global businesses where the intranet spans multiple locations on the globe), this common It is actually very difficult to implement a queue. For example, condor pools use flocking and gliding in to find available servers outside the cluster, but global networks have limited scalability and performance.
従って、従来のキューイング技法では、サーバの共同クラスタ用の共通キューを作成するスケーラブル（拡張可能）なキューイングアルゴリズムを提供することができない。
本発明の手法は、従来のキューイング技法に関する上記及びその他の問題のうちの１つ以上を実質的に取り除くシステム、方法、及びプログラムを提供する。 The inventive approach provides a system, method, and program that substantially eliminates one or more of the above and other problems associated with conventional queuing techniques.
本発明の請求項１に係る発明は、ａ．少なくとも１つのサーバ及び第１キューを備えると共に、サービス要求に応じてサービスを提供するように動作可能な、第１クラスタと、ｂ．第２キューを備えると共に、サービス要求に応じてサービスを提供するように動作可能な、第２クラスタと、を備える、コンピュータシステムであって、前記第１クラスタが、i. サービス要求を受信し、ii. 前記第１クラスタにアイドルサーバがあるかどうか判別し、iii.前記第１クラスタにアイドルサーバがある場合には、該アイドルサーバに前記受信した要求を割り当て、iv. 前記第１クラスタにアイドルサーバがない場合には、予め算出した第１確率値で、前記受信したサービス要求を前記第１キューに入れ、前記第１確率値では前記受信したサービス要求を前記第１キューに入れない場合には、予め算出した第２確率値で、前記受信したサービス要求を前記第２クラスタに転送し、前記第２確率値では前記受信したサービス要求を第２クラスタに転送しない場合には、前記受信したサービス要求を前記第１キューに入れるように動作可能であることを特徴とする。
The invention according to
本発明の請求項２に係る発明は、請求項１のシステムにおいて、前記第１確率値が、前記第１キューに待機しているサービス要求の数に基づいて決定されることを特徴とする。
The invention according to claim 2 of the present invention is characterized in that, in the system of
本発明の請求項３に係る発明は、請求項１のシステムにおいて、前記第１確率値が、前記第１クラスタにおけるサーバの数に基づいて決定されることを特徴とする。
The invention according to claim 3 of the present invention is characterized in that, in the system of
本発明の請求項４に係る発明は、請求項１のシステムにおいて、前記第１確率値が、前記第１キューに待機しているサービス要求の数及び前記第１クラスタにおけるサーバの数に基づいて決定されることを特徴とする。 According to a fourth aspect of the present invention, in the system of the first aspect, the first probability value is based on the number of service requests waiting in the first queue and the number of servers in the first cluster. It is determined.
本発明の請求項５に係る発明は、請求項１のシステムにおいて、 前記第１確率値（Ｐ k ）は、前記第１キューに待機しているサービス要求の数Ｎ k と前記サーバの数ｍ k とを用いた下記の式、から算出されることを特徴とする。
本発明の請求項６に係る発明は、請求項１のシステムにおいて、前記第１クラスタの前記第１キューと前記第２クラスタの前記第２キューとの間のリンクをさらに備えることを特徴とする。
The invention according to
本発明の請求項７に係る発明は、請求項１のシステムにおいて、前記第１クラスタが、前記第１確率値を少なくとも含むローカル状態情報を前記第２クラスタに定期的に提供するように動作可能であることを特徴とする。
The invention according to claim 7 of the present invention is operable in the system of
本発明の請求項８に係る発明は、請求項７のシステムにおいて、前記ローカル状態情報が、前記第１クラスタにおける前記第１確率値（Ｐ k ）と前記第２クラスタにおける前記第１確率値（Ｐ ｙ ）とを用いた下の式で表される情報Ｒ kを更に含み、
本発明の請求項９に係る発明は、少なくとも１つのクラスタ化されたサーバを含むシステムにおける方法。であって、
ａ．第１キューを備える第１クラスタにおいてサービス要求を受信し、ｂ．前記第１クラスタにアイドルサーバがあるかどうか判別し、ｃ．前記第１クラスタにアイドルサーバがある場合には、該アイドルサーバに前記受信したサービス要求を割り当て、ｄ．前記第１クラスタにアイドルサーバがない場合には、予め算出した第１確率値で、前記受信したサービス要求を前記第１キューに入れ、前記第１確率値では前記受信したサービス要求を前記第１キューに入れない場合には、予め算出した第２確率値で、前記受信したサービス要求を前記第２クラスタに転送し、前記第２確率値では前記受信したサービス要求を第２クラスタに転送しない場合には、前記受信したサービス要求を前記第１キューに入れることを特徴とする。
The invention according to claim 9 of the present invention is a method in a system including at least one clustered server. Because
a. Receiving a service request in a first cluster comprising a first queue; b. Determining whether there is an idle server in the first cluster; c. If there is an idle server in the first cluster, assign the received service request to the idle server; d. Wherein if there is no idle server in the first cluster, the first probability value calculated in advance, input is the previous SL received service request to said first queue, wherein the service request thus received in the first probability value If it is not possible to enter the first queue, the received service request is transferred to the second cluster with a pre-calculated second probability value, and the received service request is transferred to the second cluster with the second probability value. If not is characterized Rukoto put the received service request to the first queue.
本発明の請求項１０に係る発明は、請求項９の方法において、前記第１確率値が、前記第１キューに待機しているサービス要求の数に基づいて決定されることを特徴とする。 The invention according to claim 10 of the present invention is characterized in that, in the method of claim 9 , the first probability value is determined based on the number of service requests waiting in the first queue.
本発明の請求項１１に係る発明は、請求項９の方法において、前記第１確率値が、前記第１クラスタにおけるサーバの数に基づいて決定されることを特徴とする。 According to an eleventh aspect of the present invention, in the method according to the ninth aspect , the first probability value is determined based on the number of servers in the first cluster.
本発明の請求項１２に係る発明は、請求項９の方法において、前記第１確率値が、前記第１キューに待機しているサービス要求の数及び前記第１クラスタにおけるサーバの数に基づいて決定されることを特徴とする。 The invention according to claim 12 of the present invention is the method of claim 9 , wherein the first probability value is based on the number of service requests waiting in the first queue and the number of servers in the first cluster. It is determined.
本発明の請求項１３に係る発明は、請求項９の方法において、前記第１確率値（Ｐ k ）は、前記第１キューに待機しているサービス要求の数Ｎ k と前記サーバの数ｍ k とを用いた下記の式、から算出されることを特徴とする。
本発明の請求項１４に係る発明は、請求項９の方法において、ローカル状態情報を前記第２クラスタに定期的に提供することを更に含むことを特徴とする。 The invention according to claim 14 of the present invention is characterized in that, in the method of claim 9 , further comprising: periodically providing local state information to the second cluster.
本発明の請求項１５に係る発明は、請求項１４の方法において、前記ローカル状態情報が、前記第１クラスタにおける前記第１確率値（Ｐ k ）と前記第２クラスタにおける前記第１確率値（Ｐ ｙ ）とを用いた下の式で表される情報Ｒ kを更に含み、
本発明の請求項１６に係る発明は、少なくとも１つのクラスタ化されたサーバを含むシステムにおいて、コンピュータにキューイング処理を実行させるためのコードを含むプログラムであって、前記コードは、ａ．第１キューを備える第１クラスタにおいてサービス要求を受信し、ｂ．前記第１クラスタにアイドルサーバがあるかどうか判別し、前記第１クラスタにアイドルサーバがある場合には、該アイドルサーバに前記受信したサービス要求を割り当て、前記第１クラスタにアイドルサーバがない場合には、予め算出した第１確率値で、前記受信したサービス要求を前記第１キューに入れ、前記第１確率値では前記受信したサービス要求を前記第１キューに入れない場合には、予め算出した第２確率値で、前記受信したサービス要求を前記第２クラスタに転送し、前記第２確率値では前記受信したサービス要求を第２クラスタに転送しない場合には、前記受信したサービス要求を前記第１キューに入れること、を含む処理をコンピュータに実行させることを特徴とする。
The invention according to
本発明の請求項１７に係る発明は、請求項１６のプログラムにおいて、前記第１確率値が、前記第１キューに待機しているサービス要求の数に基づいて決定されることを特徴とする。 According to a seventeenth aspect of the present invention, in the program of the sixteenth aspect , the first probability value is determined based on the number of service requests waiting in the first queue.
本発明の請求項１８に係る発明は、請求項１６のプログラムにおいて、前記第１確率値が、前記第１クラスタにおけるサーバの数に基づいて決定されることを特徴とする。 According to an eighteenth aspect of the present invention, in the program of the sixteenth aspect , the first probability value is determined based on the number of servers in the first cluster.
本発明の請求項１９に係る発明は、請求項１６のプログラムにおいて、前記第１確率値が、前記第１キューに待機しているサービス要求の数及び前記第１クラスタにおけるサーバの数に基づいて決定されることを特徴とする。
The invention according to claim 19 of the present invention is the program of
本発明の請求項２０に係る発明は、請求項１６のプログラムにおいて、前記第１確率値（Ｐ k ）は、前記第１キューに待機しているサービス要求の数Ｎ k と前記サーバの数ｍ k とを用いた下記の式、から算出されることを特徴とする。
本発明の請求項２１に係る発明は、請求項１６のプログラムにおいて、ローカル状態情報を前記第２クラスタに定期的に提供する処理を更にコンピュータに実行させることを特徴とする。 According to a twenty-first aspect of the present invention, in the program of the sixteenth aspect, the computer is further caused to execute processing for periodically providing local state information to the second cluster.
本発明の請求項２２に係る発明は、請求項２１のプログラムにおいて、前記ローカル状態情報が、前記第１クラスタにおける前記第１確率値（Ｐ k ）と前記第２クラスタにおける前記第１確率値（Ｐ ｙ ）とを用いた下の式で表される情報Ｒ kを更に含み、
本発明に関する更なる態様について、一部は以下の説明で述べられ、一部は以下の説明から明らかとなるか或いは本発明の実施により理解されるであろう。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲により特に示される原理、並びに、様々な原理と態様との組み合わせによって、実現され、達成され得る。 Additional aspects relating to the invention will be set forth in part in the description which follows, and in part will be apparent from the description, or may be learned by practice of the invention. Aspects of the invention may be realized and attained by the principles particularly pointed out in the following detailed description and the appended claims, as well as in combination with various principles and aspects.
当然のことながら、上記及び下記記述は共に、単なる例示及び説明であり、いかなる形においても、特許請求の範囲に記載されている発明又はその特許出願を限定することを意図しない。 It will be appreciated that both the above and following descriptions are merely exemplary and explanatory and are not intended to limit the claimed invention or its patent application in any way.
本発明によるシステム、方法、プログラムにより、複数のクラスタ間での共有キューを効率よく、かつ容易にシステムを拡張可能な形態で維持することができるという効果がある。 With the system, method, and program according to the present invention, there is an effect that a shared queue among a plurality of clusters can be efficiently and easily maintained in a form that can be expanded.
本明細書中に組み込まれ且つ本明細書の一部を構成する添付の図面は、本発明の実施形態を例示しており、以下の記述と共に、本発明の技法の原理を説明及び図示する機能を果たす。 The accompanying drawings, which are incorporated in and constitute a part of this specification, illustrate embodiments of the invention and together with the following description, illustrate and illustrate the principles of the techniques of the invention. Fulfill.
以下の詳細な説明において、添付の図面を参照するが、これらの図面では、全く同一機能の要素は同じ参照番号で示されている。添付の図面は、限定の目的ではなく、例示の目的で、本発明の原理に従った具体的な実施形態及び実施例を示している。これらの実施例は、当業者が本発明を実施することができるように詳細に説明されており、当然のことながら、他の実施例を用いてもよく、本発明の範囲及び精神を逸脱しない限り、構造的な変更や様々な要素の置き換えを行ってもよい。従って、以下の詳細な説明は、限定された意味で解釈されるものではない。更に、説明する本発明の様々な実施形態は、汎用コンピュータで実行するソフトウェアの形態で実施されても、専用ハードウェアの形態で実施されても、ソフトウェアとハードウェアを組み合わせた形態で実施されてもよい。 In the following detailed description, reference will be made to the accompanying drawings, in which identically functional elements are designated with the same reference numerals. The accompanying drawings illustrate, by way of example and not limitation, specific embodiments and examples consistent with the principles of the invention. These embodiments are described in detail to enable those skilled in the art to practice the invention, and it is understood that other embodiments may be used and do not depart from the scope and spirit of the invention. As long as the structure is changed, various elements may be replaced. The following detailed description is, therefore, not to be construed in a limited sense. Furthermore, the various embodiments of the present invention described may be implemented in the form of software executing on a general purpose computer, in the form of dedicated hardware, or in the form of a combination of software and hardware. Also good.
本発明の手法の一態様は、サーバの連携クラスタ若しくはグリッド用の共通キューを実施するように設計された、高性能のキューイング方法及びシステムである。本発明の手法の一実施形態では、サーバの各クラスタがローカルキューを保持し、これらのキューがネットワーク化されることによって、これらのクラスタにおける全サーバ用の統一（若しくは共通）キューが形成される。過密なキューによって受信された受信サービス要求は、キューの長さ及び／又はその他の状態に応じて決定され且つ慎重に設定された確率を用いるランダムアルゴリズムに基づいて、他のキューへ転送される。本発明のシステムの一実施形態は、クラスタ間におけるサポートの優先順位を表すように動作可能な、ネットワークキュー間における定期的メッセージ交換アルゴリズムを備える。 One aspect of the approach of the present invention is a high performance queuing method and system designed to implement a common queue for linked clusters or grids of servers. In one embodiment of the inventive approach, each cluster of servers maintains a local queue, and these queues are networked to form a unified (or common) queue for all servers in these clusters. . Incoming service requests received by a crowded queue are forwarded to other queues based on a random algorithm that uses a carefully set probability that is determined according to queue length and / or other conditions. One embodiment of the system of the present invention comprises a periodic message exchange algorithm between network queues operable to represent the priority of support between clusters.
当業者には理解されるように、本発明の手法によれば、ローカルキューがネットワーク化されてサポートの合意が行われ、これにより、サービスのグリッドが、事業提携に適応可能となると共に参加者の数に合わせて拡張可能となる。また、理解されるように、本発明のキューイング方法は、ローカル性認識（locality awareness）及び負荷バランスを備えた状態で、キュー間において要求を転送することができ、この方法によって、各クラスタは、ローカルで発生する要求を高速処理するためのローカルキューを、サーバファームのように低いオーバヘッドで保持することができる。 As will be appreciated by those skilled in the art, according to the method of the present invention, local queues are networked and support agreements are made so that the service grid can be adapted to business alliances and participants. It can be expanded according to the number of It will also be appreciated that the queuing method of the present invention can forward requests between queues with locality awareness and load balancing, which allows each cluster to In addition, a local queue for high-speed processing of locally generated requests can be maintained with low overhead like a server farm.
従って、本発明の概念の一実施形態によれば、連携されたサーバクラスタ用の共通キューを実施する、高性能のキューイング方法が提供される。サーバの各クラスタがローカルキューを保持すると同時に、これらのキューはネットワーク化されて、これらのクラスタにおける全サーバ用の統一（若しくは共通）キューが形成される。また、ランダムアルゴリズム及びネットワークキュー間におけるメッセージ交換アルゴリズムによって、過密キューにおける要求を他のキューへ転送する方法が提案される。 Thus, according to one embodiment of the inventive concept, a high performance queuing method is provided that implements a common queue for linked server clusters. As each cluster of servers maintains a local queue, these queues are networked to form a unified (or common) queue for all servers in these clusters. In addition, a method for transferring a request in a congested queue to another queue by a random algorithm and a message exchange algorithm between network queues is proposed.
次に、本発明のキューイングシステム及び方法を、添付の図面を参照しながら詳細に説明する。図１を参照すると、本発明のシステム１００は、クラスタ１０１にインストールされた複数インスタンスのサービスを含む。このシステム１００において、各クラスタ１０１はキュー１０２を含み、受信したサービス要求１０３を保持する。当業者には理解されるように、本発明の概念は、クラスタ１０１によって提供されるいずれの特定タイプのサービスにも限定されない。このようなサービスは、あらゆる既知の若しくはこれから開発されるサービスプロトコル（例えば、ＨＴＴＰ、ＦＴＰ、ＳＯＡＰ、ＳＭＴＰ、ＩＭＡＰ、ＰＯＰなどが挙げられるが、これらに限定されない）によるサービスを含み得る。
The queuing system and method of the present invention will now be described in detail with reference to the accompanying drawings. Referring to FIG. 1, the
クラスタ１０１はそれぞれ、前記サービスを提供するように動作可能な１つ以上のサーバ１０４を含む。これらのサーバ１０４は、高いサービスアベイラビリティ（サービス提供性）及び／又はフォールトトレランス（耐障害性）を提供する技法であれば、いずれの既知の若しくはこれから開発される技法を用いて、クラスタ１０１に構成されることができる。クラスタはそれぞれ、クライアント（図示省略）からのサービス要求を受信するように動作可能である。クラスタに向けられたこのようなサービス要求は、ローカルサービス要求と呼ばれる。本発明の概念によれば、クラスタ１０１のうちの１つによって受信されたローカルサービス要求は、この受信クラスタ１０１におけるアイドルサーバに割り当てられるか、この受信クラスタのキューに入れられるか、この受信クラスタによって別のクラスタ１０１へ転送される。
Each
クラスタ１０１のうちの１つによってローカルサービス要求が受信された際、この受信クラスタ１０１内に使用可能な（即ち、アイドル状態の）サーバ１０４がまだ少なくとも１つある場合には、この使用可能なアイドルサーバのうちの１つがすぐに割り当てられ、受信された要求が処理される。逆に受信クラスタ内の全サーバ１０４が他の要求を処理するのに使用中である場合には、このクラスタ内のサーバ１０４のうちの１つがアイドル状態となるまで、要求１０３はこの受信クラスタ１０１のローカルキューに入れられる。或いは、受信された要求は、別のクラスタ１０１に転送されてもよく、この場合、この受信された要求は転送された別のクラスタ１０１において、アイドルサーバに割り当てるか、キュー１０２に入れるか、更に別のクラスタに転送されることができる。
When a local service request is received by one of the
本発明のシステムは、新しい要求１０３をキュー１０２に入れるのに確率アルゴリズムを用いることに注意されたい。具体的には、受信クラスタにアイドルサーバがない場合、要求は、ローカルキュー１０２の長さに応じて決定される確率により、受信クラスタのローカルキュー１０２の最後に追加される。そうでなければ、受信された要求１０３は、ネットワーク化された全てのキューの長さ及び／又はその他の状態によって決定される確率により、別のクラスタ１０１に属するネットワークキュー１０２に転送される。
Note that the system of the present invention uses a probability algorithm to place a
以下の記載では、コンピュータシステム内における全く同一のクラスタ１０１には１、２…で始まる数字が付与されているものとする。本発明の概念の一実施形態によれば、クラスタｋのローカルキューが要求を受け入れる確率Ｐkは、Ｎk（クラスタｋのキューに待機しているその他のサービス要求の数）及びｍk（クラスタｋにおけるサーバ１０４の数）の関数である。一例としての実施形態では、このＰkの値は以下のように計算される。
In the following description, it is assumed that numbers starting with 1, 2,... Are assigned to the
本発明の概念の別の態様によれば、クラスタ１０１のネットワークキュー１０２は各々、隣接する一対のキュー間のリンクを保持する。このようなリンクは、クラスタのいずれかがそのキューに非常に多くの数の要求を急に受信したとき、２つのクラスタ１０１が最優先で互いに「サポート（支援）する」ように構成されている場合に作成される。要求１０３は、遠くのキューまでクラスタ１０１間を２回以上（即ち、複数のホップにわたり）転送することが可能であるため、直接的にリンクされていないキュー１０２であっても、それらのサーバ１０４をやはり共用することができることに留意されたい。
According to another aspect of the inventive concept, each of the
図２は、一例として、１つの要求がクラスタ１０１間を２回以上転送される構造を示している。図２は、一例としての要求の転送経路を示しており、要求はクラスタ１０１のキュー１０２−１〜１０２−ｋ間を複数回にわたって転送される。この実施形態では、要求が訪れるｋ番目のキュー１０２−ｋは、その要求を受け入れて記憶するか、或いは、Ｐkによりその要求を次のキューへ転送するか、個別に判断する。具体的には、キュー１０２−１は確率Ｐ1でその要求を受け入れ、キュー１０２−２は確率Ｐ2で要求を受け入れる、という具合になる。
FIG. 2 shows a structure in which one request is transferred between the
図３は、クラスタ１０１−ｋが要求１０３をそのキュー１０２−ｋに受け入れるかどうかを決定する決定過程３０１を示している。この決定過程は、以下の３つのステップを含む。まず、受信キュー１０２−ｋは確率Ｐkで、単純にその要求を受け入れる。そうでなければ、過程は第２ステップへ続き、この第２ステップでは、受信キュー１０２−ｋは、それに直接的にリンクされた隣接キューのうちの１つのみに、その要求を以下に説明するようにランダムに転送しようと試みる。本発明のシステムの一実施形態では、各キュー１０２は、その「ローカル状態」を全ての隣接キューと定期的に交換することに留意されたい。このローカル状態とは、そのキューに対する１組の数（Ｐk，Ｒk）であり、ここで、Ｐkは先に定義されたとおりであり、Ｒkは以下のように定義される。
FIG. 3 illustrates a
上記式において、Φkは、ｋ番目のクラスタにおけるキュー１０２−ｋの全ての隣接キューのセットである。このキュー１０２−ｋが要求を転送しようと試みる場合、この要求は以下の式で表される確率で隣接キュー１０２−ｙへ転送される。 In the above equation, Φ k is a set of all adjacent queues of the queue 102-k in the k th cluster. When this queue 102-k attempts to transfer a request, the request is transferred to the adjacent queue 102-y with a probability expressed by the following equation.
上記式において、Ｒyは、キュー１０２−ｋが知っているキュー１０２−ｙの最新状態における値であり、｜Φk｜は、キュー１０２−ｋの隣接キューの数である。（１−Ｐk）で正規化するのは、キュー１０２−ｙに関して先に計算するＲyに値Ｐkが関与しており、これを相殺すべきだからである。 In the above equation, R y is a value in the latest state of the queue 102-y known by the queue 102-k, and | Φ k | is the number of adjacent queues of the queue 102-k. The reason for normalizing by (1−P k ) is that the value P k is involved in R y calculated earlier with respect to the queue 102-y and should be offset.
最後に、前記第２ステップで要求１０３を転送しようとする試みが全て確率によって拒否された場合、この要求はｋ番目のキュー１０２−ｋに単に留まる。本発明の概念の一実施形態では、所定の時間が経つと、ｋ番目のキュー１０２−ｋの長さが長いままで確率Ｐkが引き続き低い場合、このキュー１０２−ｋは要求１０３を再度転送しようとすることができる。
Finally, if all attempts to forward the
要求１０３は、現キューの負荷以外の理由（例えば、遠隔ユーザ認証の失敗や、序列ネゴシエーションの失敗）で、ローカルキューによって拒否されることもあることに留意されたい。実際には、このような要因によって、確率Ｐkはより小さくなる。しかし、当業者には理解されるように、このような追加の作用は本発明にとってそれほど重要なものではない。
It should be noted that the
以下に説明するように、要求１０３がより早い順序でクラスタ１０１を訪れるほど、且つ、クラスタ自体の受信要求を受け入れる確率がより高いほど、要求１０３はより高い確率でクラスタ１０１によって受け入れられる。更に、本発明の概念の一態様によれば、要求１０３が無限長経路（例えば、サイクル）で転送されることはまずない。
As will be explained below, the higher the probability that request 103
本発明の一実施形態を、シミュレーションによってテストした。このシミュレーションの結果によれば、ポアソン過程にユーザが出入りする動的環境では、作成された共通キューの方が分離キューよりも効率が良かったことが示された。このシミュレーションの結果は、オンザフライ（動的）キューの長さが短くなり、且つ、要求の平均待ち時間も短くなる、ということで目に見えるかたちで現れる。 One embodiment of the present invention was tested by simulation. According to the simulation results, it was shown that the created common queue was more efficient than the separation queue in the dynamic environment where the user entered and exited the Poisson process. The results of this simulation appear in a visible way as the length of the on-the-fly (dynamic) queue is reduced and the average latency of requests is also reduced.
当業者には理解されるように、本発明のランダム転送アルゴリズムによれば、要求は、最初の受信クラスタにより近く且つ確率がより高いキューによって確実に受け入れられる。これにより、必要とされる要求転送動作の数が最小限に抑えられる。以下の説明において、Ｑkは、要求がｋ番目に訪れたインスタンスによって受け入れられる確率を示している。ｋ＝１，２，３…という全ての値に関し、Ｑkの値は以下の式によって計算される。 As will be appreciated by those skilled in the art, the random transfer algorithm of the present invention ensures that requests are accepted by queues that are closer and more probable to the initial receiving cluster. This minimizes the number of required transfer operations required. In the following description, Q k indicates the probability that a request is accepted by the kth visited instance. For all values k = 1, 2, 3,..., the value of Q k is calculated by the following equation.
理想的な負荷バランシングアルゴリズムでは、全てのｋに関してＱk／Ｐk比率が同じになると推測され得るが、当業者には理解されるように、インスタンスの場所も重要な要素と考えるべきである。つまり、要求元に「より近い」インスタンスは、所定の同じ負荷を受け入れる確率も「より高い」。本発明の方法によれば、「負荷バランス」要件と「ローカル性認識」要件との両方が満たされる。 In an ideal load balancing algorithm, it can be inferred that the Q k / P k ratio will be the same for all k, but as those skilled in the art will appreciate, the location of the instance should also be considered an important factor. That is, instances that are “closer” to the requester also have a “higher” probability of accepting the same predetermined load. According to the method of the present invention, both the “load balance” requirement and the “locality recognition” requirement are satisfied.
図３に示されている例としての実施形態では、Ｐkの値は、ｋ番目に訪れたクラスタ１０１−ｋに関し、閉区間０〜０．６（平均０．３）からランダムに選択される。図４は、Ｐk、Ｑk、受け入れ率、及びｋの関数であるＱk／Ｐk比率の値の例示的グラフを示している。この図４を参照すると、結果として得られたＱk曲線にはＰk曲線との類似性が見られるが、Ｑk／Ｐk比率は実際にはｋが大きくなるにつれて減少している。分析すると、１回目に訪れたｋの範囲内における受け入れ率は、以下のとおりである。 In the example embodiment shown in FIG. 3, the value of P k is randomly selected from the closed interval 0-0.6 (average 0.3) for the kth visited cluster 101-k. . FIG. 4 shows an exemplary graph of values of Q k / P k ratio, which is a function of P k , Q k , acceptance rate, and k. Referring to FIG. 4, the resulting Q k curve is similar to the P k curve, but the Q k / P k ratio actually decreases as k increases. When analyzed, the acceptance rate within the range of k visited the first time is as follows.
また、当業者には理解されるように、要求がより早い順序でクラスタを訪れるほど、且つ、クラスタ自体の受信要求を受け入れる確率がより高いほど、要求はより高い確率でクラスタによって受け入れられる。ゆえに、本発明の技法によれば、要求は、長さがより短く（従って先入れ先出しの場合には待ち時間がより短く）且つ最初のクラスタにより近く確率がより高いキューに確実に転送される。このようにローカルキューがネットワーク化されてサポートの合意が行われ、これにより、サービスのグリッドが、事業提携に柔軟且つ適応可能となると共に、そのサービスグリッドにおける参加者の数に合わせて拡張可能となる。 Also, as will be appreciated by those skilled in the art, the higher the probability that a request will visit the cluster in order and accept the incoming request of the cluster itself, the higher the probability that the request will be accepted by the cluster. Thus, according to the techniques of the present invention, requests are reliably forwarded to queues that are shorter in length (and thus have lower latency in first-in first-out) and are closer to the first cluster and have a higher probability. In this way, local queues are networked and support agreements are made, which allows the service grid to be flexible and adaptable to business alliances and expandable to accommodate the number of participants in the service grid. Become.
本発明は、クラスタ化された複数のサーバコンピュータを含むシステムにおいて、上述したキューイング処理を行う方法、及び該システムに上述のキューイング処理を実行させるコード（命令）を含むプログラムとしても実現できる。 The present invention can also be realized as a method including the above-described queuing process in a system including a plurality of clustered server computers and a program including a code (instruction) that causes the system to execute the above-described queuing process.
図５は、本発明のクラスタ１０１の一実施形態が実施され得る、コンピュータ／サーバシステム５００の一実施形態を示すブロック図である。
各クラスタ１０１は、上述したように相互接続されたプラットフォーム５０１のうちの１つ以上を含み得る。このシステム５００は、コンピュータ／サーバプラットフォーム５０１、周辺装置５０２、及びネットワーク資源５０３を含む。
FIG. 5 is a block diagram illustrating one embodiment of a computer /
Each
コンピュータプラットフォーム５０１は、データバス５０４、又は、このコンピュータプラットフォーム５０１の様々な部分間にわたり情報を通信するその他の通信メカニズムと、このバス５０４に接続されて情報を処理し且つその他の計算及び制御タスクを行うプロセッサ５０５とを含み得る。また、コンピュータプラットフォーム５０１は、バス５０４に接続されて様々な情報及びプロセッサ５０５により実行される命令を記憶する、揮発性記憶装置５０６（例えば、ランダムアクセスメモリ(ＲＡＭ)や、その他の動的記憶装置）も含む。この揮発性記憶装置５０６は、プロセッサ５０５による命令の実行中に、一時的数値変数又はその他の中間情報を記憶するのに用いることができる。更に、コンピュータプラットフォーム５０１は、バス５０４に接続されて静的情報及びプロセッサ５０５（例えば、基本入出力システム(ＢＩＯＳ)）への命令並びに様々なシステム構成パラメータを記憶する、読み出し専用メモリ（ＲＯＭ若しくはＥＰＲＯＭ）５０７又はその他の静的記憶装置も含み得る。また、固定記憶装置５０８（例えば、磁気ディスク、光ディスク、固体フラッシュメモリ素子）が設けられバス５０４に接続されて、情報及び命令が記憶される。これらの記憶装置には、本発明のシステムに上述したキューイング処理を実行させるためのコードからなるプログラムが記憶されることができる。
The
コンピュータプラットフォーム５０１は、バス５０４を介して、情報をこのコンピュータプラットフォーム５０１のシステム管理責任者又はユーザに表示するディスプレイ５０９（例えば、陰極線管(ＣＲＴ)、プラズマディスプレイ、液晶ディスプレイ(ＬＣＤ)）に接続され得る。英数字及びその他のキーを含む入力装置（キーボード）５１０がバス５０４に接続されて、情報及びコマンドの選択がプロセッサ５０５に伝送される。別のタイプのユーザ入力装置として、方向情報及びコマンドの選択をプロセッサ５０５に伝送し且つディスプレイ５０９におけるカーソルの動きを制御するカーソル制御装置５１１（例えば、マウス、トラックボール、カーソル方向キー等の位置ポイント装置）がある。一般的に、このような入力装置では、２つの軸（即ち、第１軸(例えば、ｘ)及び第２軸(例えば、ｙ)）における２つの自由度を有することにより、平面における位置を特定することができる。
The
コンピュータプラットフォーム５０１にバス５０４を介して外部記憶装置５１２を接続することにより、コンピュータプラットフォーム５０１に追加の若しくは取り外し可能（リムーバブル）な記憶容量を設けてもよい。コンピュータシステム５００の一実施形態では、この外部リムーバブル記憶装置５１２を用いて、他のコンピュータシステムとのデータ交換を支援してもよい。
By connecting an
本発明は、コンピュータシステム５００を用いて本明細書中に記載の技法を実施することに関する。一実施形態では、本発明のシステムは、コンピュータプラットフォーム５０１のような装置に備えられ得る。本発明の一実施形態によれば、本明細書中に記載の技法は、コンピュータシステム５００により、揮発性記憶装置５０６に収容された１つ以上の命令のうちの１つ以上のシーケンスをプロセッサ５０５が実行することにより実施される。このような命令は、別のコンピュータ可読媒体（例えば、固定記憶装置５０８）から揮発性記憶装置５０６に読み込まれてもよい。揮発性記憶装置５０６に収容された命令のシーケンスを実行することにより、プロセッサ５０５は、本明細書中に記載の処理ステップを行う。これにより、コンピュータシステム５００を上述したキューイング処理を実行するシステムとして機能させることができる。
別の実施形態では、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて組み込み回路を用いて、本発明を実施してもよい。このように、本発明の実施形態は、ハードウェア回路とソフトウェアとのいずれの特定の組み合わせにも限定されない。
The invention is related to the use of
In another embodiment, the invention may be implemented using embedded circuitry instead of or in combination with software instructions. Thus, embodiments of the invention are not limited to any specific combination of hardware circuitry and software.
本明細書中で用いる「コンピュータ可読媒体」という語は、プロセッサ５０５に命令を与えて実行させることに関するあらゆる媒体を指す。このコンピュータ可読媒体は、本明細書中に記載の方法及び技法のいずれも実施する命令を保持し得る、機械可読媒体の単なる一例である。このような媒体は、多数の形態を取ることができ、例として、不揮発性媒体、揮発性媒体、及び伝送媒体が挙げられるが、これらに限定されない。不揮発性媒体としては、例えば、固定記憶装置５０８のような、光ディスク若しくは磁気ディスクが挙げられる。揮発性媒体としては、揮発性記憶装置５０６のような、動的記憶装置が挙げられる。伝送媒体としては、データバス５０４を含むワイヤのような、同軸ケーブル、銅線、及び光ファイバーが挙げられる。また、この伝送媒体は、電波や赤外線によるデータ通信で生成されるような、音波や光波の形態を取ることもできる。
The term “computer-readable medium” as used herein refers to any medium that participates in providing instructions to
コンピュータ可読媒体の一般的な形態としては、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あらゆるその他の磁気媒体、又は、ＣＤ−ＲＯＭ、あらゆるその他の光媒体、又は、パンチカード、紙テープ、孔パターンを備えたあらゆるその他の物理的媒体、又は、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、あらゆるその他のメモリチップ若しくはカートリッジ、又は、後で説明するような搬送波、又は、コンピュータが読み取ることのできるあらゆるその他の媒体が挙げられる。 Common forms of computer readable media include, for example, floppy disks, flexible disks, hard disks, magnetic tapes, any other magnetic medium, or CD-ROM, any other optical medium, or punch card. , Paper tape, any other physical medium with a hole pattern, or RAM, PROM, EPROM, flash EPROM, flash drive, memory card, any other memory chip or cartridge, or carrier wave as described below Or any other medium that can be read by a computer.
１つ以上の命令のうちの１つ以上のシーケンスをプロセッサ５０５に伝送して実行するのに、様々な形態のコンピュータ可読媒体を用いてもよい。例えば命令は、まずリモートコンピュータから磁気ディスクに伝送されることができる。或いは、リモートコンピュータは、命令をその動的記憶装置にロードし、モデムを用い電話回線を介してこの命令を転送することができる。コンピュータシステム５００のローカルなモデムは、電話回線上でデータを受信し、赤外線送信機を用いてこのデータを赤外線信号に変換することができる。赤外線検出器がこの赤外線信号に保持されたデータを受信することができると共に、適切な回路がこのデータをデータバス５０４上に載せることができる。バス５０４はこのデータを揮発性記憶装置５０６に伝送し、プロセッサ５０５がこの揮発性記憶装置５０６から命令を読み出して実行する。揮発性記憶装置５０６によって受信された命令は、必要に応じて、プロセッサ５０５によって実行される前か或いは後に、固定記憶装置５０８に記憶されてもよい。また、この命令は、当業界では周知の様々なネットワークデータ通信プロトコルを用い、インターネットを介して、コンピュータプラットフォーム５０１にダウンロードされてもよい。
Various forms of computer readable media may be used to transmit and execute one or more sequences of one or more instructions to
コンピュータプラットフォーム５０１は、データバス５０４に接続されたネットワークインタフェースカード５１３のような、通信インタフェースも含む。この通信インタフェース５１３は、ローカルネットワーク５１５に接続されたネットワークリンク５１４への双方向データ通信接続をもたらす。例えば、この通信インタフェース５１３は、対応するタイプの電話回線へのデータ通信接続をもたらす総合デジタル通信網（ＩＳＤＮ）カード又はモデムであってもよい。別の例として、この通信インタフェース５１３は、互換ＬＡＮへのデータ通信接続をもたらすローカルエリアネットワークインタフェースカード（ＬＡＮＮＩＣ）であってもよい。また、無線リンク（例えば、周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、ブルートゥース等）を用いて、ネットワークを実現してもよい。このような実現方法ではいずれも、通信インタフェース５１３は、様々なタイプの情報を表すデジタルデータストリームを保持する、電気信号、電磁信号、又は光信号を送受信する。
The
一般的に、ネットワークリンク５１４は、１つ以上のネットワークを介して、他のネットワーク資源へのデータ通信をもたらす。例えば、ネットワークリンク５１４は、ローカルネットワーク５１５を介して、ホストコンピュータ５１６又はネットワーク記憶装置／サーバ５２２への接続をもたらし得る。更に若しくは或いは、このネットワークリンク５１４は、ゲートウェイ／ファイアウォール５１７を介して、広域若しくは大域ネットワーク５１８（例えば、インターネット）へ接続し得る。従って、コンピュータプラットフォーム５０１は、インターネット５１８上のいずれに位置するネットワーク資源（例えば、遠隔ネットワーク記憶装置／サーバ５１９）にもアクセスすることができる。一方、コンピュータプラットフォーム５０１も、ローカルエリアネットワーク５１５及びインターネット５１８上のいずれに位置するクライアントによってもアクセスされ得る。これらのネットワーククライアント５２０及び５２１自体は、プラットフォーム５０１と同様のコンピュータプラットフォームに基づいて実装されてもよい。
In general,
ローカルネットワーク５１５及びインターネット５１８は共に、デジタルデータストリームを保持する電気信号、電磁信号、又は光信号を用いる。コンピュータプラットフォーム５０１とデジタルデータを送受信する、様々なネットワークを介する信号及びネットワークリンク５１４上にあり通信インタフェース５１３を介する信号は、情報（データ信号）を搬送する搬送波の例示的形態である。
コンピュータプラットフォーム５０１は、様々なネットワーク（例えば、インターネット５１８、ローカルネットワーク（ＬＡＮ）５１５、ネットワークリンク５１４、通信インタフェース５１３）を介して、メッセージを送信しデータ、例えばプログラムコードを受信することができる。インターネットの例において、コンピュータプラットフォーム（システム）５０１がネットワークサーバとして機能する場合、クライアント５２０及び５２１の少なくとも１つで動作するアプリケーションプログラムに必要なコード又はデータを、インターネット５１８、ゲートウェイ／ファイアウォール５１７、ローカルエリアネットワーク５１５、及び通信インタフェース５１３を介して送信し得る。同様に、コンピュータプラットフォーム５０１は、他のネットワーク資源からコードを受信し得る。このような送受信され得るコード又はデータは、システム５００内のサーバ（コンピュータプラットフォーム５０１及び他のネットワークサーバ等）が本発明のキューイング処理を実施するためのプログラムコードであってもよい。
The
受信されたコードは、受信され次第プロセッサ５０５によって実行されるか、又は後で実行されるために、固定記憶装置５０８又は揮発性記憶装置５０６又は他の不揮発性記憶装置に記憶され得る。このように、コンピュータプラットフォーム（システム）５０１は、本発明のキューイング処理を実施するためのアプリケーションコードを搬送波の形態で取得し得る。
The received code may be stored in
最後に、本明細書中に記載の処理及び技法は、本質的にいかなる特定の装置にも関連せず、コンポーネントのいかなる適切な組み合わせによっても実施され得ることを理解されたい。更に、本明細書中に記載の教示に従って、様々なタイプの汎用装置を用いてもよい。また、本明細書中に記載の方法及びプログラムの各ステップを行う専用装置を構築することは有益であることも明らかであろう。本発明を特定の例に関して説明してきたが、これらの例は、全ての点において、制限ではなく例示を意図したものである。当業者にはハードウェア、ソフトウェア、及びファームウェアの多数の異なる組み合わせが、本発明を実施するのに適していることが理解されよう。例えば、説明したソフトウェアは、様々なプログラミング言語又はスクリプト言語（例えば、アセンブリ言語、Ｃ／Ｃ＋＋、ｐｅｒｌ、シェル、ＰＨＰ、Ｊａｖａ(登録商標)など）で実施され得る。 Finally, it should be understood that the processes and techniques described herein are not inherently related to any particular apparatus and can be implemented by any suitable combination of components. In addition, various types of general purpose devices may be used in accordance with the teachings described herein. It will also be apparent that it would be beneficial to build a dedicated device that performs the steps of the methods and programs described herein. Although the invention has been described with reference to particular examples, these examples are in all respects intended to be illustrative rather than limiting. Those skilled in the art will appreciate that many different combinations of hardware, software, and firmware are suitable for practicing the present invention. For example, the described software can be implemented in various programming or scripting languages (eg, assembly language, C / C ++, Perl, shell, PHP, Java, etc.).
更に、当業者には、本明細書中に開示した本発明の具体例及び実施例を考慮することにより、本発明のその他の実施例が明らかとなるであろう。データ複製機能を備えたコンピュータ制御の記憶装置に、本明細書中に説明した実施形態の様々な態様及びコンポーネントの少なくとも１つを、単独で或いは任意の組み合わせで用いてもよい。これらの具体例及び実施例は単なる例と見なし、本発明の真の範囲及び精神は添付の特許請求の範囲により示されることが意図されている。 Furthermore, other embodiments of the invention will be apparent to those skilled in the art from consideration of the embodiments and embodiments of the invention disclosed herein. At least one of the various aspects and components of the embodiments described herein may be used alone or in any combination in a computer controlled storage device with data replication capabilities. These examples and examples are to be considered merely exemplary and the true scope and spirit of the invention is intended to be indicated by the appended claims.
１００ キューイングシステム
１０１ クラスタ
１０２ キュー
１０４ サーバ
３０１ 決定過程
５００ コンピュータシステム
５０１ コンピュータプラットフォーム
５０２ 周辺装置
５０３ ネットワーク資源
５１４ ネットワークリンク
DESCRIPTION OF
Claims (22)
ｂ．第２キューを備えると共に、サービス要求に応じてサービスを提供するように動作可能な、第２クラスタと、
を備える、コンピュータシステムであって、
前記第１クラスタが、
i. サービス要求を受信し、
ii. 前記第１クラスタにアイドルサーバがあるかどうか判別し、
iii.前記第１クラスタにアイドルサーバがある場合には、該アイドルサーバに前記受信したサービス要求を割り当て、
iv. 前記第１クラスタにアイドルサーバがない場合には、予め算出した第１確率値で、前記受信したサービス要求を前記第１キューに入れ、前記第１確率値では前記受信したサービス要求を前記第１キューに入れない場合には、予め算出した第２確率値で、前記受信したサービス要求を前記第２クラスタに転送し、
前記第２確率値では前記受信したサービス要求を第２クラスタに転送しない場合には、前記受信したサービス要求を前記第１キューに入れる
ように動作可能な、コンピュータシステム。 a. A first cluster comprising at least one server and a first queue and operable to provide a service in response to a service request;
b. A second cluster comprising a second queue and operable to provide a service in response to a service request;
A computer system comprising:
The first cluster is
i. Receive a service request,
ii. Determine if there is an idle server in the first cluster;
iii. if there is an idle server in the first cluster, assign the received service request to the idle server;
iv. If no idle server on the first cluster, the first probability value calculated in advance, put pre Symbol received service request to the first queue, the service request thus received in the first probability value If not in the first queue , transfer the received service request to the second cluster with a pre-calculated second probability value ;
Wherein when the second probability value does not transfer the service request thus received to the second cluster, operable the received service request to and place in the first queue computer system.
ａ．第１キューを備える第１クラスタにおいてサービス要求を受信し、
ｂ．前記第１クラスタにアイドルサーバがあるかどうか判別し、
ｃ．前記第１クラスタにアイドルサーバがある場合には、該アイドルサーバに前記受信したサービス要求を割り当て、
ｄ．前記第１クラスタにアイドルサーバがない場合には、予め算出した第１確率値で、前記受信したサービス要求を前記第１キューに入れ、前記第１確率値では前記受信したサービス要求を前記第１キューに入れない場合には、予め算出した第２確率値で、前記受信したサービス要求を前記第２クラスタに転送し、
前記第２確率値では前記受信したサービス要求を第２クラスタに転送しない場合には、前記受信したサービス要求を前記第１キューに入れること、
を含む方法。 A queuing method in a system including at least one clustered server comprising:
a. Receiving a service request in a first cluster comprising a first queue;
b. Determining whether there is an idle server in the first cluster;
c. If there is an idle server in the first cluster, assign the received service request to the idle server;
d. Wherein if there is no idle server in the first cluster, the first probability value calculated in advance, put pre Symbol received service request to said first queue, wherein the service request thus received in the first probability value first If it is not possible to enter one queue, the received service request is transferred to the second cluster with a second probability value calculated in advance .
Wherein when the second probability value does not transfer the service request thus received to the second cluster, Rukoto put the received service request to said first queue,
Including methods.
ａ．第１キューを備える第１クラスタにおいてサービス要求を受信し、
ｂ．前記第１クラスタにアイドルサーバがあるかどうか判別し、前記第１クラスタにアイドルサーバがある場合には、該アイドルサーバに前記受信したサービス要求を割り当て、前記第１クラスタにアイドルサーバがない場合には、予め算出した第１確率値で、前記受信したサービス要求を前記第１キューに入れ、前記第１確率値では前記受信したサービス要求を前記第１キューに入れない場合には、予め算出した第２確率値で、前記受信したサービス要求を前記第２クラスタに転送し、前記第２確率値では前記受信したサービス要求を第２クラスタに転送しない場合には、前記受信したサービス要求を前記第１キューに入れること、
を含む処理をコンピュータに実行させる、プログラム。 A program including code for causing a computer to execute a queuing process in a system including at least one clustered server, the code comprising:
a. Receiving a service request in a first cluster comprising a first queue;
b. If there is an idle server in the first cluster, and if there is an idle server in the first cluster, the received service request is assigned to the idle server, and if there is no idle server in the first cluster is the first probability value calculated in advance, put pre Symbol received service request to the first queue if said first probability value is not entered service request thus received to said first queue, calculated in advance in and second random values, and transfers the received service request to the second cluster, wherein when the in the second probability value does not transfer the service request thus received to the second cluster, the said received service request , it takes into the first queue,
A program for causing a computer to execute a process including:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/504,314 US7730186B2 (en) | 2006-05-25 | 2006-08-14 | Networked queuing system and method for distributed collborative clusters of services |
| US11/504314 | 2006-08-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008047096A JP2008047096A (en) | 2008-02-28 |
| JP5050649B2 true JP5050649B2 (en) | 2012-10-17 |
Family
ID=39180731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007137469A Expired - Fee Related JP5050649B2 (en) | 2006-08-14 | 2007-05-24 | Computer system, method, and program for queuing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5050649B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259227B (en) * | 2020-01-16 | 2023-11-10 | 北京旷视科技有限公司 | Method and apparatus for sharing a targeted search service among multiple search clusters |
| CN111930502A (en) * | 2020-07-31 | 2020-11-13 | 苏州交驰人工智能研究院有限公司 | Server management method, device, equipment and storage medium |
| CN114390104A (en) * | 2022-01-26 | 2022-04-22 | 杭州趣链科技有限公司 | Process forensics system, method, apparatus, computer device and medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06195317A (en) * | 1992-12-22 | 1994-07-15 | Mitsubishi Electric Corp | Data processing system |
| JP2743865B2 (en) * | 1995-04-28 | 1998-04-22 | 日本電気株式会社 | Job scheduling method |
| US7712102B2 (en) * | 2004-07-30 | 2010-05-04 | Hewlett-Packard Development Company, L.P. | System and method for dynamically configuring a plurality of load balancers in response to the analyzed performance data |
-
2007
- 2007-05-24 JP JP2007137469A patent/JP5050649B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008047096A (en) | 2008-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7730186B2 (en) | Networked queuing system and method for distributed collborative clusters of services | |
| EP3637733B1 (en) | Load balancing engine, client, distributed computing system, and load balancing method | |
| JP3480794B2 (en) | Server computer system and method for generating predicted response | |
| JP4144897B2 (en) | Optimal server in common work queue environment | |
| CA2367800C (en) | Communication architecture for distributed computing environment | |
| JP5281160B2 (en) | Method and apparatus for resource sharing between multiple user devices in a computer network | |
| CN109729040B (en) | Method, apparatus and computer readable medium for selection of a protocol | |
| WO2017050215A1 (en) | System and method for control traffic balancing in in-band software defined networks | |
| US9967360B2 (en) | Method and system for information exchange utilizing an asynchronous persistent store protocol | |
| US20100293268A1 (en) | Efficient message consumption in a point-to-point messaging environment | |
| JP4663948B2 (en) | Anonymous subject-based addressing method and apparatus | |
| CN111200606A (en) | Deep learning model task processing method, system, server and storage medium | |
| JP2005346573A (en) | Web service providing method, server device and client terminal in web service system, web service system, web service program, and recording medium | |
| JP5050649B2 (en) | Computer system, method, and program for queuing | |
| US20030110154A1 (en) | Multi-processor, content-based traffic management system and a content-based traffic management system for handling both HTTP and non-HTTP data | |
| US20080168125A1 (en) | Method and system for prioritizing requests | |
| JP5611952B2 (en) | Asynchronous queuing messaging for web applications | |
| CN111049915A (en) | Message queue agent grid under container cloud and method | |
| CN111752728B (en) | Message transmission method and device | |
| US11546405B2 (en) | Methods for exposing mainframe data as a web service and devices thereof | |
| CN108696598B (en) | Method and device for transparently transmitting message received by stateless service through long connection under micro-service architecture | |
| US8989184B2 (en) | Message relay apparatus and method | |
| US11777878B1 (en) | Message routing based on unavailability | |
| CN110764932A (en) | Data processing method, system, medium and computing device | |
| KR102367017B1 (en) | Communication network system and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120626 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120709 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5050649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |