JP3969089B2 - 階層構成サーバシステム - Google Patents

階層構成サーバシステム Download PDF

Info

Publication number
JP3969089B2
JP3969089B2 JP2001390822A JP2001390822A JP3969089B2 JP 3969089 B2 JP3969089 B2 JP 3969089B2 JP 2001390822 A JP2001390822 A JP 2001390822A JP 2001390822 A JP2001390822 A JP 2001390822A JP 3969089 B2 JP3969089 B2 JP 3969089B2
Authority
JP
Japan
Prior art keywords
processing
information
server
information processing
main memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001390822A
Other languages
English (en)
Other versions
JP2003196178A (ja
Inventor
達也 川下
良雄 三木
啓明 藤井
明裕 高村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001390822A priority Critical patent/JP3969089B2/ja
Priority to US10/216,846 priority patent/US7127717B2/en
Publication of JP2003196178A publication Critical patent/JP2003196178A/ja
Application granted granted Critical
Publication of JP3969089B2 publication Critical patent/JP3969089B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/10015Access to distributed or replicated servers, e.g. using brokers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、サーバ計算機における、負荷分散の制御方法に関し、さらに詳しくは、WWW(World Wide Web)向けサーバシステムにみられるような、複数のクライアントがインターネットを介して要求する処理を実行して結果をクライアントに報告するサーバシステムの処理の効率化に関する。
【0002】
【従来の技術】
近年、電子商取引などに見られるように、さまざまなビジネス活動がインターネットにより展開されている。これらのインターネットビジネスを支えるWWW(World Wide Web)サーバシステムにおいては、ビジネスチャンスの確実な確保のため、急激に増大するクライアントからのアクセス、処理要求に対して処理時間をできるだけ短縮することが必要となる。このような、大量のアクセス要求を効率的に処理するサーバシステムの形態として、クライアントからの処理要求に対し、必要なデータを収集してクライアントに情報を提供するウェブ層サーバ、ウェブ層サーバからのデータ取得要求に対して、データベースに登録されているデータを加工し、所望のデータを作成してウェブ層サーバに送るアプリケーション層サーバ、およびデータベースをアクセスし、加工前のデータを取得してアプリケーション層サーバに送るデータベース層サーバの3階層から構成され、これらをLAN(Local Area Network)などの通信路によって接続した3層構成ウェブサーバシステムが用いられている。さらに、3層構成のサーバシステムにおいては、多種多様な処理要求を受け付けるため、各層において、複数のサーバ装置による運用、あるいは、複数のプロセッサ、いずれのプロセッサからも共通に参照可能な複数の主記憶手段、およびこれらを相互接続する接続手段からなる主記憶共有型マルチプロセッサシステムの、複数の論理的システム単位による運用を実施し、いずれのサーバ装置、あるいは論理的システム単位においても同等の処理を実行可能とすることにより、処理の分散化を実現している。さらには、各層への処理開始時に、これら複数のサーバ装置、あるいは論理システム単位の稼動状況を監視し、それに応じて適切なサーバを選択して処理の開始を指示する負荷分散装置を設けることにより、多数の処理要求を効率的に処理することを可能としている。
【0003】
図3に、上記に示した従来のウェブサーバシステム1の構成図を示す。ウェブサーバシステムは、上記に示したとおり、ウェブ層サーバ11、アプリケーション層サーバ12、データベース装置14からデータを取得するデータベース層サーバ13からなる。図3では、多数の処理要求を高速かつ効率的に処理するため、ウェブ層サーバ11を複数のサーバ装置111から構成し、さらにクライアント16からWAN(Wide Area Network)などの広域通信路17を介して処理要求が到達した際に、ウェブ層サーバの稼動状況にしたがって接続先を決定する負荷分散装置15を適用している。
【0004】
本図において、クライアント16からの処理要求は、一旦負荷分散装置15が受け付ける。負荷分散装置15は、処理要求を受け取ると、ウェブ層サーバ11を構成するサーバ装置111の全て、あるいは一部のサーバ装置の稼動状況、すなわち、負荷状況、現在処理中のセッション数等を取得し、最も効率良い処理が可能なサーバ装置を選択し、クライアントとの接続を行う。選択されたサーバ装置は、クライアントから要求処理内容を受け取り、処理を開始する。処理を開始した後は、必要に応じてアプリケーション層サーバ12、データベース層サーバ13にデータの取得要求を出し、データが取得されるとサーバ装置にて処理が続行される。
【0005】
負荷分散装置に関する公知の技術としては、以下が開示されている。
【0006】
特開2001−22714公報では、クライアントから要求のあった処理内容の重要度を判定し、これを負荷分散の処理に用いる方法が開示されている。
【0007】
米国特許5774668号公報、および5951694号公報では、クライアントと複数のアプリケーションサーバとの間の接続を担うゲートウエイ装置にて、アプリケーションサーバの負荷分散を実施する方式が開示されている。
【0008】
米国特許5867706号公報では、並列サーバ上のおのおののプロセッサに対する負荷分散方式についての記述がある。
【0009】
米国特許5951634号公報では、マルチサーバシステムにおける負荷分散方式についての記述がある。
【0010】
その他、ウェブサーバの処理時間短縮の公知例として、特開2001−5713号公報では、データベースにデータがアクセスされたときに、そのデータを補助的な記憶装置、いわゆるデータベースキャッシュに保持し、以後同じデータのアクセス要求に対しては、補助的な記憶装置からデータを高速に取得する方式がある。
【0011】
【発明が解決しようとする課題】
従来のWebサーバシステムでは、クライアントからの接続要求のみに対して負荷分散を行い、各サーバの負荷を最適化していた。このようなシステムにおいて、複数の処理要求があり、また、各々の要求された処理に必要なデータの取得、作成にばらつきがある場合を考える。
【0012】
従来のWebサーバシステムにおける処理では、データの取得量の相違により、処理に必要なデータの作成、取得にかかる時間はばらつきが生じることがある。また、データベースキャッシュなどのデータ取得高速化技術の適用により、処理に必要なデータを格納するデータベースへのアクセスに要する時間が処理内容によって異なることもデータの作成、取得にかかる時間のばらつきの原因となる。
【0013】
このような場合、処理開始事、すなわち処理開始のための接続要求を受けた時点では、これら複数の要求処理は処理要求を受ける複数のサーバの負荷が均等になるように接続が振り分けられる。しかし、例えば一部のサーバに結果的に処理時間の長い処理が集中的に割り当てられ、その他のサーバに処理時間の短い処理が集中的に割り当てられたときに、上記に示した処理時間のばらつきにより、処理が進むにつれて一部のサーバに負荷が集中してしまう状況に陥ることがある。このため処理の進行にしたがってサーバの処理を効率的に用いることができなくなり、処理時間の増大につながってしまう。
【0014】
本発明のひとつの目的は、処理時間のばらつきによる一部サーバへのもしくは論理処理装置への負荷の集中をいち早く解消し、もってクライアントへの応答が遅れるケースを削減するサーバシステムを提供することにある。
【0015】
本発明のより具体的な目的は要求処理の実行中においても、処理を実行するサーバもしくは論理処理装置、およびこれとクライアントとの接続を変更することが可能なサーバシステムを提供することにある。
【0016】
【課題を解決するための手段】
本発明で開示される代表的な態様は、要求元から次々と発行される処理要求が分配され、それぞれ処理要求を受け付けてその処理を開始する複数のサーバに対して、各サーバがデータ取得などのために処理を一時中断するときに、それまでの処理内容、および以後の処理の再開に必要な情報を格納する共有記憶手段、および、データ取得が終了して処理を再開する際に、複数のサーバの負荷状況を監視し、負荷の状況に応じて、共有記憶手段に格納されている処理再開に必要な情報をサーバに転送し、そのサーバに処理再開を指示する負荷分散装置を配することを特徴とする。
【0017】
特に、主記憶共有型マルチプロセッサシステムを複数の論理的なシステム(論理パーティション)に分割して運用する場合では、この複数の論理的システム単位を、実際に処理を実行する情報処理装置として定義し、すべての論理的システム単位からアクセス可能な主記憶領域を、処理継続に必要な情報を格納する共有記憶手段として用意し、また、情報処理装置として定義された他の論理的システム単位の稼動状況を監視し、主記憶共有型マルチプロセッサシステム上の1つまたは複数のCPUを、上記論理的システム単位を選択して処理の再開を指示するシステム制御装置として定義する。
【0018】
さらに、本発明による負荷分散方式は、ひとつの情報処理装置において、当該情報処理装置にて行われている処理が、処理に必要なデータの取得を情報生成装置に要求し、論理システムにおける処理を中断した際に、中断した処理の情報の一部または全てを共有記憶手段に記録する。そして、情報生成装置が当該処理向けのデータを生成し、情報処理装置に返送する際、システム制御装置が全ての論理的システムの稼動状況を監視し、最適な論理的システムを選択して処理の再開を指示するように構成される。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について、図を用いて説明する。なお、以下では、本発明を3層構成ウェブサーバシステムにおけるウェブ層サーバに適用した場合を例に説明する。
【0020】
図1は、本発明に係わる負荷分散制御方式を、3層構成ウェブサーバシステムのウェブ層サーバに実施したである。ウェブサーバシステムの基本的な構成は図3に示したシステムに準じている。
すなわち、クライアント16からの処理要求は、一旦負荷分散装置15が受け付ける。負荷分散装置15は、処理要求を受け取ると、ウェブ層サーバ11を構成するサーバ装置111の全て、あるいは一部のサーバ装置の稼動状況、すなわち、負荷状況、現在処理中のセッション数等を取得し、最も効率良い処理が可能なサーバ装置を選択し、クライアントとの接続を行う。本実施例では、本発明に特有の負荷分散方式を実現するため、システム制御装置101、および共有記憶手段102をウェブ層サーバ11に接続している。
【0021】
ウェブ層サーバ11に属するサーバ装置111にて実行されている処理が、必要データの取得の為にアプリケーション層サーバ12以下にデータ作成要求を出して処理を一時中断するとき、同時に共有記憶手段102に対して、当該処理を中断した時点から他のサーバ装置においても再開することが可能となるようなプロセス情報を、処理識別子とともに記録する。システム制御装置101は、アプリケーション層サーバ12より送られる、上記データ作成要求に対するデータを受け取り、当該処理を再開するサーバ装置を選択して、作成されたデータ、および共有記憶手段102に記憶されている当該処理に対するプロセス情報を選択したサーバに送って、処理の再開を指示する。
【0022】
次に、本発明による負荷分散制御方式の動作を、図2を用いて説明する。
【0023】
クライアント16からの処理要求201に対して、負荷分散装置15が、各サーバ装置111、112、113の稼動状況の問合せ202を実施し、その結果から第1のサーバ装置111を処理の実行を行うサーバとして選択し、クライアント・サーバ装置の接続、および処理開始203により、第1のサーバ装置111が処理を開始する。ここで、当該処理に必要なデータが生じた場合、サーバ装置111は、アプリケーション層サーバ12に対してデータ取得要求204を指示すると同時に、共有記憶手段102に対して、当該処理を再開するために必要なプロセス情報の記録205を行う。アプリケーション層サーバ12において、当該処理に必要なデータの作成が終了し、データ返送要求206が送出されると、システム制御装置101は、当該データを受け取った後、サーバ装置111、112、113の稼動状況の問合せ207を行い、処理の再開を行うサーバ装置を選択する。この選択の方法としては、各サーバ装置111、112、113の負荷の最も軽いもの、あるいは現在実行されている他の処理の数がもっとも少ないものなどを根拠に、以後の処理が最も効率良く実行されるサーバ装置を選択する。選択されたサーバ装置が第3のサーバ装置113であったとすると、当該処理が当初実行されていたサーバ装置111とは異なるサーバにて処理を再開することになる。この場合、システム制御装置101は、まず、クライアント16とサーバ装置111との接続を、サーバ装置113との接続へ変更することを指示する接続変更要求208を、負荷分散装置15に送る。負荷分散装置15はごの接続変更要求208にしたがって、クライアント16とサーバ装置との接続変更を実施する。その後、システム制御装置101はサーバ装置113に対してアプリケーション層サーバ12により取得されたデータの転送を行い、かつ処理再開指示209を送る。データの転送、および処理再開要求209を受けたサーバ装置113は、データ取得前に当該処理を行っていたサーバ装置とは異なるため、処理再開に必要なプロセス情報は保持していない。そこで、サーバ装置113は、共有記憶手段102にある処理を再開するために必要なプロセス情報の参照210を行い、処理を再開する。このように、データ取得のため処理を一時停止した後、データを取得し処理を再開する際にも負荷分散を実施することにより、さらに効率的なウェブ層サーバの運用を実現することができる。
【0024】
次に、本発明を、主記憶共有型マルチプロセッサシステムに実施した例について説明する。まず、本発明を実装するプラットホームとなる主記憶共有型マルチプロセッサシステム、およびその運用方法について説明する。
【0025】
図4ならびに図5は、本発明に係わる負荷分散制御方式を実装するプラットフォームとして想定している主記憶共有型のマルチプロセッサシステムの構成を示す。図4のシステム構成は、一般にSymmetric Multi−Processor(SMP)と呼ばれる。本システムは、主に複数のCPU401、相互接続ネットワーク402、共有主記憶403、ストレージ404、外部ネットワークインターフェース405で構成される。複数のCPU401、共有主記憶403、ストレージ404は、相互接続ネットワーク402で互いに結合される。共有主記憶403については、図では論理的に1個の構成要素として示しているが、物理的には複数のセグメントから構成され、それぞれのセグメントが相互接続ネットワーク402に結合する形態が一般的である。また、相互接続ネットワーク402については、バスやクロスバスイッチなど種々の構成方法が存在する。このような構成によって、本システムでは、総てのCPU401から共有主記憶403およびストレージ404、外部ネットワークインターフェース405といった資源を均質にアクセスできる。
【0026】
図5のシステム構成は、一般にNon−Uniform Memory Access(NUMA)方式と呼ばれる。本システムは、複数のCPU401、第一レベル相互接続ネットワーク502、ローカル主記憶503、ローカルストレージ504、外部ネットワークインターフェース405などからなる基本構成ブロック505を複数個、第二レベル相互接続ネットワーク506で結合した形態を取る。基本構成ブロック505は、図4で示したSMP型のシステムと等価である。第二レベル相互接続ネットワーク506は、各基本構成ブロック505の第一レベル相互接続ネットワーク同士を結合する。このような構成によって、システム中のローカル主記憶503、ローカルストレージ504、外部ネットワークインターフェース405などは、基本構成ブロック505の枠を越えてシステム中のどのCPU401からもアクセスが可能になる。例えば、図中右側の基本構成ブロック505中のCPU401から左側の基本構成ブロック505中のローカル主記憶503、ローカルストレージ504、外部ネットワークインターフェース405などをアクセスする際には、当該CPU401から当該CPU401が属する基本構成ブロック505内の第一レベル相互ネットワーク502、第二レベル相互接続ネットワーク506、さらに、アクセス先のローカル主記憶503、ローカルストレージ504、外部ネットワークインターフェース405が属する基本構成ブロック505内の第一レベル相互ネットワーク502を介して当該ローカル主記憶503、ローカルストレージ504、外部ネットワークインターフェース405をアクセスする。このシステム構成において、複数の第一レベル相互接続ネットワーク502と第二レベル相互接続ネットワーク506からなる階層的な相互接続ネットワークを論理的に1個のネットワークとして見れば、図4と図5の論理的な構成は等しくなる。その意味で、図4と図5の物理的な構成の違いは、本発明に係わるサーバシステム運用管理方式を実装するにあたって特に影響を及ぼさない。本発明に係わるサーバシステム運用管理方式を実装するにあたって、プラットフォームが満たすべき必要最低限の要件は、「主記憶共有型」のマルチプロセッサである点である。
【0027】
この図4あるいは図5に示した主記憶共有型マルチプロセッサの運用形態のひとつとして、同システム内の任意の複数CPU401および共有主記憶403(あるいは複数のローカル主記憶503)の一部を組み合わせて論理パーティションという論理的な運用管理単位を定義し、これを仮想的に独立した1個の論理的システムとして運用する手法が存在する。この手法によって、本来物理的に複数のサーバシステムで構成されるトータルシステムを物理的に1個のシステムに統合でき、これによってトータルシステムの運用管理コストの削減が図れる。
【0028】
次に、図6を用いて、図4あるいは図5に示した主記憶共有型マルチプロセッサシステム上に実装された時の、本発明による負荷分散制御方式の詳細を説明する。
【0029】
上述の複数個の論理的システム単位として、論理システムA61および論理システムB62の2つを示している。論理システムA61および論理システムB62は、それぞれ複数のCPU401と共有主記憶403の一部を有している。その論理システムA61が管理する共有主記憶403の一部を主記憶領域A601、論理システムB62が管理する共有主記憶403の一部を主記憶領域B602とする。さらに、本システムにおいては、システム制御装置に対応する構成要素として、CPU401の1つであるシステム管理CPU103と、共有記憶手段に対応する構成要素として、共有主記憶403上の領域の一部である、プロセス情報記憶領域104が存在する。
【0030】
以下、図6に示す主記憶共有型マルチプロセッサシステムを、図1におけるウェブ層サーバ11に適用した場合について、本発明に係わる負荷分散制御方式の動作を説明する。図6に示した主記憶共有型マルチプロセッサシステムは、外部ネットワークインターフェース405、およびLANなどの通信路603を介して、負荷分散装置15、およびアプリケーション層サーバ12と接続されている。
【0031】
まず、本実施例でも、クライアント16からの処理要求は、一旦負荷分散装置15が受け付ける。負荷分散装置15は、処理要求を受け取ると、ウェブ層サーバ11を構成するように設定された論理システムB61、B62の稼動状況、すなわち、負荷状況、現在処理中のセッション数等を取得し、最も効率良い処理が可能な論理システムを選択し、クライアントとの接続を行う。
以下、論理システムA61にて処理が実行されている場合を考える。データ取得のため、外部ネットワークインターフェース405および通信路603を介して、アプリケーション層サーバ12以下の階層にデータ取得要求を送る時に、同時にプロセス記憶領域104に当該処理を再開するために必要なプロセス情報のすべて、あるいは一部を記録する。アプリケーション層サーバ12より、取得されたデータが返送される時は、システム管理CPU103が論理的システム単位61、62に対して稼動状況を問い合わせ、結果得られた稼動状況から、論理的システムA61、論理的システムB62のいずれかを選択し、処理再開を指示する。論理的システムB62が選択された場合は、処理が再開される論理的システムが、当該処理を中断する前まで処理を実行していた論理的システムと異なるため、システム管理CPU103は負荷分散装置15に対してクライアントとの接続変更を指示し、処理再開情報記憶領域104にある処理再開情報を論理的システムB62に呈示し、論理的システムB62は、その情報をもとに、処理再開に必要なデータ、およびプロセス情報を、処理再開情報記憶領域104、および論理システムA61の主記憶領域601より論理システムB62の主記憶領域602に読みこみ、処理を再開する。
【0032】
以上述べたように、主記憶共有型マルチプロセッサシステム上でも、本発明の負荷分散装置を実現することができる。また、本発明の主たる構成要素であるシステム管理装置、および共有記憶手段を、それぞれシステム管理CPU、処理再開情報記憶領域として、主記憶共有型マルチプロセッサシステム上のCPU、共有主記憶の一部を利用でき、新たなハードウエアを追加する必要がない点を考慮すると、本発明を実装するプラットホームとしては、導入コストの面で適している。
【0033】
また、主記憶共有型マルチプロセッサでは、全てのCPUから一様に主記憶を参照することが可能である。このため、一般には、プロセス情報記憶領域104には、処理再開に必要なプロセス情報全てを記録する必要はなく、主記憶領域A601中の、プロセス情報の存在する領域を示すポインタがあれば十分である。このとき、論理的システムB62は、プロセス情報記憶領域104にあるポインタの情報を基に論理的システムA61の主記憶領域601をアクセスし、論理的システムB62の主記憶領域602にプロセス情報を複写することにより処理を再開することができる。ただし、運用方法によっては、互いに異なる論理的システムの主記憶領域を参照できないような運用方法も存在する。この場合は、システム管理CPU103が、プロセス情報記憶領域104を経由して、プロセス情報を処理を再開する主記憶領域に複写を行う方法がある。
【0034】
図7に、本発明に係わる負荷分散制御方式の他の実施例の動作を示す。図7に示す負荷分散制御方式の動作は、図2に示す動作と比較し、データ返送時のサーバ装置の稼動状況問合せを、システム制御装置自身から発するのではなく、システム制御装置から負荷分散装置に問合せを指示することにより実現する点を特徴とする。図7は、図1の3層構造ウェブサーバシステムに対応する負荷分散制御方式の動作の詳細を示しているが、図6に示す主記憶共有型マルチプロセッサシステム上での実装に対しても、同様の動作を実現できる。
【0035】
図7において、アプリケーション層サーバ12が、サーバ装置111からのデータ取得要求204に対して、データの返送206を行う所までは図2と同様である。システム制御装置101はデータ返送要求206を受け取ると、負荷分散装置15に対して、各サーバ装置111、112、113の稼動状況を調査する旨の要求211をだす。負荷分散装置15は、システム制御装置101からの稼動状況問合せ要求211に対して、各サーバ装置111、112、113の稼動状況を問合せ、当該処理の再開を行うサーバ装置を選択し、そのサーバ装置の識別子(ID)のシステム制御装置101への返送212、およびクライアント・サーバの接続の変更213を行う。システム制御装置101は、負荷分散装置15から処理再開サーバ装置のIDを受け取ると、当該サーバ装置に対して処理再開の指示209をだす。選択されたサーバ装置が第3のサーバ装置113であった場合は、当該サーバ装置113が処理再開指示209を受けとり、処理の再開を実施する。
【0036】
以上が本発明の実施の形態である。なお、以上の説明では、3層構造ウェブサーバシステムを複数のサーバ装置にて構成する場合、および、複数の論理的システム単位により複数の処理を実行可能な主記憶共有型マルチプロセッサシステムを適用する場合を例としたが、本発明は、アプリケーション層サーバを複数のサーバ装置にて構成する場合など、分散化された複数のサーバにて多数の同様な処理を行うサーバ群にも適用可能であり、ウェブ層サーバのみに係るものではない。
【0037】
【発明の効果】
以上述べたように、本発明では、複数のサーバ装置からなるサーバシステムに対して、処理を実行するサーバ装置の切り替えを指示するシステム制御装置、および処理再開情報を保持する共有記憶手段を具備することにより、システム処理要求元からの処理要求による処理の開始時だけでなく、データ取得の為に処理を一時中断した際にも負荷分散を実施することにより、複数の処理の時間がばらつくことよる負荷集中を避けることができ、サーバシステムの効率的な運用を実現し、処理時間の増大を防ぐことができる。特に、複数の論理システム単位にて運用する主記憶共有型マルチプロセッサシステムの場合、システム制御装置および共有記憶手段を、主記憶共有型マルチプロセッサシステムを構成するCPU、主記憶装置の一部を用いて構成することにより、従来に比べ、特別なハードウエアの追加を行わず、運用管理方法の変更のみでより効率的な負荷分散を実現することができる。
【図面の簡単な説明】
【図1】本発明に係わるサーバシステムの構成を示す図。
【図2】本発明に係わる負荷分散制御方式の動作の流れを示す図。
【図3】従来のサーバシステムの構成を示す図。
【図4】主記憶共有型マルチプロセッサシステムの構成例を示す図。
【図5】主記憶共有型マルチプロセッサシステムの構成例を示す図。
【図6】本発明に係わる負荷分散制御方式を主記憶共有型マルチプロセッサシステム上に実装した際のシステム構成を示す図。
【図7】本発明に係わる負荷分散制御方式の別の実施例による動作の流れを示す図。
【符号の説明】
1・・・ウェブサーバシステム、
11・・・ウェブ層サーバ、
111,112,113・・・サーバ装置、
12・・・アプリケーション層サーバ、
13・・・データベース層サーバ、
14・・・データベース装置、
15・・・負荷分散装置、
16・・・クライアント端末、
17・・・広域通信路、
101・・・システム制御装置、
102・・・共有記憶手段、
103・・・システム管理CPU、
104・・・プロセス情報記憶領域、
201・・・クライアント端末からの処理要求動作、
202・・・負荷分散装置によるサーバ装置の稼動状況問合せ動作、
203・・・クライアント・サーバ装置間の接続、および処理開始指示動作、
204・・・データ取得要求動作、
205・・・プロセス情報記録動作、
206・・・データ返送要求動作、
207・・・システム制御装置によるサーバ装置の稼動状況問合せ動作、
208・・・クライアント・サーバ装置間の接続変更指示、
209・・・データ転送、および処理再開指示、
210・・・プロセス情報の参照、
211・・・システム制御装置の、負荷分散装置に対するサーバ装置の負荷とい合わせ、および処理再開サーバ装置選択の指示、
212・・・負荷分散装置によるサーバ装置の稼動状況問合せ動作、および処理再開サーバ装置のシステム制御装置への通知動作、
213・・・クライアント・サーバ装置間の接続変更動作、
401・・・CPU、
402・・・相互接続ネットワーク、
403・・・共有主記憶、
404・・・ストレージ、
405・・・外部ネットワークインターフェース、
502・・・第一レベル相互接続ネットワーク、
503・・・ローカル主記憶、
504・・・ローカルストレージ、
505・・・基本構成ブロック、
506・・・第二レベル相互接続ネットワーク、
61・・・論理システムA、
62・・・論理システムB、
601・・・主記憶領域A、
602・・・主記憶領域B、
603・・・通信路。

Claims (2)

  1. 処理要求元からの処理要求に対して処理を実行し、結果を処理要求元に返送する複数の情報処理装置と、
    上記複数の情報処理装置の稼動状況を監視し、上記処理要求元からの処理要求に応答するのに適切な情報処理装置を稼動状況に応じて選択し、処理要求元と当該情報処理装置の接続、および当該情報処理装置に対する当該処理の開始を指示する機能を持つ負荷分散装置と、
    情報処理装置の要求に応じて、該情報処理装置の処理に必要な情報を生成し該情報処理装置に転送する情報生成装置と、
    上記複数の情報処理装置が共通でアクセス可能な共有記憶手段とを有し、
    これらが通信路によって相互接続されている計算機システムにおいて、
    上記情報処理装置は、上記必要な情報の生成を上記情報生成装置に要求する際に、要求した情報が生成された後の処理再開に必要なプロセス情報を上記共有記憶手段に記録する手段を含み、
    かつ、上記情報生成装置が生成した情報を返送する際に、上記情報処理装置の稼動状況に応じて、要求した情報が生成された後の処理を、情報生成を要求した情報処理装置から別の情報処理装置へ切り替えるか否かを決定し、切り替えを切り替え先の情報処理装置および負荷分散装置に指示する機能をもつシステム制御装置を具備し、
    切り替え先の情報処理装置は、上記共有記憶手段に記憶されているプロセス情報を参照して処理要求元への結果の返送のために処理再開することを特徴とする計算機システム。
  2. 上記複数の情報処理装置の各々は、複数のプロセッサ、主記憶、およびこれらを相互に接続する接続手段を有する主記憶共有型マルチプロセッサを区分した論理システム単位により形成され、上記共有記憶手段は上記主記憶内の、上記論理システム単位に区分された以外の領域に形成されることを特徴とする請求項1に記載の計算機システム。
JP2001390822A 2001-12-25 2001-12-25 階層構成サーバシステム Expired - Fee Related JP3969089B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001390822A JP3969089B2 (ja) 2001-12-25 2001-12-25 階層構成サーバシステム
US10/216,846 US7127717B2 (en) 2001-12-25 2002-08-13 Hierarchical server system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001390822A JP3969089B2 (ja) 2001-12-25 2001-12-25 階層構成サーバシステム

Publications (2)

Publication Number Publication Date
JP2003196178A JP2003196178A (ja) 2003-07-11
JP3969089B2 true JP3969089B2 (ja) 2007-08-29

Family

ID=19188449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001390822A Expired - Fee Related JP3969089B2 (ja) 2001-12-25 2001-12-25 階層構成サーバシステム

Country Status (2)

Country Link
US (1) US7127717B2 (ja)
JP (1) JP3969089B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001240061A1 (en) 2000-03-09 2001-09-17 The Web Access, Inc. Method and apparatus for organizing data by overlaying a searchable database with a directory tree structure
US6760861B2 (en) * 2000-09-29 2004-07-06 Zeronines Technology, Inc. System, method and apparatus for data processing and storage to provide continuous operations independent of device failure or disaster
US8335779B2 (en) * 2002-08-16 2012-12-18 Gamroe Applications, Llc Method and apparatus for gathering, categorizing and parameterizing data
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US7475108B2 (en) * 2003-06-26 2009-01-06 International Business Machines Corporation Slow-dynamic load balancing method
CN1306776C (zh) * 2004-09-17 2007-03-21 杭州恒生电子股份有限公司 基于多层架构的数据处理系统及数据处理方法
WO2006057040A1 (ja) * 2004-11-26 2006-06-01 Fujitsu Limited コンピュータ・システム及び情報処理方法
US7624168B2 (en) * 2006-02-02 2009-11-24 Hostway Corporation Multi-layer system for scalable hosting platform
JP4599312B2 (ja) * 2006-02-02 2010-12-15 Okiセミコンダクタ株式会社 アナログ/ディジタル変換装置
WO2008041302A1 (en) * 2006-09-29 2008-04-10 Fujitsu Limited Server disposing program and server disposing method
TW200841189A (en) * 2006-12-27 2008-10-16 Ibm Technique for accurately detecting system failure
JP5246157B2 (ja) 2007-04-04 2013-07-24 富士通株式会社 負荷分散システム
KR100881654B1 (ko) * 2007-04-19 2009-02-06 후지쯔 가부시끼가이샤 컴퓨터 시스템 및 정보 처리 방법
US8838817B1 (en) 2007-11-07 2014-09-16 Netapp, Inc. Application-controlled network packet classification
AU2008333834A1 (en) * 2007-12-05 2009-06-11 Ol2, Inc. System and method for intelligently allocating client requests to server centers
US8566833B1 (en) * 2008-03-11 2013-10-22 Netapp, Inc. Combined network and application processing in a multiprocessing environment
JP5259371B2 (ja) * 2008-12-18 2013-08-07 株式会社東芝 提供元報知装置及び提供元報知方法
DE102009005455A1 (de) * 2009-01-21 2010-07-22 Siemens Aktiengesellschaft Computersystem zum Verwalten, Speichern und Austausch von computergestützten medizinischen Taskflows
US8631277B2 (en) * 2010-12-10 2014-01-14 Microsoft Corporation Providing transparent failover in a file system
US9331955B2 (en) 2011-06-29 2016-05-03 Microsoft Technology Licensing, Llc Transporting operations of arbitrary size over remote direct memory access
US8856582B2 (en) 2011-06-30 2014-10-07 Microsoft Corporation Transparent failover
US20130067095A1 (en) 2011-09-09 2013-03-14 Microsoft Corporation Smb2 scaleout
US8825863B2 (en) * 2011-09-20 2014-09-02 International Business Machines Corporation Virtual machine placement within a server farm
JP5997008B2 (ja) 2012-02-08 2016-09-21 ルネサスエレクトロニクス株式会社 半導体集積回路装置及びデータ処理システム
CN103856517B (zh) * 2012-11-30 2017-06-23 英业达科技有限公司 同步均衡系统及其方法
US10021042B2 (en) * 2013-03-07 2018-07-10 Microsoft Technology Licensing, Llc Service-based load-balancing management of processes on remote hosts

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2722591B1 (fr) * 1994-07-13 1996-08-30 Bull Sa Systeme informatique ouvert a serveurs multiples
US5774668A (en) * 1995-06-07 1998-06-30 Microsoft Corporation System for on-line service in which gateway computer uses service map which includes loading condition of servers broadcasted by application servers for load balancing
GB2309558A (en) * 1996-01-26 1997-07-30 Ibm Load balancing across the processors of a server computer
US6128279A (en) * 1997-10-06 2000-10-03 Web Balance, Inc. System for balancing loads among network servers
US6477522B1 (en) * 1999-06-10 2002-11-05 Gateway, Inc. Dynamic performance based server selection
US6539494B1 (en) * 1999-06-17 2003-03-25 Art Technology Group, Inc. Internet server session backup apparatus
JP2001005713A (ja) 1999-06-18 2001-01-12 Nec Corp 3階層ウェブサーバ装置及び方法並びに同方法のプログラムを記録した記憶媒体
JP2001022714A (ja) 1999-07-12 2001-01-26 Hitachi Ltd サーバ計算機、負荷分散システム、電話交換システムおよび負荷分散方法
US6560717B1 (en) * 1999-12-10 2003-05-06 Art Technology Group, Inc. Method and system for load balancing and management

Also Published As

Publication number Publication date
US20030120724A1 (en) 2003-06-26
JP2003196178A (ja) 2003-07-11
US7127717B2 (en) 2006-10-24

Similar Documents

Publication Publication Date Title
JP3969089B2 (ja) 階層構成サーバシステム
US7185096B2 (en) System and method for cluster-sensitive sticky load balancing
US6832298B2 (en) Server system operation control method
US7933882B2 (en) Dynamic cluster database architecture
US20020091786A1 (en) Information distribution system and load balancing method thereof
US7167854B2 (en) Database control method
US20060123121A1 (en) System and method for service session management
Alonso et al. Sharing jobs among independently owned processors
US20050021511A1 (en) System and method for load balancing in database queries
US10700925B2 (en) Dedicated endpoints for network-accessible services
Chun et al. Rexec: A decentralized, secure remote execution environment for clusters
JP4022521B2 (ja) コンピュータ・システムのネットワークにおける作業負荷バランシングのための方法およびシステム
Yang et al. A content placement and management system for distributed Web-server systems
JP2004318744A (ja) 高可用性を提供するデータベース処理方法
CN105791295B (zh) 一种基于Node.js的应用服务器
KR20030014513A (ko) 서버 부하의 분산을 위한 클라이언트 데이터 공유 시스템및 그 방법
JP2580525B2 (ja) 並列計算機における負荷分散方法
Nick et al. Overview of IBM system/390 parallel sysplex-a commercial parallel processing system
Bhardwaj et al. A propound method for agent based dynamic load balancing algorithm for heterogeneous P2P systems
JPH1069467A (ja) 分散計算機システムにおけるサーバのデータアクセス方式
JP2001331398A (ja) サーバ管理システム
Yang et al. Efficient content placement and management on cluster-based Web servers
JP5100011B2 (ja) ネットワーク資源管理装置、ネットワーク資源管理システム、ネットワーク資源管理方法
WO2024086994A1 (zh) 账号处理方法、装置、计算机设备及计算机可读存储介质
JP2650210B2 (ja) ネットワークシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041105

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees