JP5620881B2 - トランザクション処理システム、トランザクション処理方法、および、トランザクション処理プログラム - Google Patents

Description

本発明は、トランザクション処理システム、トランザクション処理方法、および、トランザクション処理プログラムの技術に関する。

複数のサーバなどのコンピュータ資源を仮想化することで、分散処理を行う情報処理サービスを提供するクラスタシステムが提案されている。
例えば、トランザクション処理システムでは、クライアントから処理サーバへとトランザクションの要求が送信されると、処理サーバがその処理を行い、その結果を応答信号としてクライアントへと返信する。そして、複数の処理サーバが協調して動作する分散処理システムとすることで、クライアントの台数増加に対応する。そして、分散処理システムのロードバランサは、クライアントからそれぞれ発行される要求に対して、単一の出入り口として受け付けると、それらの要求を複数の処理サーバにそれぞれ分配する。
これにより、複数台のサーバとロードバランサによって負荷を分散させながら協調して動作させることで、システムの処理容量（スケーラビリティ）を向上することができる。

非特許文献１のクラスタモデルでは、トランザクションごとに、そのトランザクションを処理可能なサーバを１台とする構成において、クライアント側のロードバランサと、サーバ側の振り分け装置とでそれぞれ、トランザクションを振り分ける「提案モデル」により、スケーラビリティの向上と、構成変更時の負荷低減とをバランスよく実現する。

入江道生・西村豪生・金子雅志・別所寿一・飯尾政美著、「スケールアウトと柔軟な構成変更を実現するトランザクション制御サーバのクラスタモデル」、2011 年 電子情報通信学会総合大会 通信講演論文集２、B-6-11、pp.11、2011/3/14〜17

なお、非特許文献１のクラスタモデルでは、ロードバランサと、振り分け装置との２段階でそれぞれトランザクションを後段の装置へと振り分ける処理を行っていたため、各振り分け処理における処理量の増加と、トランザクション処理の遅延が発生してしまう。

そこで、本発明は、トランザクション処理システムにおいて、システムのスケーラビリティを向上させつつ、トランザクション処理の遅延を低減することを、主な目的とする。

前記課題を解決するために、本発明は、クライアントからのトランザクションの要求信号を処理する処理サーバが複数台存在し、それらの処理サーバに対して前記要求信号を分散させるトランザクション処理システムであって、前記トランザクション処理システムが、トランザクションデータを格納するデータ管理装置がそれぞれ接続されている複数台の前記処理サーバと、前記処理サーバが管理する前記トランザクションデータの配置状況に応じて、前記要求信号の分配先である前記処理サーバを決定する振り分けサーバと、前記要求信号を受け付けると、複数台の前記振り分けサーバのうちのいずれか１台の前記振り分けサーバに対して前記要求信号を分配するロードバランサと、前記要求信号を受け付けると、その要求信号に含まれる前記処理サーバの特定情報と前記処理サーバのネットワークアドレスとを対応づけるバイパス用テーブルを参照して、前記ロードバランサおよび前記振り分けサーバを経由しない経路で各前記処理サーバに対して前記要求信号を転送するバイパス装置とを含めて構成され、前記クライアントが、自身の記憶手段に格納されているトランザクションごとのバイパスルートの使用可否を示すコンフィグデータを参照して、所定の要求信号を前記バイパスルートで転送するか否かを決定し、前記バイパスルートで転送するときには、前記処理サーバの特定情報を含ませた前記所定の要求信号を前記バイパス装置に送信し、前記バイパスルートで転送しないときには、前記所定の要求信号を前記ロードバランサに送信することを特徴とする。

これにより、トランザクションの要求信号の送信先である処理サーバが特定されているときには、ロードバランサではなくバイパス装置を経由するバイパスルートを採用することで、トランザクション処理システムにおいて、システムのスケーラビリティを向上させつつ、トランザクション処理の遅延を低減することができる。

本発明は、前記バイパス用テーブルが、前記処理サーバの特定情報として、前記バイパス装置のアドレスと前記処理サーバごとのポート番号との組み合わせを、前記処理サーバのネットワークアドレスに対応づけるレコードが格納されており、前記バイパス装置が、受信した前記要求信号の宛先ヘッダを、前記バイパス用テーブルで示される前記処理サーバのネットワークアドレスに書き換えるＮＡＰＴ（Network Address Port Translation）処理により、受信した前記要求信号を前記処理サーバへと転送することを特徴とする。

これにより、システムのセキュリティを維持することができる上、軽量な転送処理を実現できる。

本発明は、前記クライアントが、前記コンフィグデータとして、前記処理サーバごとに動作しているか否かを示す死活状況データを受信し、前記処理サーバのうちの動作している前記処理サーバに対して前記バイパスルートで転送することを特徴とする。

これにより、障害でダウンした処理サーバに対してトランザクションを誤転送することを抑制でき、パケットロスを低減することができる。

本発明によれば、トランザクション処理システムにおいて、システムのスケーラビリティを向上させつつ、トランザクション処理の遅延を低減することができる。

本発明の一実施形態に関するトランザクション処理システムを示す構成図である。 本発明の一実施形態に関する図１のトランザクション処理システムを構成する各装置の詳細を示す構成図である。 本発明の一実施形態に関する図１のトランザクション処理システムを、後記する図４，図５の説明用に構成した一例を示す構成図である。 本発明の一実施形態に関する図３のトランザクション処理システムに対して、バイパスルートを使用しないときのトランザクションの振り分け処理を示す説明図である。 本発明の一実施形態に関する図３のトランザクション処理システムに対して、バイパスルートを使用するときのトランザクションの振り分け処理を示す説明図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、トランザクション処理システムを示す構成図である。トランザクション処理システムは、クライアント１と、ロードバランサ２と、分散システム９と、分散システム管理サーバ１０と、バイパス装置１１とを含めて構成される。
分散システム９は、複数台のサーバ装置８で構成され、各サーバ装置８は、振り分けサーバ４と、処理サーバ５と、データ管理装置６とを含めて構成される。
なお、図１のトランザクション処理システムを構成する各装置は、ＣＰＵ（Central Processing Unit）とメモリとハードディスク（記憶手段）とネットワークインタフェースを有するコンピュータとして構成され、このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラムを実行することにより、各処理部を動作させる。

クライアント１は、分散システム９に対してトランザクションを発行するユーザの端末や対向システムである。
ロードバランサ２は、クライアント１から送信されてくるトランザクションを、振り分けサーバ４に振り分ける。これにより、クライアント１は、ロードバランサ２のアドレスを指定したトランザクションを送信するだけで済み、分散システム９の内部構成を意識する必要はなくなる。
このように、クライアント１と分散システム９との間に、ロードバランサ２を仲介させる構成により、分散システム９内のサーバ装置８の増減をクライアント１に隠蔽することができるので、容易にシステムの性能を向上させることができる。

なお、ロードバランサ２が要求された処理を振り分ける手法としては、コンシステントハッシングを挙げることができる。コンシステントハッシングは、データの保管要求と取得要求のみを受け付ける単純なインタフェースを持ち、受信した信号の要求するデータの識別子を見て、複数のサーバのうち何れのサーバが対象のデータを管理しているかを特定し、このサーバに対して保管要求及び取得要求を振り分けることを行う。

振り分けサーバ４は、ロードバランサ２から振り分けられてくるトランザクションに対して、トランザクションの内容とデータ管理装置６で管理されているトランザクションデータの配置状況を対応づけるデータ構造（後記する表１のトランザクション管理テーブルと、後記する表２のデータ配置テーブル）を参照して、そのトランザクションの要求を処理する処理サーバ５を決定し、その処理サーバ５へと要求を送信する。
処理サーバ５は、トランザクションの要求を受け、データ管理装置６内のトランザクションのデータをアクセスして、トランザクションの要求を処理する。

表１は、トランザクション管理テーブルを例示した表である。トランザクション管理テーブルは、配置ＩＤごとに、その配置ＩＤが割り当てられている１つ以上のトランザクションのＩＤを対応づける表である。
配置ＩＤとは、１つ以上のトランザクションのデータに対して割り当てられるＩＤであり、同じ配置ＩＤが割り当てられるトランザクションのデータは、同じ１つのデータ管理装置６内に格納される。
例えば、２つのトランザクション「Ｔ０，Ｔ１」は、グループ化されて１つの配置ＩＤ「０」に対応する。また、トランザクション「Ｔ５」は、配置ＩＤ「７００」に対応する。

表２は、データ配置テーブルを例示した表である。データ配置テーブルは、処理サーバ５のサーバアドレスごとに、その処理サーバ５が担当する配置ＩＤの値域（始点ＩＤから終点ＩＤまでの範囲を示す）を対応づける表である。
処理サーバ５のＩＤは、担当する配置ＩＤの始点となる配置ＩＤと同じ値としてもよいし、ランダムな値としてもよい。
例えば、配置ＩＤ「１００」が割り当てられるトランザクション「Ｔ２，Ｔ３」のデータは、処理サーバ５「192.168.1.11:80という識別子（アドレス「192.168.1.11」とポート番号「80」との組み合わせ）が割り当てられている第１サーバ」配下のデータ管理装置６に格納される。
なお、トランザクションのデータとは、トランザクションを処理するときに必要なデータであり、例えば、呼処理における呼の識別子、発信者、受信者、状態遷移を含む。トランザクションの状態遷移とは、話し中、呼び出し中などの呼の状態を示すパラメータである。

以上説明したように、振り分けサーバ４は、以下の２段階の変換処理（コンシステントハッシング）により、ロードバランサ２から受信したトランザクションを、処理サーバ５に割り当てる。
（１段階目）受信したトランザクションのＩＤを検索キーとしてトランザクション管理テーブル（表１）を検索することで、対応する配置ＩＤを特定する。
（２段階目）前記の（１段階目）で特定した配置ＩＤを検索キーとしてデータ配置テーブル（表２）を検索することで、対応する処理サーバ５のサーバアドレスを特定する。

図２は、図１のトランザクション処理システムを構成する各装置の詳細を示す構成図である。
分散システム管理サーバ１０は、エージェント管理部２１（エージェント配信部２１ａ、バイパス設定情報配信部２１ｂ）と、バイパス装置制御部２２と、処理サーバ監視部２３とを有する。

クライアント１は、分散システム９にアクセスするためのエージェント部３１を有する。エージェント部３１は、所定のトランザクションをバイパス装置１１経由で分散システム９にアクセスする。なお、所定のトランザクションとは、例えば、あらかじめ管理者などによって設定されたバイパス装置１１を利用するかしないかの設定情報（以下、コンフィグデータとする）によって利用する設定になっているトランザクションである。
エージェント部３１によるトランザクションの振り分け論理は、図１で説明したような振り分けサーバ４による振り分け論理（トランザクションのＩＤから処理サーバ５のサーバアドレスを特定する２段階の処理）に類似するが、その詳細については、表３および表４の説明として後記する。

バイパス装置１１は、クライアント１に対して処理サーバ５へ直接アクセスするルートを提供する転送部３２を有する。転送部３２の実装の一形態としては、ＮＡＰＴ（Network Address Port Translation）によって、処理サーバ５（複数）に対してバイパス装置１１のポート番号を割り当て、エージェント部３１の振り分け論理によってバイパス装置１１上のポートを指定してトランザクションを送信することにより、振り分けサーバ４を経由すること無く処理サーバ５に直接トランザクションを送信することが可能となる。
バイパス装置制御部２２は、処理サーバ監視部２３によって把握している処理サーバ５構成を反映させるように転送部３２を設定する。

処理サーバ５は、自身の処理サーバ５の死活状態を監視する死活監視部３３を有する。処理サーバ監視部２３は、各装置の死活監視部３３からそれぞれの死活状態を定期的に取得することで、処理可能な処理サーバ５を把握することが可能となる。

表３は、クライアント１内のエージェント部３１が振り分け論理に使用するデータ配置テーブルであり、例えば、クライアント１内部に保持される。表３のデータ配置テーブルと表２のデータ配置テーブルとの違いは、配置ＩＤに対応するアドレスが、処理サーバのサーバアドレスそのもの（表２）である代わりに、処理サーバのサーバアドレスを特定可能なバイパスアドレス（表３）に置き換わっていることである。

表４は、転送部３２がトランザクションの転送に使用するバイパス用テーブルを示す。このバイパス用テーブルは、表３のデータ配置テーブルの右列であるバイパスアドレスと、そのバイパスアドレスに対応する処理サーバ５のサーバアドレスとの対応データである。

よって、コンフィグデータによってバイパス装置１１を使用するトランザクションは、以下の３段階の処理により、各処理サーバ５へと割り当てられる。
（１段階目）エージェント部３１は、送信対象のトランザクションのＩＤを検索キーとしてトランザクション管理テーブル（表１）を検索することで、対応する配置ＩＤを特定する。
（２段階目）エージェント部３１は、前記の（１段階目）で特定した配置ＩＤを検索キーとしてデータ配置テーブル（表３）を検索することで、対応するバイパスアドレスを特定する。
（３段階目）転送部３２は、前記の（２段階目）で特定したバイパスアドレスを検索キーとしてバイパス用テーブル（表４）を検索することで、対応する処理サーバ５のサーバアドレスを特定する。

エージェント管理部２１は、クライアント１に対して分散システム９にアクセスするためのエージェント部３１の配信と制御を行う。クライアント１は、分散システム９にアクセスする際に、エージェント配信部２１ａにアクセスし、エージェント部３１を取得する。

エージェント部３１は、バイパス設定情報配信部２１ｂからコンフィグデータを随時受け取り、受付可能な処理サーバ５へのバイパス装置１１を経由するルート（以下、バイパスルートとする）を知ることができる。例えば、エージェント部３１は、エージェント配信部２１ａからバイパスルートの停止通知を示すコンフィグデータを受け取ると、バイパス装置１１への転送を中止し、ロードバランサ２経由のアクセスを行う。
これにより、バイパスルートの活性・非活性を制御することが可能となり、分散システム管理サーバ１０やバイパス装置１１の故障や交換、エージェント部３１を実装するソフトウェアの更新などが発生した場合でも、分散システム９へのアクセスを停止させる必要がなくなる。

以下、図３〜図５を参照して、バイパスルート経由でのトランザクションの振り分け処理と、バイパスルートを使用しないときのトランザクションの振り分け処理とをそれぞれ説明する。

図３は、図１のトランザクション処理システムを、後記する図４，図５の説明用に構成した一例を示す構成図である。各装置のネットワークインタフェースには、それぞれＩＰｖ４のプライベートアドレスが割り当てられている。例えば、クライアント１の広域ＮＷ（Network）側のネットワークインタフェースには、「192.168.10.100」のＩＰアドレスが割り当てられている。
また、図３から図５の「サーバ装置８」に割り当てられている「プライベートアドレス：ポート番号」は、そのサーバ装置８内の処理サーバ５に割り当てられている「プライベートアドレス：ポート番号」を示す。

図４は、図３のトランザクション処理システムに対して、バイパスルートを使用しないときのトランザクションの振り分け処理を示す説明図である。クライアント１から送信されるトランザクション（トランザクションＩＤ＝「Ｔ５」）は、以下の経路を辿って、割当先のサーバ装置８内の処理サーバ５（第４サーバ）へと到達する。

クライアント１のエージェント部３１は、コンフィグデータを参照して、符号１１１のトランザクション「Ｔ５」がバイパスルートを使用しないことを確認した後、ロードバランサ２のアドレス「192.168.10.11:80」を宛先とするパケットを送信する（符号１１２）。

ロードバランサ２は、受信したパケットを負荷分散するため、トランザクション「Ｔ５」のトランザクションデータがどのデータ管理装置６に保存されているかなどは特に参照せず、任意のサーバ装置８（図４では、第１サーバを含むサーバ装置８）を宛先として決定し、その宛先「192.168.1.11:80」を指定したパケットを送信する（符号１１３）。

第１サーバを含むサーバ装置８内の振り分けサーバ４は、受信したパケットについて、ハッシュ値と配置ＩＤを元に転送先を決定する（符号１１４）。その結果、自身が収容していない処理サーバ５（第４サーバ）を転送先として決定し、その宛先「192.168.1.20:80」を指定したパケットを送信する（符号１１５）。
第４サーバを含むサーバ装置８は、受信したパケットが自身の処理サーバ５（第４サーバ）が処理可能なトランザクション「Ｔ５」であることを確認する（符号１１６）。

以上のように、バイパスルートを使用しないときには、ロードバランサ２による無作為なサーバ装置８への割当に伴うボトルネック（ロードバランサ２の処理時間、第１サーバから第４サーバへ迂回する転送時間など）がかかってしまう。

図５は、図３のトランザクション処理システムに対して、バイパスルートを使用するときのトランザクションの振り分け処理を示す説明図である。クライアント１から送信されるトランザクション（トランザクションＩＤ＝「Ｔ５」）は、以下の経路を辿って、割当先のサーバ装置８内の処理サーバ５（第４サーバ）へと到達する。

クライアント１のエージェント部３１は、コンフィグデータを参照して、符号１１１のトランザクション「Ｔ５」がバイパスルートを使用することを確認した後、データ配置テーブル（表３）を検索して特定したバイパスアドレス「192.168.10.12:90」をポート番号付きで宛先として指定したパケット（符号１２２）を、バイパス装置１１に転送する（符号１２１）。

バイパス装置１１の転送部３２は、符号１２２のポートに対応するサーバ装置８にパケットを転送する（符号１２３）。このとき、パケットの宛先をバイパス用テーブル（表４）から取得した処理サーバ５（第４サーバ）の宛先「192.168.1.20:80」へと置き換える（符号１２４）。

第４サーバを含むサーバ装置８は、受信したパケットが自身の処理サーバ５（第４サーバ）が処理可能なトランザクション「Ｔ５」であることを確認する。図５では、図４のようなサーバ装置間（第１サーバ→第４サーバ）の転送処理が不要である（符号１２５）。

以上説明した本実施形態では、トランザクション処理システムにおいて、ロードバランサ２と振り分けサーバ４をバイパス（迂回）するためのバイパス装置１１を設けることで、バイパスルートを介した高速な通信処理を可能にする。

さらに、バイパス装置１１の転送部３２として、ＨＴＴＰ（Hypertext Transfer Protocol）やＳＩＰ（Session Initiation Protocol）のような高レイヤのトランザクションを解釈し振り分ける処理の代わりに、ＮＡＰＴによってＵＤＰ（User Datagram Protocol）やＴＣＰ（Transmission Control Protocol）のポート番号での転送処理を用いる。
これにより、バイパスアドレスが漏洩しただけでは、分散システム９の内部構成（とくに、処理サーバ５のアドレス）を把握することができないため、ロードバランサ２を用いたときと同様に分散システム９の内部構成を隠蔽することができ、システムのセキュリティを維持することができる上、軽量な転送処理を実現できる。

そして、死活監視部３３によって取得した各処理サーバ５の死活状況をもとに、バイパスルートを使用するトランザクションを決定するコンフィグデータを作成することにより、障害でダウンした処理サーバ５に対してトランザクションを誤転送することを抑制でき、パケットロスを低減することができる。

１ クライアント
２ ロードバランサ
４ 振り分けサーバ
５ 処理サーバ
６ データ管理装置
８ サーバ装置
９ 分散システム
１０ 分散システム管理サーバ
１１ バイパス装置
２１ エージェント管理部
２１ａ エージェント配信部
２１ｂ バイパス設定情報配信部
２２ バイパス装置制御部
２３ 処理サーバ監視部
３１ エージェント部
３２ 転送部

Claims (7)

1. クライアントからのトランザクションの要求信号を処理する処理サーバが複数台存在し、それらの処理サーバに対して前記要求信号を分散させるトランザクション処理システムであって、
   前記トランザクション処理システムは、
   トランザクションデータを格納するデータ管理装置がそれぞれ接続されている複数台の前記処理サーバと、
   前記処理サーバが管理する前記トランザクションデータの配置状況に応じて、前記要求信号の分配先である前記処理サーバを決定する振り分けサーバと、
   前記要求信号を受け付けると、複数台の前記振り分けサーバのうちのいずれか１台の前記振り分けサーバに対して前記要求信号を分配するロードバランサと、
   前記要求信号を受け付けると、その要求信号に含まれる前記処理サーバの特定情報と前記処理サーバのネットワークアドレスとを対応づけるバイパス用テーブルを参照して、前記ロードバランサおよび前記振り分けサーバを経由しない経路で各前記処理サーバに対して前記要求信号を転送するバイパス装置とを含めて構成され、
   前記クライアントは、
   自身の記憶手段に格納されているトランザクションごとのバイパスルートの使用可否を示すコンフィグデータを参照して、所定の要求信号を前記バイパスルートで転送するか否かを決定し、
   前記バイパスルートで転送するときには、前記処理サーバの特定情報を含ませた前記所定の要求信号を前記バイパス装置に送信し、
   前記バイパスルートで転送しないときには、前記所定の要求信号を前記ロードバランサに送信することを特徴とする
   トランザクション処理システム。
2. 前記バイパス用テーブルは、前記処理サーバの特定情報として、前記バイパス装置のアドレスと前記処理サーバごとのポート番号との組み合わせを、前記処理サーバのネットワークアドレスに対応づけるレコードが格納されており、
   前記バイパス装置は、受信した前記要求信号の宛先ヘッダを、前記バイパス用テーブルで示される前記処理サーバのネットワークアドレスに書き換えるＮＡＰＴ（Network Address Port Translation）処理により、受信した前記要求信号を前記処理サーバへと転送することを特徴とする
   請求項１に記載のトランザクション処理システム。
3. 前記クライアントは、前記コンフィグデータとして、前記処理サーバごとに動作しているか否かを示す死活状況データを受信し、前記処理サーバのうちの動作している前記処理サーバに対して前記バイパスルートで転送することを特徴とする
   請求項１または請求項２に記載のトランザクション処理システム。
4. クライアントからのトランザクションの要求信号を処理する処理サーバが複数台存在し、それらの処理サーバに対して前記要求信号を分散させるトランザクション処理システムによるトランザクション処理方法であって、
   前記トランザクション処理システムは、
   トランザクションデータを格納するデータ管理装置がそれぞれ接続されている複数台の前記処理サーバと、
   前記処理サーバが管理する前記トランザクションデータの配置状況に応じて、前記要求信号の分配先である前記処理サーバを決定する振り分けサーバと、
   前記要求信号を受け付けると、複数台の前記振り分けサーバのうちのいずれか１台の前記振り分けサーバに対して前記要求信号を分配するロードバランサと、
   前記要求信号を受け付けると、その要求信号に含まれる前記処理サーバの特定情報と前記処理サーバのネットワークアドレスとを対応づけるバイパス用テーブルを参照して、前記ロードバランサおよび前記振り分けサーバを経由しない経路で各前記処理サーバに対して前記要求信号を転送するバイパス装置とを含めて構成され、
   前記クライアントは、
   自身の記憶手段に格納されているトランザクションごとのバイパスルートの使用可否を示すコンフィグデータを参照して、所定の要求信号を前記バイパスルートで転送するか否かを決定し、
   前記バイパスルートで転送するときには、前記処理サーバの特定情報を含ませた前記所定の要求信号を前記バイパス装置に送信し、
   前記バイパスルートで転送しないときには、前記所定の要求信号を前記ロードバランサに送信することを特徴とする
   トランザクション処理方法。
5. 前記バイパス用テーブルは、前記処理サーバの特定情報として、前記バイパス装置のアドレスと前記処理サーバごとのポート番号との組み合わせを、前記処理サーバのネットワークアドレスに対応づけるレコードが格納されており、
   前記バイパス装置は、受信した前記要求信号の宛先ヘッダを、前記バイパス用テーブルで示される前記処理サーバのネットワークアドレスに書き換えるＮＡＰＴ（Network Address Port Translation）処理により、受信した前記要求信号を前記処理サーバへと転送することを特徴とする
   請求項４に記載のトランザクション処理方法。
6. 前記クライアントは、前記コンフィグデータとして、前記処理サーバごとに動作しているか否かを示す死活状況データを受信し、前記処理サーバのうちの動作している前記処理サーバに対して前記バイパスルートで転送することを特徴とする
   請求項４または請求項５に記載のトランザクション処理方法。
7. 請求項４ないし請求項６のいずれか１項に記載のトランザクション処理方法を、コンピュータである前記トランザクション処理システムの各装置に実行させるためのトランザクション処理プログラム。

Images