JP2010086363A - 情報処理装置及び装置構成組み換え制御方法 - Google Patents

情報処理装置及び装置構成組み換え制御方法 Download PDF

Info

Publication number
JP2010086363A
JP2010086363A JP2008255914A JP2008255914A JP2010086363A JP 2010086363 A JP2010086363 A JP 2010086363A JP 2008255914 A JP2008255914 A JP 2008255914A JP 2008255914 A JP2008255914 A JP 2008255914A JP 2010086363 A JP2010086363 A JP 2010086363A
Authority
JP
Japan
Prior art keywords
partition
configuration
priority
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008255914A
Other languages
English (en)
Inventor
Takayuki Tamura
高之 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008255914A priority Critical patent/JP2010086363A/ja
Priority to US12/565,977 priority patent/US20100083034A1/en
Publication of JP2010086363A publication Critical patent/JP2010086363A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2033—Failover techniques switching over of hardware resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2025—Failover techniques using centralised failover control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Hardware Redundancy (AREA)

Abstract

【課題】システムに障害が発生したときに、動的に装置構成を組み換えて迅速にシステムを復旧させることができる情報処理装置及び装置構成組み換え制御方法を提供する。
【解決手段】ＭＭＢ１１が、パーティション１２内のハードウェアリソースに異常が発生したことを検出し、優先度ＤＢ１０６に記憶されている各々のパーティション１２の優先度に基づいて、構成を組み換える対象とするパーティション１２を選択パーティションとして選択する。そして、ＭＭＢ１１が、上記異常が発生したハードウェアリソースを選択パーティションが備えるハードウェアリソースに交換することによって、パーティション１２の構成の組み換えを実行する。
【選択図】図１

Description

本発明は、情報処理装置及び装置構成組み換え制御方法に関し、情報処理装置のシステムに障害が発生したときに、動的に装置構成を組み換えて迅速にシステムを復旧させることができる情報処理装置及び装置構成組み換え制御方法に関する。
複数のパーティションを備える情報処理装置の具体例として、ＭＣ（Mission Critical）分野のサーバであるＰＲＩＭＥＱＵＥＳＴ（登録商標）等が挙げられる。図１８に示す情報処理装置１０は、ＣＰＵやメモリを持つシステムボード（ＳＢ：System Boad ）１１１、ＨＤＤ(Hard Disk Drive)やＰＣＩ(Peripheral Component Interconnect)カードスロットなどを実装したＩＯＵ（Input/Output Unit)１１２、ＳＢ１１１とＩＯＵ１１２とを接続するクロスバ１１３、パーティション２０の構成設定を行う管理ボード（ＭＭＢ:Management board) １１４から構成される。
図１８に示すように、情報処理装置１０は、クロスバ１１３により、ハードウェアリソース（資源）であるＳＢ１１１やＩＯＵ１１２の組み換えを可能とし、ＭＭＢ１１４からの制御によって１又は複数のＳＢ１１１やＩＯＵ１１２を論理的なパーティション２０として構成することができる。パーティション２０は、例えばＳＢ１１１、ＩＯＵ１１２等のハードウェアリソース（資源）を備える情報処理手段である。１筐体で構成可能な最大パーティション数は、例えば１６個であり、各々のパーティション２０に対応して様々な業務を構築することができる。この情報処理装置１０の管理については、例えば、システム管理者が、ＭＭＢファームウェアのＷｅｂ−ＵＩという管理ソフトを使用することで、情報処理装置１０の筐体内のハードウェアリソース（ＭＭＢ１１４、ＳＢ１１１、ＩＯＵ１１２等）の障害監視、システム設定操作、パーティション２０の障害監視、電源操作、及び、パーティション２０の設定（例えば、追加又は削除）を行う。
図１８を参照して説明した情報処理装置１０における、障害発生から復旧までの流れを、以下の（１）〜（１０）に示す。
（１）ハードウェアリソースの故障が発生する。
（２）情報処理装置１０のユーザが、システム管理者が用いる処理装置であるシステム管理者装置に対して、電子メール、画面表示等によって、ハードウェアリソースの故障を通知する。
（３）ユーザが、ＭＭＢ Ｗｅｂ−ＵＩを利用して故障箇所を特定する。
（４）ユーザが、空きリソースから交換対象リソースを選定する。交換対象リソースは、故障が発生したハードウェアリソースと交換されるリソースである。
（５−Ａ）空きリソースがない場合、ユーザが、システム管理者と相談して、他のパーティションから交換対象リソースを割当可能かを決定する。
（５−Ｂ）空きリソースがある場合、ユーザが、以下の（６）〜（１０）に示す手順を実行してシステムを復旧させる。
（６）ユーザが、ＭＭＢ Ｗｅｂ−ＵＩを用いて対象パーティションの電源をオフ（ＯＦＦ）する。対象パーティションは、故障したハードウェアリソースを備えるパーティションである。
（７）ユーザが、故障したハードウェアリソースを退避させる。
（８）ユーザが、交換対象リソースを組み込み、上記故障したハードウェアリソースと交換する。
（９）ユーザが、ＭＭＢ Ｗｅｂ−ＵＩを用いて対象パーティションの電源をオン（ＯＮ）する。
（１０）ユーザが、ＭＭＢ Ｗｅｂ−ＵＩを用いて対象パーティションが正常に動作することを確認する。
なお、障害が発生したマシンが提供していたサービスのリソース条件を読み出し、このリソース条件と、障害が発生していない各マシンの負荷情報とに基づいて、障害が発生したマシンが提供していたサービスを代わりに実行するマシンを決定するサービス復旧システムが提案されている。
特開２００１−１５５００３号公報
図１８を参照して説明した情報処理装置１０等の、複数のパーティションを備える情報処理装置においては、パーティション内のハードウェアリソースに故障が発生した場合、上記（５−Ａ）において前述したように、空きリソースがないときには、ユーザが、システム管理者と相談して、他のパーティションから交換対象リソースを割当可能かを決定する。従って、即座にパーティションのシステム復旧を行うことができない。また、空きリソースがある場合においても、ユーザが前述した（６）〜（１０）に示す手順を手動で実行してシステムを復旧させる必要があるので、システムの停止時間が大きい。
本発明は、システムに障害が発生したときに、動的に装置構成を組み換えて迅速にシステムを復旧させることができる情報処理装置の提供を目的とする。
また、本発明は、システムに障害が発生したときに、動的に装置構成を組み換えて迅速にシステムを復旧させることができる装置構成組み換え制御方法の提供を目的とする。
本情報処理装置は、各々がハードウェアリソースを備え、情報処理可能な複数のパーティションと、前記複数のパーティションの構成を組み換え制御する制御手段とを備える情報処理装置である。前記制御手段が、各々のパーティションに対応する、パーティションの構成が維持される優先度を算出し、算出された優先度を記憶手段に記憶する優先度算出手段と、パーティション内のハードウェアリソースに異常が発生したときに、前記記憶手段内の優先度に基づいて、構成を組み換える対象とするパーティションを選択パーティションとして選択するパーティション選択手段と、前記異常が発生したハードウェアリソースを前記選択パーティションが備えるハードウェアリソースに交換することによって、パーティションの構成の組み換えを実行する組み換え実行手段とを備える。
また、装置構成組み換え制御方法は、各々がハードウェアリソースを備え、情報処理可能な複数のパーティションを備える情報処理装置の構成を組み換え制御する方法である。前記情報処理装置が、各々のパーティションに対応する、パーティションの構成が維持される優先度を算出し、算出された優先度を記憶手段に記憶し、前記情報処理装置が、パーティション内のハードウェアリソースに異常が発生したときに、前記記憶手段内の優先度に基づいて、構成を組み換える対象とするパーティションを選択パーティションとして選択し、前記異常が発生したハードウェアリソースを前記選択パーティションが備えるハードウェアリソースに交換することによって、パーティションの構成の組み換えを実行する。
本情報処理装置及び本装置構成組み換え制御方法は、情報処理装置が備えるパーティション内のハードウェアリソースに異常が発生したときに、パーティション毎の優先度に基づいて、構成を組み換える対象とする選択パーティションを動的に選択し、上記異常が発生したハードウェアリソースを選択パーティションが備えるハードウェアリソースに交換する。従って、本情報処理装置及び本装置構成組み換え制御方法によれば、情報処理装置のシステムに障害が発生したときに、動的に装置構成を組み換えて迅速にシステムを復旧させることが可能となる。
図１は、本実施形態の情報処理装置の構成例を示す図である。図１では、本実施形態の情報処理装置がサーバ装置１と管理用サーバ２とを備える場合を例にとって説明する。なお、図１中に示すシステム管理者装置３は、システム管理者が用いるコンピュータ装置であって、サーバ装置１との間で通信可能に構成されている。本実施形態の情報処理装置が、管理用サーバ２が省略された構成をとるようにしてもよい。
サーバ装置１は、ＭＭＢ(ManageMent Board)１１、複数のパーティション１２、未使用リソース格納領域１３を備える。ＭＭＢ１１は、パーティション１２の構成を組み換え制御する制御手段としての機能を有するＳＶＰ（SerVice Processor：システム制御装置）である。各々のパーティション１２は、例えばＳＢ、ＩＯＵといったハードウェアリソースを備える情報処理手段であり、このハードウェアリソースを用いて情報処理可能に構成されている。上記ＳＢは、例えばＣＰＵやメモリ等を備えており、上記ＩＯＵは、例えばＨＤＤ等を備えている。未使用リソース格納領域１３は、未使用のリソースが格納される領域である。
ＭＭＢ１１は、設定部３１、異常検出部３２、構成管理部３３、構成変更実行部３４、ポイント設定情報ＤＢ３５、パーティション構成情報ＤＢ３６を備える。設定部３１は、システム管理者装置３がサーバ装置１に入力する各パーティション毎のポイント設定情報をポイント設定情報ＤＢ３５に設定する。ポイント設定情報は、例えば、パーティション１２上で稼働するソフトウェアに対して予め割り当てられた、ソフトウェアの重要度（ソフトウェアの稼働が必要な度合）を示すポイント値と、性能利用可否情報と、アラーム通知可否情報を含む情報である。性能利用可否情報は、管理用サーバ２が管理する、後述する性能情報を用いてパーティション１２の構成を変更すべきであるかを判断するか否かを示す情報である。アラーム通知可否情報は、パーティション１２内のハードウェアリソースに異常が発生したことをシステム管理者装置３にアラーム通知するか否かを示す情報である。なお、上記ソフトウェアの重要度を示すポイント値が、曜日毎及び／又は時間帯毎にポイント設定情報としてソフトウェアに予め割り当てられるようにしてもよい。
異常検出部３２は、パーティション１２内のハードウェアリソースに異常が発生したことを検出し、その異常の発生を構成管理部３３の受付部１０２（図２を参照）に通知する。
構成管理部３３は、パーティション１２内のハードウェアリソースに異常が発生したことを異常検出部３２から通知されると、優先度ＤＢ１０６内の優先度に基づいて、構成を組み換える対象とするパーティション１２を選択パーティションとして選択する。上記優先度は、各々のパーティション１２に対応するものであり、パーティション１２の構成が維持される度合いである。構成管理部３３は、ポイント設定情報ＤＢ３５に設定されたポイント設定情報とパーティション構成情報ＤＢ３６に予め記憶されたパーティション構成情報に基づいて、各々のパーティション１２の優先度を算出し、優先度ＤＢ１０６に記憶する。構成管理部３３は、常時、もしくは定期的に優先度を算出し、算出された優先度で優先度ＤＢ１０６に記憶されている優先度を最新の優先度に更新する。パーティション構成情報は、少なくとも各々のパーティション１２が備えるハードウェアリソースの情報と、パーティション１２上において稼働する、又はインストールされているソフトウェアの情報を含む。上記ハードウェアリソースの情報には、例えば、パーティション１２が備えるＳＢとＩＯＵの情報、ＳＢが備えるＣＰＵ、メモリの情報、ＩＯＵが備えるＨＤＤの情報が含まれる。
また、構成管理部３３は、構成変更実行部３４に対して、パーティション１２の構成の組み換えの実行を指示する。具体的には、構成管理部３３は、構成変更実行部３４に対して、上記異常が発生したハードウェアリソースを上記選択パーティションが備えるハードウェアリソースに交換することを指示する。
構成管理部３３が、ハードウェアリソースに異常が発生したときに、管理用サーバ２に対して、後述する性能情報の取得要求を送信し、この取得要求に応答して管理用サーバ２から送信された性能情報に基づいて、異常が発生したハードウェアリソースを備えるパーティション１２の構成を変更すべきであるかを判断するようにしてもよい。そして、構成管理部３３が、パーティション１２の構成を変更すると判断した場合に、その時点における優先度ＤＢ１０６内の優先度に基づいて選択パーティションを選択するようにしてもよい。
構成変更実行部３４は、構成管理部３３の指示に従って、上記異常が発生したハードウェアリソースを選択パーティションが備えるハードウェアリソースに交換することによって、パーティション１２の構成の組み換えを実行する。ポイント設定情報ＤＢ３５には、上述したポイント設定情報が設定される。パーティション構成情報ＤＢ３６には、上述したパーティション構成情報が予め記憶される。なお、構成変更実行部３４が、システム管理者装置３からの指示に従ってパーティション１２の構成の変更を実行するようにしてもよい。
管理用サーバ２は、サーバ装置１内の各々のパーティション１２が備えるハードウェアリソースの性能情報を管理する管理装置である。具体的には、管理用サーバ２が備える性能管理部２１が、常時もしくは定期的にサーバ装置１内の各々のパーティション１２が備えるＣＰＵ、メモリの使用率の情報を性能情報として収集し、性能情報ＤＢ２２に記憶する。また、性能管理部２１が、サーバ装置１内の構成管理部３３から性能情報の取得要求を受けて、構成管理部３３に対して性能情報を送信する。システム管理者装置３は、システム管理者の指定入力に従って、ポイント設定情報を入力し、このポイント設定情報のポイント設定情報ＤＢ３５への設定をサーバ装置１内の設定部３１に対して指示する。なお、システム管理者装置３が、サーバ装置１内の構成変更実行部３４に対してパーティション１２の構成の変更の実行を指示するようにしてもよい。
図２は、構成管理部の構成例を示す図である。構成管理部３３は、優先度算出部１０１、受付部１０２、構成変更判断部１０３、パーティション選択部１０４、実行指示部１０５、優先度ＤＢ１０６を備える。優先度算出部１０１は、ポイント設定情報ＤＢ３５に設定されたポイント設定情報とパーティション構成情報ＤＢ３６に予め記憶されたパーティション構成情報に基づいて、各々のパーティション１２の優先度を算出し、優先度ＤＢ１０６に記憶する。優先度算出部１０１は、常時、もしくは定期的に優先度を算出し、算出された優先度で優先度ＤＢ１０６内の優先度を最新の優先度に更新する。
例えば、優先度算出部１０１は、パーティション構成情報ＤＢ３６を参照して、パーティション１２上で稼働するソフトウェアを認識する。そして、優先度算出部１０１は、ポイント設定情報に含まれる、パーティション１２上において稼働するソフトウェアの重要度を示すポイント値の合計を、このパーティション１２に対応する優先度として算出する。なお、上記ソフトウェアの重要度を示すポイント値が、曜日毎及び／又は時間帯毎にポイント設定情報としてソフトウェアに予め割り当てられている場合、優先度算出部１０１が、現在の曜日及び／又は時間帯に対応するソフトウェアのポイント値の合計を、このソフトウェアが稼働するパーティション１２に対応する現在の曜日及び／又は時間帯についての優先度として算出するようにしてもよい。従って、ハードウェアリソースに異常が発生したときには、優先度算出部１０１は、ハードウェアリソースに異常が発生したときの曜日及び／又は時間帯に対応するソフトウェアのポイント値の合計を、このソフトウェアが稼働するパーティション１２に対応する優先度として算出する。
受付部１０２は、異常検出部３２（図１を参照）から、パーティション１２内のハードウェアリソースに異常が発生したことを示す通知を受け付け、受け付けた内容を構成変更判断部１０３に通知する。構成変更判断部１０３は、受付部１０２から上記通知を受けると、ポイント設定情報ＤＢ３５内のポイント設定情報に含まれる、前述した性能利用可否情報を参照して、性能情報を用いてパーティション１２の構成を変更すべきであるかを判断するか否かを決定する。構成変更判断部１０３が、性能情報を用いてパーティション１２の構成を変更すべきであるかを判断しないことを決定した場合は、パーティション選択部１０４が、選択パーティションの選択処理を実行する。構成変更判断部１０３が、性能情報を用いてパーティション１２の構成を変更すべきであるかを判断することを決定した場合、構成変更判断部１０３は、上記異常が発生したハードウェアリソースを備えるパーティション１２（以下、対象パーティションと記述）の性能情報の取得要求を管理用サーバ２の性能管理部２１に送信して、性能管理部２１からこの性能情報を取得する。そして、構成変更判断部１０３は、パーティション構成情報ＤＢ３６から対象パーティションの構成情報を取得し、取得した構成情報と性能情報とに基づいて、対象パーティションの構成を変更するか否かを判断する。具体的には、構成変更判断部１０３は、性能情報に含まれる、ハードウェアリソースに異常が発生する前の対象パーティション内のハードウェアリソースの使用率に相当する処理を、この対象パーティション内の異常が発生していないハードウェアリソースが実行することができるか否かを判断し、異常が発生していないハードウェアリソースが上記ハードウェアリソースの使用率に相当する処理を実行することができないと判断される場合に、対象パーティションの構成を変更すると判断する。また、構成変更判断部１０３は、異常が発生していないハードウェアリソースが上記ハードウェアリソースの使用率に相当する処理を実行することができると判断される場合に、対象パーティションの構成を変更しないと判断する。
例えば、対象パーティションに含まれるＣＰＵ等のハードウェアリソースのうちの１台のハードウェアリソースに異常が発生した場合を想定する。対象パーティションの構成情報が示す対象パーティションに含まれるハードウェアリソースが３台であって、性能情報が示すこの３台全体での使用率が２１０％である場合、１台のハードウェアリソースに異常が発生したことによって、残りの２台のハードウェアリソースでは、１台当たりの使用率が１０５％となり１００％を超えるため、異常発生前の使用率（２１０％）に相当する処理を実行することができない。従って、構成変更判断部１０３は、対象パーティションの構成を変更すると判断し、パーティション選択部１０４に対して、選択パーティションの選択処理の実行を指示する。また、例えば、性能情報が示す上記３台のハードウェアリソース全体での使用率が１８０％である場合、１台当たりの使用率が９０％となり１００％を下回るため、１台のハードウェアリソースに異常が発生しても、残りの２台のハードウェアリソースで、異常発生前の使用率（１８０％）に相当する処理を実行することができる。従って、構成変更判断部１０３は、対象パーティションの構成を変更しないと判断する。上述したように構成変更判断部１０３が対象パーティションの構成情報と性能情報とに基づいて、対象パーティションの構成を変更するか否かを判断することによって、例えば対象パーティションがハードウェアリソースに異常が発生する前の処理を継続して実行することができる場合には対象パーティションの構成の組み換えを不要とすることができる。
また、構成変更判断部１０３は、ポイント設定情報に含まれるアラーム通知可否情報が、パーティション１２内のハードウェアリソースに異常が発生したことをシステム管理者装置３にアラーム通知することを示す場合に、ハードウェアリソースに異常が発生したことをシステム管理者装置３にアラーム通知する。
パーティション選択部１０４は、優先度ＤＢ１０６内の優先度に基づいて、構成を組み換える対象とするパーティションを選択パーティションとして選択する。具体的には、パーティション選択部１０４は、優先度が最も低いパーティション１２を選択パーティションとして選択する。すなわち、パーティション選択部１０４は、パーティション１２内のハードウェアリソースに異常が発生したときに、優先度ＤＢ１０６内の優先度に基づいて選択パーティションを選択するパーティション選択手段としての機能を有する。また、パーティション選択部１０４は、パーティション構成情報ＤＢ３６を参照して、選択パーティションの構成情報を取得し、この構成情報が示す選択パーティションが備えるハードウェアリソースの情報と、異常が発生したハードウェアリソースの情報とを実行指示部１０５に通知する。実行指示部１０５は、異常が発生したハードウェアリソースを選択パーティションが備えるハードウェアリソースに交換することを指示する制御情報を作成し、この制御情報を構成変更実行部３４に送信する。実行指示部１０５から上記制御情報を受信した構成変更実行部３４は、制御情報に従って、異常が発生したハードウェアリソースを選択パーティションが備えるいずれかのハードウェアリソースに交換することによって、対象パーティション及び選択パーティションの構成を組み換える。
本実施形態の情報処理装置においては、上述したように、優先度算出部１０１が、パーティション１２上において稼働するソフトウェアの重要度を示すポイント値の合計をこのソフトウェアが稼働するパーティション１２の優先度として算出し、パーティション選択部１０４が、優先度が最も低いパーティション１２を選択パーティションとして選択する。従って、本実施形態の情報処理装置によれば、パーティション１２上で稼働するソフトウェア全体の重要度が最も低いパーティション１２を優先的に構成組み換えの対象とすることができる。
また、本実施形態の情報処理装置においては、上述したように、優先度算出部１０１が、ハードウェアリソースに異常が発生したときの曜日及び／又は時間帯に対応するソフトウェアのポイント値の合計を、このソフトウェアが稼働するパーティション１２に対応する優先度として算出する。従って、本実施形態の情報処理装置によれば、ハードウェアリソースに異常が発生したときの曜日及び／又は時間帯に対応する、パーティション１２上で稼働するソフトウェア全体の重要度が最も低いパーティション１２を優先的に構成組み換えの対象とすることができる。
図３は、ポイント設定情報ＤＢに設定されるポイント設定情報の例を示す図である。図３に示す例では、ポイント設定情報は、ＩＰアドレスブロック、アラーム通知可否情報、性能利用可否情報、ポイント値とを含む。ＩＰアドレスブロックには、サーバ装置１が備えるＭＭＢ１１のＩＰアドレスが設定される。アラーム通知可否情報には、例えば、ｙｅｓ又はｎｏが設定される。ｙｅｓは、パーティション１２内のハードウェアリソースに異常が発生したことをシステム管理者装置３にアラーム通知することを示し、ｎｏは、ハードウェアリソースに異常が発生したことをシステム管理者装置３にアラーム通知しないことを示す。性能利用可否情報には、例えば、ｙｅｓ又はｎｏが設定される。ｙｅｓは、性能情報を用いてパーティション１２の構成を変更すべきであるかを判断することを示し、ｎｏは、性能情報を用いてパーティション１２の構成を変更すべきであるかを判断しないことを示す。ポイント値には、パーティション１２上で稼働するソフトウェアに対して予め割り当てられた、ソフトウェアの重要度を示すポイント値が設定される。例えば、ポイント値には、図４に示すようなポイント値の割り当て情報に従う、パーティション１２上で稼働する各々のソフトウェアに対するポイント値が、時間帯毎及び曜日毎に設定される。図３に示す例では、パーティション１２上で稼働するソフトウェア（例えばソフトＡとソフトＢ）の平日、土曜日、日曜日の日中、夜間それぞれについてのポイント値が設定される。
図４は、ポイント設定情報に含まれる、パーティション１２上で稼働するソフトウェアに対するポイント値の割り当て情報の例を示す図である。図４中、例えば、日中は６時から１８時、夜間は１８時から６時の時間帯を示す。図４に示すポイント値の割り当て情報は、各々のソフトウェアの曜日毎及び時間帯毎のポイント値を示す。図４を参照すると、例えば、ソフトＡというソフトウェアの平日の日中についてのポイント値は５であることがわかる。
図５は、構成管理部内の優先度算出部が算出するパーティション毎の優先度の例を示す図である。図５は、各パーティション１２の平日（月〜金）と土曜についての、日中及び夜間の優先度を示している。例えば、パーティション番号が＃１のパーティション１２上で稼働するソフトウェアがソフトＡとソフトＢ、パーティション番号が＃２のパーティション１２上で稼働するソフトウェアがソフトＣ、パーティション番号が＃３のパーティション１２上で稼働するソフトウェアがソフトＤとソフトＥであるものと想定する。優先度算出部１０１は、ポイント設定情報に含まれる、各々のパーティション１２上で稼働するソフトウェアの、曜日毎及び時間帯毎のポイント値の合計を、各々のパーティション１２の曜日毎及び時間帯毎の優先度として算出する。例えば図４に示すようなソフトウェアに対するポイント値の割り当て情報を参照すると、ソフトＡの平日の日中に対応するポイント値は５であり、ソフトＢの平日の日中に対応するポイント値は０であるので、ソフトＡとソフトＢとが稼働するパーティション番号が＃１のパーティション１２に対応するポイント設定情報においては、ソフトＡの平日の日中に対応するポイント値が５、ソフトＢの平日の日中に対応するポイント値が０に設定されている。従って、優先度算出部１０１は、図５に示すように、上記ポイント値５とポイント値０との合計であるポイント値５を、ソフトＡとソフトＢとが稼働するパーティション番号が＃１のパーティション１２の、平日の日中に対応する優先度として算出する。図５中に示す平日における各パーティション１２の優先度の時間推移を図６に示す。また、図５中に示す土曜日における各パーティション１２の優先度の時間推移を図７に示す。図６及び図７中、２０１、２０２、２０３は、それぞれ、パーティション番号が＃１、＃２、＃３のパーティション１２に対応する優先度の時間推移を示す。
図８は、ポイント設定情報ＤＢへのポイント設定情報の設定処理フローの例を示す図である。まず、システム管理者装置３が、サーバ装置１のＭＭＢ１１内の設定部３１にポイント設定情報を入力する（ステップＳ１）。次に、設定部３１が、ポイント設定情報に含まれるＩＰアドレスに対応するＭＭＢ１１が存在するかを判断し、その判断結果に基づいて、サーバ装置１が存在するかを判断する（ステップＳ２）。設定部３１が、上記ＩＰアドレスに対応するＭＭＢ１１が存在すると判断した場合には、設定部３１は、サーバ装置１が存在すると判断する。設定部３１が、上記ＩＰアドレスに対応するＭＭＢ１１が存在しないと判断した場合には、設定部３１は、サーバ装置１が存在しないと判断する。設定部３１が、サーバ装置１が存在しないと判断した場合、設定部３１は、ポイント設定情報をポイント設定情報ＤＢ３５に設定しない（ステップＳ３）。設定部３１が、サーバ装置１が存在すると判断した場合、設定部３１は、ポイント設定情報をポイント設定情報ＤＢ３５に設定する（ステップＳ４）。
図９は、本実施形態の装置構成組み換え制御処理フローの例を示す図である。まず、異常検出部３２がパーティション１２内のハードウェアリソースに異常が発生したことを検出し（ステップＳ１１）、検出結果を構成管理部３３に通知する。次に、構成管理部３３が、ポイント設定情報ＤＢ３５内のポイント設定情報に含まれるアラーム通知可否情報に基づいて、システム管理者装置３にアラーム通知を行うか否かを判断する（ステップＳ１２）。構成管理部３３が、システム管理者装置３にアラーム通知を行うと判断した場合は、構成管理部３３は、システム管理者装置３にアラーム通知を行う（ステップＳ１３）。ステップＳ１３においては、構成管理部３３は、例えば、異常が発生したハードウェアリソースの情報、パーティション１２毎の優先度、パーティション構成の変更案等をシステム管理者装置３に通知する。上記パーティション構成の変更案は、例えば、異常が発生したハードウェアリソースを優先度が最も低いパーティション１２内のハードウェアリソースに交換する案である。
そして、構成変更実行部３４が、システム管理者装置３からパーティション１２の構成変更の実行指示を受け（ステップＳ１４）、ステップＳ１７に進む。構成管理部３３が、システム管理者装置３にアラーム通知を行わないと判断した場合は、構成管理部３３が、優先度ＤＢ１０６内の優先度が最も低いパーティション１２を選択パーティションとして選択する（ステップＳ１５）。続いて、構成管理部３３が、構成変更実行部３４に対して、パーティション１２の構成変更の実行を指示する（ステップＳ１６）。例えば、構成管理部３３は、異常が発生したハードウェアリソースを選択パーティションが備えるハードウェアリソースに交換することを指示する制御情報を構成変更実行部３４に送信する。そして、構成変更実行部３４が、パーティション１２の構成変更を実行する（ステップＳ１７）。
図１０乃至１３を参照して、本実施形態の装置構成組み換え制御方法の第１の例を説明する。この例では、図１０に示すように、サーバ装置１は、パーティション＃１、＃２、＃３という３台のパーティション１２を備える。また、パーティション＃１、＃２、＃３は、それぞれ、ＳＢ＃１及びＩＯＵ＃１、ＳＢ＃２及びＩＯＵ＃２、ＳＢ＃３及びＩＯＵ＃３を備える。また、各ＳＢはＣＰＵとメモリを備え、各ＩＯＵはＨＤＤを備える。図１０のＰ１に示すように、パーティション＃１内の斜線部に示すＳＢ＃１に、例えば水曜午後３時に異常が発生すると、パーティション＃１のシステムがシャットダウンする（図１０のＰ２を参照）。次に、サーバ装置１のＭＭＢ１１が備える構成管理部３３が、上記異常が発生したときの各々のパーティション１２の優先度を優先度ＤＢ１０６から取得する（図１０のＰ３を参照）。上記取得されたパーティション１２の優先度の情報が、例えば図１１に示される。図１１を参照すると、最も優先度が低いパーティション１２はパーティション＃３であることがわかる。従って、構成管理部３３は、パーティション＃３を選択パーティションとして選択し（図１０のＰ４を参照）、パーティション＃１のＳＢ＃１をパーティション＃３のＳＢ＃３に交換することによってパーティション１２の構成を変更することを構成変更実行部３４に対して指示する。続いて、構成変更実行部３４が、上記構成管理部３３からの指示に従って、パーティション＃１のＳＢ＃１を未使用リソース格納領域１３に退避させる（図１２のＰ５を参照）。また、構成変更実行部３４が、パーティション＃３のシステムを停止させる（図１２のＰ６を参照）。続いて、構成変更実行部３４が、パーティション＃３が備えるＳＢ＃３をパーティション＃１のシステムに組み込む（図１３のＰ７を参照）。そして、構成変更実行部３４が、パーティション＃１，＃３のシステムを起動する。
図１４乃至１７を参照して、本実施形態の装置構成組み換え制御方法の第２の例を説明する。この例では、図１４に示すように、サーバ装置１が備えるパーティション＃１は、ＳＢ＃１、ＳＢ＃４及びＩＯＵ＃１を備える。パーティション＃２は、ＳＢ＃２、ＳＢ＃５及びＩＯＵ＃２を備える。パーティション＃３は、ＳＢ＃３、ＳＢ＃６及びＩＯＵ＃３を備える。また、この例では、ポイント設定情報ＤＢ３５内のポイント設定情報に含まれる性能利用可否情報として、ｙｅｓが設定されているものとする。
図１４のＰ１に示すように、パーティション＃１内の斜線部に示すＳＢ＃１に水曜午後３時に異常が発生すると、パーティション＃１のシステムがシャットダウンする（図１４のＰ２を参照）。次に、ＭＭＢ１１が備える構成管理部３３が、管理用サーバ２が備える性能管理部２１からパーティション＃１の性能情報を取得する（図１５のＰ３を参照）。上記取得されるパーティション＃１の性能情報は、例えば、ＳＢ＃１に異常が発生する前の、ＳＢ＃１とＳＢ＃４が備えるＣＰＵの使用率の合計である。
続いて、構成管理部３３が、取得した性能情報とパーティション構成情報ＤＢ３６から取得したパーティション＃１の構成情報とに基づいて、パーティション＃１の構成を変更すべきであるかを判断する。具体的には、構成管理部３３は、上記性能情報として取得されたＳＢ＃１とＳＢ＃４が備えるＣＰＵの使用率の合計に相当する処理を、異常が発生していないＳＢ＃４が実行することができるかを判断することを通じて、パーティション＃１の構成を変更すべきであるかを判断する。例えば、上記ＣＰＵの使用率の合計が１００％を超える場合には、ＳＢ＃４は、この１００％を超えるＣＰＵの使用率に相当する処理を実行することができないので、構成管理部３３は、パーティション＃１の構成を変更すべきであると判断する。また、例えば、上記ＣＰＵの使用率の合計が１００％以下である場合には、ＳＢ＃４が、この１００％以下のＣＰＵの使用率に相当する処理を実行することができるので、構成管理部３３は、パーティション＃１の構成を変更すべきでないと判断する。この例では、構成管理部３３が、パーティション＃１の構成を変更すべきであると判断したものとする（図１５のＰ４を参照）。従って、構成管理部３３は、優先度ＤＢ１０６内の優先度を参照して、例えば最も優先度が低いパーティション＃３を選択パーティションとして選択し（図１５のＰ５を参照）、パーティション＃１のＳＢ＃１をパーティション＃３の例えばＳＢ＃３に交換することによってパーティション１２の構成を変更することを構成変更実行部３４に対して指示する。続いて、構成変更実行部３４が、上記構成管理部３３からの指示に従って、パーティション＃１のＳＢ＃１を未使用リソース格納領域１３に退避させる（図１６のＰ６を参照）。また、構成変更実行部３４が、パーティション＃３のシステムを停止させる（図１６のＰ７を参照）。続いて、構成変更実行部３４が、パーティション＃３が備えるＳＢ＃３をパーティション＃１のシステムに組み込む（図１６のＰ８を参照）。そして、構成変更実行部３４が、パーティション＃１とパーティション＃３のシステムを起動して、それぞれのパーティション１２が実行していた情報処理を継続させる（図１７のＰ９、Ｐ１０を参照）。
本実施形態の情報処理装置の構成例を示す図である。 構成管理部の構成例を示す図である。 ポイント設定情報の例を示す図である。 パーティション上で稼働するソフトウェアに対するポイント値の割り当て情報の例を示す図である。 構成管理部内の優先度算出部が算出するパーティション毎の優先度を説明する図である。 平日における各パーティションの優先度の時間推移を示す図である。 土曜日における各パーティションの優先度の時間推移を示す図である。 ポイント設定情報ＤＢへのポイント設定情報の設定処理フローの例を示す図である。 本実施形態の装置構成組み換え制御処理フローの例を示す図である。 装置構成組み換え制御方法の第１の例を説明する図である。 パーティションの優先度の情報を示す図である。 装置構成組み換え制御方法の第１の例を説明する図である。 装置構成組み換え制御方法の第１の例を説明する図である。 装置構成組み換え制御方法の第２の例を説明する図である。 装置構成組み換え制御方法の第２の例を説明する図である。 装置構成組み換え制御方法の第２の例を説明する図である。 装置構成組み換え制御方法の第２の例を説明する図である。 情報処理装置の構成例を示す図である。
符号の説明
１ サーバ装置
２ 管理用サーバ
３ システム管理者装置
１１ ＭＭＢ
１３ 未使用リソース格納領域
１２ パーティション
２１ 性能管理部
２２ 性能情報ＤＢ
３１ 設定部
３２ 異常検出部
３３ 構成管理部
３４ 構成変更実行部
３５ ポイント設定情報ＤＢ
３６ パーティション構成情報ＤＢ
１０６ 優先度ＤＢ

Claims (10)

  1. 各々がハードウェアリソースを備え、情報処理可能な複数のパーティションと、
    前記複数のパーティションの構成を組み換え制御する制御手段とを備える情報処理装置であって、
    前記制御手段が、
    各々のパーティションに対応する、パーティションの構成が維持される優先度を算出し、算出された優先度を記憶手段に記憶する優先度算出手段と、
    パーティション内のハードウェアリソースに異常が発生したときに、前記記憶手段内の優先度に基づいて、構成を組み換える対象とするパーティションを選択パーティションとして選択するパーティション選択手段と、
    前記異常が発生したハードウェアリソースを前記選択パーティションが備えるハードウェアリソースに交換することによって、パーティションの構成の組み換えを実行する組み換え実行手段とを備える
    ことを特徴とする情報処理装置。
  2. 前記パーティション選択手段が、前記優先度が最も低いパーティションを前記選択パーティションとして選択する
    ことを特徴とする請求項１記載の情報処理装置。
  3. 前記パーティションに対応する前記優先度が、前記パーティション上において稼働するソフトウェアに対して予め割り当てられた、該ソフトウェアの重要度を示すポイント値の合計である
    ことを特徴とする請求項２記載の情報処理装置。
  4. 前記ソフトウェアの重要度を示すポイント値が、曜日毎及び／又は時間帯毎に前記ソフトウェアに予め割り当てられ、
    前記優先度算出手段が、前記ハードウェアリソースに異常が発生したときの曜日及び／又は時間帯に対応する前記ソフトウェアのポイント値の合計を前記パーティションに対応する優先度として算出する
    ことを特徴とする請求項２記載の情報処理装置。
  5. 各々のパーティションが備えるハードウェアリソースの性能情報を管理する管理装置を備え、
    前記制御手段が、更に、ハードウェアリソースに異常が発生したときに、前記管理装置が管理する性能情報に基づいて、前記異常が発生したハードウェアリソースを備えるパーティションの構成を変更するか否かを判断し、前記パーティションの構成を変更すると判断した場合に、前記パーティション選択手段に指示して、前記優先度に基づいて前記選択パーティションを選択させる構成変更判断手段を備える
    ことを特徴とする請求項１記載の情報処理装置。
  6. 各々がハードウェアリソースを備え、情報処理可能な複数のパーティションを備える情報処理装置の構成を組み換え制御する方法であって、
    前記情報処理装置が、各々のパーティションに対応する、パーティションの構成が維持される優先度を算出し、算出された優先度を記憶手段に記憶し、
    前記情報処理装置が、パーティション内のハードウェアリソースに異常が発生したときに、前記記憶手段内の優先度に基づいて、構成を組み換える対象とするパーティションを選択パーティションとして選択し、
    前記異常が発生したハードウェアリソースを前記選択パーティションが備えるハードウェアリソースに交換することによって、パーティションの構成の組み換えを実行する
    ことを特徴とする装置構成組み換え制御方法。
  7. 前記情報処理装置が、前記優先度が最も低いパーティションを前記選択パーティションとして選択する
    ことを特徴とする請求項６記載の装置構成組み換え制御方法。
  8. 前記パーティションに対応する前記優先度が、前記パーティション上において稼働するソフトウェアに対して予め割り当てられた、該ソフトウェアの重要度を示すポイント値の合計である
    ことを特徴とする請求項７記載の装置構成組み換え制御方法。
  9. 前記ポイント値が、曜日毎及び／又は時間帯毎に前記ソフトウェアに予め割り当てられ、
    前記情報処理装置が、前記ハードウェアリソースに異常が発生したときの曜日及び／又は時間帯に対応する前記ソフトウェアのポイント値の合計を前記パーティションに対応する優先度として算出する
    ことを特徴とする請求項７記載の装置構成組み換え制御方法。
  10. 前記情報処理装置が、各々のパーティションが備えるハードウェアリソースの性能情報を管理する管理装置を備え、
    前記情報処理装置が、ハードウェアリソースに異常が発生したときに、前記管理装置が管理する性能情報に基づいて、前記異常が発生したハードウェアリソースを備えるパーティションの構成を変更するか否かを判断し、前記パーティションの構成を変更すると判断した場合に、前記優先度に基づいて前記選択パーティションを選択する
    ことを特徴とする請求項６記載の装置構成組み換え制御方法。
JP2008255914A 2008-10-01 2008-10-01 情報処理装置及び装置構成組み換え制御方法 Withdrawn JP2010086363A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008255914A JP2010086363A (ja) 2008-10-01 2008-10-01 情報処理装置及び装置構成組み換え制御方法
US12/565,977 US20100083034A1 (en) 2008-10-01 2009-09-24 Information processing apparatus and configuration control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008255914A JP2010086363A (ja) 2008-10-01 2008-10-01 情報処理装置及び装置構成組み換え制御方法

Publications (1)

Publication Number Publication Date
JP2010086363A true JP2010086363A (ja) 2010-04-15

Family

ID=42058916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008255914A Withdrawn JP2010086363A (ja) 2008-10-01 2008-10-01 情報処理装置及び装置構成組み換え制御方法

Country Status (2)

Country Link
US (1) US20100083034A1 (ja)
JP (1) JP2010086363A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112042A1 (ja) * 2013-01-15 2014-07-24 富士通株式会社 情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラム
US10120610B2 (en) 2015-09-29 2018-11-06 Kyocera Document Solutions Inc. Electronic apparatus, information processing method, and non-transitory computer readable recording medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061652B2 (en) 2016-07-26 2018-08-28 Microsoft Technology Licensing, Llc Fault recovery management in a cloud computing environment
US10747631B2 (en) * 2018-01-19 2020-08-18 DinoplusAI Holdings Limited Mission-critical AI processor with record and replay support

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2100540A1 (en) * 1992-10-19 1994-04-20 Jonel George System and method for performing resource reconfiguration in a computer system
JP3196004B2 (ja) * 1995-03-23 2001-08-06 株式会社日立製作所 障害回復処理方法
JP3794151B2 (ja) * 1998-02-16 2006-07-05 株式会社日立製作所 クロスバースイッチを有する情報処理装置およびクロスバースイッチ制御方法
CN1319237C (zh) * 2001-02-24 2007-05-30 国际商业机器公司 超级计算机中通过动态重新划分的容错
US7694303B2 (en) * 2001-09-25 2010-04-06 Sun Microsystems, Inc. Method for dynamic optimization of multiplexed resource partitions
US7529822B2 (en) * 2002-05-31 2009-05-05 Symantec Operating Corporation Business continuation policy for server consolidation environment
US7565398B2 (en) * 2002-06-27 2009-07-21 International Business Machines Corporation Procedure for dynamic reconfiguration of resources of logical partitions
US7529981B2 (en) * 2003-04-17 2009-05-05 International Business Machines Corporation System management infrastructure for corrective actions to servers with shared resources
US7900206B1 (en) * 2004-03-31 2011-03-01 Symantec Operating Corporation Information technology process workflow for data centers
US7340646B2 (en) * 2004-05-03 2008-03-04 International Business Machines Corporation Apparatus, system, and method for resource group backup
US7398427B2 (en) * 2004-07-08 2008-07-08 International Business Machines Corporation Isolation of input/output adapter error domains
US7409576B2 (en) * 2004-09-08 2008-08-05 Hewlett-Packard Development Company, L.P. High-availability cluster with proactive maintenance
US7444538B2 (en) * 2004-09-21 2008-10-28 International Business Machines Corporation Fail-over cluster with load-balancing capability
US20060085668A1 (en) * 2004-10-15 2006-04-20 Emc Corporation Method and apparatus for configuring, monitoring and/or managing resource groups
EP1806657B1 (en) * 2004-10-18 2010-05-26 Fujitsu Ltd. Operation management program, operation management method, and operation management device
US20070234114A1 (en) * 2006-03-30 2007-10-04 International Business Machines Corporation Method, apparatus, and computer program product for implementing enhanced performance of a computer system with partially degraded hardware
US8112758B2 (en) * 2008-01-08 2012-02-07 International Business Machines Corporation Methods and apparatus for resource allocation in partial fault tolerant applications

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112042A1 (ja) * 2013-01-15 2014-07-24 富士通株式会社 情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラム
JPWO2014112042A1 (ja) * 2013-01-15 2017-01-19 富士通株式会社 情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラム
US10120610B2 (en) 2015-09-29 2018-11-06 Kyocera Document Solutions Inc. Electronic apparatus, information processing method, and non-transitory computer readable recording medium

Also Published As

Publication number Publication date
US20100083034A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
JP4353005B2 (ja) クラスタ構成コンピュータシステムの系切替方法
US11321197B2 (en) File service auto-remediation in storage systems
US7802127B2 (en) Method and computer system for failover
JP5405320B2 (ja) 仮想計算機制御装置、仮想計算機制御方法及び仮想計算機制御プログラム
US8413144B1 (en) Providing application-aware high availability of virtual machines
US9191296B2 (en) Network event management
US11169854B2 (en) Node eligibility determinations
WO2012016175A1 (en) Providing application high availability in highly-available virtual machine environments
JP2005031771A (ja) ジョブスケジューリング管理方法及びシステム並びにプログラム
JP5659894B2 (ja) ソフトウェア更新装置、ソフトウェア更新方法、及びソフトウェア更新プログラム
WO2009150815A1 (ja) マルチプロセッサシステム
CN111352797A (zh) 用于监视软件应用程序进程的系统和方法
EP1943593B1 (en) Methods and apparatus for automatically multi-booting a computer system
JP5998577B2 (ja) クラスタ監視装置、クラスタ監視方法、及びプログラム
CN102110035A (zh) 多处理器计算机系统中的dmi冗余
JP2010086363A (ja) 情報処理装置及び装置構成組み換え制御方法
CN111538613A (zh) 一种集群系统异常恢复处理方法及装置
CN109753338A (zh) 虚拟gpu使用率的检测方法和装置
JP2009003537A (ja) 計算機
JP2009223519A (ja) クラスタシステム及び同システムにおいてマスタノードを選択する方法
JP5012850B2 (ja) クラスタ構成コンピュータシステムの排他制御方法
JP4892260B2 (ja) イベント通報装置およびイベント通報プログラム
US20160350147A1 (en) Control method and control device
JP2011227729A (ja) 管理サーバおよび仮想マシン配置制御方法
CN110018925B (zh) 系统安全冗余方法及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110708

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20111013