JP2012027584A - 仮想イメージを利用した障害対応システム - Google Patents

仮想イメージを利用した障害対応システム Download PDF

Info

Publication number
JP2012027584A
JP2012027584A JP2010163750A JP2010163750A JP2012027584A JP 2012027584 A JP2012027584 A JP 2012027584A JP 2010163750 A JP2010163750 A JP 2010163750A JP 2010163750 A JP2010163750 A JP 2010163750A JP 2012027584 A JP2012027584 A JP 2012027584A
Authority
JP
Japan
Prior art keywords
virtual
environment
virtual machine
failure
maintenance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010163750A
Other languages
English (en)
Other versions
JP5646233B2 (ja
Inventor
Satoshi Iwagaki
聡 岩垣
Hiroshi Yasuda
寛 安田
Takashi Yamamoto
剛史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2010163750A priority Critical patent/JP5646233B2/ja
Publication of JP2012027584A publication Critical patent/JP2012027584A/ja
Application granted granted Critical
Publication of JP5646233B2 publication Critical patent/JP5646233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Storage Device Security (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】顧客側環境の仮想マシンに生じた異常を迅速に検知し、保守側環境にて確実に生じた異常を再現させるための障害対応システムを提供する。
【解決手段】顧客側顧客側仮想環境17にて稼働中の仮想マシン101に障害が発生した場合、障害対応システム11によって仮想マシン101のイメージファイルたる仮想イメージ101aを複写し、これを暗号化した暗号化済仮想イメージ101bを保守側環境20に転送する。保守側環境20では暗号化した仮想イメージ101bを復号化して保守側仮想環境200にて障害を再現させ、障害の復旧・回避を行った修正済仮想イメージ202を作成する。修正済仮想イメージ202は顧客側環境10に転送され、顧客側仮想環境100に適用されることで、発生した障害から復旧することができる。
【選択図】図1

Description

本発明は、システムを仮想イメージによって稼動させ、ソフトウェアに起因する障害が発生した場合、仮想イメージを送信して保守会社で仮想イメージを復元することで、障害発生時のシステムを保守会社にて再現することで正確な障害回避のための対応を行うことが可能な仮想イメージを利用した障害対応システムに関する。
従来、運用中のシステムにおいて、発生した障害に対応するために監視システム等によって発生した障害を検知し、障害回復・回避を迅速に行うための障害対応システムが、種々開示されている。その中でも、近年ではシステムをハードウェアの構成から切り離すために、サーバ等のハードウェアに導入されて稼動するオペレーティングシステム上に仮想環境を構築し、当該仮想環境の上で動作する仮想マシンにシステムを導入する方法が採用されている。この方法によれば、仮想環境上で動作する仮想マシンは直接ハードウェアに干渉することがないため、ハードウェア環境とシステムの間を仮想環境が仲介して動作するため、仮想マシンからハードウェアに依存するミドルウェアを切り離すことができ、システムを導入するハードウェアがシステムに干渉することを防止することができるというメリットが存在する。
このような仮想環境を用いたシステムにおいて、ソフトウェア的な要因による障害が発生した場合の障害対応システムが、種々開示されている。例えば特許文献1では、仮想環境にて正常稼動中の仮想サーバの所定のチェックポイントにてスナップショットを採取すると共に、全動作をログに記録し、予め設定したポリシに合致した設定変更をログから抽出し、異常が発生した場合、任意のチェックポイントにて採取したスナップショットに対して、ログから抽出したポリシに合致した設定変更を選択的に適用するロールフォワードを行うことが可能な仮想サーバのシステム障害回復方法及びシステムが開示されている。この構成によれば、障害発生後のセキュリティパッチや構成情報等、業務システムを現状のポリシに合致させた形で復旧させることで、障害によるシステムのダウンタイムを最小限に抑えることが可能となるとされている。
特開2009−288836号公報
しかしながら、特許文献1のシステム、方法では、障害検知後のバックアップを戻してリカバリするため、障害の原因の特定、回避を行うに至っておらず、バックアップを戻してもいずれ同様の障害に陥る可能性がある。ミッションクリティカルなシステムにおいて、OS(オペレーティングシステム)やアプリケーションプログラム等のプログラム不良の場合は、単純なバックアップによるリカバリは許されない場合もあり、同文献によるシステムは高い信頼性を求めるようなシステムに適用することは困難である。
本発明は上述した問題点に鑑みてなされたものであり、発生した障害の原因の特定・回避を迅速に行い、確実な障害回復を行うと共に、顧客側・保守会社側双方の障害対応時の人的・時間的コスト削減を実現する仮想イメージを利用した障害対応システムを提供することを目的とする。
請求項1記載の仮想イメージを利用した障害対応システムは、物理環境たるサーバマシンに仮想環境を構築し、仮想環境上の仮想マシンによってプログラム等を運用する保守対象システムと、該保守対象システムの仮想マシンに発生した障害を保守システムに自動通報する障害対応システムであって、仮想マシンや仮想環境から出力されるエラーを検出するイベント検知手段と、該イベント検知手段によって障害が発生中の仮想マシンのイメージファイルを複写する仮想イメージ複写手段と、複写した仮想マシンのイメージファイルにセキュリティ対策を施すセキュリティ対策手段と、複写されセキュリティ対策が施されたイメージファイルを保守システムに転送する仮想イメージ転送手段と、保守システムから送信された修復済仮想マシンまたは障害回避のための対処スクリプトを受信し、障害が発生した仮想マシンと修復済仮想マシンを自動的に置換し、または対処スクリプトを自動的に実行するための修復ファイル適用手段とを備えることを特徴とする。
請求項1の構成によれば、障害の発生を自動的に検知し、障害が発生した状態の仮想マシンのイメージファイルをそのまま複写し、保守システムに転送することで、障害が発生した状態の仮想マシンをそのまま保守システム側で再現することができ、発生した異常の原因の特定を迅速に行うことができる。また、修復済みの仮想マシンや障害回避のための対処スクリプトを受信した際に、これらを自動的に障害が発生した仮想マシンと置換または対処スクリプトの実行をすることができる。また、複写した仮想マシンのイメージファイルは暗号化した後に保守システムに転送するので、機密情報漏洩のリスクが低減する。
請求項2記載の仮想イメージを利用した障害対応システムは、請求項1記載の仮想イメージを利用した障害対応システムにおいて、前記イベント検知手段は、仮想マシンや仮想環境から出力されるエラーに加え、予め設定した時刻を検出し、前記仮想イメージ複写手段は現在時刻が設定した時刻を超過した場合仮想マシンのイメージファイルを複写することを特徴とする。
請求項2の構成によれば、障害発生時以外にも定期的に仮想マシンのイメージファイルを複写することができる。
請求項1記載の仮想イメージを利用した障害対応システムは、物理環境たるサーバマシンに仮想環境を構築し、仮想環境上の仮想マシンによってプログラム等を運用する保守対象システムと、該保守対象システムの仮想マシンに発生した障害を保守システムに自動通報する障害対応システムであって、仮想マシンや仮想環境から出力されるエラーを検出するイベント検知手段と、該イベント検知手段によって障害が発生中の仮想マシンのイメージファイルを複写する仮想イメージ複写手段と、複写した仮想マシンのイメージファイルにセキュリティ対策を施すセキュリティ対策手段と、複写されセキュリティ対策が施されたイメージファイルを保守システムに転送する仮想イメージ転送手段と、保守システムから送信された修復済仮想マシンまたは障害回避のための対処スクリプトを受信し、障害が発生した仮想マシンと修復済仮想マシンを自動的に置換し、または対処スクリプトを自動的に実行するための修復ファイル適用手段とを備えるので、障害発生時には仮想マシンや仮想環境に手を加えることなく、自動的に仮想マシンのイメージファイルの複写、当該イメージファイルの暗号化、暗号化済みイメージファイルの保守システムへの転送を行うことができ、迅速に保守システム側への対策・障害回避の依頼を行うことができ、障害対応が行われた仮想マシンのイメージファイルや対処スクリプトが保守システムから送信された場合も、自動的にこれを適用、実行して障害の対策を施すことができ、障害発生の報告漏れ等による障害回復までの遅延障害対応にかかる時間的、人的コストを大きく削減することが可能となる。
請求項2記載の仮想イメージを利用した障害対応システムは、請求項1記載の仮想イメージを利用した障害対応システムにおいて、前記イベント検知手段は、仮想マシンや仮想環境から出力されるエラーに加え、予め設定した時刻を検出し、前記仮想イメージ複写手段は現在時刻が設定した時刻を超過した場合仮想マシンのイメージファイルを複写するので、仮想マシンのイメージファイルの複写ができないような重大な異常が発生した場合であっても、障害発生前の仮想マシンのイメージファイルを採取することが可能となり、より確実な障害回復のための回避措置を講ずることができる。
本発明の実施例における、仮想イメージを利用した障害対応システムの構成を示すブロック図である。 同上、仮想イメージを利用した障害対応システムの動作を示すフローチャートである。
以下、本発明を実施するための最良の形態としての実施例を図1及び図2を参照して説明する。もちろん、本発明は、その発明の趣旨に反さない範囲で、実施例において説明した以外のものに対しても容易に適用可能なことは説明を要するまでもない。
図1に基づいて、本実施例における仮想イメージを利用した障害対応システムの構成について説明する。10は顧客側環境であり、保守側環境20とは通信可能に接続されている。顧客側環境10には障害対応システム11が導入されている。障害対応システム11は物理環境17に導入されている仮想環境100にて複数稼動している仮想マシン101に発生した障害を検出し、仮想マシン101のイメージファイルを保守側環境20に転送するためのシステムである。
障害対応システム11は、仮想マシン101のイメージファイルに対して情報漏洩を防止するための対策を施すためのセキュリティ対策手段12、稼働中の仮想マシンに発生した異常を検知し、また仮想マシン毎に事前に設定した仮想イメージ採取時刻が超過したかを判別するためのイベント検知手段13、イベント検知手段13にて異常が検知された仮想マシン若しくは事前に設定した仮想イメージ採取時刻となった仮想マシンをイメージファイルとして複写するための仮想イメージ複写手段14、複写したイメージファイルを保守側環境20に転送するための仮想イメージ転送手段15、保守側環境20にて作成された修正済み仮想マシン202及び/または対処スクリプト201を仮想環境に導入するための修復ファイル適用手段16から構成される。保守側環境20には、顧客側仮想環境100にて稼動する仮想マシン101を同様に稼動させることが可能な保守側仮想環境200を備えている。
続いて、障害対応システム及び保守側環境による仮想マシンの修正、対処スクリプトの作成に係る一連の動作について、図1及び図2に基づいて説明する。予め仮想イメージ101毎のユーザ権限等の事前設定をセキュリティ対策手段12によって施す(S201)。続いて障害発生等のイベント検知処理を行う、若しくは所定の仮想イメージ採取時刻が超過したかを判別する(S202、S203)。障害等のイベントを検知した場合、顧客側仮想環境100の仮想マシン101のイメージファイル(以降、仮想イメージと称呼する)を複写し、仮想イメージ101aを生成する(S204)。複写した仮想イメージ101aを暗号化し、暗号化済仮想イメージ101bを生成する(S205)。仮想イメージ転送手段15によって暗号化済仮想イメージ101bを保守側環境20へ転送する(S206)。
保守側環境20において、受信した暗号化済仮想イメージ101bのバックアップを行い(S207)、その後暗号化済仮想イメージ101bの復号化を行い、暗号化前の仮想イメージ101aを生成する(S208)。保守側環境20に設けた保守側仮想環境200に復号化した仮想イメージ101aをインポートする(S209)。保守側仮想環境200にインポートした仮想イメージ101aに基づき、保守側環境20の作業員等で異常の再現の確認、原因の調査を行い、必要であれば製品事業所21のような他部署に復旧作業の依頼を行う(S210)。原因が判明した後、原因に応じた仮想イメージの修正、若しくは対処スクリプトを作成、若しくはその双方を行う(S211)。作成した修正済仮想イメージ202や対処スクリプト201を保守側仮想環境200にて仮想イメージ101aに適用する(S212)。保守側仮想環境200にて障害が回復されたか否かを判別し(S213)、回復しない場合はステップS210へ、回復した場合は、顧客環境10の物理環境17に修正済仮想イメージ202または対処スクリプト201、若しくはその両方を転送する(S214)。
修復ファイル適用手段16は受信した修正済仮想イメージ202及び/または対処スクリプト201を、顧客環境10の物理環境17内の仮想環境100に仮想マシン101に適用する(S215)。適用後障害が回復した否かを判別し(S216)、回復しない場合は保守側環境に障害回復しない旨報知し、ステップS210へ、障害が回復した場合は、障害対応処理を終了する。尚、ステップS210乃至ステップS213は、保守側環境に従事する作業員の作業を示しており、本発明の障害対応システムの動作ではなく技術的特徴ではないが、障害対応システム11の一連の動作を説明する上で必要なために記載・説明を行ったものである。
以上のような障害対応システム11によれば、顧客側環境10の物理環境17に備えた仮想環境100で稼働中に仮想マシン101に障害が発生した場合、自動的に仮想マシン101複写、暗号化、保守側環境20への転送を行うことができるので、顧客側環境10において人的作業を行うことなく、迅速な保守側環境20への保守作業の依頼を行うことができ、また保守作業を終え、修正済みの仮想マシンの仮想イメージ202や対処スクリプト201を顧客側環境10に転送することで、これらを自動的に適用させ障害復旧を行うことができる。即ち、顧客側環境10にて一切の作業を行うことなく障害からの復旧が可能となり、作業工数、特に顧客側環境10における作業工数を大幅に抑制することができる。
また、実際に顧客側環境10にて用いられている仮想マシン101を、障害発生時の状況若しくはその直前の状況にて保守側環境20にて復元できるため、異常の再現を確実に行うことができ、確実な復旧のための対処を行うことができる。更に、定期的に仮想イメージを保守側環境に転送することで、稼動状況の分析、ハードウェアやソフトウェア等の環境不正の確認、バックアップ等のメンテナンス作業を柔軟に行うことができる。例えば、顧客側環境10の業務アプリケーションが停止する夜間に仮想マシン101の仮想イメージを複写、転送を行うよう事前に設定することにより、顧客側環境10にて業務等を停止させることなく仮想マシンのメンテナンスを行い、作業員が顧客側環境に出向かずに、保守側環境20側から仮想マシンを転送するだけで顧客側環境の保守作業を完了することができる。
以上、本発明の一実施例について詳述したが、本発明は前記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、図1において障害対応システム11を物理環境17とは別のシステムとして表現したが、これに限定せずに、物理環境17内に障害対応システム11を構成しても何ら問題ない。
10 顧客側環境
11 障害対応システム
12 セキュリティ対策手段
13 イベント検知手段
14 仮想イメージ複写手段
15 仮想イメージ転送手段
16 修復ファイル適用手段
17 物理環境
100 顧客側仮想環境
101 仮想マシン
101a 複写した仮想イメージ
101b 暗号化済仮想イメージ
20 保守側環境
21 製品事業所
200 保守側仮想環境
201 対処スクリプト
202 修正済仮想イメージ

Claims (2)

  1. 物理環境たるサーバマシンに仮想環境を構築し、仮想環境上の仮想マシンによってプログラム等を運用する保守対象システムと、該保守対象システムの仮想マシンに発生した障害を保守システムに自動通報する障害対応システムであって、
    仮想マシンや仮想環境から出力されるエラーを検出するイベント検知手段と、
    該イベント検知手段によって障害が発生中の仮想マシンのイメージファイルを複写する仮想イメージ複写手段と、
    複写した仮想マシンのイメージファイルにセキュリティ対策を施すセキュリティ対策手段と、
    複写されセキュリティ対策が施されたイメージファイルを保守システムに転送する仮想イメージ転送手段と、
    保守システムから送信された修復済仮想マシンまたは障害回避のための対処スクリプトを受信し、障害が発生した仮想マシンと修復済仮想マシンを置換し、または対処スクリプトを実行するための修復ファイル適用手段とを備え、
    ることを特徴とする仮想イメージを利用した障害対応システム。
  2. 前記イベント検知手段は、仮想マシンや仮想環境から出力されるエラーに加え、予め設定した時刻を検出し、前記仮想イメージ複写手段は現在時刻が設定した時刻を超過した場合仮想マシンのイメージファイルを複写することを特徴とする請求項1記載の仮想イメージを利用した障害対応システム。

JP2010163750A 2010-07-21 2010-07-21 仮想イメージを利用した障害対応システム Active JP5646233B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010163750A JP5646233B2 (ja) 2010-07-21 2010-07-21 仮想イメージを利用した障害対応システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010163750A JP5646233B2 (ja) 2010-07-21 2010-07-21 仮想イメージを利用した障害対応システム

Publications (2)

Publication Number Publication Date
JP2012027584A true JP2012027584A (ja) 2012-02-09
JP5646233B2 JP5646233B2 (ja) 2014-12-24

Family

ID=45780462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010163750A Active JP5646233B2 (ja) 2010-07-21 2010-07-21 仮想イメージを利用した障害対応システム

Country Status (1)

Country Link
JP (1) JP5646233B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101353414B1 (ko) 2013-06-21 2014-01-21 엘에스웨어(주) 클라우드 컴퓨팅 환경에서의 호스트 기반 취약점 자동 수정 시스템 및 방법
JP2016513383A (ja) * 2013-01-19 2016-05-12 トロンデルト オーユー 数値制御製造システムにおける安全なストリーミング手法と、安全な数値制御製造システム
JP2016126563A (ja) * 2015-01-05 2016-07-11 富士通株式会社 障害監視装置、障害監視プログラム、障害監視方法
WO2016121830A1 (ja) * 2015-01-28 2016-08-04 日本電気株式会社 仮想ネットワークファンクション管理装置、システム、ヒーリング方法及びプログラム
JP2017500630A (ja) * 2013-11-14 2017-01-05 マイクロソフト テクノロジー ライセンシング,エルエルシー 自動的に生成された仮想環境を用いたユーザサポートエクスペリエンス

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050235007A1 (en) * 2004-04-16 2005-10-20 International Business Machines Corporation Diagnostic repair system and method for computing systems
US20080209409A1 (en) * 2007-02-28 2008-08-28 Henri Han Van Riel Method and system for quality assurance subscription service
JP2008251000A (ja) * 2007-03-16 2008-10-16 Symantec Corp フェイルセーフ式コンピュータ支援アシスタント
WO2010052998A1 (ja) * 2008-11-06 2010-05-14 日本電気株式会社 メンテナンスシステム、メンテナンス方法、及びメンテナンス用プログラム
JP2010198397A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 情報処理装置及びその障害ログデータ送出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050235007A1 (en) * 2004-04-16 2005-10-20 International Business Machines Corporation Diagnostic repair system and method for computing systems
US20080209409A1 (en) * 2007-02-28 2008-08-28 Henri Han Van Riel Method and system for quality assurance subscription service
JP2008251000A (ja) * 2007-03-16 2008-10-16 Symantec Corp フェイルセーフ式コンピュータ支援アシスタント
WO2010052998A1 (ja) * 2008-11-06 2010-05-14 日本電気株式会社 メンテナンスシステム、メンテナンス方法、及びメンテナンス用プログラム
JP2010198397A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 情報処理装置及びその障害ログデータ送出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016513383A (ja) * 2013-01-19 2016-05-12 トロンデルト オーユー 数値制御製造システムにおける安全なストリーミング手法と、安全な数値制御製造システム
KR101353414B1 (ko) 2013-06-21 2014-01-21 엘에스웨어(주) 클라우드 컴퓨팅 환경에서의 호스트 기반 취약점 자동 수정 시스템 및 방법
JP2017500630A (ja) * 2013-11-14 2017-01-05 マイクロソフト テクノロジー ライセンシング,エルエルシー 自動的に生成された仮想環境を用いたユーザサポートエクスペリエンス
JP2016126563A (ja) * 2015-01-05 2016-07-11 富士通株式会社 障害監視装置、障害監視プログラム、障害監視方法
WO2016121830A1 (ja) * 2015-01-28 2016-08-04 日本電気株式会社 仮想ネットワークファンクション管理装置、システム、ヒーリング方法及びプログラム

Also Published As

Publication number Publication date
JP5646233B2 (ja) 2014-12-24

Similar Documents

Publication Publication Date Title
US20180285217A1 (en) Failover response using a known good state from a distributed ledger
JP5646233B2 (ja) 仮想イメージを利用した障害対応システム
CN111953566B (zh) 一种基于分布式故障监控的方法和虚拟机高可用系统
US20230401128A1 (en) Backup recovery system and method for oracle database
US8347142B2 (en) Non-disruptive I/O adapter diagnostic testing
CN110990124B (zh) 云主机恢复方法和装置
WO2012068787A1 (zh) 一种数据同步方法及装置
WO2022088861A1 (zh) 数据库故障处理方法和装置
CN111176900A (zh) 一种分布式存储系统及其数据恢复方法、装置和介质
CN117472623A (zh) 处理内存故障的方法、装置、设备及存储介质
CN101145983A (zh) 一种网管系统的自诊断和自恢复子系统及方法
CN116560908B (zh) 一种工业控制系统的数据恢复方法及其相关设备
JP2010067115A (ja) データ記憶システム、データ記憶方法
WO2011051999A1 (ja) 情報処理装置及び情報処理装置の制御方法
KR101731422B1 (ko) 가상화 환경에서의 장애 복구 장치 및 방법
CN117215829A (zh) 政务服务数据库系统及其备份方法、装置、存储介质
KR20140140719A (ko) 가상 머신 동기화 장치 및 시스템과 이를 이용한 장애 처리 방법
CN114444078A (zh) 一种勒索病毒的文件恢复方法及装置
CN113849350A (zh) 环形两地三中心拓扑切换方法、装置、系统及介质
US9465710B1 (en) Systems and methods for predictively preparing restore packages
CN116541212B (zh) 一种大数据中心灾备的实现装置、实现方法及实现系统
JP2009015553A (ja) 記憶装置およびプログラムおよびメモリ故障救済方法
JPH1188471A (ja) 試験方法及び試験装置
JP5532687B2 (ja) 情報処理システム、情報処理システムの障害対応機構、及び情報処理システムの障害対応方法
CN117785568B (zh) 一种双主双机热备方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141105

R150 Certificate of patent or registration of utility model

Ref document number: 5646233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250