JP2012230533A - Ras機能を備える組み込み機器 - Google Patents

Ras機能を備える組み込み機器 Download PDF

Info

Publication number
JP2012230533A
JP2012230533A JP2011098181A JP2011098181A JP2012230533A JP 2012230533 A JP2012230533 A JP 2012230533A JP 2011098181 A JP2011098181 A JP 2011098181A JP 2011098181 A JP2011098181 A JP 2011098181A JP 2012230533 A JP2012230533 A JP 2012230533A
Authority
JP
Japan
Prior art keywords
abnormality
processing
logical
logic
ras function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011098181A
Other languages
English (en)
Other versions
JP5733515B2 (ja
Inventor
Shota Uehara
正太 植原
Takeshi Ono
毅 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2011098181A priority Critical patent/JP5733515B2/ja
Publication of JP2012230533A publication Critical patent/JP2012230533A/ja
Application granted granted Critical
Publication of JP5733515B2 publication Critical patent/JP5733515B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】RAS機能を一箇所にまとめて実装することにより、RAS機能の信頼性、確実性の向上を図り、ブートローダ、OS、およびアプリケーションソフトウェアがRAS機能にできる限り依存しない構成とした組み込み機器を実現する。
【解決手段】複数のアプリケーションが、システムソフトウェアのデバイスドライバを介してハードウェアを構成する複数の物理デバイスを利用すると共に、前記アプリケーションおよびハードウェアに対するRAS機能を実装する、RAS機能を備える組み込み機器において、
前記システムソフトウェアと前記ハードウェア間に介在させたハイパーバイザ層内に、前記複数のアプリケーションおよびハードウェアのRAS機能を統合して一元管理する、論理RAS機能部を実装する。
【選択図】図1

Description

本発明は、複数のアプリケーションが、システムソフトウェアのデバイスドライバを介してハードウェアを構成する複数の物理デバイスを利用すると共に、前記アプリケーションおよびハードウェアに対するRAS機能を実装する、RAS機能を備える組み込み機器に関するものである。
RAS( Reliability Availability Serviceability)は、システムの信頼性、可用性、および保守性、の独立した意味を持つ3つの機能を合わせた概念であり、組み込み機器への実装は周知の技術である。特許文献1には、コンピュータシステムにバス接続されたRAS機能付きインターフェースによって、コンピュータに接続されるデバイスの異常を監視する技術が開示されている。
RAS機能は、コンピュータシステムが障害で停止することを極力防止することを目的に、システムの監視、異常の早期発見、故障状態の判断、および短時間での修理回復を提供する機能を指す。RAS機能は、以下のような機能を提供する。
(1)システムの異常監視
(a)アプリケーションを動作させるために必要なハードウェアの動作監視。
(i)アプリケーションが直接使用するハードウェアの監視。例えば、CPU、S DRAM、CFカード、シリアル通信の動作監視など。
(ii)ハードウェアの動作に悪影響を及ぼす環境の監視。例えば、電源バッテリ の電圧、電流、周囲温度、塵埃、腐食度の監視など。
(b)ウォッチドッグタイマ(Watch Dog Timer、以下WDT)による、ソフトウェアの動作監視。
(2)異常時の、システムの動作状態の記録。
(3)システム異常時の対応処理。例えば、I/Oデバイスの再起動、システムの停止な ど。
図10は、従来のRAS機能を備える組み込み機器の構成例を示す機能ブロック図であり、ハードウェア100、システムソフトウェア200、アプリケーションソフトウェア300を基本構成要素として備える。
ハードウェア100は、CPUを含む複数の物理デバイス群101を含む。システムソフトウェア200は、ブートローダ210とOS220を含む。アプリケーションソフトウェア300は、物理デバイスを使用するアプリケーション301〜30Nを含む。
初期化時診断プログラム213は、ブートローダ210が持つデバイスドライバA211に実装され、デバイス初期化手段212で起動されるハードウェアの初期化を行う際に物理デバイスの診断処理を実行する。
初期化時診断プログラム213は、初期化時診断が必要な物理デバイスごとに固有の診断処理を行う。異常検出時は、異常対応処理プログラムA214により、初期化時診断に対応する異常対応処理を実行する。
OS220が持つデバイスドライバB221に実装された使用時異常検出プログラム223は、物理デバイスを使用するアプリケーション301〜30Nからの要求を受ける物理デバイス使用時にアクセス手段222により起動され、アプリケーションが物理デバイスを使用するタイミングでの異常検出処理を実行する。異常検出時は、異常対応処理プログラムB224により、デバイス使用時診断に対応する異常対応処理を実行する。
OS220が持つデバイスドライバB221に実装される定周期診断プログラム231は、OS220に実装されているタイマ230により定周期で起動され、アプリケーションが直接使用しない、もしくは使用頻度の低い物理デバイスに対して定周期診断が必要な物理デバイスごとに固有の診断処理を実行する。異常検出時は、異常対応処理プログラムC232により、異常対応処理を実行する。
デバイスドライバB221は、ハードウェア100に実装されているWDT102にアクセスするためのWDTドライバ240を備えている。
ハードウェア100に実装されている物理WDT102は、WDTドライバ240を介して監視対象アプリケーション310の監視機能を実現するために実装されている。物理WDT102は、監視対象となるアプリケーション310自身に実装されるWDTリセット手段310Aにより、WDTドライバ240を介して定周期でリセットされる。
次に、動作の概要を説明する。RAS機能は、組み込み機器を構成するハードウェア、およびアプリケーションについて動作状態を診断、監視することで、システムに対して信頼性、確実性を向上させる機能を提供する。
診断、監視により異常が検出された場合、異常が発生した物理デバイス、アプリケーションとその異常の程度に応じて、個別に実装された対応処理を行う。RAS機能は、以下に示す4つのタイミング(1)〜(4)で動作する。
(1)システム立ち上げ時の物理デバイス初期化時におけるハードウェアの診断は、時間のかかる診断や、システムがオンライン状態であるときに行うとシステムに悪影響を及ぼす診断(例えば、メモリの全領域ゼロクリアなど)を実行する。
初期化時診断処理は、ブートローダ210のデバイスドライバに実装される初期化診断プログラム213で実行される。ブートローダ210は、立ち上げ時に診断が必要なデバイスに対して、各物理デバイス個別に実装された初期化時診断処理を行う。異常が検出された際は、検出された異常の箇所と程度に応じて、異常処理対応プログラムA214で個別に異常対応処理を行う。
(2)アプリケーションが物理デバイスを使用する時に実行されるハードウェアの診断は、システムがオンライン状態であるため、システムに悪影響を及ぼさない診断に限られる。
使用時異常検出処理は、OS220に組み込まれるデバイスドライバB221に実装される使用時異常検出プログラム223により実行される。アプリケーションから物理デバイスへのアクセスがあると、デバイスドライバA221はアプリケーションがアクセスする各物理デバイスに対して個別に使用時異常検出処理を行う。異常が検出された際は、検出された異常の箇所と程度に応じて、異常処理対応プログラムB224で個別に異常対応処理を行う。
(3)定周期によるハードウェアの動作環境の診断は、アプリケーションからの使用頻度が低いデバイスや、システムに対して悪影響を及ぼす周囲環境について一定周期で診断を行う。
定周期診断処理は、OS220が持つタイマ230により、一定周期でデバイスドライバ221に実装された定周期診断処理プログラム231を呼び出し、各物理デバイスや環境センサ(温度センサなど)を診断する。異常が検出された際は、検出された異常の箇所と程度に応じて、異常処理対応プログラムC232で個別に異常対応処理を行う。
(4)ソフトウェアの動作監視は、アプリケーションが正常に動作しているかどうかを、ハードウェア100に実装された物理WDT102を用いて監視処理を行う。OSは、WDTドライバ240より提供される。WDTを用いた監視処理の実現手段となるWDTリセット手段310Aは、監視対象となるアプリケーション310自身に実装される。
アプリケーション310は、WDTドライバ240を介して、一定周期で物理WDT102のカウンタをリセットする。アプリケーション310に異常が発生し物理WDT102のリセットが行われなくなると、物理WDT102はタイムアップし、ハードウェアの強制的リセットなどハードウェアによる対応処理が行われる。
特開2009−015472号公報
従来構成のRAS機能を備える組み込み機器では、次のような問題がある。
(1)RAS機能は、システムに散在して実装される。RAS機能は、同じ物理デバイスに対する診断であっても、必要とされる診断のタイミングや診断の内容によって処理が異なる。
そのため、RAS機能を呼び出すブートローダやOSなどのシステムソフトウェアの各種モジュールは、各々固有のRAS機能を実装する必要がある。これにより、RAS機能はモジュール間で一部機能が重複する場合も個別に開発され、各々のモジュールに散在して実装される。
(2)RAS機能は、搭載される組み込み機器専用の機能として、機器ごとに実装される。
RAS機能に対する要求は、各々の機器の使用目的や運用方針によって異なる。具体的には、機器に搭載される物理デバイスが異なれば、監視対象とする物理デバイスや異常検出および対応の処理が異なる。
また、異常検出された場合の対応処理は、異常部分を分離してシステムの動作を実行する(稼働率を重視する運用)、小さな異常でも検出されれば即時停止する(安全性を重視する運用)、など運用方針によっても異なる。
RAS機能の実装は、機種(物理デバイスのハードウェア仕様)に依存する。異常検出や異常対応処理の処理手順が同じであっても、物理デバイス毎にアクセス手続きが異なるため、実装される処理は異なるものになる。
(3)WDTを用いたアプリケーションの監視では、監視対象、および対応処理が制限される。ハードウェアが提供する1つのWDTを用いたアプリケーション監視の対象は、1つのアプリケーション処理に限られる。WDTにより監視対象のアプリケーションの異常が検出された場合、対応処理はCPUのリセットなど、ハードウェアによる対応処理に限られる。
(4)異常が検出された際の対応処理が、その検出箇所だけに限られたものとなる。異常検出処理は、各物理デバイスで個別に実装されるため、複合的に発生した異常を検知することができない。
異常対応処理は各物理デバイスの異常検出処理に対応し、ハードウェアの仕様に依存して個別に実装されるため、複数のハードウェアおよびソフトウェアに対する統合的な異常対応処理を行うことができない。
本発明の目的の第1は、課題(1)の問題を解決し、ブートローダ、OS、およびアプリケーションがRAS機能にできる限り依存しない構成を実現する。このとき、RAS機能を一箇所にまとめて実装することにより、RAS機能の信頼性、確実性の向上を図ることにある。
本発明の目的の第2は、課題(2)の問題を解決し、RAS機能を搭載する組み込み機器の機種に依存しない共通の枠組みを用いてRAS機能に対する要求を満たすことにある。
本発明の目的の第3は、課題(3)の問題を解決し、複数のアプリケーションについての監視を可能にすると共に、各々のアプリケーションについて異常検出時の対応処理を個別に規定することを可能にすることにある。
本発明の目的の第4は、課題(4)の問題を解決し、複合的に発生した異常への対応処理を行う、統合的な異常対応処理機能を実現することにある。
このような課題を達成するために、本発明は次の通りの構成になっている。
(1)複数のアプリケーションが、システムソフトウェアのデバイスドライバを介してハードウェアを構成する複数の物理デバイスを利用すると共に、前記アプリケーションおよびハードウェアに対するRAS機能を実装する、RAS機能を備える組み込み機器において、
前記システムソフトウェアと前記ハードウェア間に介在させたハイパーバイザ層内に、前記複数のアプリケーションおよびハードウェアのRAS機能を統合して一元管理する、論理RAS機能部を実装したことを特徴とするRAS機能を備える組み込み機器。
(2)前記論理RAS機能部は、前記複数の物理デバイスを所定個数に分類した論理デバイスに対する論理デバイス異常検出ロジックを備え、
前記論理デバイス異常検出ロジックは、
前記システムソフトウェアのブートローダからの前記物理デバイスの初期化時および前記システムソフトウェアのOSのデバイスドライバからのアクセス時に起動され、前記論理デバイスに対する異常検出診断を実行することを特徴とする(1)に記載のRAS機能を備える組み込み機器。
(3)前記論理デバイス異常検出ロジックからの異常検出情報を取得し、前記ハードウェアの物理デバイスの異常を検出する異常検出処理手段と、
前記論理デバイス異常検出ロジックからの異常検出情報と、前記アプリケーションの異常検出情報とを統合化して異常処理を実行する、統合化異常対応処理ロジックと、
前記統合化異常対応処理ロジックからの異常対応情報に基づいて前記ハードウェアの物理デバイスの異常対応処理を実行する異常対応処理手段と、
を備えることを特徴とする(1)または(2)に記載のRAS機能を備える組み込み機器。
(4)前記論理RAS機能部は、前記複数のアプリケーションに対応した論理ウォッチドッグタイマ群およびソフトウェア処理異常検出ロジックを備え、
前記論理ウォッチドッグタイマ群は、前記複数のアプリケーションに実装された定周期リセット要求手段からのリセット要求によりリセットされることにより前記複数のアプリケーションを監視し、
タイムアップした論理ウォッチドッグタイマ情報を前記ソフトウェア処理異常検出ロジックに出力し、
前記ソフトウェア処理異常検出ロジックは、前記統合化異常対応処理ロジックに対して異常対応処理を依頼することを特徴とする(1)乃至(3)のいずれかに記載のRAS機能を備える組み込み機器。
(5)前記統合化異常対応処理ロジックは、前記ソフトウェア処理異常検出ロジックからの異常情報を取得したときに、前記システムソフトウェアのアプリケーション管理手段に通知して対応処理を依頼することを特徴とする(3)または(4)に記載のRAS機能を備える組み込み機器。
(6)前記統合化異常対応処理ロジックは、夫々複数種類が定義された異常個所に対する異常レベルと異常対応処理に基づき、異常発生箇所に対し異常レベルと異常対応処理の対応付けを設定すると共に、デバイス・ソフトウェアの依存関係および複合的な異常対応処理を設定することを特徴とする(3)乃至(5)に記載のRAS機能を備える組み込み機器。
(7)前記論理RAS機能部は、前記論理デバイス異常検出ロジック対するデバイス定周期診断用タイマおよび前記ハードウェアに設けたウォッチドッグタイマに対する物理ウォッチドッグタイマリセット手段を備えることを特徴とする(1)乃至(6)に記載のRAS機能を備える組み込み機器。
(8)前記論理デバイス異常検出ロジックおよび前記論理ウォッチドッグ用タイマに対して論理RAS機能設定情報を与える第1データベースと、
前記論理デバイス異常検出ロジックおよび前記ソフトウェア処理異常検出ロジックに対して過去の異常履歴情報を与える第2データベースと、
を備える(1)乃至(7)に記載のRAS機能を備える組み込み機器。
(9)前記統合化異常対応処理ロジックの異常処理内容は、前記第2データベースの異常履歴に記録されることを特徴とする(8)に記載のRAS機能を備える組み込み機器。
本発明によれば、次のような効果を期待することができる。
(1)RAS機能を論理RAS機能部で統合的に提供することにより、RAS機能の一元管理を実現できる。従来、個々のアプリケーションに散在していた処理を、ハイパーバイザ層の論理RAS機能部へ一元化することで、物理デバイスを使用する上位層のアプリケーションに対する修正を減らし、RAS機能の実装を容易にできる環境を実現することができる。
(2)物理デバイスを機能的に分類された論理デバイスに抽象化することで、機種ごとの差分を吸収できる。RAS機能の実装が必要な物理デバイスを、図2のテーブル1に示す5種類の論理デバイスに抽象化し、物理デバイスの差に依存しない論理デバイスの論理機能に対するRAS機能を提供することで、RAS機能を個々の機種専用に実装する必要がなくなる。
各物理デバイスに対するRAS機能を、論理デバイスの論理ロジックと物理デバイス固有の処理に切り分けることで、診断ロジックの共通化と物理デバイス固有処理の一元化を図ることができる。
抽象化した5種類の論理デバイスに対するRAS機能へ単純化させたことにより、OSやROMモニタなどの仕組みを必要とすることなく、RAS機能をハイパーバイザ層で実現することが可能となる。
(3)論理WDT群により、複数のアプリケーション処理の監視を実現することができる。論理RAS機能部により複数の論理WDT群を提供することにより、複数のアプリケーション処理について監視を行うことができる。
統合化異常対応処理ロジックとの組み合わせにより、ハードウェアのリセット以外にもきめ細かな異常対応処理を行うことができる。また、論理WDT群をハイパーバイザ層で実現することにより、ソフトウェアタイマの信頼性に影響するソフトウェアを僅かな部分に限定することができる。
(4)統合化異常対応処理ロジックにより、複合的な異常対応処理を実現することができる。異常発生箇所に対する異常のレベルとして、図2のテーブル3に示す3種類の異常レベルを定義し、これに対応付ける異常対応処理項目を図2のテーブル4に示す4種類に統一することで、異常対応処理ロジックの共通化と物理デバイス固有処理の一元化を行うことができる。
異常個所に対する異常レベルと異常対応処理項目の組み合わせにより、きめ細かな異常対応処理が行える。また、異常レベルと異常対応処理の種類を限定して処理を単純化することにより、RAS機能をハイパーバイザ層で実現することが可能となる。更に、異常対応処理を統合化することにより、依存関係をもつ複数のデバイスおよびアプリケーションに対して複合的な異常対応処理を行うことができる。
本発明を適用したRAS機能を備えた組み込み機器の一実施例を示す機能ブロック図である。 論理RAS設定情報を示すテーブル1乃至テーブル4である。 論理RAS設定情報を示すテーブル5乃至テーブル8および過去の異常履歴例を示すテーブル9、異常時のシステム状態例を示すテーブル10である。 物理デバイス初期化処理における異常検出ロジックへの遷移を示すフローチャートである。 物理デバイスへのアクセスから異常検出ロジックへの遷移を示すフローチャートである。 論理デバイスに対する異常検出ロジックの動作を示すフローチャートである。 ソフトウェア処理監視と異常検出ロジックの動作を示すフローチャートである。 統合された異常対応ロジックの動作を示すフローチャートである。 異常対応処理項目検索の動作を示すフローチャートである。 従来のRAS機能を備えた組み込み機器の構成例を示す機能ブロック図である。
以下本発明を、図面を用いて詳細に説明する。図1は、本発明を適用したRAS機能を備えた組み込み機器の一実施例を示す機能ブロック図である。図10で説明した従来構成と同一要素には同一符号を付して説明を省略する。
図1において、アプリケーションソフトウェア400のアプリケーション401、402、403、404は、システムソフトウェア500のデバイスドライバを介してハードウェア100の物理デバイス群101を利用する。
本発明の構成上の特徴は、システムソフトウェア500のブートローダ510及びOS520とハードウェア100との間にハイパーバイザ層600を介在させ、このハイパーバイザ層に実装した論理RAS機能部620により、アプリケーションソフトウェアおよびハードウェアのRAS機能を一元管理する仕組みを提供した点にある。
以下、本発明の論理RAS機能に関連する要素の構成と動作を説明する。ハイパーバイザ層600内の物理デバイス中継インタフェース610は、システムソフトウェア500を経由した物理デバイス群101へのアクセスを監視し、必要なタイミングに応じて論理RAS機能を実行させるための機能ブロックであり、以下に述べる2種類のインタフェース(1)及び(2)を、物理デバイスを使用する上位層のソフトウェアへ提供する。
(1)物理デバイス初期化インタフェース611:
物理デバイスを初期化する際に使用するインタフェースであり、物理デバイスの初期化において異常が発生した場合、論理RAS機能の実行へ遷移する。図4は、物理デバイス初期化処理における異常検出ロジックへの遷移を示すフローチャートである。
ステップS1の処理開始で、システムソフトウェア500のブートローダ510における各種デバイスドライバ511内のデバイス初期化ドライバ512からの信号cを物理デバイス初期化インタフェース611が取得して、ステップS2でハードウェア100の物理デバイス群101に初期化信号kを出力する。
ステップS3のチェックで初期化時に異常が発生した場合は、信号jを後述する論理デバイス異常検出ロジック621に送りステップS4で異常検出ロジックを実行させ、ステップS5で物理デバイス初期化処理を終了する。ステップS3のチェックで初期化時に異常が発生ない場合は、ステップS5にスキップして物理デバイス初期化処理を終了する。
(2)物理デバイスアクセスインタフェース612:
アプリケーションが物理デバイスへアクセスする際に使用するインタフェースである。アプリケーション401、402、403からの物理デバイス使用要求aが、ソフトウェア500内のOS520が備える各種デバイスドライバ511で受け付けられると、デバイスアクセス手段521より使用要求信号eが物理デバイスアクセスインタフェース612に送信され、デバイスごとに決められたタイミングで論理RAS機能部620の実行へ遷移する。
図5は、物理デバイスへのアクセスから異常検出ロジックへの遷移を示すフローチャートである。ステップS1で要求信号eが物理デバイスアクセスインタフェース612に送信され、ステップS2で物理デバイスへのアクセスが開始されるが、事前のチェックステップS3でアクセスを行う前に異常検出が必要な場合には、信号hを論理デバイス異常検出ロジック621に出力して異常検出を実行させた後、信号lを物理デバイス群101に出力し、ステップS5で物理デバイスに対して要求された処理を実行する。
チェックステップS3で、異常検出が必要ない場合には、ステップS4をスキップして信号lを物理デバイス群101に出力し、ステップS5で物理デバイスに対して要求された処理を実行する。
更に、チェックステップS6でアクセスを行った後に異常検出が必要な場合には、信号hを論理デバイス異常検出ロジック621に出力して異常検出を実行させた後、信号lを物理デバイス群101に出力し、ステップS7で物理デバイスに対して要求された処理を実行し、ステップS8で処理を終了する。チェックステップS6で、異常検出が必要ない場合には、ステップS7をスキップしてステップS8で処理を終了する。
次に、本発明の主要部を成す論理RAS機能部620につき説明する。論理RAS機能部620は、ハイパーバイザ層600において、論理的なRAS機能を提供する機能ブロックである。
論理RAS機能部620は、物理デバイス群101を、論理的な複数種類のデバイスに分類した論理デバイスに対する異常検出ロジック621、タイマ管理手段622、ソフトウェア処理異常検出ロジック626、および統合化異常対応処理ロジック627を備えている。
論理デバイス異常検出ロジック621は、論理RAS機能の実行を要求する物理デバイスを、図2のテーブル1に示すように、論理CPU,論理メモリ、論理ファイル、論理I/O、論理センサの5種類に分類し、各論理デバイスに対して定義された診断や検査を実行する。
論理デバイスは、図2のテーブル2に示す論理機能を有するデバイスとして抽象化されたデバイスであり、それぞれの論理機能に対し、正常性を検証するための診断・検査項目が定義される。異常が検出された際は、異常の状態と過去の異常履歴から図2のテーブル3に示す3種類の異常レベル、レベル1、レベル2、レベル3を判定し、統合化異常対応処理ロジック627へ信号p1で異常検出情報を伝達する。
タイマ管理手段622は、論理WDT群623、定周期診断を行うデバイス定周期診断タイマ624、および物理WDTリセットタイマ625を実装する。論理WDT群623は、ハイパーバイザ層600で論理的なWDT機能を複数のソフトウェアタイマで実現し、ソフトウェア処理の監視機能として提供する。異常が検出された際は、ソフトウェア処理異常検出ロジック626へ、ソフトウェアの異常情報信号nで伝達する。
デバイス定周期診断タイマ624は、ハードウェアの定周期診断を行うトリガとなるタイマであり、論理デバイス異常検出ロジック621へ一定周期で物理デバイスの診断を要求する信号mを送信する。
タイマ管理手段622は、ソフトウェア監視の中核を担う機能ブロックであるため、タイマ管理手段自身で物理WDT102を用いた異常の監視を行う。これは、物理WDTリセットタイマ625により、一定周期で物理WDT102のリセットを要求する信号qを出力することで実現する。信号qは、後述する物理デバイス固有処理手段630内の物理WDTリセット手段633に渡され、この物理WDTリセット処理手段633からの信号uにより、ハードウェア100の物理WDT102をリセットする。
ソフトウェア処理異常検出ロジック626は、論理WDT群623により異常検出されたソフトウェアの異常情報信号nと、第2データベース629を検索した過去の異常履歴データd5から、図2のテーブル3に示すレベル1、レベル2、レベル3の3種類の異常レベルを判定し、その異常検出情報を信号p2で統合化異常対応処理ロジック627へ伝達する。
統合化異常対応処理ロジック627は、論理デバイス異常検出ロジック621およびソフトウェア処理異常検出ロジック626から、異常検出箇所と異常レベルの情報を信号p1およびp2で受信し、異常対応処理を実行する機能を備える。
統合化異常対応処理ロジック627は、受信した複数の異常検出情報p1,p2と第1データベース628にアクセスして得られる論理RAS機能設定データd3から、異常発生箇所、異常発生箇所と依存関係にあるデバイス、ソフトウェア、および異常の同時性を判断し、複合的に異常対応処理ロジックを実行する。異常対応処理は、図2のテーブル4に示す、4種類の異常対応処理1乃至4を提供する。
第1データベース628は、論理RAS機能を実現するための設定情報が格納された記憶領域である。図2のテーブル1に示す物理デバイスと論理デバイスの対応付け、図2のテーブル2に示す各論理デバイスと物理デバイス固有処理の対応付け、図3のテーブル5に示すデバイス・ソフトウェアの依存関係、図3のテーブル6に示す異常発生箇所の異常レベルと異常対応処理項目の対応付け、図3のテーブル7に示す複合的な異常対応処理項目の対応付け、および図3のテーブル8に示す論理WDT用タイマ623のタイムアップ時間についての設定情報を保持する。
第2データベース629は、図3のテーブル9に示す過去に異常が検出された時の異常検出履歴、および、図3のーブル10に示す異常時のシステムの状態を記録する記憶領域である。異常検出履歴は異常検出時に異常レベルを判定するための情報として使用される。異常時のシステムの状態は、メンテナンス作業者などが異常の発生するシステムの状態を参照するために使用される。
物理デバイス固有処理部630は、各物理デバイスに対する異常検出処理手段631、および異常対応処理手段632を実装する機能ブロックである。異常検出処理手段631は、論理デバイス異常検出ロジック621からの信号oに対応した物理デバイス固有処理を実行する。異常対応処理手段632は、統合化異常対応処理ロジック627からの信号rにより伝達された異常対応情報に対応した物理デバイス固有処理を実行する。
次に本発明組み込み機器の動作を、以下の(1)項乃至(4)項で説明する。
(1)ソフトウェアに対する論理RAS機能実行のインタフェース:
論理RAS機能の実行は、アプリケーションソフトウェア400の処理からハイパーバイザ層600の物理デバイス中継インタフェース610へアクセスすることによって行われる。
物理デバイス中継インタフェース610は、物理デバイス初期化インタフェース611および物理デバイスアクセスインタフェース612の2種類のインタフェースを持ち、夫々、既に説明した図4、図5に示す動作フローにより論理RAS機能が実行される。
(2)論理デバイスに対する異常検出ロジック:
図6は、論理デバイスに対する異常検出ロジックの動作を示すフローチャートである。ステップS1で処理が開始されると、ステップS2で信号h,j,mを論理デバイス異常検出ロジック621が受け取る。
論理デバイス異常検出ロジック621は、ステップS3で、第1データベース628にアクセスして取得したデータd1を参照し、論理RAS機能の実行を要求する物理デバイスについて、論理RAS機能設定情報に記録された対応付けにより、5種類の論理デバイスに分類する。
次に、ステップS4でデータd1を参照し、各論理デバイスの論理機能に対応した診断、検査項目を参照し、実行する必要のある診断、検査項目を選出する。これは、論理RAS機能実行の要求元、すなわち物理デバイス中継インタフェース610で提供される2種類のインタフェースによって、実行する異常検出ロジックが異なるためである。
この対応付けは、図2のテーブル2の例に示すような情報として論理RAS機能設定情報に記録されている。実行する必要のある診断、検査項目については、信号oを出力し、ステップS5で夫々対応する物理デバイス固有の異常検出処理手段631を呼び出し、信号sにより物理デバイス群101の異常検出処理を実行する。
ステップS6のチェックで異常が検出された場合は、ステップS7で異常の程度と第2データベース629にアクセスして取得したデータd4を参照し、過去の異常検出履歴から異常レベルを判定し、ステップS8でデータd4で異常履歴を更新したうえで、ステップS9で異常検出箇所と異常レベルの情報を、信号p1で統合化異常対応処理ロジック627に伝達し、ステップS10で論理デバイス異常検出ロジックの処理を終了する。ステップS6のチェックで異常が検出されない場合は、ステップS10にスキップして処理を終了する。
具体例として、デバイス・ソフトウェアAIO(Analog Input Output)アクセス時の異常検出ロジックの動作を記述する。AIOの物理デバイスアクセスインタフェース612にアクセスがあると、論理RAS機能部620に実行の要求が伝達される。論理デバイス異常検出ロジック621は、図2のテーブル1からAIOを論理I/Oであると分類し、図2のテーブル2に従ってAIOの診断、検査項目を選定し、AIO固有処理を呼び出して診断を行う。
ここで致命的な異常が検出された場合、図3のテーブル9にアクセスして記録された過去の異常検出履歴を参照し、過去に異常検出がないことから、異常レベルをレベル2(致命的、再現性無し)と判定して、異常検査履歴を更新のうえ信号p1を統合化異常対応処理ロジック627へ伝達する。
(3)ソフトウェア処理監視と異常検出ロジック:
図7は、ソフトウェア処理監視と異常検出ロジックの動作を示すフローチャートである。論理RAS機能部620のタイマ管理手段622は、複数のソフトウェアタイマで構成された論理WDT群623を実装して上位のソフトウェア処理に提供し、これにより複数のソフトウェア処理の監視を実現する。
論理WDT群623のスタートとリセット機能は、監視対象となるアプリケーション402、403、404自身が定周期WDTリセット要求手段402A、403A、404Aを実装し、タイマ管理手段622はこれら定周期WDTリセット要求手段を呼び出す。
ステップS1でソフトウェア処理の監視が開始されると、OS520内のWDTリセット手段522からの信号f1、またはブートローダ510内のWDTリセット手段513からの信号f2により、ステップS2で論理WDT群623がスタートする。
論理WDT群623は、ステップS3で第1データベース628へアクセスしたデータd2から、設定されたタイムアップ時間を論理RAS機能設定情報より取得し、ステップS4で論理WDT群のタイマのカウントを開始する。
アプリケーション402、403、404は、正常に動作している場合には、定周期WDTリセット要求手段402A、403A、404Aにより、カウンタがタイムアップしない周期でカウンタをクリアする。
ステップS5のチェックでソフトウェアの異常により論理WDT群623のいずれかがタイムアップした場合は、ステップS6でソフトウェアの異常情報が信号nでソフトウェア処理異常検出ロジック626に伝達される。ステップS1からS6までの処理が論理WDT群623の処理範囲(A)である。
ソフトウェア処理異常検出ロジック626は、ステップS7で第2データベース629にアクセスしたデータd5により、過去の異常検出履歴を参照することにより異常レベルを判定する。
更に、ステップS8で、データd5で第2データベース629の異常検出履歴を更新したうえで、ステップS9で異常検出箇所と異常レベルの情報を、信号p2で統合化異常対応処理ロジック627に伝達し、ステップS10でソフトウェア処理の監視を終了する。ステップS7からS9までの処理がソフトウェア処理異常検出ロジック626の処理範囲(B)である。
具体例として、アプリケーションとしてインストールされている(図示されていない)デバイス・ソフトウェである、図3のテーブル5に定義されているHTTPサーバの監視処理について記述する。
HTTPサーバ自身には、論理WDT群623のスタートとリセット処理が実装される。HTTPサーバが論理WDT群623をスタートさせると、論理WDT群623は、図3テーブル8の例のようなタイムアップ時間の設定からタイムアップ時間60秒を取得し、カウントを開始する。
HTTPサーバは、正常時には60秒を超えない周期で論理WDT群623をリセットする。HTTPサーバに異常があった場合、論理WDT群623はタイムアップし、ソフトウェアの異常情報を信号nでソフトウェア処理異常検出ロジック626に伝達する。
ソフトウェア処理異常検出ロジック626では、データd5により、第2データベース629へのアクセスでテーブル9の異常検出履歴を参照し、過去にも異常が発生していることから、異常レベルをレベル3(致命的、再現性あり)と判定し、異常検出履歴を更新のうえ情報を信号p2により統合化異常対応処理ロジック627へ伝達する。
(4)統合化異常対応処理ロジック627:
図8は、統合された異常対応ロジックの動作を示すフローチャートである。ステップS1で異常対応処理ロジックが開始されると、ステップS2で統合化異常対応ロジック627は、論理デバイス異常検出ロジック621からの異常情報信号p1またはソフトウェア異常検出ロジック626からの異常情報信号p2により、異常検出箇所と異常レベルの情報を受信する。
ステップS3で異常検出箇所と異常レベルに対応した異常対応処理を検索する。まず、検索では、異常発生箇所に対し異常レベルに従った対応処理を、データd3で第1データベース268にアクセスし、論理RAS機能設定情報から検索(異常対応処理項目検索の動作フローは、図9で説明する)し、項目を選出する。
ステップS4のチェックで物理デバイスに対する異常処理がある場合には、信号rを出力して、ステップS5で物理デバイス固有処理部630内の異常対応処理手段632を起動し、信号tで物理デバイス群101により該当する物理デバイス固有の異常対応処理を実行する。
次に、ステップS6のチェックでソフトウェア処理に異常がある場合には、OS520内のアプリケーション管理手段523に信号gを通知し、ステップS7でソフトウェの管理機能へ異常対応処理を要求する。
ステップS8でデータd6を第2データベース629に送信し、テーブル9およびテーブル10に過去の異常履歴に異常時のシステムの状態を記録し、ステップS9で異常対応処理ロジックを終了する。
図9は、統合化異常対応処理ロジック627による異常対応処理項目検索の動作を示すフローチャートである。ステップS1で異常対応処理検索が開始されると、ステップS2では統合化異常対応処理ロジック627は、データd3で第1データベース628にアクセスし、テーブル6を参照して異常個所の異常レベルに従った異常対応処理項目を検索する。
ステップS3では、第1データベース628にアクセスしたデータd3で、テーブル5を参照し、異常発生箇所と依存関係にあるデバイス・ソフトウェアを検索する。ステップS4のチェックで依存するデバイス・ソフトウェアがある場合には、ステップS5のチェックに進み、依存する部分で異常が検出されていなければ、ステップS6でデータd3により第1データベース628にアクセスし、依存する部分への統合的な異常対応処理を検索する。
次に、ステップS7のチェックで統合的な異常処理の必要性がある場合には、ステップS8で依存する部分の異常対応を処理項目に追加し、ステップS9で異常対応処理検索を
終了する。
ステップS5のチェックで、依存する部分で異常検出されている場合には、ステップS8にスキップして、依存する部分の異常対応を処理項目に追加する。ステップS4のチェックで、依存するデバイス・ソフトウェアがない場合には、ステップS9にスキップして異常対応処理検索を終了する。
図8、図9の処理フローで明らかなように、統合化異常対応処理ロジック627は、異常発生箇所と依存関係にあるデバイス・ソフトウェアを論理RAS機能設定情報から検索する。依存する部分については、その部分において異常検出されている場合、もしくは複合的な異常対応処理が論理RAS機能設定情報に定義されている場合に、対応処理を項目として追加する。
検索された異常対応処理ロジックの処理項目のうち、物理デバイスに対する処理は、対応する固有の異常対応処理手段632を呼び出して処理を実行する。ソフトウェアに対する処理は、OSが持つソフトウェアの管理機能であるアプリケーション管理手段523に対して異常対応処理の要求を行う。そして最後に、異常が発生した時のシステムの状態を過去の異常履歴に記録する。
具体例として、AIOの異常(異常レベル2)が単独で検出された際の異常対応処理を記述する。統合化異常対応処理ロジック627は、異常情報信号p1を受信すると、テーブル6の例に示す異常対応処理の対応付けの情報を参照し、AIOに対する異常レベル2の異常対応処理1(AIOの再起動)を処理項目として選出する。
次に、テーブル5の例に示す依存関係の情報より、制御アプリケーションが依存関係にあることを把握する。ここで、制御アプリケーションでも異常が検出されていれば、その異常対応処理を処理項目に加える。
この例では、AIO単独の異常としているため、テーブル7の例に示す複合的な異常対応処理の検索に移る。ここでは、依存する制御アプリケーションの異常対応処理、および条件が設定されているため、異常対応処理1(制御アプリケーションの再起動)を処理項目に加える。
以上により異常対応処理の処理項目が列挙されるため、処理項目に従ってAIO固有の異常対応処理、および制御アプリケーション再起動の要求を行う。そして最後に、テーブル10に示す例のように、異常が発生した時のシステムの状態を記録する。
以上説明した本発明のRAS機能は、次のような拡張応用が可能である。
(1)組み込み機器に着脱可能なフォールトトレラント機能装置への応用:
信頼性を向上させることを目的として、論理RAS機能に対して、RAS機能に加えて論理的なフォールトトレラント機能を実装する。
ブートローダやOSなどの上位のソフトウェアは、ハードウェアの冗長化構成やシングル構成を意識する必要がない。従って、ハイパーバイザ層で実現する冗長化制御機能は、論理化された多重化CPUボードの制御を行い、物理CPUへアクセスする際にハードウェアに依存する機能へマッピングする。
(2)抽象化、単純化を行った論理RAS機能をFPGAへ実装することが可能である。プログラマブルなICにRAS機能を実装することにより、より信頼性の高いRAS機能を着脱可能な形態で組み込み機器に提供することができる。
(3)CPUとしてマルチコアCPUを採用する場合には、ハイパーバイザー層600に実装された論理RAS機能部620、物理デバイス中継インターフェース610、物理デバイス固有処理部630を、専用のコアCPUに割り当てることによりRAS機能に係る信号処理の高速化を実現することができる。
100 ハードウェア
101 物理デバイス群
102 物理ウォッチドッグタイマ(WDT)
400 アプリケーションソフトウェア
401〜404 アプリケーション
402A〜404A 定周期WDTリセット要求手段
500 システムソフトウェア
510 ブートローダ
511 デバイスドライバ
512 デバイス初期化ドライバ
513 WDTリセット手段
520 OS
521 デバイスアクセス手段
522 WDTリセット手段
523 アプリケーション管理手段
600 ハイパーバイザ層
610 物理デバイス中継インタフェース
611 物理デバイス初期化インタフェース
612 物理デバイスアクセスインタフェース
620 論理RAS機能部
621 論理デバイス異常検出ロジック
622 タイマ管理手段
623 論理WDT群
624 デバイス定周期診断タイマ
625 物理WDTリセットタイマ
626 ソフトウェア処理異常検出ロジック
627 統合化異常対応処理ロジック
628 第1データベース
629 第2データベース
630 物理デバイス固有処理部
631 異常検出処理手段
632 異常対応処理手段
633 物理WDTリセット手段

Claims (9)

  1. 複数のアプリケーションが、システムソフトウェアのデバイスドライバを介してハードウェアを構成する複数の物理デバイスを利用すると共に、前記アプリケーションおよびハードウェアに対するRAS機能を実装する、RAS機能を備える組み込み機器において、
    前記システムソフトウェアと前記ハードウェア間に介在させたハイパーバイザ層内に、前記複数のアプリケーションおよびハードウェアのRAS機能を統合して一元管理する、論理RAS機能部を実装したことを特徴とするRAS機能を備える組み込み機器。
  2. 前記論理RAS機能部は、前記複数の物理デバイスを所定個数に分類した論理デバイスに対する論理デバイス異常検出ロジックを備え、
    前記論理デバイス異常検出ロジックは、
    前記システムソフトウェアのブートローダからの前記物理デバイスの初期化時および前記システムソフトウェアのOSのデバイスドライバからのアクセス時に起動され、前記論理デバイスに対する異常検出診断を実行することを特徴とする請求項1に記載のRAS機能を備える組み込み機器。
  3. 前記論理デバイス異常検出ロジックからの異常検出情報を取得し、前記ハードウェアの物理デバイスの異常を検出する異常検出処理手段と、
    前記論理デバイス異常検出ロジックからの異常検出情報と、前記アプリケーションの異常検出情報とを統合化して異常処理を実行する、統合化異常対応処理ロジックと、
    前記統合化異常対応処理ロジックからの異常対応情報に基づいて前記ハードウェアの物理デバイスの異常対応処理を実行する異常対応処理手段と、
    を備えることを特徴とする請求項1または2に記載のRAS機能を備える組み込み機器。
  4. 前記論理RAS機能部は、前記複数のアプリケーションに対応した論理ウォッチドッグタイマ群およびソフトウェア処理異常検出ロジックを備え、
    前記論理ウォッチドッグタイマ群は、前記複数のアプリケーションに実装された定周期リセット要求手段からのリセット要求によりリセットされることにより前記複数のアプリケーションを監視し、
    タイムアップした論理ウォッチドッグタイマ情報を前記ソフトウェア処理異常検出ロジックに出力し、
    前記ソフトウェア処理異常検出ロジックは、前記統合化異常対応処理ロジックに対して異常対応処理を依頼することを特徴とする請求項1乃至3のいずれかに記載のRAS機能を備える組み込み機器。
  5. 前記統合化異常対応処理ロジックは、前記ソフトウェア処理異常検出ロジックからの異常情報を取得したときに、前記システムソフトウェアのアプリケーション管理手段に通知して対応処理を依頼することを特徴とする請求項3または4に記載のRAS機能を備える組み込み機器。
  6. 前記統合化異常対応処理ロジックは、夫々複数種類が定義された異常個所に対する異常レベルと異常対応処理に基づき、異常発生箇所に対し異常レベルと異常対応処理の対応付けを設定すると共に、デバイス・ソフトウェアの依存関係および複合的な異常対応処理を設定することを特徴とする請求項3乃至5に記載のRAS機能を備える組み込み機器。
  7. 前記論理RAS機能部は、前記論理デバイス異常検出ロジック対するデバイス定周期診断用タイマおよび前記ハードウェアに設けたウォッチドッグタイマに対する物理ウォッチドッグタイマリセット手段を備えることを特徴とする請求項1乃至6に記載のRAS機能を備える組み込み機器。
  8. 前記論理デバイス異常検出ロジックおよび前記論理ウォッチドッグ用タイマに対して論理RAS機能設定情報を与える第1データベースと、
    前記論理デバイス異常検出ロジックおよび前記ソフトウェア処理異常検出ロジックに対して過去の異常履歴情報を与える第2データベースと、
    を備える請求項1乃至7に記載のRAS機能を備える組み込み機器。
  9. 前記統合化異常対応処理ロジックの異常処理内容は、前記第2データベースの異常履歴に記録されることを特徴とする請求項8に記載のRAS機能を備える組み込み機器。
JP2011098181A 2011-04-26 2011-04-26 Ras機能を備える組み込み機器 Active JP5733515B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011098181A JP5733515B2 (ja) 2011-04-26 2011-04-26 Ras機能を備える組み込み機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011098181A JP5733515B2 (ja) 2011-04-26 2011-04-26 Ras機能を備える組み込み機器

Publications (2)

Publication Number Publication Date
JP2012230533A true JP2012230533A (ja) 2012-11-22
JP5733515B2 JP5733515B2 (ja) 2015-06-10

Family

ID=47432032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011098181A Active JP5733515B2 (ja) 2011-04-26 2011-04-26 Ras機能を備える組み込み機器

Country Status (1)

Country Link
JP (1) JP5733515B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026129A (ja) * 2013-07-24 2015-02-05 横河電機株式会社 プロセス制御装置及びシステム並びにその健全性判定方法
JP2017045303A (ja) * 2015-08-27 2017-03-02 ファナック株式会社 パソコン機能異常時の要因検出が可能な制御装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030214A (ja) * 2002-06-25 2004-01-29 Moritex Corp 通信機能を有するコンピュータ応用システム
JP2007233687A (ja) * 2006-03-01 2007-09-13 Nec Corp 仮想計算機システム、仮想計算機の制御方法、および仮想計算機プログラム
JP2008186209A (ja) * 2007-01-30 2008-08-14 Hitachi Ltd 仮想計算機システムのi/oデバイス障害処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030214A (ja) * 2002-06-25 2004-01-29 Moritex Corp 通信機能を有するコンピュータ応用システム
JP2007233687A (ja) * 2006-03-01 2007-09-13 Nec Corp 仮想計算機システム、仮想計算機の制御方法、および仮想計算機プログラム
JP2008186209A (ja) * 2007-01-30 2008-08-14 Hitachi Ltd 仮想計算機システムのi/oデバイス障害処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026129A (ja) * 2013-07-24 2015-02-05 横河電機株式会社 プロセス制御装置及びシステム並びにその健全性判定方法
US9891603B2 (en) 2013-07-24 2018-02-13 Yokogawa Electric Corporation Process control apparatus and system, and method for determining normality thereof
JP2017045303A (ja) * 2015-08-27 2017-03-02 ファナック株式会社 パソコン機能異常時の要因検出が可能な制御装置

Also Published As

Publication number Publication date
JP5733515B2 (ja) 2015-06-10

Similar Documents

Publication Publication Date Title
JP6530774B2 (ja) ハードウェア障害回復システム
JP6003350B2 (ja) 監視装置、情報処理装置、及び監視方法
EP2518627B1 (en) Partial fault processing method in computer system
TWI522834B (zh) 用於作業系統未知硬體驗證的系統與方法
US7958402B2 (en) Generate diagnostic data for overdue thread in a data processing system
US10496495B2 (en) On demand remote diagnostics for hardware component failure and disk drive data recovery using embedded storage media
US9256489B2 (en) Synchronized debug information generation
JPH08297598A (ja) 計算機システム解析装置
US20150370619A1 (en) Management system for managing computer system and management method thereof
US20210124655A1 (en) Dynamic Configurable Microcontroller Recovery
US8621118B1 (en) Use of service processor to retrieve hardware information
CN116775141A (zh) 异常检测方法、装置、计算机设备及存储介质
EP3534259B1 (en) Computer and method for storing state and event log relevant for fault diagnosis
US8793538B2 (en) System error response
JP5733515B2 (ja) Ras機能を備える組み込み機器
Chen et al. Design and Evaluation of an Online Anomaly Detector for Distributed Storage Systems.
CN107133130B (zh) 计算机运行监测方法和装置
JP4558376B2 (ja) コントローラ
US20180018240A1 (en) Obtaining state information of threads of a device
JP6256087B2 (ja) ダンプシステムおよびダンプ処理方法
JP7389877B2 (ja) ネットワークの最適なブートパスの方法及びシステム
US20060230196A1 (en) Monitoring system and method using system management interrupt
US20230004476A1 (en) Application failure tracking features
JP5440673B1 (ja) プログラマブルロジックデバイス、情報処理装置、被疑箇所指摘方法およびプログラム
JP2011179996A (ja) システム診断装置、システム診断方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150331

R150 Certificate of patent or registration of utility model

Ref document number: 5733515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250