JP2021015321A - 手順特定装置、計算モデル生成装置、手順特定方法、手順特定プログラム、計算モデル生成方法、計算モデル生成プログラム、学習データ生成装置及び計算プログラム - Google Patents

Abstract

【課題】障害の原因が曖昧な場合にも復旧手順を特定可能にする。【解決手段】関連度計算部１１３は、システムに障害が発生した場合におけるシステムのメトリクスと、障害を復旧させる復旧手順との関連度を計算する計算モデルにより、監視対象のシステムである対象システムに障害が発生した場合における対象システムのメトリクスと、複数の復旧手順それぞれとの間の関連度を計算する。手順特定部１１４は、計算された関連度に基づき、対象システムで発生した障害に対する復旧手順を特定する。【選択図】図１

Description

この発明は、システムに障害が発生した場合における復旧手順を特定する技術に関する。

監視対象のシステムである対象システムに障害が発生すると、対象システムを監視する監視システムから保守担当者に通知がされる。保守担当者は、通知内容に基づき障害原因を調査し、復旧手順を特定する。そして、保守担当者は、特定された復旧手順を実施して、対象システムを復旧させる。

復旧手順を特定する方法として、過去の障害とその障害に対する復旧手順とを対応付けてデータベースに記憶しておき、新たな障害が発生すると障害情報に基づきデータベースを検索して復旧手順を特定する方法がある（特許文献１参照）。

特開２００１−３４５０９号公報

データベースを検索して復旧手順を特定する方法は、エラーコードが判明している場合のような、障害の情報から復旧手順が一意に定まる場合には有効である。しかし、この方法は、ＣＰＵの使用率が９０％を超えたといった、障害の原因が曖昧で復旧手順が複数考えられる場合には、復旧手順を特定することは困難であり、有効ではない。
この発明は、障害の原因が曖昧な場合にも復旧手順を特定可能にすることを目的とする。

この発明に係る手順特定装置は、
システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させる復旧手順との関連度を計算する計算モデルにより、監視対象のシステムである対象システムに障害が発生した場合における前記対象システムのメトリクスと、複数の復旧手順それぞれとの間の関連度を計算する関連度計算部と、
前記関連度計算部によって計算された前記関連度に基づき、前記対象システムで発生した前記障害に対する復旧手順を特定する手順特定部と
を備える。

この発明では、システムのメトリクスと復旧手順との間の関連度を計算する計算モデルを導出しておき、対象システムのメトリクスとの関連度に基づき復旧手順を特定する。これにより、障害の原因が曖昧な場合にも復旧手順を特定可能である。

実施の形態１に係る手順特定システム１００の構成図。 実施の形態１に係る手順特定装置１０の構成図。 実施の形態１に係る計算モデル生成装置２０の構成図。 実施の形態１に係る計算モデル生成処理のフローチャート。 実施の形態１に係る障害記憶部２３１に記憶されるデータを示す図。 実施の形態１に係る学習データの生成方法の例を示す図。 実施の形態１に係る手順特定処理のフローチャート。 実施の形態１に係る手順特定装置１０の動作の具体例を示す図。 実施の形態１に係る手順特定装置１０の動作の具体例を示す図。 変形例１に係る学習データ生成装置５１の構成図。 変形例１に係る計算モデル生成装置５２の構成図。 変形例３に係る手順特定装置１０の構成図。 変形例３に係る計算モデル生成装置２０の構成図。 実施の形態２に係る手順特定装置１０の構成図。 実施の形態２に係る手順特定装置１０の動作の具体例を示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る手順特定システム１００の構成を説明する。
手順特定システム１００は、手順特定装置１０と、計算モデル生成装置２０とを備える。手順特定装置１０と計算モデル生成装置２０とは伝送路３０を介して接続されている。

図２を参照して、実施の形態１に係る手順特定装置１０の構成を説明する。
手順特定装置１０は、コンピュータである。
手順特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

手順特定装置１０は、通信インタフェース１４を介して、監視対象のシステムである対象システム４０と接続されている。

手順特定装置１０は、機能構成要素として、監視部１１１と、前処理部１１２と、関連度計算部１１３と、手順特定部１１４とを備える。前処理部１１２は、障害情報取得部１１５と、データ生成部１１６とを備える。手順特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、手順特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、手順特定装置１０の各機能構成要素の機能が実現される。

また、ストレージ１３は、モデル記憶部１３１を実現する。

図３を参照して、実施の形態１に係る計算モデル生成装置２０の構成を説明する。
計算モデル生成装置２０は、コンピュータである。
計算モデル生成装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２４とのハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

計算モデル生成装置２０は、機能構成要素として、前処理部２１１と、学習部２１２とを備える。前処理部２１１は、障害情報取得部２１３と、データ生成部２１４とを備える。学習部２１２は、学習データ取得部２１５と、モデル生成部２１６とを備える。計算モデル生成装置２０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ２３には、計算モデル生成装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、計算モデル生成装置２０の各機能構成要素の機能が実現される。

また、ストレージ２３は、障害記憶部２３１と、学習データ記憶部２３２とを実現する。

プロセッサ１１，２１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１，２１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３，２３は、データを保管する記憶装置である。ストレージ１３，２３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３，２３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４，２４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４，２４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、手順特定装置１０の各機能を実現するプログラムを連携して実行してもよい。同様に、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、計算モデル生成装置２０の各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図４から図９を参照して、実施の形態１に係る手順特定システム１００の動作を説明する。
実施の形態１に係る手順特定装置１０の動作は、手順特定装置１０によって実行される手順特定処理と、計算モデル生成装置によって実行される計算モデル生成処理とを含む。

図４を参照して、実施の形態１に係る計算モデル生成処理を説明する。
また、実施の形態１に係る計算モデル生成処理の動作手順は、実施の形態１に係る計算モデル生成方法に相当する。また、実施の形態１に係る計算モデル生成処理を実現するプログラムは、実施の形態１に係る計算モデル生成プログラムに相当する。

計算モデル生成処理は、定期的に、あるいは、障害記憶部２３１にデータが一定数以上追加された場合に実行される。障害記憶部２３１には、システムに障害が発生し、システムが障害から復旧すると、その障害に関するデータが追加される。

（ステップＳ１１：データ読出処理）
前処理部２１１の障害情報取得部２１３は、障害記憶部２３１に記憶された各レコードを読み出す。障害情報取得部２１３は、読み出された各レコードをメモリ２２に書き込む。
図５に示すように、障害記憶部２３１には、過去に発生した障害に関して、障害ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）毎に、発生日時と、障害が発生したシステムの構成を示す構成情報と、障害が発生した時点におけるシステムのメトリクスと、復旧手順ＩＤとが記憶されている。
発生日時は、障害が発生した日時を示す。構成情報は、システムのハードウェア構成とソフトウェア構成との少なくともいずれかを示す。図５では、構成情報は、システム名と、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、ソフトウェアとである。システム名は、障害が発生したシステムの名称を示す。ＯＳは、障害が発生したシステムに導入されたＯＳを示す。ソフトウェアは、障害が発生したシステムで使用されているソフトウェアである。メトリクスは、システムに関する様々な情報を定量化する等して加工したデータである。図５では、メトリクスは、ＣＰＵの使用率と、メモリの使用率と、ディスクの使用率と、アラートとである。アラートは、障害が発生した際にＯＳ又はソフトウェアから出力されたメッセージを示す。復旧手順ＩＤは、復旧手順の識別子である。

（ステップＳ１２：学習データ生成処理）
前処理部２１１のデータ生成部２１４は、ステップＳ１１で読み出された各レコードを対象として、対象のレコードのデータを加工して学習データを生成する。データ生成部２１４は、生成された学習データを学習データ記憶部２３２に書き込む。
ここでのデータの加工は、機械学習の学習データを生成する際に行われる前処理を行うといった方法により、データを成形することを意味する。具体的には、ここでのデータの加工は、レコードのデータを数値化することを意味する。
具体例としては、図６に示すように、データ生成部２１４は、対象のレコードの発生日時と構成情報とについては該当するビットに１を設定し、該当しないビットに０を設定してビット列を生成する。また、データ生成部２１４は、メトリクスについては数値化する。そして、データ生成部２１４は、発生日時及び構成情報から生成されたビット列と、メトリクスから生成された数値とを連結したデータを、復旧手順ＩＤと対応付けて学習データとする。

（ステップＳ１３：計算モデル生成処理）
学習部２１２の学習データ取得部２１５は、システムに障害が発生した場合におけるそのシステムの構成情報及びそのシステムのメトリクスと、障害を復旧させた復旧手順との複数の組を学習データとして取得する。具体的には、学習データ取得部２１５は、学習データ記憶部２３２に蓄積された学習データを取得する。
そして、学習部２１２のモデル生成部２１６は、学習データ取得部２１５によって取得された学習データを入力として、構成情報及びメトリクスと復旧手順との間の関連度を計算する計算モデルを導出する。この際、学習部２１２は、線形モデルと機械学習といった手法を用いて計算モデルを導出する。学習部２１２は、導出された計算モデルをモデル記憶部１３１に書き込む。

具体例としては、モデル生成部２１６は、線形モデルを用いて、数１に示すような計算モデルを導出する。

数１では、ｎは、復旧手順の数を示す。ｍは、学習データの要素数を示す。ｙ_ｉは、復旧手順ｉの関連度を示す。ａ_ｉｊは、要素ｊの復旧手順ｉに対する重みを示す。ｘ_ｊは、要素ｊの値を示す。ｂ_ｉは、復旧手順ｉの関連度に対する初期値を示す。
この場合には、モデル生成部２１６は、数２に示すように、各学習データについて、関連度ｙを１とし、要素の値ｘ_１，．．．，ｘ_ｍを学習データが示す値として、複数の式を生成する。

そして、モデル生成部２１６は、複数の式を用いて、最小二乗法等により、ｉ＝１，．．．，ｎ；ｊ＝１，．．．，ｍの各整数ｉ，ｊについての重みａ_ｉｊと、ｉ＝１，．．．ｎの各整数ｉについての初期値ｂ_ｉとを計算する。これにより、重みａ_ｉｊと、初期値ｂ_ｉとが得られる。そのため、構成情報及びメトリクスが与えられ、要素の値ｘ_ｊが特定されれば、関連度ｙ_ｉを計算することが可能になる。
なお、初期値ｂ_ｉは、計算されるのではなく、ユーザによって設定されてもよい。この場合には、初期値ｂ_ｉは、優先的に採用したい復旧手順ほど大きな値が設定される。また、全ての初期値ｂ_ｉを０にしてもよい。

図７を参照して、実施の形態１に係る手順特定処理を説明する。
実施の形態１に係る手順特定処理の動作手順は、実施の形態１に係る手順特定方法に相当する。また、実施の形態１に係る手順特定処理を実現するプログラムは、実施の形態１に係る手順特定プログラムに相当する。

手順特定処理は、対象システム４０に障害が発生した場合に実行される。

（ステップＳ２１：データ取得処理）
監視部１１１は、対象システム４０の構成情報と、対象システム４０に障害が発生した場合における対象システム４０のメトリクスとを、対象システム４０から取得する。なお、監視部１１１は、対象システム４０の構成情報については、事前に取得しておいてもよい。監視部１１１は、対象システム４０の構成情報及びメトリクスを設定したレコードを障害記憶部２３１に追加する。

（ステップＳ２２：計算データ生成処理）
前処理部１１２の障害情報取得部１１５は、ステップＳ２１で障害記憶部２３１に追加されたレコードのデータを読み出す。そして、前処理部１１２のデータ生成部１１６は、読み出されたデータを加工して計算データを生成する。データ生成部１１６は、生成された計算データをメモリ１２に書き込む。
計算データを生成する方法は、図４のステップＳ１２で学習データを生成する方法と同じである。但し、計算データには、復旧手順ＩＤが含まれていない点が学習データと異なる。

（ステップＳ２３：関連度計算処理）
関連度計算部１１３は、ステップＳ１３で導出された計算モデルにより、監視対象のシステムである対象システム４０に障害が発生した場合における対象システム４０の構成情報及びメトリクスと、複数の復旧手順それぞれとの間の関連度を計算する。
具体的には、関連度計算部１１３は、モデル記憶部１３１から計算モデルを読み出す。関連度計算部１１３は、ステップＳ２２で生成された計算データを入力として、読み出された計算モデルにより、各復旧手順についての関連度を計算する。数１に示す計算モデルがモデル記憶部１３１に記憶されている場合には、関連度計算部１１３は、計算データが示す要素の値ｘ_ｊを計算モデルに代入することにより、関連度ｙ_ｉを計算する。

（ステップＳ２４：手順特定処理）
手順特定部１１４は、ステップＳ２３で計算された関連度に基づき、対象システム４０の障害に対する復旧手順を特定する。具体的には、手順特定部１１４は、複数の復旧手順のうちの関連度が最も高い復旧手順を、対象システム４０の障害に対する復旧手順として特定する。
手順特定部１１４は、特定された復旧手順の復旧手順ＩＤを通信インタフェース１４を介して出力する。これにより、対象システム４０の保守を行う保守担当者に復旧手順が通知される。また、手順特定部１１４は、特定された復旧手順の復旧手順ＩＤを、ステップＳ２１で追加された障害記憶部２３１のレコードに書き込む。

図８及び図９を参照して、実施の形態１に係る手順特定装置１０の動作の具体例を説明する。
図８に示すように障害記憶部２３１にデータが記憶されているものとする。このとき、対象システム４０で障害ＩＤ“ＹＹＹ”の障害が発生したとする。また、ここでは、関連度の計算に用いられる要素は、構成情報に含まれるＯＳ及びソフトウェアと、メトリクスに含まれるＣＰＵの使用率とであるとする。そして、データ生成部２１４によってＯＳがＬｉｎｕｘ（登録商標）であれば１が設定され、ソフトウェアがＮｇｉｎｘであれば１が設定され、ＣＰＵの使用率が０以上１以下に正規化されるとする。
障害ＩＤ“ＹＹＹ”の障害が発生する前に、計算モデル生成処理が実行されている。計算モデル生成処理では、障害記憶部２３１に記憶された障害ＩＤ“ＹＹＹ”以外のレコードを入力として計算モデルが導出される。ここでは、図９に示すように数１における重みａ_ｉｊ及び初期値ｂ_ｉが計算されたとする。
このとき、障害ＩＤ“ＹＹＹ”の障害の計算データの要素ｘ_ｊは、図９に示すようになる。そして、図９に示すように、計算データの要素ｘ_ｊを用いて関連度ｙ_ｉが計算される。その結果、関連度ｙ_３が最も高いことが分かり、関連度ｙ_３に対応する復旧手順３が特定される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る手順特定装置１０は、障害が発生したシステムの構成情報及びメトリクスと、復旧手順との関連度を計算する計算モデルを導出しておく。そして、実施の形態１に係る手順特定装置１０は、対象システム４０で障害が発生した場合に、計算モデルにより、各復旧手順についての関連度を計算し、関連度が高い復旧手順を特定する。これにより、障害の原因が曖昧な場合にも復旧手順を特定可能である。

ここで、ＣＰＵの使用率とメモリの使用率とディスクの使用率とアラートといった情報であるメトリクスと、復旧手順との間には相関関係がある。メトリクス以外の他の要因の影響も受けるため、メトリクスに含まれる情報の組合せによって完全に復旧手順が特定されるわけではない。しかし、障害発生時のメトリクスに含まれる情報の組合せが同じであれば、同じ復旧手順で復旧させられる可能性が高く、メトリクスと復旧手順との間には相関関係があると認められる。
例えば、ＣＰＵの使用率が閾値を超えている場合には、ＣＰＵの使用率の高いプロセスから順に停止させるといった復旧手順が考えられる。このとき、メモリの使用率が閾値は超えていないものの、閾値に近い値になっている場合には、ＣＰＵの使用率が基準よりも高いプロセスのうち、メモリの使用量が多いプロセスから順に停止させるといった復旧手順が考えられる。また、ＣＰＵ使用率とメモリ使用率がともに閾値を超えている場合は、システムのリソースを追加するといった復旧手順が考えられる。また、ＣＰＵ使用率は閾値を下回っているがメモリ使用率が閾値を超えている場合は、メモリ使用率が高いプロセスを再起動させるといった復旧手順が考えられる。また、アラートとして、あるプロセスに関するエラーが出ている場合には、ＣＰＵの使用率及びメモリの使用率に関わらず、まずエラーが出ているプロセスを停止させるといった復旧手順が考えられる。このように、メトリクスに含まれる情報の組合せによって復旧手順が特定される。

また、メトリクスだけでなく、システムの構成情報を用いることで、より適切な復旧手順を特定することが可能になる。例えば、ＯＳによって、先に停止させるべきプロセスが異なる場合がある。したがって、上述したＣＰＵの使用率が高い場面において、どのプロセスから順に停止させるかという手順がシステムで用いられるＯＳによって異なる可能性がある。また、例えば、同じソフトウェアであっても特定のＯＳで動作させる場合に限り、メモリリークが発生する場合がある。この場合、メモリ使用率が閾値を超えた際の復旧手順として再起動させるプロセスがＯＳによって異なる可能性がある。
つまり、システムの構成情報及びメトリクスの組合せと、復旧手順との間には相関関係がある。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、手順特定装置１０と計算モデル生成装置２０は別の装置として実現された。しかし、手順特定装置１０と計算モデル生成装置２０とは１つの装置として実現されてもよい。

＜変形例２＞
実施の形態１では、計算モデル生成装置２０は、障害記憶部２３１に記憶されたデータから学習データを生成し、学習データに基づき計算モデルを生成した。しかし、計算モデル生成装置２０は、障害記憶部２３１に記憶されたデータから学習データを生成する学習データ生成装置５１と、学習データ生成装置５１によって生成された学習データに基づき計算モデルを生成する計算モデル生成装置５２とに分けて構成されてもよい。
この場合には、図１０に示すように、学習データ生成装置５１は、機能構成要素として、前処理部２１１を備え、ストレージ５１３が障害記憶部２３１を実現する。また、図１１に示すように、計算モデル生成装置５２は、機能構成要素として、学習部２１２を備え、ストレージ５２３が学習データ記憶部２３２を実現する。

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。

図１２を参照して、変形例３に係る手順特定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、手順特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

図１３を参照して、変形例３に係る計算モデル生成装置２０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、計算モデル生成装置２０は、プロセッサ２１とメモリ２２とストレージ２３とに代えて、電子回路２５を備える。電子回路２５は、各機能構成要素と、メモリ２２と、ストレージ２３との機能とを実現する専用の回路である。

電子回路２５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路２５で実現してもよいし、各機能構成要素を複数の電子回路２５に分散させて実現してもよい。

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１，２１とメモリ１２，２２とストレージ１３，２３と電子回路１５，２５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、障害が発生した時点を基準とする参照期間のシステムのメトリクスの時系列データと、復旧手順との間の関連度を計算する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図１４を参照して、実施の形態２に係る計算モデル生成装置２０の構成を説明する。
計算モデル生成装置２０は、機能構成要素として、メトリクス取得部２１７を備える点と、ストレージ２３がメトリクス記憶部２３３を実現する点とが図３と異なる。
メトリクス記憶部２３３には、定期的に収集されたシステムのメトリクスのログが記憶される。つまり、メトリクス記憶部２３３には、障害の発生とは無関係に、定期的に収集されたメトリクスが記憶される。
＊＊＊動作の説明＊＊＊
図４と図７と図１５とを参照して、実施の形態２に係る手順特定装置１０の動作を説明する。

図２を参照して、実施の形態２に係る計算モデル生成処理を説明する。
ステップＳ１３の処理は、実施の形態１と同じである。

（ステップＳ１１：データ読出処理）
前処理部２１１の障害情報取得部２１３は、実施の形態１と同様に、障害記憶部２３１に記憶された各レコードを読み出し、読み出された各レコードをメモリ２２に書き込む。
また、前処理部２１１のメトリクス取得部２１７は、障害情報取得部２１３によって読み出された各レコードを対象として、対象のレコードにおける発生日時を基準とする参照期間におけるメトリクス記憶部２３３に記憶されたシステムのメトリクスの時系列データを読み出す。発生日時を基準とする参照期間は、事前に設定された期間であり、具体例としては、発生日時の前１５分間である。そのため、メトリクスの時系列データは、例えば、発生日時の前１５分間における１分毎のメトリクスである。メトリクス取得部２１７は、読み出されたメトリクスの時系列データを対象のレコードと対応付けてメモリ２２に書き込む。

（ステップＳ１２：学習データ生成処理）
前処理部２１１のデータ生成部２１４は、ステップＳ１１で障害記憶部２３１から読み出された各レコードを対象として、対象のレコードのデータを加工して学習データを生成する。この際、データ生成部２１４は、メトリクス記憶部２３３から読み出されたメトリクスのうち、障害が発生した時点を基準とする参照期間のシステムのメトリクスの時系列データも用いて、学習データを生成する。つまり、データ生成部２１４は、対象のレコードについての学習データを生成する際、対象のレコードと対応付けてメモリ１２に記憶されたメトリクスの時系列データも用いる。
具体例としては、データ生成部２１４は、実施の形態１と同様に、障害記憶部２３１から読み出された対象のレコードの発生日時と構成情報とからビット列を生成するとともに、メトリクスを数値化する。また、データ生成部２１４は、対象のレコードと対応付けてメモリ１２に記憶されたメトリクスの時系列データについても数値化する。そして、データ生成部２１４は、障害記憶部２３１から読み出されたレコードの発生日時と構成情報とメトリクスとから生成されたデータと、メトリクス記憶部２３３から読み出されたメトリクスから生成されたデータとを結合したデータとを、復旧手順ＩＤと対応付けて学習データとする。

図７を参照して、実施の形態２に係る手順特定処理を説明する。
ステップＳ２４の処理は、実施の形態１と同じである。

（ステップＳ２１：データ取得処理）
監視部１１１は、実施の形態１と同様に、対象システム４０の構成情報と、対象システム４０に障害が発生した場合における対象システム４０のメトリクスとを、対象システム４０から取得する。監視部１１１は、対象システム４０の構成情報及びメトリクスを設定したレコードを障害記憶部２３１に追加する。
また、監視部１１１は、対象システム４０に障害が発生した時点を基準とする参照期間におけるメトリクス記憶部２３３に記憶された対象システムのメトリクスの時系列データを読み出す。監視部１１１は、読み出されたメトリクスの時系列データを、障害記憶部２３１に追加したレコードと対応付けてメモリ１２に書き込む。

（ステップＳ２２：計算データ生成処理）
前処理部１１２の障害情報取得部１１５は、ステップＳ２１で障害記憶部２３１に追加されたレコードのデータと、そのレコードと対応付けてメモリ１２に記憶されたメトリクスの時系列データとを読み出す。そして、前処理部１１２のデータ生成部１１６は、読み出されたレコードのデータ及びメトリクスの時系列データを加工して計算データを生成する。データ生成部１１６は、生成された計算データをメモリ１２に書き込む。

（ステップＳ２３：関連度計算処理）
関連度計算部１１３は、ステップＳ１３で導出された計算モデルにより、監視対象のシステムである対象システム４０の構成情報、及び、参照期間の対象システム４０のメトリクス時系列データと、複数の復旧手順それぞれとの間の関連度を計算する。

図１５を参照して、実施の形態２に係る手順特定装置１０の動作の具体例を説明する。
ここでは、障害が発生した時点におけるメトリクスに加えて、障害が発生した時点の１分前と、５分前と、１５分前とのメトリクスも用いられる。つまり、メトリクスの時系列データは、障害が発生した時点と、障害が発生した時点の１分前と、５分前と、１５分前とのメトリクスによって構成される。障害が発生した時点におけるメトリクスをｘ_１とし、障害が発生した時点の１分前におけるメトリクスをｘ_２とし、障害が発生した時点の５分前におけるメトリクスをｘ_３とし、障害が発生した時点の１５分前におけるメトリクスをｘ_４とする。
また、ここでは、図１５に示すように数１における重みａ_ｉｊ及び初期値ｂ_ｉが計算されたとする。

このとき、図１５の（１）のようにメトリクスの変動が激しい場合には、メトリクスの時系列データ（ｘ_１，ｘ_２，ｘ_３，ｘ_４）は、図１５の（Ａ）のようになる。そして、この場合には、関連度は、図１５の（ａ）のように計算され、関連度ｙ_３に対応する復旧手順３が特定される。
また、図１５の（２）のようにメトリクスが概ね一定の状態から障害発生の直前になって急に高くなった場合には、メトリクスの時系列データ（ｘ_１，ｘ_２，ｘ_３，ｘ_４）は、図１５の（Ｂ）のようになる。そして、この場合には、関連度は、図１５の（ｂ）のように計算され、関連度ｙ_２に対応する復旧手順２が特定される。
また、図１５の（２）のようにメトリクスが徐々に高くなっている場合には、メトリクスの時系列データ（ｘ_１，ｘ_２，ｘ_３，ｘ_４）は、図１５の（Ｃ）のようになる。そして、この場合には、関連度は、図１５の（ｃ）のように計算され、関連度ｙ_１に対応する復旧手順１が特定される。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る手順特定装置１０は、障害が発生した時点を基準とする参照期間のシステムのメトリクスの時系列データと、復旧手順との間の関連度を計算する。これにより、障害が発生した時点におけるメトリクスだけでなく、一定期間のメトリクスも考慮して、復旧手順を特定可能である。その結果、より適切な復旧手順を特定可能である。

障害発生時のメトリクスだけでなく、メトリクスの時系列データを用いることでより適切な手順を特定することが可能になる。例えば、ＣＰＵの使用率が閾値を超えている場合に、ＣＰＵの使用率が高くなった原因のプロセスによって、ＣＰＵの使用率が閾値を超えるまでにＣＰＵの使用率がどのように変化していたかが異なる場合がある。したがって、ＣＰＵの使用率が高い場面において、どのプロセスから順に停止させるかという手順がＣＰＵの使用率の時系列データによって異なる可能性がある。その他にも、例えば、ＣＰＵ使用率が不規則に急上昇、急降下を繰り返す場合は対象のサーバーを切り離す、ＣＰＵ使用率が徐々に上昇していき閾値を超えた場合は、リソースを追加するといった復旧手順が考えられる。

１００ 手順特定システム、１０ 手順特定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、１１１ 監視部、１１２ 前処理部、１１３ 関連度計算部、１１４ 手順特定部、１１５ 障害情報取得部、１１６ データ生成部、１３１ モデル記憶部、２０ 計算モデル生成装置、２１ プロセッサ、２２ メモリ、２３ ストレージ、２４ 通信インタフェース、２５ 電子回路、２１１ 前処理部、２１２ 学習部、２１３ 障害情報取得部、２１４ データ生成部、２１５ 学習データ取得部、２１６ モデル生成部、２１７ メトリクス取得部、２３１ 障害記憶部、２３２ 学習データ記憶部、２３３ メトリクス記憶部、３０ 伝送路、４０ 対象システム、５１ 学習データ生成装置、５１１ プロセッサ、５１２ メモリ、５１３ ストレージ、５１４ 通信インタフェース、５２ 計算モデル生成装置、５２１ プロセッサ、５２２ メモリ、５２３ ストレージ、５２４ 通信インタフェース。

Claims (13)

1. システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させる復旧手順との関連度を計算する計算モデルにより、監視対象のシステムである対象システムに障害が発生した場合における前記対象システムのメトリクスと、複数の復旧手順それぞれとの間の関連度を計算する関連度計算部と、
   前記関連度計算部によって計算された前記関連度に基づき、前記対象システムで発生した前記障害に対する復旧手順を特定する手順特定部と
   を備える手順特定装置。
2. 前記計算モデルは、前記システムの構成情報及び前記システムのメトリクスと、前記復旧手順との関連度を計算するモデルであり、
   前記関連度計算部は、前記対象システムの構成情報及び前記対象システムのメトリクスと、前記複数の復旧手順それぞれとの間の関連度を計算する
   請求項１に記載の手順特定装置。
3. 前記計算モデルは、前記システムに障害が発生した時点を基準とする参照期間の前記システムのメトリクスの時系列データと、前記復旧手順との間の関連度を計算するモデルであり、
   前記関連度計算部は、前記対象システムに障害が発生した時点を基準とする前記参照期間の前記対象システムのメトリクス時系列データと、前記複数の復旧手順それぞれとの間の関連度を計算する
   請求項１又は２に記載の手順特定装置。
4. 前記手順特定部は、前記複数の復旧手順のうちの前記関連度が最も高い復旧手順を、前記対象システムの障害に対する復旧手順として特定する
   請求項１から３までのいずれか１項に記載の手順特定装置。
5. システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させた復旧手順との複数の組を学習データとして取得する学習データ取得部と、
   前記学習データ取得部によって取得された前記学習データを入力として、前記メトリクスと前記復旧手順との間の関連度を計算する計算モデルを導出するモデル生成部と
   を備える計算モデル生成装置。
6. 前記学習データは、前記システムの構成情報及び前記システムのメトリクスと、前記復旧手順との複数の組であり、
   前記モデル生成部は、前記構成情報及び前記メトリクスと前記復旧手順との間の関連度を計算する計算モデルを導出する
   請求項５に記載の計算モデル生成装置。
7. 前記学習データは、前記システムに障害が発生した時点を基準とする参照期間の前記システムのメトリクスの時系列データと、前記復旧手順との複数の組であり、
   前記モデル生成部は、前記メトリクスの前記時系列データと前記復旧手順との間の関連度を計算する計算モデルを導出する
   請求項５又は６に記載の計算モデル生成装置。
8. 関連度計算部が、システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させる復旧手順との関連度を計算する計算モデルにより、監視対象のシステムである対象システムに障害が発生した場合における前記対象システムのメトリクスと、複数の復旧手順それぞれとの間の関連度を計算し、
   手順特定部が、前記関連度に基づき、前記対象システムで発生した前記障害に対する復旧手順を特定する手順特定方法。
9. システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させる復旧手順との関連度を計算する計算モデルにより、監視対象のシステムである対象システムに障害が発生した場合における前記対象システムのメトリクスと、複数の復旧手順それぞれとの間の関連度を計算する関連度計算処理と、
   前記関連度計算処理によって計算された前記関連度に基づき、前記対象システムで発生した前記障害に対する復旧手順を特定する手順特定処理と
   を行う手順特定装置としてコンピュータを機能させる手順特定プログラム。
10. 学習データ取得部が、システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させた復旧手順との複数の組を学習データとして取得し、
    モデル生成部が、前記学習データを入力として、前記メトリクスと前記復旧手順との間の関連度を計算する計算モデルを導出する計算モデル生成方法。
11. システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させた復旧手順との複数の組を学習データとして取得する学習データ取得処理と、
    前記学習データ取得処理によって取得された前記学習データを入力として、前記メトリクスと前記復旧手順との間の関連度を計算する計算モデルを導出するモデル生成処理と
    を行う計算モデル生成装置としてコンピュータを機能させる計算モデル生成プログラム。
12. 過去に発生したシステムの障害についての情報を記憶した障害記憶部から、前記障害の発生日時と、前記障害を復旧させた復旧手順とを取得する障害情報取得部と、
    前記システムのメトリクスのログを記憶したメトリクス記憶部から、前記障害情報取得部によって取得された前記発生日時を基準とする参照期間における前記システムのメトリクスの時系列データを取得するメトリクス取得部と、
    前記メトリクス取得部によって取得された前記時系列データと、前記復旧手順との組を、メトリクスの時系列データと復旧手順との関連度を計算する計算モデルを生成するための学習データとして生成するデータ生成部と
    を備える学習データ生成装置。
13. システムに障害が発生した場合における前記システムのメトリクスと、前記障害を復旧させた復旧手順との複数の組である学習データを入力として学習され、対象システムのメトリクスと複数の復旧手順それぞれとの間の関連度を計算するように、コンピュータを機能させる計算プログラム。

Images