JP2020052747A - 情報生成装置、情報生成システム及びプログラム - Google Patents
情報生成装置、情報生成システム及びプログラム Download PDFInfo
- Publication number
- JP2020052747A JP2020052747A JP2018181644A JP2018181644A JP2020052747A JP 2020052747 A JP2020052747 A JP 2020052747A JP 2018181644 A JP2018181644 A JP 2018181644A JP 2018181644 A JP2018181644 A JP 2018181644A JP 2020052747 A JP2020052747 A JP 2020052747A
- Authority
- JP
- Japan
- Prior art keywords
- network
- workflow
- failure
- information generation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
以下、図を参照して本実施形態の情報生成システム1の概要について説明する。
図1は、本実施形態の情報生成システム1の機能構成の一例を示す図である。
情報生成システム1は、種々の条件に基づいてネットワークNに関するワークフローWFを生成し、生成したワークフローWFに基づいた動作をネットワークNに対して実行する。また、情報生成システム1は、ワークフローWFに基づいた動作が実行された結果によって生じるネットワークNの状況を監視する。
なお、ここでいうワークフローWFには、「コマンドCMD」、「複数のコマンドCMDの列」、「コマンドCMDの列を定義するタスクTSK」及び「複数のタスクTSKの列」などが含まれる。また、ワークフローWFには、上述したコマンドCMD、タスクTSKなどの論理的な動作の指示だけでなく、ネットワークNを構成する配線の断線や短絡などの物理的な故障を発生させるための指示が含まれていてもよい。
一般に、ネットワークNにおいて、ある種類のネットワーク障害Dを発生させるためのワークフローWFは、ネットワークNの状況に応じて変化する。情報生成システム1は、発生させるネットワーク障害Dの種類と、ネットワーク障害Dを発生させる対象のネットワークNの状況とに基づいて、ワークフローWFを生成する。
以下、情報生成システム1の機能構成について説明する。情報生成システム1は、情報生成装置10と、入出力装置20と、タスク定義サーバ30と、ワークフロー制御部40と、ネットワーク接続装置50とを備える。
この一例では、入出力装置20は、情報生成装置10に対して障害種類情報DIと、ネットワークパラメータNPとを供給する。ここで、障害種類情報DIとは、ネットワークNに発生させるネットワーク障害Dの種類を示す情報である。ネットワークパラメータNPとは、ネットワーク障害Dを発生させる対象のネットワークNの状況を示す情報である。図2を参照して、ネットワークパラメータNPの一例について説明する。
次に、図5を参照して、情報生成装置10の機能構成について説明する。
図5は、本実施形態の情報生成装置10の機能構成の一例を示す図である。情報生成装置10は、取得部110と、供給部120と、学習済みモデル130と、選択部140と、出力部150とを備える。
以下の説明において、ネットワークNについて、学習対象のネットワークNと、検査対象のネットワークNとを区別する場合には、それぞれ「学習対象のネットワークNL」、「検査対象のネットワークNE」と記載する。
取得部110は、取得した情報を供給部120に出力する。
なお、情報生成装置10は、図5に示すように、判定部160と、記憶部170とをさらに備えていてもよい。
判定部160は、障害判定ポリシPCYに基づいて、ネットワーク障害Dの発生有無を判定する。ここで、障害判定ポリシPCYとは、学習済みモデル130が出力するワークフローWFに基づく動作をネットワークNに与えた結果生じる状況とネットワーク障害Dの発生有無との関係が定義されている情報である。
記憶部170は、ワークフローWFと、当該ワークフローWFに基づく動作をネットワークNに与えた結果生じる状況を判定部160が判定した判定結果とが対応付けて記憶される。
上述のように構成された情報生成装置10において、学習済みモデル130は、障害判定ポリシPCYに基づいて判定されるネットワーク障害Dの発生有無を、教師データTDにして学習されている。つまり、学習済みモデル130は、判定部160の判定結果に基づいて再学習されている。
次に、図6から図8を参照して情報生成システム1の動作の一例について説明する。
図6は、本実施形態の情報生成システム1の学習段階における動作の一例を示す図である。以下の説明において、学習を終えていない(学習前の、又は学習中の)機械学習モデルを学習中モデルMLと記載し、学習を終えた機械学習モデルを学習済みモデルMと記載する。上述した学習済みモデル130とは、学習済みモデルMの一例である。
(ステップS120)情報生成装置10は、タスク定義情報TIをタスク定義サーバ30から取得する。
(ステップS130)情報生成装置10は、ステップS110及びステップS120において取得した各情報を、学習中モデルMLに供給する。この結果、学習中モデルMLは、ワークフローWFを生成する。
(ステップS140)情報生成装置10は、ステップS130において生成されたワークフローWFをワークフロー制御部40に対して供給する。ワークフロー制御部40は、供給されたワークフローWFに基づく動作を、ネットワーク接続装置50を介してネットワークNに対して実施する。
(ステップS160)情報生成装置10は、ステップS150において取得した監視結果RSを評価する。具体的には、情報生成装置10は、ステップS110において取得された障害種類情報DIが示す種類のネットワーク障害Dが、ネットワークNに発生しているか否かを評価する。情報生成装置10は、ステップS110において取得された障害種類情報DIが示す種類のネットワーク障害Dが、ネットワークNに発生している場合には、ワークフローWFが正しく生成されたものと評価する。また、情報生成装置10は、ステップS110において取得された障害種類情報DIが示す種類のネットワーク障害Dが、ネットワークNに発生していない場合には、ワークフローWFが誤って生成されたものと評価する。ここで、障害種類情報DIが示す種類のネットワーク障害DがネットワークNに発生していない場合には、ワークフローWFに基づく動作が実行されたにもかかわらず、ネットワークNにネットワーク障害Dが発生していない場合と、障害種類情報DIが示す種類とは異なる種類のネットワーク障害Dが発生した場合とが含まれる。
(ステップS180)情報生成装置10は、学習中モデルMLの学習結果が安定したか否か(すなわち、機械学習モデルの出力を利活用できる状態になるまで十分に学習がなされたか否か)に基づいて、学習の継続有無を判定する。情報生成装置10は、学習中モデルMLの学習結果が安定した場合(ステップS180;YES)には、学習処理を終了する。情報生成装置10は、学習中モデルMLの学習結果がまだ安定していない場合(ステップS180;NO)には、処理をステップS110に戻して、学習処理を継続する。
図7は、本実施形態の情報生成システム1の利活用段階における動作の一例を示す図である。ここで利活用段階とは、機械学習モデルの学習が済み、機械学習モデルの出力を本来の目的に利用又は活用することができる段階をいう。
(ステップS210)情報生成装置10は、障害種類情報DI及びネットワークパラメータNPを入出力装置20から取得する。
(ステップS220)情報生成装置10は、タスク定義情報TIをタスク定義サーバ30から取得する。
なお、この一例では、学習済みモデル130が、タスクTSKを適宜組み合わせることによってワークフローWFを学習結果に基づいて自動生成するとして説明するが、これに限られない。例えば、タスクTSKが人手によって組み合わされたワークフローWFが予め用意(例えば、タスク定義サーバ30、又は他の記憶装置(不図示)に記憶)されていてもよい。この場合、学習済みモデル130は、予め用意(例えば、記憶)されている複数種類の登録済みワークフローWFのなかから、学習結果に応じたワークフローWFを選択してもよい。
(ステップS250)情報生成装置10は、処理の終了判定を行う。情報生成装置10は、処理の実行を終了する場合(ステップS250;YES)には、利活用段階における処理を終了する。情報生成装置10は、処理を終了しない場合(ステップS250;NO)には、処理をステップS210に戻して、利活用段階における処理を継続する。
図8は、本実施形態の情報生成システム1の再学習の動作の一例を示す図である。ここで再学習とは、学習済みモデルMを再び学習させることにより、学習済みモデルMの学習結果を更新することをいう。
ここで、ステップS310からステップS340までの各ステップの処理は、上述したステップS210からステップS240までの処理と同一であるため、説明を省略する。
(ステップS360)情報生成装置10は、処理の終了判定を行う。情報生成装置10は、処理を終了しない場合(ステップS360;NO)には、処理をステップS310に戻して、利活用段階における処理を継続する。情報生成装置10は、利活用段階における処理の実行を終了する場合(ステップS360;YES)には、処理をステップS370に進める。
(ステップS380)情報生成装置10は、情報生成装置10は、ステップS370における評価結果ERを教師データとして、学習済みモデル130に反映させて処理を終了する。
以上説明したように、本実施形態の情報生成システム1において、情報生成装置10は、学習済みモデル130に基づいてワークフローWFを自動生成する。この学習済みモデル130は、学習対象のネットワークNLに発生させるネットワーク障害Dの種類を示す情報と、学習対象のネットワークNLに関するネットワークパラメータNPとを入力データとし、ネットワークを操作するタスクTSKが定義されているタスク定義情報TIから選択される1以上のタスクTSKを組み合わせたワークフローWFを出力データとし、ワークフローWFに基づく動作をネットワークNに与えた結果生じるネットワーク障害Dの発生有無を教師データTDとして、ネットワーク障害Dの種類と、ネットワークパラメータNPと、ワークフローWFとの関係が学習されている。このため、情報生成システム1によれば、所望の種類のネットワーク障害Dを発生させるためのワークフローWFを、人手を用いずに自動生成することができる。したがって、本実施形態の情報生成システム1によれば、ネットワーク障害Dを発生させるためのワークフローWFを作るための工数(すなわち、運用工数)を低減することができる。
また、本実施形態の情報生成システム1は、この再学習を実現するために、判定部160が、学習済みモデル130が出力するワークフローWFに基づく動作をネットワークNに与えた結果生じる状況とネットワーク障害Dの発生有無との関係が定義されている障害判定ポリシPCYに基づいて、ネットワーク障害Dの発生有無を判定する。さらに、情報生成システム1は、判定部160の判定結果を上述の対応関係として記憶する記憶部170を備えている。
本実施形態の情報生成システム1は、学習済みモデル130を再学習させることにより、発生させるネットワーク障害Dの種類の精度を向上させることができる。すなわち、本実施形態の情報生成システム1は、ワークフローWFの生成の運用工数を低減しつつ、所望の種類のネットワーク障害Dを精度よく発生させることができる。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (6)
- 学習対象のネットワークに発生させるネットワーク障害の種類を示す情報と、前記学習対象のネットワークに関するネットワークパラメータとを入力データとし、前記ネットワークを操作するタスクが定義されているタスク定義情報から選択される1以上の前記タスクを組み合わせたワークフローを出力データとし、前記ワークフローに基づく動作を前記ネットワークに与えた結果生じるネットワーク障害の発生有無を教師データとして、前記ネットワーク障害の種類と、前記ネットワークパラメータと、前記ワークフローとの関係が学習された学習済みモデルと、
検査対象のネットワークに発生させるネットワーク障害の種類を示す障害種類情報と、検査対象のネットワークに関するネットワークパラメータとをそれぞれ取得する取得部と、
前記取得部が取得する前記障害種類情報と前記ネットワークパラメータとを前記学習済みモデルに対して供給する供給部と、
前記供給部から供給される入力データに基づいて前記学習済みモデルが出力する1以上の前記ワークフローを、前記障害種類情報が示す種類のネットワーク障害の発生確率に基づいて選択する選択部と、
前記選択部によって選択された前記ワークフローを出力する出力部と、
を備える情報生成装置。 - 前記学習済みモデルは、
複数の前記ワークフローを前記選択部に対して出力し、
前記選択部は、
前記学習済みモデルが出力する複数の前記ワークフローのうち、前記障害種類情報が示す種類のネットワーク障害の発生確率が相対的に高い前記ワークフローを選択する
請求項1に記載の情報生成装置。 - 前記学習済みモデルが出力する前記ワークフローに基づく動作を前記ネットワークに与えた結果生じる状況とネットワーク障害の発生有無との関係が定義されている障害判定ポリシに基づいて、ネットワーク障害の発生有無を判定する判定部と、
前記ワークフローと、当該ワークフローに基づく動作を前記ネットワークに与えた結果生じる状況を前記判定部が判定した判定結果とが対応付けて記憶される記憶部と、
をさらに備え、
前記学習済みモデルは、
前記障害判定ポリシに基づいて判定されるネットワーク障害の発生有無を、前記教師データにして学習されている
請求項1または請求項2に記載の情報生成装置。 - 前記学習済みモデルは、
前記記憶部に記憶されている前記ワークフローと前記判定結果との対応関係を前記教師データにして再学習される
請求項3に記載の情報生成装置。 - 請求項3または請求項4に記載の前記情報生成装置と、
前記出力部が出力する前記ワークフローに基づく動作を前記ネットワークに与えるワークフロー制御部と、
前記ネットワークに生じる状況を監視し、監視した結果を前記情報生成装置の前記判定部に対して出力するネットワーク監視部と、
を備える情報生成システム。 - コンピュータに、
検査対象のネットワークに発生させるネットワーク障害の種類を示す障害種類情報と、検査対象のネットワークに関するネットワークパラメータとをそれぞれ取得する取得ステップと、
学習対象のネットワークに発生させるネットワーク障害の種類を示す情報と、前記学習対象のネットワークに関するネットワークパラメータとを入力データとし、前記ネットワークを操作するタスクが定義されているタスク定義情報から選択される1以上の前記タスクを組み合わせたワークフローを出力データとし、前記ワークフローに基づく動作を前記ネットワークに与えた結果生じるネットワーク障害の発生有無を教師データとして、前記ネットワーク障害の種類と、前記ネットワークパラメータと、前記ワークフローとの関係が学習された学習済みモデルに対して、前記取得ステップにおいて取得される前記障害種類情報と前記ネットワークパラメータとを供給する供給ステップと、
前記供給ステップにおいて供給される入力データに基づいて前記学習済みモデルが出力する1以上の前記ワークフローを、前記障害種類情報が示す種類のネットワーク障害の発生確率に基づいて選択する選択ステップと、
前記選択ステップにおいて選択された前記ワークフローを出力する出力ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181644A JP6890109B2 (ja) | 2018-09-27 | 2018-09-27 | 情報生成装置、情報生成システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181644A JP6890109B2 (ja) | 2018-09-27 | 2018-09-27 | 情報生成装置、情報生成システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052747A true JP2020052747A (ja) | 2020-04-02 |
JP6890109B2 JP6890109B2 (ja) | 2021-06-18 |
Family
ID=69997250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181644A Active JP6890109B2 (ja) | 2018-09-27 | 2018-09-27 | 情報生成装置、情報生成システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6890109B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021082948A (ja) * | 2019-11-19 | 2021-05-27 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 閾値出力装置、閾値出力方法および閾値出力プログラム |
JP2022054157A (ja) * | 2020-09-25 | 2022-04-06 | Kddi株式会社 | ネットワーク状態確認手順の妥当性判定装置、方法及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196705A (ja) * | 1998-12-28 | 2000-07-14 | Nec Commun Syst Ltd | メッセ―ジ/シ―ケンス編集機能を有する自動通信プロトコル試験システムおよび試験方法 |
JP2009528642A (ja) * | 2006-03-14 | 2009-08-06 | モトローラ・インコーポレイテッド | システムにおいて検出されるアラーム状態を解決するために用いられるワークフローを提供する方法および装置 |
JP2016155442A (ja) * | 2015-02-24 | 2016-09-01 | 株式会社日立製作所 | 運転整理訓練用端末および運転整理訓練システム |
JP2017506843A (ja) * | 2014-01-29 | 2017-03-09 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 可視化されたネットワーク運用及び保守のための方法及び装置 |
JP2017207894A (ja) * | 2016-05-18 | 2017-11-24 | 株式会社日立システムズ | 統合監視運用システムおよび方法 |
CN108257439A (zh) * | 2016-12-29 | 2018-07-06 | 中国能源建设集团广东省电力设计研究院有限公司 | 一种适应多种模式的配网自动化培训方法及仿真系统 |
WO2018147362A1 (ja) * | 2017-02-08 | 2018-08-16 | 株式会社日立産機システム | 産業機器監視装置および産業機器の監視方法 |
-
2018
- 2018-09-27 JP JP2018181644A patent/JP6890109B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196705A (ja) * | 1998-12-28 | 2000-07-14 | Nec Commun Syst Ltd | メッセ―ジ/シ―ケンス編集機能を有する自動通信プロトコル試験システムおよび試験方法 |
JP2009528642A (ja) * | 2006-03-14 | 2009-08-06 | モトローラ・インコーポレイテッド | システムにおいて検出されるアラーム状態を解決するために用いられるワークフローを提供する方法および装置 |
JP2017506843A (ja) * | 2014-01-29 | 2017-03-09 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 可視化されたネットワーク運用及び保守のための方法及び装置 |
JP2016155442A (ja) * | 2015-02-24 | 2016-09-01 | 株式会社日立製作所 | 運転整理訓練用端末および運転整理訓練システム |
JP2017207894A (ja) * | 2016-05-18 | 2017-11-24 | 株式会社日立システムズ | 統合監視運用システムおよび方法 |
CN108257439A (zh) * | 2016-12-29 | 2018-07-06 | 中国能源建设集团广东省电力设计研究院有限公司 | 一种适应多种模式的配网自动化培训方法及仿真系统 |
WO2018147362A1 (ja) * | 2017-02-08 | 2018-08-16 | 株式会社日立産機システム | 産業機器監視装置および産業機器の監視方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021082948A (ja) * | 2019-11-19 | 2021-05-27 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 閾値出力装置、閾値出力方法および閾値出力プログラム |
JP7311402B2 (ja) | 2019-11-19 | 2023-07-19 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 閾値出力装置、閾値出力方法および閾値出力プログラム |
JP2022054157A (ja) * | 2020-09-25 | 2022-04-06 | Kddi株式会社 | ネットワーク状態確認手順の妥当性判定装置、方法及びプログラム |
JP7391809B2 (ja) | 2020-09-25 | 2023-12-05 | Kddi株式会社 | ネットワーク状態確認手順の妥当性判定装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6890109B2 (ja) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6334193B1 (en) | Method and apparatus for implementing user-definable error handling processes | |
US10936291B1 (en) | Recommending the refactoring of microservices | |
US20140310051A1 (en) | Methods and Apparatus for Project Portfolio Management | |
US11061800B2 (en) | Object model based issue triage | |
EP3109763A1 (en) | Method and system for generating functional test cases for software systems | |
JP2016115175A (ja) | ソフトウェアテスト装置およびソフトウェアテストプログラム | |
JP2018028725A (ja) | 情報処理装置及び情報処理プログラム | |
JP2008242540A (ja) | テスト仕様書生成プログラム、およびテスト仕様書生成装置 | |
JP2020052747A (ja) | 情報生成装置、情報生成システム及びプログラム | |
US20170075665A1 (en) | Program information generation system, method, and computer program | |
CN107729097B (zh) | 展示页面配置方法及相应设备 | |
CN110865806B (zh) | 代码处理方法、装置、服务器及存储介质 | |
US20160364674A1 (en) | Project management with critical path scheduling and releasing of resources | |
US10783061B2 (en) | Reducing likelihood of cycles in user interface testing | |
US20200326952A1 (en) | Modification procedure generation device, modification procedure generation method and storage medium for storing modification procedure generation program | |
JP4763470B2 (ja) | モデル設計検証装置およびモデル設計検証プログラム | |
JP6097231B2 (ja) | プログラム生成装置および方法 | |
US11003519B2 (en) | Information processing system, cluster system construction method, and non-transitory computer-readable storage medium for storing cluster construction program | |
WO2015162889A1 (ja) | 設計支援装置、方法、およびプログラム記録媒体 | |
CN109947645A (zh) | 自动化配置工具方法及系统 | |
US9760673B2 (en) | Application specific integrated circuit (ASIC) test screens and selection of such screens | |
JP6897866B2 (ja) | システム更新装置およびシステム更新方法 | |
WO2019187975A1 (ja) | システム更新装置およびシステム更新方法 | |
JP2009157661A (ja) | モデル検査支援装置 | |
JP2007128138A (ja) | ビジネスプロセステスト設計支援装置、ビジネスプロセス試験方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6890109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |