JP2021163259A - 部分抽出装置、部分抽出方法およびプログラム - Google Patents

Abstract

【課題】ハードウェアの設計を含むシステム設計において、個々の設計対象の規模を比較的小さくできるようにする。
【解決手段】部分抽出装置が、システムの構成をグラフで示す第一情報を取得する構成情報取得手段と、前記第一情報が示す前記システムの部分の構成をグラフで示す第二情報を抽出する部分構成情報抽出手段と、を備える。
【選択図】図６

Description

本発明は、部分抽出装置、部分抽出方法およびプログラムに関する。

ソフトウェアを複数の部分に分割し、分割した各部分の設計または開発を行う場合がある。ソフトウェアの分割に関して、特許文献１には、プログラムを関数等のプログラム要素に分割し、プログラム要素間における配列へのアクセスの関係に基づいてプログラム要素を複数のグループにグルーピングする情報処理装置が記載されている。
また、特許文献２には、ソフトウェアファイルのアーチファクトを有するデータベースにアクセスし、アーチファクトに基づいてソフトウェアファイルのデザインパターンを特定する方法が記載されている。

特許文献３に記載の技術では、未確定な部分が含まれているシステムの構成を示す情報（抽象構成情報）の前記未確定な部分を確定することによって、前記抽象構成情報を具体化する方法が規定された具体化規則を記憶部に記憶させる。そして、グラフ形式で表現されたシステムの構成要件に含まれている抽象構成情報を、記憶されている具体化規則を用いて具体化する。これによって、前記構成要件を基に、前記未確定な部分が含まれていないシステムの構成を示す情報であるシステム構成情報を生成する。
非特許文献１は、カリキュラム強化学習について開示する。カリキュラム強化学習は、解決すべき難しい問題をはじめから学習するのではなく、簡単な問題から順番に学習するというアプローチを経ることにより、効率よく学習する技術である。係るカリキュラム強化学習は、採り得る解のパターンが多数あることに起因して、学習を繰り返しても報酬が得られる頻度が低いことにより、適切な解を得るための方法がうまく学習できないという課題を解決するための一手段である。
非特許文献２は、特許文献３に示されるような技術において、前記未確定な部分を確定する方法が複数ある場合にいずれかを選択するにあたり、強化学習で学習した結果を用いて有望な方法を選択することで、効率的に前記システム構成情報を生成する技術を開示する。

国際公開第２０１８／０６６０７４号 特表２０１７−５１９３００号公報 国際公開第２０１９／２１６０８２号

Y. Bengio、外３名、"Curriculum learning"、In International Conference on Machine Learning、pp. 41-48、 ACM、２００９年 丸山貴志、外４名、「探索型ネットワーク設計導出方式の強化学習による探索の効率化」、信学技報、vol. 118、no. 483、ICM2018-71、pp. 123-128、２０１９年３月

個々の設計をより簡単にする観点から、ソフトウェアに限らずハードウェアの設計を含むシステム設計においても、例えば設計対象のシステムを分割するなど、個々の設計対象の規模を比較的小さくできることが好ましい。

本発明は、上述の課題を解決することのできる部分抽出装置、部分抽出方法およびプログラムを提供することを目的としている。

本発明の第１の態様によれば、部分抽出装置は、システムの構成をグラフで示す第一情報を取得する構成情報取得手段と、前記第一情報のうち、前記システムの部分の構成をグラフで示す第二情報を抽出する部分構成情報抽出手段と、を備える。

本発明の第２の態様によれば、部分抽出方法は、システムの構成をグラフで示す第一情報を取得する工程と、前記第一情報のうち、前記システムの部分の構成をグラフで示す第二情報を抽出する工程と、を含む。

本発明の第３の態様によれば、プログラムは、コンピュータに、システムの構成をグラフで示す第一情報を取得する工程と、前記第一情報のうち、前記システムの部分の構成をグラフで示す第二情報を抽出する工程と、を実行させるためのプログラムである。

この発明によれば、ハードウェアの設計を含むシステム設計において、個々の設計対象の規模を比較的小さくすることができる。

実施形態に係る設計システムの装置構成の例を示す概略構成図である。 実施形態に係る設計システムが扱うシステム要件の例を示す図である。 実施形態に係る変換規則適用前のシステム要件の例を示す図である。 実施形態に係る変換規則適用後のシステム要件の例を示す図である。 実施形態に係るシステム設計装置が行うシステム設計における変換規則適用の分岐の例を示す図である。 実施形態に係る強化学習装置の機能構成の例を示す概略ブロック図である。 実施形態に係るシステム設計装置の機能構成の例を示す概略ブロック図である。 実施形態に係るシステム設計装置がシステム設計を行う処理手順の例を示すフローチャートである。 実施形態に係る強化学習装置が評価モデルを学習する処理手順の例を示すフローチャートである。 実施形態に係る強化学習装置が、段階的に評価モデルを学習する処理手順の例を示すフローチャートである。 ネットワークドメイン毎に分割されたシステム要件の例を示す図である。 実施形態に係る強化学習装置がシステム要件をネットワークドメイン毎に分割する処理手順の例を示すフローチャートである。 レイヤ毎に分割されたシステム要件の例を示す図である。 実施形態に係る強化学習装置がシステム要件をレイヤ毎に分割する処理手順の例を示すフローチャートである。 システム要件から抽出された抽象的部分の例を示す図である。 実施形態に係る強化学習装置がシステム要件から抽象的部分を抽出する処理手順の例を示すフローチャートである。 実施形態に係る部分抽出装置の構成の例を示す図である。 実施形態に係る部分抽出方法における処理の手順の例を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

本出願人は、例えば特許文献３において、システムを自動設計する技術を提案している。また、本発明者等は、例えば非特許文献２において、システムの自動設計に対して機械学習を適用する技術を提案している。この場合、システムの自動設計では、製品レベルのシステムの設計規模が膨大であるという条件があることに起因して、強化学習を行う際に設計が成功する確率は微少であり報酬が得られる頻度が非常に低いという問題が生じるので、学習がうまく進まないという問題がある。この場合、背景技術欄にて参照したように、カリキュラム強化学習を利用することが想定される。しかしながら、学習が比較的簡単なシステム要件の生成を目的にシステム要件を闇雲に分割しても、学習する価値のあるシステム要件は生成できない。これに対し、本発明者は、設計者のノウハウを踏まえ学習する価値のあるシステム要件を元のシステム要件から自動的に生成する知見を見出した。そこで係る知見に基づく本発明を、以下に開示する実施形態を例に詳細に説明する。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る設計システムの装置構成の例を示す概略構成図である。図１に示す構成で、設計システム１は、強化学習装置１１と、システム設計装置１２とを備える。

設計システム１は、システム設計を自動的または半自動的に行う。具体的には、システム設計装置１２が、設計対象システムのシステム要件を取得する。ここでいうシステム要件は、当該設計対象システムが備えるべき構成を記述した情報である。システム設計装置１２に入力されるシステム要件では、当該設計対象システムの構成要素を抽象的に記述することが可能である。これに対し、システム設計装置１２は、取得したシステム要件に対して、予め定められた変換規則を繰り返し適用することで、システムを配備（Deployment）可能なレベルにまでシステム要件を具体化する。

図２は、設計システム１が扱うシステム要件の例を示す図である。図２は、設計システム１が不審者検知システムを設計する場合の、設計対象のシステム要件の例を示している。
図２の例のように、設計システム１が扱うシステム要件はグラフ形式で記述される。記述されたグラフにおいて、ノード、エッジの何れにも属性情報を付加することができる。

例えば、ノードには、そのノードが示す機能または機器などの名称または識別情報が属性情報として付加されていてもよい。図２の例の場合、ノードＮ１０１は、カメラ機能（撮影機能）を示す。ノードＮ１０２およびＮ１０９は、何れもネットワークスイッチを示す。ノードＮ１０３およびＮ１１０は、何れもルータを示す。ノードＮ１０４は、顔認証機能を示す。ノードＮ１０５は、クラウド基盤を示す。ノードＮ１０６は、ＷＡＮ（Wide Area Network、広域通信網）を示す。ノードＮ１０７は、モニタ機能（画像表示機能）を示す。ノードＮ１０８は、サーバ装置を示す。

また、ノードには、そのノードの抽象度も属性情報として付加されていてもよい。図２の例の場合、ノードＮ１０１、Ｎ１０４、Ｎ１０５、および、Ｎ１０７は、抽象的なノードである。一方、ノードＮ１０２、Ｎ１０３、Ｎ１０６、Ｎ１０８、Ｎ１０９、および、Ｎ１１０は、具体的なノードである。ここで、抽象的なノードとは、予め定められた変換規則を少なくとも１回参照することにより、現在よりも具体的な構成を表すノードに変換できるノードである。一方、具体的なノードは、当該変換規則を参照しても、これ以上は具体的な構成を表すノードには変換することができないノードである。

システム設計装置１２は、抽象的なノードを具体化するように、システム要件に当該変換規則を適用する。例えば、システム設計装置１２が、図２に例にされるシステム要件に、カメラ機能を示すノードＮ１０１を、カメラ（撮像装置）のノードと、カメラを制御する制御装置のノードとを含む部分グラフ（Subgraph）に変換する変換規則を適用してもよい。

また、図２の例では、エッジＥ１０１、Ｅ１０６、および、Ｅ１０９のそれぞれの属性情報「join」と、エッジＥ１０３およびＥ１０７のそれぞれの属性情報「http」が示されている。「join」は、所属関係を示す。例えば、ノードＮ１０１が示すカメラ機能は、ノードＮ１０２が示すネットワークスイッチが形成するＬＡＮ（Local Area Network）に含まれる。ノードＮ１０４が示す顔認証機能は、ノードＮ１０５が示すクラウド基盤上に設けられる。ノードＮ１０７が示すモニタ機能は、ノードＮ１０８が示すサーバ装置を用いて制御される。

「http」は、ＨＴＴＰ（Hyper Text Transfer Protocol）を用いた通信を示す。例えば、エッジＥ１０３は、ノードＮ１０１が示すカメラ機能からノードＮ１０５が示す顔認証機能へ、ＨＴＴＰでデータを送信することを示している。エッジＥ１０７は、ノードＮ１０５が示す顔認証機能からノードＮ１０７が示すモニタ機能へ、ＨＴＴＰでデータを送信することを示している。
なお、設計システム１が用いるシステム要件で、エッジが向きを有していること（図２の例では、エッジが矢印で示されること）は必須ではない。例えば、システム要件が無向グラフを用いて示されていてもよい。
また、エッジにも、そのエッジの抽象度も属性情報として付加されていてもよい。図２の例の場合、エッジＥ１０１、Ｅ１０３、Ｅ１０５、Ｅ１０７およびＥ１０９は、抽象的なエッジである。一方、エッジＥ１０２、Ｅ１０４、Ｅ１０６、Ｅ１０８、Ｅ１１０およびＥ１１１は、具体的なエッジである。ここで、抽象的なエッジとは、予め定められた変換規則を少なくとも１回参照することにより、現在よりも具体的な構成を表すエッジに変換できるエッジである。一方、具体的なエッジは、当該変換規則を参照しても、これ以上は具体的な構成を表すエッジには変換することができないエッジである。

設計システム１が用いる変換規則には、エッジを具体化する変換規則が含まれていてもよい。
図３は、変換規則適用前のシステム要件の例を示す図である。
図３に示されるシステム要件では、ノードＮ２０１が示すカメラ機能が、ノードＮ２０２が示すワークステーションに接続される。また、ノードＮ２０３が示す顔認証機能が、ノードＮ２０４が示すワークステーション上で実行される。エッジＥ２０１は、ノードＮ２０１が示すカメラ機能から、ノードＮ２０３が示す顔認証機能へ、ＨＴＴＰでデータを送信することを示していることとする。

図４は、変換規則適用後のシステム要件の例を示す。図４は、図３に示されるシステム要件に変換規則を適用した例を示している。
図４では、図３のエッジＥ２０１に代えて、エッジＥ２１１が設けられている。エッジＥ２１１は、ノードＮ２０２が示すワークステーションから、ノードＮ２０４が示すワークステーションへTCP（Transmission Control Protocol）を用いてデータを送信することを示していることとする。即ち、図４は、図３のシステム要件に対する変換規則の適用により、ＨＴＴＰを用いた通信が、ＴＣＰを用いた通信に具体化する変換が行われたことが表されている。

予め定められた複数の変換規則のうち、システム設計装置１２がシステム要件にどの変換規則を適用するかによって、さらには、システム設計装置１２がシステム要件に複数の変換規則を適用する順番によって、変換後のシステム要件が表す内容（構成）が異なるという事象が生じる。特に、システム要件に適用する変換規則によって、さらには、システム要件に複数の変換規則を適用する順番によって、システム設計装置１２がシステムの設計に成功する場合と、失敗する場合とに分かれる。換言すると、システム設計装置１２の目的は、システムを配備（Deployment）可能なレベルにシステム要件を具体化することである。しかしながら、システム設計装置１２は、システムの構成要素の一部が抽象的に記述されたままであるのに、それ以上は適用可能な変換規則が無くなることは、システム設計装置１２によるシステム設計の失敗を意味する。このことについて図５を参照して更に説明する。

図５は、システム設計装置１２が行うシステム設計における変換規則適用の分岐の例を示す図である。
図５に示す木（Tree）のノードは、システム要件を示すこととする。この場合、エッジは、システム要件に適用される変換規則を示す。なお、図を見やすくするために、木の一部の表記を省略し破線のエッジで示している。

図５の例で、１つのノードから複数のエッジが出ていることは、予め定められた複数の変換規則において、ノードが示すシステム要件に適用可能な変換規則が複数あることを示している。
根（Root）であるノードＮ３０１は、システム設計装置１２に入力されるシステム要件を示す。葉（Leaf）は、適用可能な変換規則がないシステム要件を示す。図５の木が複数の葉を有しているように、システム要件に対してどの変換規則を適用するかによって、さらには、システム要件に複数の変換規則を適用する順番によって、システム設計の結果として得られるシステム要件が異なる。

システム設計装置１２が、ノードＮ３０２が示すシステム要件を取得した場合、このシステム要件が、抽象的な部分を含んでいないときは、システム設計装置１２は、システム設計に成功している。一方、ノードＮ３０２が示すシステム要件が抽象的な部分を含んでいるときは、抽象的な部分を具体化できる変換規則が無いため、システム設計装置１２は、システム設計に失敗したことになる。

システム設計装置１２がシステム設計に成功する可能性を高めるため、強化学習装置１１は、システム設計装置１２がシステム要件に適用する変換規則を選択するための評価モデルを提供する。例えば、強化学習装置１１は、システム要件の入力を受けてシステム設計に成功する可能性の評価値を出力する評価モデルを、システム設計装置１２に提供する。
設計システム１が用いる評価モデルは、特定の方式のモデルに限定されない。例えば、評価モデルがニューラルネットワーク（Neural Network；ＮＮ）を用いて構成されていてもよいが、これに限定されない。

システム設計装置１２は、現在のシステム要件に適用可能な変換規則毎に、変換後のシステム要件を算出し、算出したシステム要件を評価モデルに入力して、変換規則毎に評価値を算出する。システム設計装置１２は、評価が高い（評価値が大きい）変換規則を優先的に選択する。

システム設計装置１２が、複数の変換規則のうち何れか１つを選択し、１つのノードから１つのノードに到達するようにしてもよい。すなわち、システム設計装置１２が、１つのシステム要件に１つの変換規則を適用して、１つの変換後のシステム要件を取得するようにしてもよい。

あるいは、システム設計装置１２が、システム要件を５つまで選択可能とするなど、システム設計装置１２が１つのノードから複数のノードに到達できるようにしてもよい。すなわち、システム設計装置１２が、１つのシステム要件に対して複数の変換規則をそれぞれ適用し、複数の変換後のシステム要件（変換規則毎の変換後のシステム要件）を取得するようにしてもよい。

強化学習装置１１およびシステム設計装置１２が、それぞれ、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）などのコンピュータを用いて構成されていてもよい。あるいは、強化学習装置１１およびシステム設計装置１２のうち何れか一方または両方が、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成されるなど、専用のハードウェアを用いて構成されていてもよい。

図６は、強化学習装置１１の機能構成の例を示す概略ブロック図である。図６に示す構成で、強化学習装置１１は、第一通信部１１０と、第一記憶部１８０と、第一制御部１９０とを備える。第一制御部１９０は、強化学習部１９１と、部分構成情報抽出部１９２とを備える。
第一通信部１１０は、他の装置と通信を行う。特に、第一通信部１１０は、上述した評価モデルをシステム設計装置１２へ送信する。

第一記憶部１８０は、各種データを記憶する。第一記憶部１８０は、強化学習装置１１が備える記憶デバイスを用いて構成される。
第一制御部１９０は、強化学習装置１１の各部を制御して各種処理を実行する。第一制御部１９０の機能は、強化学習装置１１が備えるＣＰＵ（Central Processing Unit）が、第一記憶部１８０からプログラムを読み出して実行することで実行される。

強化学習部１９１は、上記の評価モデルを取得する。具体的には、強化学習部１９１は、強化学習にて評価モデルを学習する。強化学習部１９１が行う強化学習では、エージェントは、システム設計装置１２が行うシステム設計と同様、システム要件に変換規則を繰り返し適用するシステム設計を行う。エージェントは、システム設計に成功した場合に報酬を与えられる。

これに対し、エージェントがシステム設計に成功する頻度が低い場合、報酬が疎になって（すなわち、報酬を得られる頻度が低くなって）学習がなかなか進まなくなってしまう、という知見が得られた。例えば、設計対象システムの規模が大きい場合、１回のシステム設計でシステム要件に変換規則を適用する回数が多くなり、また、エージェントがシステム設計に失敗する頻度が比較的高くなり、報酬が疎になる。

そこで、強化学習装置１１は、比較的簡単なシステム設計にて評価モデルを学習した後、より複雑なシステム設計にて評価モデルを学習するというように、複数段階の学習を行う。
比較的簡単なシステム設計による評価モデルの学習のために、強化学習部１９１は、システム要件を部分構成情報抽出部１９２に出力する。部分構成情報抽出部１９２は、取得したシステム要件が示すシステム構成を分割するなど、システム要件が示すシステムの部分を示すシステム要件を生成し、強化学習部１９１に出力する。これにより、設計対象システムが簡単化され、エージェントがシステム設計に成功する頻度がより高くなって学習が進むことが期待される。
システムの部分をサブシステムとも称する。

部分構成情報抽出部１９２が部分を抽出する対象のシステムを示すシステム要件（部分構成情報抽出部１９２が強化学習部１９１から取得するシステム要件）を、第一情報とも称する。部分構成情報抽出部１９２が抽出した部分を示すシステム要件（部分構成情報抽出部１９２が強化学習部１９１に出力するシステム要件）を、第二情報とも称する。
このように、強化学習部１９１は、第一情報を取得し、部分構成情報抽出部１９２へ出力する。強化学習部１９１は、構成情報取得手段の例に該当する。また、部分構成情報抽出部１９２は、第一情報が示すシステムの部分の構成をグラフで示す第二情報を抽出する。部分構成情報抽出部１９２は、部分構成情報抽出手段の例に該当する。
強化学習装置１１は、部分抽出装置の例に該当する。

図７は、システム設計装置１２の機能構成の例を示す概略ブロック図である。図７に示す構成で、システム設計装置１２は、第二通信部２１０と、第二記憶部２８０と、第二制御部２９０とを備える。第二制御部２９０は、設計処理部２９１を備える。
第二通信部２１０は、他の装置と通信を行う。特に、第二通信部２１０は、上述した評価モデルを強化学習装置１１から受信する。

第二記憶部２８０は、各種データを記憶する。第二記憶部２８０は、システム設計装置１２が備える記憶デバイスを用いて構成される。
第二制御部２９０は、システム設計装置１２の各部を制御して各種処理を実行する。第二制御部２９０の機能は、システム設計装置１２が備えるＣＰＵが、第二記憶部２８０からプログラムを読み出して実行することで実行される。

設計処理部２９１は、上述したシステム設計を行う。具体的には、設計処理部２９１は、設計対象システムのシステム要件の入力を受け、予め定められている複数の変換規則の何れかを、評価モデルを用いて選択してシステム要件に適用する処理を繰り返す。これにより、設計処理部２９１は、システム要件を具体化する。

上述したように、システムを配備可能なレベルにシステム要件が具体化された場合、設計処理部２９１は、システム設計に成功している。一方、システム要件が抽象的な部分を含んだまま、システム要件に適用可能な変換規則がなくなった場合、設計処理部２９１は、システム設計に失敗している。

図８は、システム設計装置１２がシステム設計を行う処理手順の例を示すフローチャートである。
図８の処理で、設計処理部２９１は、設計対象システムのシステム要件を取得する（ステップＳ１０１）。
そして、設計処理部２９１は、システム要件に適用する変換規則を選択する（ステップＳ１０２）。上述したように、設計処理部２９１は、現在のシステム要件に適用可能な変換規則毎に、変換後のシステム要件を算出し、算出したシステム要件を評価モデルに入力して、変換規則毎に評価値を算出する。設計処理部２９１は、評価が高い（評価値が大きい）変換規則を優先的に選択する。設計処理部２９１が、評価が高い変換規則ほど高い確率で選択するようにして、何れか１つの変換規則を確率的に選択するようにしてもよい。

次に、設計処理部２９１は、選択した変換規則をシステム要件に適用することで、システム要件の変換を実行する（ステップＳ１０３）。これにより、設計処理部２９１は、システム要件を具体化するように変換を行う。
次に、設計処理部２９１は、システム要件が全て具体化されたか否かを判定する（ステップＳ１１１）。例えば、設計処理部２９１は、システム要件を記述するグラフのノードおよびエッジに付加されている属性情報を参照して、抽象的なノードまたはエッジが残っているか否かを判定する。抽象的なノードまたはエッジが残っていないと判定した場合、設計処理部２９１は、システム要件が全て具体化されたと判定する。一方、抽象的なノードまたはエッジが残っていると判定した場合、設計処理部２９１は、システム要件に具体化されていない部分が残っていると判定する。

システム要件が全て具体化されたと判定した場合（ステップＳ１１１：ＹＥＳ）、システム設計装置１２は、システム設計成功時の処理として予め定められている処理を行う（ステップＳ１２１）。例えば、システム設計装置１２が表示画面を備え、得られたシステム要件（具体化されたシステム要件）を表示するようにしてもよい。
ステップＳ１２１の後、システム設計装置１２は、図８の処理を終了する。

一方、ステップＳ１１１で、システム要件に具体化されていない部分が残っていると判定した場合（ステップＳ１１１：ＮＯ）、設計処理部２９１は、システム要件（現在のシステム要件）に適用可能な変換規則があるか否かを判定する（ステップＳ１３１）。
適用可能な変換規則があると設計処理部２９１が判定した場合（ステップＳ１３１：ＹＥＳ）、処理がステップＳ１０２へ戻る。

一方、ステップＳ１３１で、適用可能な変換規則が無いと判定した場合（ステップＳ１３１：ＮＯ）、システム設計装置１２は、システム設計失敗時の処理として予め定められている処理を実行する（ステップＳ１４１）。例えば、システム設計装置１２が、ステップＳ１０１で取得したシステム要件を用いて、図８の処理を再帰的に実行するようにしてもよい。ステップＳ１０２で、設計処理部２９１が変換規則を確率的に選択することで、同じシステム要件から異なる設計結果が得られる場合があり、システム設計装置１２が、再度のシステム設計で成功する可能性がある。
ステップ１４１の後、システム設計装置１２は、図８の処理を終了する。

図９は、強化学習装置１１が評価モデルを学習する処理手順の例を示すフローチャートである。
図９の処理で、強化学習部１９１は、システム設計の初期状態のシステム要件を１つ設定する（ステップＳ２０１）。例えば、強化学習部１９１が、ステップＳ２０１の処理を行う毎に、強化学習用に与えられた複数のシステム要件のうち何れか１つを選択して設定するようにしてもよい。

なお、図８を参照して説明したシステム設計装置１２のシステム設計の場合と同様、強化学習部１９１がシステム要件に適用する変換規則を確率的に選択することで、同一のシステム要件から異なる設計結果が得られる。そこで、強化学習部１９１が、ステップＳ２０１の処理で、同じシステム要件を繰り返し設定するようにしてもよい。

次に、強化学習部１９１は、システム要件に適用する変換規則を選択する（ステップＳ２０２）。具体的には、強化学習部１９１は、現在のシステム要件に適用可能な変換規則毎に、変換後のシステム要件を算出し、算出したシステム要件を評価モデルに入力して、変換規則毎に評価値を算出する。強化学習部１９１は、評価が高い（評価値が大きい）変換規則を優先的に選択する。強化学習部１９１は、評価が高い変換規則ほど高い確率で選択するようにして、何れか１つの変換規則を確率的に選択する。

次に、強化学習部１９１は、選択した変換規則をシステム要件に適用することで、システム要件の変換を実行する（ステップＳ２０３）。これにより、強化学習部１９１は、システム要件を具体化するように変換を行う。
そして、強化学習部１９１は、評価モデルのパラメータ値を更新する（ステップＳ２０４）。強化学習部１９１は、システム設計に成功した場合に報酬を与え、それ以外の場合は報酬を与えないものとして、強化学習の手法でパラメータ値を更新する。

次に、強化学習部１９１は、所定の学習終了条件が成立したか否かを判定する（ステップＳ２０５）。ここでの学習終了条件として、いろいろな条件を用いることができる。例えば、学習終了条件が、「強化学習部１９１が、所定回数以上システム設計に成功したこと」となっていてもよい。あるいは、学習終了条件が、「強化学習部１９１が、ステップＳ２０２からＳ２０４の処理を所定回数以上行ったこと」となっていてもよい。

学習条件が成立したと判定した場合（ステップＳ２０５：ＹＥＳ）、強化学習装置１１は、図９の処理を終了する。
一方、ステップＳ２０５で、学習終了条件が成立していないと判定した場合（ステップＳ２０５：ＮＯ）、強化学習部１９１は、システム要件（現在のシステム要件）に適用可能な変換規則があるか否かを判定する（ステップＳ２１１）。

適用可能な変換規則があると強化学習部１９１が判定した場合（ステップＳ２１１：ＹＥＳ）、処理がステップＳ２０２へ戻る。この場合、システム設計は終了しておらず、強化学習部１９１は、引き続きシステム設計を行って評価モデルを学習する。
一方、ステップＳ２１１で、適用可能な変換規則がないと強化学習部１９１が判定した場合（ステップＳ２１１：ＮＯ）、処理がステップＳ２０１へ戻る。この場合、システム設計は終了しており、強化学習部１９１は、新たなシステム設計を行って評価モデルを学習する。

図１０は、強化学習装置１１が、段階的に評価モデルを学習する処理手順の例を示すフローチャートである。図１０は、強化学習装置１１が、１つのシステム要件を取得する場合の例を示している。強化学習装置１１が、学習用データとして複数のシステム要件を取得する場合、得られるシステム要件毎に図１０の処理を行うようにしてもよい。

図１０の処理で、強化学習部１９１は、１つのシステム要件を取得する（ステップＳ３０１）。
そして、強化学習部１９１は、得られたシステム要件の難しさを評価し（ステップＳ３０２）、評価結果に基づいてシステム要件が難しいか否かを判定する（ステップＳ３０３）。強化学習部１９１が、システム要件の難しさを評価する方法は、特定の方法に限定されない。例えば、強化学習部１９１が、システム要件を示すグラフに含まれるノードの個数など、システム要件を示すグラフの規模が所定の閾値以上である場合に、システム要件が難しいと判定するようにしてもよい。

あるいは、強化学習部１９１が、ステップＳ１０１で得られたシステム要件に基づくシステム設計を複数回行い、システム設計に成功した回数を、システム設計に成功した回数と失敗した回数との合計値で除算して成功率を算出するようにしてもよい。そして、強化学習部１９１が、得られた成功率が所定の閾値未満である場合に、ステップＳ１０１で得られたシステム要件が難しいと判定するようにしてもよい。

システム要件が難しくないと判定した場合（ステップＳ３０３：ＮＯ）、強化学習部１９１は、図９の処理を実行する（ステップＳ３２１）。この場合、強化学習部１９１は、図１０のステップＳ３０１で取得したシステム要件を、図９のステップＳ２０１で設定する。
ステップＳ３３２１の後、強化学習装置１１は、図１０の処理を終了する。

一方、ステップＳ３０３で、システム要件が難しいと判定した場合（ステップＳ３０３：ＹＥＳ）、部分構成情報抽出部１９２が、ステップＳ３０１で得られたシステム要件が示すシステムの部分を抽出し、抽出した部分を示すシステム要件を取得する（ステップＳ３１１）。ステップＳ３１１におけるシステムの部分を抽出する処理は、システム要件を示すグラフの部分グラフを抽出する処理として行うことができる。

後述するように、部分構成情報抽出部１９２が、ステップＳ３０１で得られたシステム要件が示すシステムをネットワークドメイン毎に分割し、分割された部分毎にシステム要件を生成するようにしてもよい。あるいは、部分構成情報抽出部１９２が、ステップＳ３０１で得られたシステム要件が示すシステムをレイヤ（Layer）毎に分割し、分割された部分毎にシステム要件を生成するようにしてもよい。あるいは、部分構成情報抽出部１９２が、ステップＳ３０１で得られたシステム要件を示すグラフのうち、抽象的な部分の部分グラフをシステム要件として抽出するようにしてもよい。

次に、強化学習装置１１は、ステップＳ３１１で得られたシステム要件の１つについて、図１０の処理を再帰的に実行することで、段階的な強化学習を行う（ステップＳ３１２）。この場合、強化学習装置１１は、ステップＳ３１１で得られたシステム要件の１つを、再帰的に実行する図１０のステップＳ３０１で取得するシステム要件として用いる。

ステップＳ３１２の後、強化学習部１９１は、ステップＳ３１１で得られた部分のシステム要件を全て学習済みか否かを判定する（ステップＳ３１３）。
まだ学習が済んでいないシステム要件（部分のシステム要件）があると判定した場合（ステップＳ３１３：ＮＯ）、処理がステップＳ３１２に戻る。この場合、強化学習装置１１は、ステップＳ３１２で図１０の処理を再帰的に実行し、まだ学習が済んでいないシステム要件を、ステップＳ３１２で再帰的に実行する図１０の処理で、ステップＳ３０１で取得するシステム要件として用いる。
一方、ステップＳ３１３で、部分のシステム要件を全て学習済みであると判定した場合（ステップＳ３１３：ＹＥＳ）、強化学習装置１１は、図１０の処理を終了する。

このように、強化学習装置１１が、図１０の処理を再帰的に実行することで、部分構成情報抽出部１９２がシステムの部分を抽出する複数の方法を組み合わせることができ、システムをより簡単化することができる。
例えば、図１０の処理の１段目の実行（非再帰的実行）におけるステップＳ３１１で、部分構成情報抽出部１９２がシステムをネットワークドメイン毎に分割するようにしてもよい。そして、図１０の処理の２段目の実行（１回の再帰呼び出しによる実行）におけるステップＳ３１１で、部分構成情報抽出部１９２が、システム（の部分）をさらにレイヤ毎に分割するようにしてもよい。これにより、強化学習装置１１は、システムをネットワークドメイン毎、かつ、レイヤ毎に分割することができ、システムを分割した個々の部分がより小さくなる。個々の部分が小さいことで、強化学習部１９１がシステム設計に成功する可能性が比較的高くなり、強化学習が進むことが期待される。

次に、部分構成情報抽出部１９２によるシステムの部分の抽出について説明する。
＜通信ネットワークの位置に基づくシステム要件の分割＞
部分構成情報抽出部が、通信ネットワークの位置を境界としてシステム要件を分割するようにしてもよい。
図１１は、ネットワークドメイン毎に分割されたシステム要件の例を示す図である。図１１は、図２のグラフ（システム要件）を、部分構成情報抽出部１９２がネットワークドメイン毎に分割する場合の例を示している。

部分構成情報抽出部は、ネットワークを境界としてシステムを分割することで、ネットワークドメイン毎にシステムを分割する。システム要件を示すグラフを分割する場合、部分構成情報抽出部１９２は、ネットワークを示すノードを境界としてグラフを分割する。
図２の例では、ノードＮ１０６がネットワークを示すノードに該当する。部分構成情報抽出部１９２は、ノードＮ１０６を境界として図２のグラフ（システム要件）を分割することで、図１１のシステム要件Ｒ１０１、Ｒ１０２、Ｒ１０３の３つのシステム要件を取得する。

ここでは、部分構成情報抽出部１９２が、ＷＡＮを境界としてシステムを分割する場合を例に説明するが、部分構成情報抽出部１９２が分割の境界とする通信ネットワークは、特定の種類の通信ネットワークに限定されない。例えば、部分構成情報抽出部１９２が、ＬＡＮ（Local Area Network）を境界としてシステムを分割するようにしてもよい。あるいは、部分構成情報抽出部１９２がインターネットを境界としてシステムを分割するようにしてもよい。

人間がシステム要件を作成する際に、通信ネットワークに接続される各部分を機能的な纏まりとしてシステム要件を作成することが一般的と考えられる。図１１の例の場合、システム要件Ｒ１０１は、ノードＮ１０１に示されるカメラ機能を、カメラ機能に必要なネットワーク通信も含めて実行するためのサブシステムのシステム要件となっている。システム要件Ｒ１０２は、ノードＮ１０４に示される顔認証機能を、顔認証機能に必要なネットワーク通信も含めて実行するためのサブシステムのシステム要件となっている。システム要件Ｒ１０３は、ノードＮ１０７に示されるモニタ機能を、モニタ機能に必要なネットワーク通信も含めて実行するためのサブシステムのシステム要件となっている。

このように、部分構成情報抽出部１９２が通信ネットワークを境界としてシステム要件を分割することで、得られた各部が示すサブシステムを人間が理解し易いことが期待される。得られたサブシステムを人間が理解し易いことで、部分構成情報抽出部１９２によるシステムの分割が妥当か否かの検証を、人間が比較的容易に行うことができる。

また、人間が理解し易いサブシステムを得られるので、得られたサブシステムに対して、人間がシステム設計を行う場合と同様の具体化を行えば、システム設計に成功すると期待される。したがって、強化学習部１９１が図９のステップＳ２０３でシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておくことで、強化学習部１９１がサブシステムの設計に成功することが期待される。強化学習部１９１がサブシステムの設計に成功することで、評価モデルの学習が進むことが期待される。

また、強化学習部１９１がシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておけばよい点で、変換規則を用意する人は、変換規則を比較的容易に定義できる。変換規則を用意する人は、例えば、強化学習装置１１の設計者、または、強化学習装置１１のユーザであってもよい。

図１２は、強化学習装置１１がシステム要件をネットワークドメイン毎に分割する処理手順の例を示すフローチャートである。
図１２の処理で、部分構成情報抽出部１９２は、ＷＡＮノードに接続しているエッジを全て抽出する（ステップＳ４０１）。ここでいうＷＡＮノードは、システム要件を示すグラフのノードのうちＷＡＮを示すノードである。図２の例では、ノードＮ１０６がＷＡＮノードの例に該当し、エッジＥ１０４、Ｅ１０６、および、Ｅ１０８が、ＷＡＮノードに接続しているエッジの例に該当する。

次に、部分構成情報抽出部１９２は、ＷＡＮノードに接続しているエッジの集合の冪集合を生成する（ステップＳ４０２）。図２の例の場合、エッジを図中の符号で示すこととすると、ＷＡＮノードに接続しているエッジの集合は、｛Ｅ１０４，Ｅ１０６，Ｅ１０８｝である。したがって、ＷＡＮノードに接続しているエッジの集合の冪集合は、｛｛Ｅ１０４，Ｅ１０６，Ｅ１０８｝，｛Ｅ１０４，Ｅ１０６｝，｛Ｅ１０４，Ｅ１０８｝，｛Ｅ１０６，Ｅ１０８｝，｛Ｅ１０４｝，｛Ｅ１０６｝，｛Ｅ１０８｝，φ｝である。φは空集合を示す。

次に、部分構成情報抽出部１９２、ステップＳ４０２で生成した冪集合の要素のうち、空集合以外で未選択の要素があるか否かを判定する（ステップＳ４０３）。
空集合以外で未選択の要素が無いと判定した場合（ステップＳ４０３：ＮＯ）、強化学習装置１１は、図１２の処理を終了する。
一方、ステップＳ４０３で、未選択の要素があると判定した場合（ステップＳ４０３：ＹＥＳ）、部分構成情報抽出部１９２は、ステップＳ４０２で生成した冪集合の要素のうち、空集合以外で未選択の要素を１つ選択する（ステップＳ４１１）。

そして、部分構成情報抽出部は、ステップＳ４１１で選択した要素に含まれるエッジの、ＷＡＮノードに接続していない側の端部から、ネットワークドメインを跨がないエッジ（およびノード）のみを辿って到達できるノードを全て抽出する（ステップＳ４１２）。
エッジがネットワークドメインを跨ぐか否かについて、部分構成情報抽出部１９２が、エッジの属性情報を参照して判定するようにしてもよい。例えば、部分構成情報抽出部１９２が、属性情報として「http」、「TCP」、「IP」の何れかが付加されているエッジを、ネットワークドメインを跨ぐエッジと判断し、それ以外のエッジを、ネットワークドメインを跨がないエッジと判定するようにしてもよい。

次に、部分構成情報抽出部１９２は、ステップＳ４１２で抽出したノード間のエッジを全て抽出する（ステップＳ４１３）。
そして、部分構成情報抽出部１９２は、ステップＳ４１２で得られたノード、および、ステップＳ４１３で得られたエッジを、元のシステム要件における接続関係と同様の接続関係で組み合わせて、システム要件を生成する（ステップＳ４１４）。
ステップＳ４１４の後、処理がステップＳ４０３へ遷移する。

図１２の処理によれば、部分構成情報抽出部１９２は、通信ネットワークを境界としてシステムを分割した個々のサブシステムのシステム要件だけでなく、複数のサブシステムを纏めたサブシステムのシステム要件も得られる。
図２および図１１の例の場合、部分構成情報抽出部１９２は、冪集合の要素｛Ｅ１０４｝に基づいて、システム要件Ｒ１０１を生成する。同様に、部分構成情報抽出部１９２は、冪集合の要素｛Ｅ１０６｝に基づいて、システム要件Ｒ１０２を生成する。部分構成情報抽出部１９２は、冪集合の要素｛Ｅ１０８｝に基づいて、システム要件Ｒ１０３を生成する。

さらに、部分構成情報抽出部は、冪集合の要素｛Ｅ１０４，Ｅ１０６｝に基づいて、システム要件Ｒ１０１に示されるサブシステムと、システム要件Ｒ１０２に示されるサブシステムとを纏めたサブシステムのシステム要件を生成する。具体的には、部分構成情報抽出部１９２は、図２のグラフのうち、ノードＮ１０１、Ｎ１０２、Ｎ１０３、Ｎ１０４、Ｎ１０５およびＮ１０６と、エッジＥ１０１、Ｅ１０２、Ｅ１０３、Ｅ１０４、Ｅ１０５およびＥ１０６とを含む部分グラフで示されるシステム要件を生成する。

同様に、部分構成情報抽出部は、冪集合の要素｛Ｅ１０４，Ｅ１０８｝に基づいて、システム要件Ｒ１０１に示されるサブシステムと、システム要件Ｒ１０３に示されるサブシステムとを纏めたサブシステムのシステム要件を生成する。部分構成情報抽出部１９２は、冪集合の要素｛Ｅ１０６，Ｅ１０８｝に基づいて、システム要件Ｒ１０２に示されるサブシステムと、システム要件Ｒ１０３に示されるサブシステムとを纏めたサブシステムのシステム要件を生成する。

このように、部分構成情報抽出部１９２が、冪集合の要素それぞれに基づくシステム要件を生成することで、いろいろな規模のシステム要件を得られる。ここでいうシステム要件の規模は、システム要件を示すグラフの規模である。一般的には、システム要件の規模が大きいほど、強化学習部１９１がそのシステム要件を用いて行う強化学習が難しい（システム設計に成功する頻度が低く、報酬を得られる頻度が低い）。

そこで、強化学習部１９１が、部分構成情報抽出部１９２が生成するシステム要件を規模の小さい順に用いて、それぞれのシステム要件に基づく強化学習を行うようにしてもよい。これにより、強化学習部１９１が、サブシステムのシステム要件に基づく強化学習なしに、システム全体のシステム要件に基づく強化学習を行う場合よりも、学習が進むことが期待される。

強化学習部１９１がシステム要件の規模大小を判定する方法として、いろいろな方法を用いることができる。例えば、強化学習部１９１が、システム要件を示すグラフのノードの個数、またはエッジの個数、またはこれらの合計の個数が大きいほど、システム要件の規模が大きいと判定するようにしてもよい。あるいは、強化学習部１９１が、部分構成情報抽出部１９２がシステム要件を生成する際に用いた冪集合の要素に含まれる要素の個数が多いほど、システム要件の規模が大きいと判定するようにしてもよい。

強化学習部１９１が、図１２の処理で部分構成情報抽出部が生成する複数のシステム要件のうち、一部のシステム要件を用いて強化学習を行うようにしてもよい。
例えば、強化学習部１９１が、冪集合の要素のうち要素を１つのみ含む要素に基づくシステム要件の各々を用いて強化学習を行った後、冪集合の要素のうち要素数が最大の要素に基づくシステム要件に基づく強化学習を行うようにしてもよい。冪集合の要素のうち要素数が最大の要素に基づくシステム要件は、システム全体のシステム要件である。
また、部分構成情報抽出部１９２が、冪集合の要素のうち一部の要素に基づくシステム要件のみを生成するようにしてもよい。

＜レイヤに基づくシステム要件の分割＞
部分構成情報抽出部１９２が、システムに関して定義されているレイヤに基づいて、システム要件を分割するようにしてもよい。
図１３は、レイヤ毎に分割されたシステム要件の例を示す図である。図１３の例では、部分構成情報抽出部１９２は、図２に示されるシステム要件を、機能レイヤ、プラットフォームレイヤ、および、ネットワークレイヤの各々に分割している。システム要件Ｒ２０１は、機能レイヤに含まれるサブシステムのシステム要件である。システム要件Ｒ２０２は、プラットフォームレイヤに含まれるサブシステムのシステム要件である。システム要件Ｒ２０３は、ネットワークレイヤに含まれるサブシステムのシステム要件である。
ただし、部分構成情報抽出部１９２が用いるレイヤの規定は、特定のものに限定されない。例えば、部分構成情報抽出部１９２が、ＯＳＩ参照モデル（Open Systems Interconnection reference model）など公知のレイヤの規定に基づいてシステム要件を分割するようにしてもよい。

人間がシステム要件を作成する際に、レイヤ毎の各部を機能的な纏まりとしてシステム要件を作成することが考えられる。特に、システムの規模が比較的大きい場合、構築したいシステムの機能をレイヤ毎の機能に落とし込んで各部の要件を決定することが考えられる。
例えば、人間が図２に示されるシステム要件を作成する場合に、図１３のシステム要件Ｒ２０１のように、各機能を実行するノードおよびノード間の通信を決定し、次に、システム要件Ｒ２０２のように、各機能を構築するためのプラットフォームを決定し、その後、システム要件Ｒ２０３のように、各機能間の通信のための構成を決定することが考えられる。

このように、部分構成情報抽出部１９２がレイヤに従ってシステム要件を分割することで、得られた各部が示すサブシステムを人間が理解し易いことが期待される。得られたサブシステムを人間が理解し易いことで、部分構成情報抽出部１９２によるシステム要件の分割が妥当か否かの検証を、人間が比較的容易に行うことができる。

また、人間が理解し易いサブシステムを得られるので、得られたサブシステムに対して、人間がシステム設計を行う場合と同様の具体化を行えば、システム設計に成功すると期待される。したがって、強化学習部１９１が図９のステップＳ２０３でシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておくことで、強化学習部１９１がサブシステムの設計に成功することが期待される。強化学習部１９１がサブシステムの設計に成功することで、評価モデルの学習が進むことが期待される。

また、強化学習部１９１がシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておけばよい点で、変換規則を用意する人は、変換規則を比較的容易に定義できる。この場合も、変換規則を用意する人は、例えば、強化学習装置１１の設計者、または、強化学習装置１１のユーザであってもよい。

図１４は、強化学習装置１１がシステム要件をレイヤ毎に分割する処理手順の例を示すフローチャートである。
図１４の処理で、部分構成情報抽出部１９２は、システム要件の分割に用いることに決定したレイヤの集合の冪集合を生成する（ステップＳ５０１）。図２および図１３の例の場合、レイヤの集合は、｛機能レイヤ，プラットフォームレイヤ，ネットワークレイヤ｝である。したがって、レイヤの集合の冪集合は｛｛機能レイヤ，プラットフォームレイヤ，ネットワークレイヤ｝，｛機能レイヤ，プラットフォームレイヤ｝，｛機能レイヤ，ネットワークレイヤ｝，｛プラットフォームレイヤ，ネットワークレイヤ｝，｛機能レイヤ｝，｛プラットフォームレイヤ｝，｛ネットワークレイヤ｝，φ｝である。

次に、部分構成情報抽出部１９２、ステップＳ５０１で生成した冪集合の要素のうち、空集合以外で未選択の要素があるか否かを判定する（ステップＳ５０２）。
空集合以外で未選択の要素が無いと判定した場合（ステップＳ５０２：ＮＯ）、強化学習装置１１は、図１４の処理を終了する。
一方、ステップＳ５０２で、空集合以外で未選択の要素があると判定した場合（ステップＳ５０２：ＹＥＳ）、部分構成情報抽出部１９２は、ステップＳ５０１で生成した冪集合の要素のうち、空集合以外で未選択の要素を１つ選択する（ステップＳ５１１）。

そして、部分構成情報抽出部は、ステップＳ５１１で選択した要素に含まれるレイヤの何れかに属するノードを全て抽出する（ステップＳ５１２）。
次に、部分構成情報抽出部１９２は、ステップＳ５１２で抽出したノード間のエッジを全て抽出する（ステップＳ５１３）。
そして、部分構成情報抽出部１９２は、ステップＳ５１２で得られたノード、および、ステップＳ５１３で得られたエッジを、元のシステム要件における接続関係と同様の接続関係で組み合わせて、システム要件を生成する（ステップＳ５１４）。
ステップＳ５１４の後、処理がステップＳ５０２へ遷移する。

図１４の処理によれば、部分構成情報抽出部１９２は、１つのレイヤに含まれる個々のサブシステムのシステム要件だけでなく、複数のサブシステムを纏めたサブシステムのシステム要件も得られる。
図２および図１３の例の場合、部分構成情報抽出部１９２は、冪集合の要素｛機能レイヤ｝に基づいて、システム要件Ｒ２０１を生成する。同様に、部分構成情報抽出部１９２は、冪集合の要素｛プラットフォームレイヤ｝に基づいて、システム要件Ｒ２０２を生成する。部分構成情報抽出部１９２は、冪集合の要素｛ネットワークレイヤ｝に基づいて、システム要件Ｒ２０３を生成する。

さらに、部分構成情報抽出部は、冪集合の要素｛機能レイヤ，プラットフォームレイヤ｝に基づいて、システム要件Ｒ２０１に示されるサブシステムと、システム要件Ｒ２０２に示されるサブシステムとを纏めたサブシステムのシステム要件を生成する。具体的には、部分構成情報抽出部１９２は、図２のグラフのうち、ノードＮ１０１、Ｎ１０４、Ｎ１０５、Ｎ１０７およびＮ１０８と、エッジＥ１０３、Ｅ１０５、Ｅ１０７およびＥ１０９とを含む部分グラフで示されるシステム要件を生成する。

同様に、部分構成情報抽出部は、冪集合の要素｛機能レイヤ，ネットワークレイヤ｝に基づいて、システム要件Ｒ２０１に示されるサブシステムと、システム要件Ｒ２０３に示されるサブシステムとを纏めたサブシステムのシステム要件を生成する。部分構成情報抽出部１９２は、冪集合の要素｛プラットフォームレイヤ，ネットワークレイヤ｝に基づいて、システム要件Ｒ２０２に示されるサブシステムと、システム要件Ｒ２０３に示されるサブシステムとを纏めたサブシステムのシステム要件を生成する。

この場合も、部分構成情報抽出部１９２が、冪集合の要素それぞれに基づくシステム要件を生成することで、いろいろな規模のシステム要件を得られる。
そこで、強化学習部１９１が、部分構成情報抽出部１９２が生成するシステム要件を規模の小さい順に用いて、それぞれのシステム要件に基づく強化学習を行うようにしてもよい。これにより、強化学習部１９１が、サブシステムのシステム要件に基づく強化学習なしに、システム全体のシステム要件に基づく強化学習を行う場合よりも、学習が進むことが期待される。

強化学習部１９１が、図１４の処理で部分構成情報抽出部が生成する複数のシステム要件のうち、一部のシステム要件を用いて強化学習を行うようにしてもよい。
例えば、強化学習部１９１が、冪集合の要素のうち要素を１つのみ含む要素に基づくシステム要件の各々を用いて強化学習を行った後、冪集合の要素のうち要素数が最大の要素に基づくシステム要件に基づく強化学習を行うようにしてもよい。冪集合の要素のうち要素数が最大の要素に基づくシステム要件は、システム全体のシステム要件である。
また、部分構成情報抽出部１９２が、冪集合の要素のうち一部の要素に基づくシステム要件のみを生成するようにしてもよい。

＜システム要件の抽象的部分の抽出＞
部分構成情報抽出部１９２がシステム要件のうち抽象的部分を抽出するようにしてもよい。
図１５は、システム要件から抽出された抽象的部分の例を示す図である。図１５は、部分構成情報抽出部１９２が、図２に示されるシステム要件のうち抽象的部分を抽出した場合の例を示している。図２の例では、ノードＮ１０１、Ｎ１０４、Ｎ１０５およびＮ１０７が抽象的なノードに該当し、部分構成情報抽出部１９２は、これらのノードと、これらのノード間のエッジ（エッジＥ１０３、Ｅ１０５およびＥ１０７）とを含む部分グラフを抽出している。

部分構成情報抽出部１９２が、システム要件のうち抽象的部分を抽出することで、システム要件から元々具体的な部分が排除される。これにより、図５に示される木において、元々具体的な部分を活用して設計するか、またはそれを活用せず新規に設計するかの選択肢がなくなるため、相対的に木のサイズが小さくなる。これにより、学習において報酬が得られる頻度が高まる。この点で、強化学習部１９１の強化学習が進むことが期待される。
強化学習部１９１が、部分構成情報抽出部１９２が与えられたシステム要件から抽象的な部分を抽出して生成したシステム要件を用いて強化学習を行った後、元のシステム要件（与えられたシステム要件）を用いて強化学習を行うようにしてもよい。

図１６は、強化学習装置１１がシステム要件から抽象的部分を抽出する処理手順の例を示すフローチャートである。
図１６の処理で、部分構成情報抽出部１９２は、システム要件として与えられたグラフに含まれる抽象的なノードを全て抽出する（ステップＳ６０１）。上述したように、図２および図１５の例の場合、抽象的なノードは、ノードＮ１０１、Ｎ１０４、Ｎ１０５およびＮ１０７である。

次に、部分構成情報抽出部１９２は、ステップＳ６０１で抽出した抽象的なノード間のエッジを全て抽出する。上述したように、図２および図１５の例の場合、抽象的なノード間のエッジは、エッジＥ１０３、Ｅ１０５およびＥ１０７である。
そして、部分構成情報抽出部１９２は、ステップＳ６０１で得られたノード、および、ステップＳ６０２で得られたエッジを、元のシステム要件における接続関係と同様の接続関係で組み合わせて、システム要件を生成する（ステップＳ６０３）。
ステップＳ６０３の後、強化学習装置１１は、図１６の処理を終了する。

以上のように、強化学習部１９１は、システムの構成をグラフで示す第一情報を取得する。部分構成情報抽出部１９２は、第一情報が示すシステムの部分の構成をグラフで示す第二情報を抽出する。
強化学習部１９１は、第二情報を用いた比較的簡単な強化学習を行った後、第一情報を用いた比較的複雑な強化学習を行うことができ、第二情報を用いた強化学習なしに第一情報を用いた強化学習を行う場合よりも、学習が進むことが期待される。

また、部分構成情報抽出部１９２は、システムをネットワークドメインに基づいて分割した部分の少なくとも１つを含む部分の構成を示す第二情報を抽出する。

このように、部分構成情報抽出部１９２がシステムをネットワークドメインに基づいて分割したシステム要件を生成することで、得られたシステム要件が示すサブシステムを人間が理解し易いことが期待される。得られたサブシステムを人間が理解し易いことで、部分構成情報抽出部１９２によるシステムの分割が妥当か否かの検証を、人間が比較的容易に行うことができる。

また、人間が理解し易いサブシステムを得られるので、得られたサブシステムに対して、人間がシステム設計を行う場合と同様の具体化を行えば、システム設計に成功すると期待される。したがって、強化学習部１９１が図９のステップＳ２０３でシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておくことで、強化学習部１９１がサブシステムの設計に成功することが期待される。強化学習部１９１がサブシステムの設計に成功することで、評価モデルの学習が進むことが期待される。

また、強化学習部１９１がシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておけばよい点で、変換規則を用意する人は、変換規則を比較的容易に定義できる。

また、部分構成情報抽出部１９２は、システムをレイヤに基づいて分割した部分の少なくとも１つを含む部分の構成を示す第二情報を抽出する。

このように、部分構成情報抽出部１９２がシステムをレイヤに基づいて分割したシステム要件を生成することで、得られたシステム要件が示すサブシステムを人間が理解し易いことが期待される。得られたサブシステムを人間が理解し易いことで、部分構成情報抽出部１９２によるシステム要件の分割が妥当か否かの検証を、人間が比較的容易に行うことができる。

また、人間が理解し易いサブシステムを得られるので、得られたサブシステムに対して、人間がシステム設計を行う場合と同様の具体化を行えば、システム設計に成功すると期待される。したがって、強化学習部１９１が図９のステップＳ２０３でシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておくことで、強化学習部１９１がサブシステムの設計に成功することが期待される。強化学習部１９１がサブシステムの設計に成功することで、評価モデルの学習が進むことが期待される。

また、強化学習部１９１がシステム要件に適用する変換規則として、人間がシステム設計を行う場合に行うと考えられる具体化を示す規則を用意しておけばよい点で、変換規則を用意する人は、変換規則を比較的容易に定義できる。

また、部分構成情報抽出部１９２は、システムの構成が第一情報で抽象的に示されている部分の構成を示す第二情報を抽出する。
部分構成情報抽出部１９２が、システム要件のうち抽象的部分を抽出することで、システム設計における具体化の対象となる抽象的部分を残して、システムの規模を比較的小さくすることができる。これにより、強化学習部１９１は、比較的小さい規模のシステム要件を用いて強化学習を行うことができる。この点で、強化学習部１９１の強化学習が進むことが期待される。

また、部分構成情報抽出部１９２は、第一情報に第一の部分抽出方法を適用して抽出した部分に、さらに第二の部分抽出方法を適用して第二情報を抽出する。
部分構成情報抽出部１９２が、システム要件（第一情報）に複数の部分抽出方法を適用することで、部分抽出方法を１つのみ適用する場合よりも規模の小さいシステム要件（第二情報）を得られる。これにより、強化学習部１９１は、比較的小さい規模のシステム要件を用いて強化学習を行うことができる。この点で、強化学習部１９１の強化学習が進むことが期待される。

図１７は、実施形態に係る部分抽出装置の構成の例を示す図である。図１７に示す部分抽出装置５００は、構成情報取得部５０１と、部分構成情報抽出部５０２と、を備える。
かかる構成で、構成情報取得部５０１は、システムの構成をグラフで示す第一情報を取得する。部分構成情報抽出部５０２は、第一情報が示すシステムの部分の構成をグラフで示す第二情報を抽出する。
構成情報取得部５０１は、構成情報取得手段の例に該当する。部分構成情報抽出部５０２は、部分構成情報抽出手段の例に該当する。

部分抽出装置５００によれば、システム設計のための評価モデルの学習を強化学習で行う場合に、第二情報を用いた比較的簡単な強化学習を行った後、第一情報を用いた比較的複雑な強化学習を行うことができる。これにより、第二情報を用いた強化学習なしに第一情報を用いた強化学習を行う場合よりも、学習が進むことが期待される。

図１８は、実施形態に係る部分抽出方法における処理の手順の例を示すフローチャートである。
図１８に示す処理は、構成情報取得工程（ステップＳ７０１）と、部分構成情報抽出工程（ステップＳ７０２）と、を含む。

図１８に示す処理によれば、システム設計のための評価モデルの学習を強化学習で行う場合に、第二情報を用いた比較的簡単な強化学習を行った後、第一情報を用いた比較的複雑な強化学習を行うことができる。これにより、第二情報を用いた強化学習なしに第一情報を用いた強化学習を行う場合よりも、学習が進むことが期待される。

図１９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１９に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。

上記の強化学習装置１１、システム設計装置１２、および、部分抽出装置５００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。

強化学習装置１１がコンピュータ７００に実装される場合、第一制御部１９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、第一記憶部１８０に対応する記憶領域を主記憶装置７２０に確保する。
第一通信部１１０による通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

システム設計装置１２がコンピュータ７００に実装される場合、第二制御部２９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、第二記憶部２８０に対応する記憶領域を主記憶装置７２０に確保する。
第二通信部２１０による通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

部分抽出装置５００がコンピュータ７００に実装される場合、構成情報取得部５０１と、部分構成情報抽出部５０２との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。

なお、強化学習装置１１、システム設計装置１２、および、部分抽出装置５００の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１ 設計システム
１１ 強化学習装置
１１０ 第一通信部
１８０ 第一記憶部
１９０ 第一制御部
１９１ 強化学習部
１９２、５０２ 部分構成情報抽出部
１２ システム設計装置
２１０ 第二通信部
２８０ 第二記憶部
２９０ 第二制御部
２９１ 設計処理部
５００ 部分抽出装置
５０１ 構成情報取得部

Claims (7)

1. システムの構成をグラフで示す第一情報を取得する構成情報取得手段と、
   前記第一情報が示す前記システムの部分の構成をグラフで示す第二情報を抽出する部分構成情報抽出手段と、
   を備える部分抽出装置。
2. 前記部分構成情報抽出手段は、前記システムをネットワークドメインに基づいて分割した部分の少なくとも１つを含む前記部分の構成を示す前記第二情報を抽出する、
   請求項１に記載の部分抽出装置。
3. 前記部分構成情報抽出手段は、前記システムをレイヤに基づいて分割した部分の少なくとも１つを含む前記部分の構成を示す前記第二情報を抽出する、
   請求項１または請求項２に記載の部分抽出装置。
4. 前記部分構成情報抽出手段は、前記システムの構成が前記第一情報で抽象的に示されている部分の構成を示す前記第二情報を抽出する、
   請求項１から３の何れか一項に記載の部分抽出装置。
5. 前記部分構成情報抽出手段は、前記第一情報に第一の部分抽出方法を適用して抽出した部分に、さらに第二の部分抽出方法を適用して前記第二情報を抽出する、
   請求項１から４の何れか一項に記載の部分抽出装置。
6. システムの構成をグラフで示す第一情報を取得する工程と、
   前記第一情報が示す前記システムの部分の構成をグラフで示す第二情報を抽出する工程と、
   を含む部分抽出方法。
7. コンピュータに、
   システムの構成をグラフで示す第一情報を取得する工程と、
   前記第一情報が示す前記システムの部分の構成をグラフで示す第二情報を抽出する工程と、
   を実行させるためのプログラム。

Images