JP2020053711A - オーケストレータ装置、プログラム、情報処理システム、及び制御方法 - Google Patents

Abstract

【課題】サービスチェーンの信頼性を向上させる。【解決手段】複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置１０は、記憶部１２と制御部１３とを備える。記憶部１２は、各サービスチェーンのサービス品質の推定値を出力するニューラルネットワークを記憶する。制御部１３は、複数のサービスチェーンのうち１つのサービスチェーンをデフォルトサービスチェーンに設定し、ニューラルネットワークから出力される各サービスチェーンの将来のサービス品質の推定値に基づいて、複数のサービスチェーンのうちからデフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、特定したサービスチェーンをデフォルトサービスチェーンに再設定する。【選択図】図１

Description

本発明は、オーケストレータ装置、プログラム、情報処理システム、及び制御方法に関する。

従来、ネットワークサービスを提供するためのアプリケーションを、機能単位で複数の構成要素（マイクロサービス）に分けて開発し、ネットワーク上で連携させる技術が知られている（例えば、非特許文献１参照）。各マイクロサービスを実現する機能を「仮想ネットワーク機能（ＶＮＦ；Virtual Network Function）」といい、互いに連携して１つのサービスを構成する複数のＶＮＦの組合せを「サービスチェーン」という。例えば、ネットショッピングのサービスチェーンは、顧客管理機能、注文管理機能、在庫管理機能、及び出荷管理機能等の複数のＶＮＦを含んで構成され得る。ＶＮＦは、物理プラットフォーム（例えば、物理計算機、又はＩａａＳ（Infrastructure as a Service）やＰａａＳ（Platform as a Service）等のデータセンタ）に配置される。当該技術は、システム構築における設計・試験の効率化及び運用における維持管理の簡易さ・コスト削減効果等から、今後も有望な技術と見込まれる。

Lianping Chen, "Microservices: Architecting for Continuous Delivery and DevOps", in IEEE International Conference on Software Architecture, March 2018, Seattle, USA: IEEE

ハードウェアの発達とともに、単独のサービスではハードウェアリソースを余らせることが多くなる。コスト削減のために、多数の異なるＶＮＦを同じ物理プラットフォームに配置することが多くなる。例えば、マイクロサービスアーキテクチャを効率的に運用するために、計算機のリソース量やネットワークの帯域に比較して実使用リソース量が少ないＶＮＦは、１つの物理プラットフォームに集約させることで、運用コストを削減させる。しかしながら、単一の物理プラットフォームに多数のＶＮＦを配置すると、特定のサービスチェーンの稼働率又はネットワーク帯域がピークに到達したとき、当該サービスチェーンは、他の同居しているサービスから影響を受け、サービス品質が低下するという問題がある。サービス提供者と物理プラットフォーム提供者とが異なる場合、当該問題の回避は困難である。また、当該サービスチェーンが、他の同居しているサービスに悪影響を与えたり、それらの性能を悪化させたりする場合がある。したがって、サービスチェーンの信頼性の向上が望まれている。

かかる事情に鑑みてなされた本発明の目的は、サービスチェーンの信頼性を向上させることにある。

本発明の一実施形態に係るオーケストレータ装置は、
複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置であって、
各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶部と、
前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定し、
前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定する制御部と、を備える。

本発明の一実施形態に係るプログラムは、
情報処理装置を、
複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置であって、
各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶部と、
前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定し、
前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定する制御部と、を備える、オーケストレータ装置として機能させる。

本発明の一実施形態に係る情報処理システムは、
複数の物理プラットフォームと、前記複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置と、を備える情報処理システムであって、
前記オーケストレータ装置は、
各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶部と、
前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定し、
前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定する制御部と、を有する。

本発明の一実施形態に係る制御方法は、
複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置の制御方法であって、
各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶ステップと、
前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定するステップと、
前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得する取得ステップと、
各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定する特定ステップと、
特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定するステップと、を含む。

本発明の一実施形態に係るオーケストレータ装置、プログラム、情報処理システム、及び制御方法によれば、サービスチェーンの信頼性が向上する。

本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 サービスチェーンの概略構成を示す図である。 ニューラルネットワークの例を示す図である。 オーケストレータ装置の第１動作を示すフローチャートである。 オーケストレータ装置の第２動作を示すフローチャートである。 オーケストレータ装置の第３動作を示すフローチャートである。

以下、本発明の実施形態について説明する。概略として、本実施形態に係る発明は、サービスチェーンを構成する複数のＶＮＦがネットワーク上に分散して配置されるマイクロサービス環境における信頼性を向上させる。具体的には、本実施形態では、同一のＶＮＦをインターネット上に分散配置し、全ての組合せにおける性能を測定、測定結果を深層学習し、性能の劣化が予想される箇所を事前に検知し、その箇所への作業リクエスト配送＾を減らすことで、サービス全体の効率を向上させる。

例えば、多数のサービスチェーンを地理的に離れた場所に複製してそれらのサービス品質の周期性を学習することで、サービスチェーンのサービス品質悪化の兆候を検出し、事前に帯域を調整させる。同一のＶＮＦを複数の場所に複製すると、単一の場所に配置するよりもコストが上昇すると思われるかもしれないが、動作を確実にするために、大きなリソースを確保した高価な特定箇所の物理プラットフォームを使用するよりは、小さなリソースを安価で確保した物理プラットフォームを世界中で分散させ、需要の予測に応じて柔軟にリソースを調整する方が、信頼性・コスト面で有利となることを目指す。

（情報処理システムの構成）
図１を参照して、本発明の一実施形態に係る情報処理システム１の概要について説明する。情報処理システム１は、複数の物理プラットフォームｂ（ｂ_１〜ｂ_ｎ。ただし、ｎは２以上の整数。）と、オーケストレータ装置１０と、ロードバランサｃ（ｃ_１〜ｃ_ｍ。ただし、ｍは２以上の整数。）と、プローブ２０と、を備える。各物理プラットフォームｂ、各ロードバランサｃ、オーケストレータ装置１０、及びプローブ２０は、例えばインターネット等を含むネットワーク３０に接続される。

物理複数の物理プラットフォームｂ_１〜ｂ_ｎには、サービスチェーンを構成するための複数のＶＮＦａ（ａ_１〜ａ_ｍ）が配置される。１つの物理プラットフォームｂに１つ又は複数のＶＮＦａが配置されてもよい。少なくとも１つのＶＮＦａは、複製されて２つ以上の物理プラットフォームｂに分散配置される。本実施形態では、各物理プラットフォームｂに全てのＶＮＦａ_１〜ａ_ｍが配置されている構成について例示的に説明する。２つ以上の物理プラットフォームｂが、同一の地理的領域に存在してもよく、異なる地理的領域に存在してもよい。

物理プラットフォームｂは、例えば１つの情報処理装置であってもよく、或いは同一の地理的領域に設置され互いに通信可能な複数の情報処理装置であってもよい。物理プラットフォームｂは、例えば通信インタフェースと、メモリと、プロセッサと、を備える。物理プラットフォームｂは、通信インタフェースを介してネットワーク３０に接続される。物理プラットフォームｂは、配置されたＶＮＦａを実現するために用いられる任意のソフトウェア資源をメモリに記憶する。物理プラットフォームｂは、メモリに記憶された当該ソフトウェア資源を用いた情報処理をプロセッサで実行することによって、ＶＮＦａを実現する。

ロードバランサｃ_１〜ｃ_ｍは、ＶＮＦａ_１〜ａ_ｍに対応して設けられる。ロードバランサｃは、クライアント又はプローブ２０からのリクエストを、対応するＶＮＦａが配置された複数の物理プラットフォームｂの間で割り振ることで負荷を分散する。

図２を参照して詳細に説明する。以下、ＶＮＦａ_ｉ ^（ｊ）は、ロードバランサｃ_ｉに対応し、物理プラットフォームｂ_ｊに配置されているＶＮＦａであることを示す。例えば、ロードバランサｃ_１は、対応するＶＮＦａ_１ ^（１）〜ａ_１ ^（ｎ）のうち、いずれか１つのＶＮＦａ_１ ^（ｊ）が配置された物理プラットフォームｂ_ｊにリクエストを割り振る。ＶＮＦａ_１ ^（ｊ）を実行した物理プラットフォームｂ_ｊは、リクエストを次のロードバランサｃ_２に送信する。最終的に、ＶＮＦａ_１〜ａ_ｍが実行され、サービスチェーンが実現する。本実施形態では、同一種類のＶＮＦａ_ｉであっても、その実行主体によって異なるＶＮＦａ_ｉであるものとして扱う。したがって、ＶＮＦａ_１〜ａ_ｍの実行主体である物理プラットフォームｂの組合せが異なる場合、実現されるサービスチェーンも異なるものとして区別する。以下、サービスチェーンを｛ａ_１ ^（ｉ１），ａ_２ ^（ｉ２），…，ａ_ｍ ^（ｉｍ）｝（ただし、１≦ｉ１，ｉ２，…，ｉｍ≦ｎ。）とも表現する。例えば、ＶＮＦａ_１〜ａ_ｍの全てを物理プラットフォームｂ_１が実行した場合のサービスチェーン｛ａ_１ ^（１），ａ_２ ^（１），…，ａ_ｍ ^（１）｝と、ＶＮＦａ_１を物理プラットフォームｂ_１が実行し、ＶＮＦａ_２〜ａ_ｍを物理プラットフォームｂ_２が実行した場合のサービスチェーン｛ａ_１ ^（１），ａ_２ ^（２），…，ａ_ｍ ^（２）｝とは互いに異なる。本実施形態では、ｎ個の物理プラットフォームｂ_１〜ｂ_ｎのそれぞれにｍ個のＶＮＦａ_１〜ａ_ｍが配置されているため、これらが複数のロードバランサｃ_１〜ｃ_ｍによって接続され、ｎ^ｍ個のサービスチェーンが仮想的に構成される。

ここで、クライアント（例えば、ユーザの使用する端末装置）及びプローブ２０のいずれからのリクエストであるかに応じて、ロードバランサｃによる割り振り先の決定方法が異なる。クライアントからのリクエストである場合、ロードバランサｃ_ｉは、対応するＶＮＦａ_ｉ ^（１）〜ａ_ｉ ^（ｎ）のうち、規定（デフォルト）の１つのＶＮＦａ_ｉ ^（ｊ）が配置された物理プラットフォームｂ_ｊを優先的に割り振り先として決定する。いずれの物理プラットフォームｂを規定とするかは、オーケストレータ装置１０によりロードバランサｃ毎に定められる。以下、規定のＶＮＦａ_１〜ａ_ｍにより実現されクライアント（ユーザ）に利用させるサービスチェーンを、デフォルトサービスチェーンともいう。したがって、例えば各物理プラットフォームｂのパフォーマンスが十分高い場合（即ち、ロードバランシングを行う必要がない場合）、クライアントからのリクエストは、デフォルトサービスチェーンで処理される。なお、デフォルトサービスチェーンを構成する各ＶＮＦａには、当該ＶＮＦａが配置された物理プラットフォームｂの、より大きなリソースとネットワーク帯域が割り当てられ、当該物理プラットフォームｂに配置された他のＶＮＦａには必要最低限のリソースしか割り当てられなくてもよい。

一方、プローブ２０からのリクエストである場合、ロードバランサＣ_ｉは、対応するＶＮＦａ_ｉ ^（１）〜ａ_ｉ ^（ｎ）が配置された全ての物理プラットフォームｂ_１〜ｂ_ｎのうち、プローブ２０によって指定された１つ以上の物理プラットフォームｂを割り振り先として決定する。本実施形態では、プローブ２０は、対応するＶＮＦａ_ｉ ^（１）〜ａ_ｉ ^（ｎ）が配置された全ての物理プラットフォームｂ_１〜ｂ_ｎを指定する。したがって、プローブ２０からのリクエストは、ｎ^ｍ個のサービスチェーンそれぞれで処理される。

プローブ２０は、リクエストをロードバランサｃ_１に送信することによりｎ^ｍ個のサービスチェーンが実行されると、サービスチェーンのサービス品質の実績データＱ_０＝［ｑ_０ ^（１），…，ｑ_０ ^{（ｎ＾ｍ）}］を測定する。ここで、ｑ_０ ^（ｉ）（ただし、１≦ｉ≦ｎ^ｍ。）は、ｉ番目のサービスチェーンのサービス品質の実績値である。サービスチェーンのサービス品質は、サービスチェーンの観測可能な品質を示す情報であって、例えば当該サービスチェーンを利用するエンドユーザの体感品質（ＱｏＥ；Quality of Experience）を任意の手法で定量化した情報であるが、これに限られず任意に定められてもよい。

オーケストレータ装置１０は、例えばコンピュータ等の情報処理装置であって、ネットワーク３０に接続される。オーケストレータ装置１０は、複数のＶＮＦａ_１〜ａ_ｍが連携することによって構成されるサービスチェーンを管理する。具体的には、オーケストレータ装置１０は、複数の物理プラットフォームｂ_１〜ｂ_ｎに複数のＶＮＦａ_１〜ａ_ｍを分散配置し、これらを連携させることによって、複数（本実施形態では、ｎ^ｍ個）のサービスチェーンを構成する。本実施形態において「物理プラットフォームｂにＶＮＦａを配置する」ことは、当該ＶＮＦａの実行主体を当該物理プラットフォームｂに決定すること、及び、当該ＶＮＦａを実現するためのソフトウェア資源を当該物理プラットフォームｂに記憶させることを含んでもよい。

概略として、本実施形態に係る情報処理システム１において、オーケストレータ装置１０は、複数（例えば、ｎ^ｍ個）のサービスチェーンのうち、１つのサービスチェーンをデフォルトサービスチェーンに設定する。プローブ２０は、測定した複数のサービスチェーンのサービス品質の実績データＱ_０をオーケストレータ装置１０へ送信する。オーケストレータ装置１０は、実績データＱ_０を後述するニューラルネットワークＦに投入（入力）することにより、当該複数のサービスチェーンの将来のサービス品質の推定データＱを取得する。オーケストレータ装置１０は、当該推定データＱに基づいて、デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定する。例えば、デフォルトサービスチェーンのサービス品質の推定値ｑと、よりサービス品質が良い他のサービスチェーンのサービス品質の推定値ｑとの差又はその２乗値が所定の閾値以上である場合、デフォルトサービスチェーンよりも当該他のサービスチェーンの方が将来のサービス品質が良いと推定される。そして、オーケストレータ装置１０は、特定した当該他のサービスチェーンをデフォルトサービスチェーンに再設定する。

このように、本実施形態によれば、将来のサービス品質がデフォルトサービスチェーンよりも良いと推定される他のサービスチェーンが特定された場合、当該他のサービスチェーンがデフォルトサービスチェーンに再設定されるので、デフォルトサービスチェーンの信頼性を向上可能である。

次に、オーケストレータ装置１０の構成について、詳細に説明する。図１に示すように、オーケストレータ装置１０は、ハードウェアコンポーネントとして、通信部１１と、記憶部１２と、制御部１３と、を備える。

通信部１１は、ネットワーク３０に接続する通信モジュールを含む。例えば、通信部１１は、有線ＬＡＮ（Local Area Network）規格に対応する通信モジュールを含んでもよい。本実施形態において、オーケストレータ装置１０は、通信部１１を介してネットワーク３０に接続される。

記憶部１２は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、オーケストレータ装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム及びアプリケーションプログラム等を記憶してもよい。

制御部１３は、１つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部１３は、オーケストレータ装置１０全体の動作を制御する。以下、制御部１３によって制御されるオーケストレータ装置１０の主要な動作の例として、第１〜第３動作について説明するが、オーケストレータ装置１０の実行可能な動作はこれらに限られない。

（第１動作）
オーケストレータ装置１０の第１動作について説明する。概略として第１動作は、後述するニューラルネットワーク、又は類する教師付き学習を行う機械Ｆの生成及び学習を行う動作である。制御部１３は、複数のサービスチェーンのサービス品質の実績データＱ_０＝［ｑ_０ ^（１），…，ｑ_０ ^{（ｎ＾ｍ）}］^Ｔ（ただし、ｎ＾ｍはｎのｍ乗を意味する。）を入力Ｘとし、当該複数のサービスチェーンのサービス品質の推定データＱ＝［ｑ^（１），…，ｑ^{（ｎ＾ｍ）}］を出力Ｙとする複数のニューラルネットワークＦ（Ｆ_１〜Ｆ_ｊ。ただし、ｊは２以上の整数。）を生成し、記憶部１２に記憶する。ここで、ｑ_０ ^（ｉ）及びｑ^（ｉ）（ただし、１≦ｉ≦ｎ^ｍ。）は、それぞれｉ番目のサービスチェーンのサービス品質の実績値及び推定値である。以下、ニューラルネットワークＦに入力する実績データＱ_０を入力データＸともいう。また、ニューラルネットワークＦから出力される推定データＱを出力データＹともいう。各ニューラルネットワークＦは、ベクトルである入力データＸを入力し、ベクトルである出力データＹを出力する関数Ｙ＝Ｆ（Ｘ）として振る舞う。

図３は、ニューラルネットワークＦの構成例を示す。典型的には、ニューラルネットワークＦは、１つの入力層（ｌ＝１）、１つ以上の任意の数の中間層（ｌ＝２、…、Ｌ−１）、及び１つの出力層（ｌ＝Ｌ）を含むＬ層（ただし、Ｌは３以上の整数。）で構成される。入力層は、ニューラルネットワークＦの入力データＸの成分数（ベクトルＸの次元数）と同数のニューロンを含む。本実施形態では、入力データＸの成分数は上述したようにｎ^ｍ個であり、図３に示す入力層に含まれるニューロンの数もｎ^ｍ個である。中間層は、２つ以上の任意の数のニューロンを含む。中間層の数は、任意に定められてもよい。図３に示す例では、中間層の数は３層（ｌ＝２、３、４）であり、各中間層に含まれるニューロンの数はｒ個である。中間層毎にニューロンの数が異なってもよい。出力層は、出力データＹの成分数（ベクトルＹの次元数）と同数のニューロンを含む。本実施形態では、出力データＹの成分数は上述したようにｎ^ｍ個であり、図３に示す出力層に含まれるニューロンの数もｎ^ｍ個である。しかしながら、ニューラルネットワークＦの構成は当該例に限られず、任意に定められてもよい。なお図３において、ｘ_ｉは入力層のｉ番目のニューロンの出力を示し、ｚ_ｉ ^（ｊ）はｌ＝ｊの中間層のｉ番目のニューロンの出力を示し、ｙ_ｉは出力層のｉ番目のニューロンの出力を示す。

ニューラルネットワークＦの作成は、例えば各層のニューロン数、及びオンライン学習における学習用データの取得時間間隔等のハイパーパラメータを含むパラメータベクトルに基づいて実施されるが、これに限られず任意の手法で実施されてもよい。パラメータベクトルは、例えばユーザ入力に基づいて決定されてもよく、或いは制御部１３が自動的に決定してもよい。各ニューラルネットワークＦは、中間層の数及び／又は各中間層に含まれるニューロンの数が同一であってもよく、互いに異なってもよい。また、ニューラルネットワークＦを作成するに際して、ニューロンの種類（例えば、線形、ＬＳＴＭ（Long Short-Term Memory）、又はＧＲＵ（Gated Recurrent Unit）等）、及び活性化関数として用いる関数の種類（例えば、ステップ関数、シグモイド関数、又はソフトマックス関数等の非線形関数の種類）が指定可能であってもよい。各ニューラルネットワークＦは、ネットワークアーキテクチャ（例えば、順伝播型、ＣＮＮ（Convolutional Neural Network）、又はＲＮＮ（Recurrent Neural Network）等）が同一であってもよく、互いに異なってもよい。

本実施形態において、各ニューラルネットワークＦはＲＮＮであってもよい。かかる場合、各ニューラルネットワークＦは、複数のサービスチェーンのサービス品質の実績データＱ_０の変化パターンを学習可能である。例えば、ネットワークサービスシステムにおける大規模な障害の発生によりサービス品質が低下する以前に、小規模な障害が周期的又は非周期的に発生する現象が従来観測されている。このような小規模な障害の発生に起因する、複数のサービスチェーンのサービス品質の実績データＱ_０の変化パターンを大規模障害の発生の予兆として学習することにより、将来のサービス品質の推定精度が向上し得る。

制御部１３は、入力データＸ（ｋ−１）と、複数のサービスチェーンのサービス品質の実績データＱ_０（ｋ）である教師データと、を含む学習データを逐次取得し、当該学習データを用いるオンライン学習により各ニューラルネットワークＦを修正する。ここでｋは離散時刻であり、入力データＸ（ｋ−１）は時刻ｋ−１における入力データを示し、教師データＱ_０（ｋ）は時刻ｋにおける教師データを示す。入力データＸは、上述したように、複数のサービスチェーンのサービス品質の実績データＱ_０＝［ｑ_０ ^（１），…，ｑ_０ ^{（ｎ＾ｍ）}］^Ｔである。

制御部１３は、各ニューラルネットワークＦに入力データＸ（ｋ−１）＝実績データＱ_０（ｋ−１）を入力し、各ニューラルネットワークＦから出力データＹ（ｋ）＝推定データＱ（ｋ）を取得する。制御部１３は、サービス品質の推定データＱ（ｋ）と実績データＱ_０（ｋ）との差を低減するように、各ニューラルネットワークＦを修正（学習）する。各ニューラルネットワークＦの修正は、例えば誤差逆伝播法によって実施されるが、これに限られず任意の手法によって実施されてもよい。制御部１３は、学習データを所定の時間間隔で逐次取得する度に、各ニューラルネットワークＦを修正する。このようにして、各ニューラルネットワークＦのオンライン学習が実施される。学習済みのニューラルネットワークＦに、例えば現在の入力データＸ（ｋ）を入力することにより、複数のサービスチェーンの将来のサービス品質を推定する（即ち、推定データＱ（ｋ＋１）を出力する）ことが可能である。

（第２動作）
オーケストレータ装置１０の第２動作について説明する。概略として第２動作は、デフォルトサービスチェーンを再設定する動作である。制御部１３は、複数のニューラルネットワークＦ_１〜Ｆ_ｊの精度を示す精度情報ｓ（Ｆ_１）〜ｓ（Ｆ_ｊ）を初期値に設定する。初期値は任意の手法で定められてもよいが、各ニューラルネットワークＦの精度情報ｓ（Ｆ）は後述する第３動作によって逐次更新され得る。ニューラルネットワークＦの精度情報ｓ（Ｆ）は、当該ニューラルネットワークＦを用いて推定される、複数のサービスチェーンの将来のサービス品質の推定精度を示す情報である。推定精度の高いニューラルネットワークＦを用いることにより、複数のサービスチェーンの将来のサービス品質を精度良く推定し得る。以下、複数のニューラルネットワークＦ_１〜Ｆ_ｊのうち、精度情報ｓ（Ｆ）により示される推定精度が最も高い（即ち、最高精度の）ニューラルネットワークＦをＦ_ｈｉｇｈともいい、精度情報ｓ（Ｆ）により示される推定精度が最も低い（即ち、最低精度の）ニューラルネットワークＦをＦ_ｌｏｗともいう。

制御部１３は、現在の入力データＸ（ｋ）を取得する。制御部１３は、入力データＸ（ｋ）を最高精度のニューラルネットワークＦ_ｈｉｇｈに入力することにより、複数のサービスチェーンの将来のサービス品質の推定データＱ（ｋ＋１）を取得する。制御部１３は、取得した推定データＱ（ｋ＋１）に基づいて、複数のサービスチェーンのうちから、デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定する。ここで、複数のサービスチェーンのうち、将来のサービス品質が高い他のサービスチェーンが優先的に特定されてもよい。例えば、複数のサービスチェーンのうち将来のサービス品質が最高である他のサービスチェーンが特定され得る。

他のサービスチェーンを特定した場合、制御部１３は、複数の物理プラットフォームｂ_１〜ｂ_ｎ及び複数のロードバランサｃ_１〜ｃ_ｍと通信することにより、当該他のサービスチェーンをデフォルトサービスチェーンに再設定する。詳細には、制御部１３は、当該他のサービスチェーンに対するリソース割り当て量を増加させる指示を各物理プラットフォームｂに送信するとともに、デフォルトサービスチェーンを構成する各ＶＮＦａのルートを変更させる指示を各ロードバランサｃに送信する。

（第３動作）
オーケストレータ装置１０の第３動作について説明する。概略として第３動作は、複数のニューラルネットワークＦ_１〜Ｆ_ｊの精度情報ｓ（Ｆ_１）〜ｓ（Ｆ_ｊ）を更新するとともに、最低精度のニューラルネットワークＦ_ｌｏｗを、最高精度のニューラルネットワークＦ_ｈｉｇｈを構成するパラメータの近傍パラメータを有する新たなニューラルネットワークＦ_ｎｅｗに置き換える動作である。制御部１３は、上述した第２動作によりデフォルトサービスチェーンを再設定した後、入力データＸ（ｋ−１）及びサービス品質の実績データＱ_０（ｋ）を取得する。

制御部１３は、入力データＸ（ｋ−１）を入力することにより複数のニューラルネットワークＦ_１〜Ｆ_ｊから出力される、複数の推定データＱ_１（ｋ）〜Ｑ_ｊ（ｋ）を取得する。

制御部１３は、サービス品質の推定データＱ_１（ｋ）〜Ｑ_ｊ（ｋ）のそれぞれと、サービス品質の実績データＱ_０（ｋ）と、の比較に基づいて、複数のニューラルネットワークＦ_１〜Ｆ_ｊの精度情報ｓ（Ｆ_１）〜ｓ（Ｆ_ｊ）を更新する。具体的には、制御部１３は、サービス品質の実績データＱ_０（ｋ）と、ニューラルネットワークＦを用いて取得したサービス品質の推定データＱ（ｋ）との差の絶対値（ノルム）又は２乗値が大きいほど当該ニューラルネットワークＦの推定精度が低いと判定して、当該ニューラルネットワークＦの精度情報ｓ（ｋ）を更新する。しかしながら、サービス品質の実績データＱ_０（ｋ）及び推定データＱ（ｋ）の比較に基づく精度情報ｓ（Ｆ）の更新は、上記の例に限られず、任意の手法により実施されてもよい。例えば、サービス品質の実績データＱ_０（ｋ）と推定データＱ（ｋ）との差とともに、ニューラルネットワークＦに入力データＸ（ｋ−１）を入力してから出力データＹが出力されるまでの時間を考慮して、当該ニューラルネットワークＦの精度情報ｓ（ｋ）を更新してもよい。例えば、制御部１３は、当該時間が長いほど当該ニューラルネットワークＦの推定精度が低いと判定して、当該ニューラルネットワークＦの精度情報ｓ（ｋ）を更新してもよい。

制御部１３は、新たなニューラルネットワークＦ_ｎｅｗを生成して、記憶部１２に記憶する。ニューラルネットワークＦ_ｎｅｗの生成は、任意の手法により実施されてもよい。例えば、制御部１３は、複数のニューラルネットワークＦ_１〜Ｆ_ｊのうち、最高精度のニューラルネットワークＦ_ｈｉｇｈのパラメータベクトル（ハイパーパラメータ）に基づいて、例えば焼きなまし法により新たなニューラルネットワークＦ_ｎｅｗを生成する。詳細には、制御部１３は、最高精度のニューラルネットワークＦ_ｈｉｇｈのパラメータベクトルと、次に推定精度の高いニューラルネットワークＦのパラメータベクトルと、の中間地点から各方向にランダムに微小な値だけ動かした新たなパラメータベクトルを決定し、当該新たなパラメータベクトルを用いて新たなニューラルネットワークＦ_ｎｅｗを生成する。

制御部１３は、複数のニューラルネットワークＦ_１〜Ｆ_ｊのうち最低精度のニューラルネットワークＦ_ｌｏｗを、新たなニューラルネットワークＦ_ｎｅｗに置き換える。ここで制御部１３は、最低精度のニューラルネットワークＦ_ｌｏｗを廃棄（即ち、記憶部１２から消去）してもよい。

上述した第３動作により最低精度のニューラルネットワークＦ_ｌｏｗを新たなニューラルネットワークＦ_ｎｅｗに置き換えた後、上述した第２動作及び第３動作を再度実行する際、制御部１３は、ニューラルネットワークＦ_ｎｅｗの学習が一定程度進むまで、ニューラルネットワークＦ_ｎｅｗを利用せずに（即ち、ニューラルネットワークＦ_ｎｅｗが「複数のニューラルネットワークＦ_１〜Ｆ_ｊ」に含まれないものとして）第２動作及び第３動作を実行してもよい。また、過去の学習データを記憶部１２に記憶しておき、当該過去の学習データを用いて新たなニューラルネットワークＦ_ｎｅｗをバッチ学習させてもよい。

（オーケストレータ装置の第１動作のフロー）
図４を参照して、オーケストレータ装置１０の上述した第１動作のフローについて説明する。

ステップＳ１００：制御部１３は、複数のサービスチェーンのサービス品質の実績データＱ_０＝［ｑ_０ ^（１），…，ｑ_０ ^{（ｎ＾ｍ）}］^Ｔを入力Ｘとし、当該複数のサービスチェーンのサービス品質の推定データＱ＝［ｑ^（１），…，ｑ^{（ｎ＾ｍ）}］を出力Ｙとする複数のニューラルネットワークＦ（Ｆ_１〜Ｆ_ｊ。ただし、ｊは２以上の整数。）を生成し、記憶部１２に記憶する。

ステップＳ１０１：制御部１３は、入力データＸ（ｋ−１）と、複数のサービスチェーンのサービス品質の実績データＱ_０（ｋ）である教師データと、を含む学習データを取得する。

ステップＳ１０２：制御部１３は、学習データを用いるオンライン学習により各ニューラルネットワークＦを修正する。

ステップＳ１０３：制御部１３は、離散時刻ｋをインクリメントする。その後、プロセスはステップＳ１０１に戻る。

（オーケストレータ装置の第２動作のフロー）
図５を参照して、オーケストレータ装置１０の上述した第２動作のフローについて説明する。

ステップＳ２００：制御部１３は、複数のサービスチェーンのうち１つのサービスチェーンを、複数のロードバランサｃ_１〜ｃ_ｍと通信することによりデフォルトサービスチェーンに設定する。

ステップＳ２０１：制御部１３は、複数のニューラルネットワークＦ_１〜Ｆ_ｊの精度を示す精度情報ｓ（Ｆ_１）〜ｓ（Ｆ_ｊ）を初期値に設定する。

ステップＳ２０２：制御部１３は、現在の入力データＸ（ｋ）を取得する。

ステップＳ２０３：制御部１３は、入力データＸ（ｋ）を最高精度のニューラルネットワークＦ_ｈｉｇｈに入力することにより当該ニューラルネットワークＦ_ｈｉｇｈから出力される、複数のサービスチェーンの将来のサービス品質の推定データＱ（ｋ＋１）を取得する。

ステップＳ２０４：制御部１３は、取得した推定データＱ（ｋ＋１）に基づいて、複数のサービスチェーンのうちから、デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定する。当該他のサービスチェーンが特定できた場合（ステップＳ２０４−Ｙｅｓ）、プロセスはステップＳ２０５に進む。一方、当該他のサービスチェーンが特定できなかった場合（ステップＳ２０４−Ｎｏ）、プロセスはステップＳ２０６に進む。

ステップＳ２０５：制御部１３は、複数の物理プラットフォームｂ_１〜ｂ_ｎ及び複数のロードバランサｃ_１〜ｃ_ｍと通信することにより、当該他のサービスチェーンをデフォルトサービスチェーンに再設定する。

ステップＳ２０６：制御部１３は、離散時刻ｋをインクリメントする。その後、プロセスはステップＳ２０１に戻る。

（オーケストレータ装置の第３動作のフロー）
図６を参照して、オーケストレータ装置１０の上述した第３動作のフローについて説明する。第３動作は、例えば、上述した第２動作によりデフォルトサービスチェーンが再設定される度に実行される。

ステップＳ３００：制御部１３は、上述した第２動作によりデフォルトサービスチェーンを再設定した後、入力データＸ（ｋ−１）及びサービス品質の実績データＱ_０（ｋ）を取得する。

ステップＳ３０１：制御部１３は、入力データＸ（ｋ−１）を入力することにより複数のニューラルネットワークＦ_１〜Ｆ_ｊから出力される、サービス品質の推定データＱ_１（ｋ）〜ｑ_ｊ（ｋ）を取得する。

ステップＳ３０２：制御部１３は、サービス品質の推定データＱ_１（ｋ）〜Ｑ_ｊ（ｋ）のそれぞれと、サービス品質の実績データＱ_０（ｋ）と、の比較に基づいて、複数のニューラルネットワークＦ_１〜Ｆ_ｊの精度情報ｓ（Ｆ_１）〜ｓ（Ｆ_ｊ）を更新する。

ステップＳ３０３：制御部１３は、新たなニューラルネットワークＦ_ｎｅｗを生成して、記憶部１２に記憶する。

ステップＳ３０４：制御部１３は、複数のニューラルネットワークＦ_１〜Ｆ_ｊのうち最低精度のニューラルネットワークＦ_ｌｏｗを、新たなニューラルネットワークＦ_ｎｅｗに置き換える。そして、プロセスは終了する。

以上述べたように、本実施形態に係るオーケストレータ装置１０は、複数のサービスチェーンのサービス品質の推定データＱ＝［ｑ^（１），…，ｑ^{（ｎ＾ｍ）}］を出力Ｙとする複数のニューラルネットワークＦ_１〜Ｆ_ｊを記憶する。オーケストレータ装置１０は、複数のサービスチェーンのうち１つのサービスチェーンをデフォルトサービスチェーンに設定する。オーケストレータ装置１０は、ニューラルネットワークＦから出力される複数のサービスチェーンの将来のサービス品質の推定データＱを取得する。オーケストレータ装置１０は、推定データＱに基づいて、複数のサービスチェーンのうちから、デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定する。そしてオーケストレータ装置１０は、当該他のサービスチェーンをデフォルトサービスチェーンに再設定する。

かかる構成によれば、将来のサービス品質がデフォルトサービスチェーンよりも良いと予測される他のサービスチェーンが特定された場合、当該他のサービスチェーンがデフォルトサービスチェーンに再設定されるので、デフォルトサービスチェーンの信頼性を向上可能である。また、時系列的な要因によるサービスチェーンの障害やパフォーマンスをニューラルネットワークＦで学習し、必要に応じて、近い将来に障害が予見されるサービスチェーンを迂回することができるようになり、低コストなＶＮＦａを使用するサービスチェーンの信頼性を向上可能である。

また、従来のオートスケーリングやディスアスタリカバリでは、障害やパフォーマンス劣化が発生してから、サービスチェーンの移動やルーティングの変更を行っていたため、途中のチェーンのＶＮＦの通信パケットがキューから喪失する可能性があった。そのため、サービスの信頼性を高めるためには、サービスプロバイダは、プラットフォームサービス提供者に対し高額な料金を支払って、潤沢なリソースを確保する必要があった。その代償として、サービス要求が少ないときは確保したリソースが遊んでしまう問題があった。本実施形態は、信頼性を高めるために、一定量のリソースを高価な価格で予約するより、安価なサービスを多数予約し、それらを接続したサービスチェーンの複製を用意し、一定期間毎に性能を測定して機械学習に与えることで、サービスチェーンのサービス品質の変化パターンを学習させ、サービスチェーンの将来のサービス品質を推定し、将来のサービス品質がより良いと推定される他のサービスチェーンをデフォルトサービスチェーンに再設定することで、低コストでも信頼性の高いサービスを提供することを可能にする。

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上述した実施形態において、オーケストレータ装置１０を互いに通信可能な複数の情報処理装置に分割した構成も可能である。

また、上述した実施形態では、オーケストレータ装置１０が複数のニューラルネットワークＦ_１〜Ｆ_ｊを用いる構成について説明した。しかしながら、例えばオーケストレータ装置１０が１つのニューラルネットワークＦを生成及び記憶し、当該１つのニューラルネットワークＦを用いてデフォルトサービスチェーンを再設定する構成も可能である。かかる場合には、当該１つのニューラルネットワークＦの精度情報ｓ（Ｆ）を決定する必要はない。

また、ニューラルネットワークＦのオンライン学習を行うために、情報処理システム１は、障害や性能劣化を意図的に付加する機能を有してもよい。かかる機能によれば、障害や性能劣化を発生させたときの学習データを容易に得ることができる。

また、上述した実施形態において、デフォルトチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンが特定された場合に、必ずしもデフォルトサービスチェーンの再設定が実施されなくてもよい。例えば、当該他のサービスチェーンが特定された場合に、所定の確率でデフォルトサービスチェーンの再設定が実施されてもよい。

また、例えばコンピュータ等の情報処理装置を、上述した実施形態に係るオーケストレータ装置１０として機能させる構成も可能である。具体的には、実施形態に係るオーケストレータ装置１０の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。当該プログラムを記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

１ 情報処理システム
１０ オーケストレータ装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ プローブ
３０ ネットワーク
ａ ＶＮＦ
ｂ 物理プラットフォーム
ｃ ロードバランサ

Claims (7)

1. 複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置であって、
   各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶部と、
   前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定し、
   前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
   各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
   特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定する制御部と、
   を備える、オーケストレータ装置。
2. 請求項１に記載のオーケストレータ装置であって、
   前記記憶部は、前記複数のニューラルネットワークと、各前記ニューラルネットワークの精度情報と、を記憶し、
   前記制御部は、
   各前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
   前記複数のニューラルネットワークのうち最高精度の１つのニューラルネットワークから出力された各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
   前記デフォルトサービスチェーンの再設定後、各前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値と、各前記サービスチェーンのサービス品質の実績値と、の比較に基づいて各前記ニューラルネットワークの前記精度情報を更新する、オーケストレータ装置。
3. 情報処理装置を、請求項１又は２に記載のオーケストレータ装置として機能させる、プログラム。
4. 複数の物理プラットフォームと、前記複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置と、を備える情報処理システムであって、
   前記オーケストレータ装置は、
   各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶部と、
   前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定し、
   前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
   各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
   特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定する制御部と、
   を有する、情報処理システム。
5. 請求項４に記載の情報処理システムであって、
   前記記憶部は、前記複数のニューラルネットワークと、各前記ニューラルネットワークの精度情報と、を記憶し、
   前記制御部は、
   各前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
   前記複数のニューラルネットワークのうち最高精度の１つのニューラルネットワークから出力された各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
   前記デフォルトサービスチェーンの再設定後、各前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値と、各前記サービスチェーンのサービス品質の実績値と、の比較に基づいて各前記ニューラルネットワークの前記精度情報を更新する、情報処理システム。
6. 複数の物理プラットフォームに配置された複数の仮想ネットワーク機能（ＶＮＦ）が連携してそれぞれ構成される複数のサービスチェーンを管理するオーケストレータ装置の制御方法であって、
   各前記サービスチェーンのサービス品質の推定値を出力する１つ又は複数のニューラルネットワークを記憶する記憶ステップと、
   前記複数のサービスチェーンのうち１つの前記サービスチェーンを、ユーザに利用させるデフォルトサービスチェーンに設定するステップと、
   前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得する取得ステップと、
   各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定する特定ステップと、
   特定した前記サービスチェーンを前記デフォルトサービスチェーンに再設定するステップと、
   を含む、制御方法。
7. 請求項６に記載の制御方法であって、
   前記記憶ステップは、前記複数のニューラルネットワークと、各前記ニューラルネットワークの精度情報と、を記憶し、
   前記取得ステップは、各前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値を取得し、
   前記特定ステップは、前記複数のニューラルネットワークのうち最高精度の１つのニューラルネットワークから出力された各前記サービスチェーンの将来のサービス品質の推定値に基づいて、前記複数のサービスチェーンのうちから、前記デフォルトサービスチェーンよりも将来のサービス品質が良いと推定される他のサービスチェーンを特定し、
   前記デフォルトサービスチェーンの再設定後、各前記ニューラルネットワークから出力される各前記サービスチェーンの将来のサービス品質の推定値と、各前記サービスチェーンのサービス品質の実績値と、の比較に基づいて各前記ニューラルネットワークの前記精度情報を更新するステップを更に含む、制御方法。