JP2023034927A - 制御装置、制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】サービス要求遅延条件を満たさないアプリケーションを優先的に再配置させることを考慮することによってアプリケーションの再配置に伴うコストの抑制を図る。
【解決手段】サービス要求遅延条件を満たさない再配置対象アプリケーションを再配置する先の再配置候補情報処理装置のリストを作成し、リスト内の再配置候補情報処理装置毎に期待再配置コストを算出し、期待再配置コストが最小である再配置候補情報処理装置を再配置先情報処理装置に決定し、再配置対象アプリケーションが再配置される再配置先情報処理装置でサービス要求遅延条件を満たさないアプリケーションが発生する場合に、再配置先情報処理装置に配置される再配置候補アプリケーションを再配置先情報処理装置から他の情報処理装置へ再配置するための所定の再配置計算を実行する配置計算部を備える。
【選択図】図２

Description

本発明は、制御装置、制御方法及びコンピュータプログラムに関する。

従来、移動通信網（Mobile Network）において、ユーザ端末（ＵＥ：User Equipment）からより近い場所でアプリケーションによるサービスをユーザ端末に提供するためのＭＥＣ（Multi-access Edge Computing）技術が知られている（例えば、非特許文献１参照）。非特許文献１には、複数のＭＥＣホストや中央クラウドホストからなる分散クラウドシステムにおいて、あるユーザ端末に提供するサービスを実現するためのアプリケーションが、あるホストに配置されている状況下で、当該ユーザ端末を他のホストに配置されているアプリケーションに収容換えするアプリケーション再配置技術が記載されている。

非特許文献１に記載されたアプリケーション再配置技術では、エンドツウエンド（Ｅ２Ｅ）のサービス要求遅延条件が満たされないアプリケーション（閾値超過アプリケーション）が発生した再配置元ホストから他のホストへ再配置する再配置対象アプリケーションと再配置先ホストとの組合せを、再配置に伴う各アプリケーションのＥ２Ｅ遅延の変動と再配置によるコストとを考慮して選定する。その再配置対象アプリケーションと再配置先ホストとの組合せの候補は、再配置後において各制約条件（各処理の要求遅延、各ホストやリンクの資源容量上限）が満たされる組合せである。

非特許文献１に記載されたアプリケーション再配置技術によれば、再配置対象アプリケーションが閾値超過アプリケーションに限定されず、再配置元ホストにおいて各制約条件を満たす全てのアプリケーションの中から再配置対象アプリケーションが選定される。これにより、再配置の成功率が高くなる。また、再配置対象アプリケーションと再配置先ホストとの組合せの選定の際に、再配置に伴う各アプリケーションのＥ２Ｅ遅延の変動と再配置によるコストが考慮されるので、再配置されるアプリケーション数やコストの面で再配置処理の効率化が図られる。

Tetsu Joh, Takayuki Warabino, Masaki Suzuki, Yusuke Suzuki, Tomohiro Otani, "Application Relocation Method for Distributed Cloud Environment Considering E2E Delay and Cost Variation", Advanced Information Networking and Applications. AINA 2021, Lecture Notes in Networks and Systems, vol 226., pp 445-457, 2021.

上述した非特許文献１に記載されたアプリケーション再配置技術では、再配置元ホストにおいて各制約条件を満たす全てのアプリケーションの中から再配置対象アプリケーションが選定される。このため、再配置元ホストから再配置されたとしてもサービス要求遅延条件が満たされないアプリケーションを他のホストへ再配置し、その再配置先ホストから更に他のアプリケーションを再配置する場合が十分に考慮されない。

本発明は、このような事情を考慮してなされたものであり、その目的は、サービス要求遅延条件を満たさないアプリケーションを優先的に再配置させることを考慮することによってアプリケーションの再配置に伴うコストの抑制を図ることにある。

（１）本発明の一態様は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置であり、サービス要求遅延条件を満たさないアプリケーションである再配置対象アプリケーションを再配置する先の候補である再配置候補情報処理装置のリストを作成し、前記リスト内の前記再配置候補情報処理装置毎に期待再配置コストを算出し、前記期待再配置コストが最小である前記再配置候補情報処理装置を前記再配置対象アプリケーションの再配置先情報処理装置に決定し、前記再配置対象アプリケーションが再配置される前記再配置先情報処理装置においてサービス要求遅延条件を満たさないアプリケーションが発生する場合に、前記再配置先情報処理装置に配置されるアプリケーションを再配置候補アプリケーションとして前記再配置先情報処理装置から他の情報処理装置へアプリケーションを再配置するための所定の再配置計算を実行する配置計算部と、前記配置計算部が決定した再配置内容に基づいて、アプリケーション配置制御を実行する配置制御部と、を備える制御装置である。
（２）本発明の一態様は、前記再配置候補情報処理装置は、前記再配置対象アプリケーションが再配置された場合において、各前記情報処理装置上のアプリケーションにおけるエンドツウエンド遅延率の最大値が悪化しない情報処理装置である、上記（１）の制御装置である。
（３）本発明の一態様は、前記期待再配置コストは、前記再配置対象アプリケーションを再配置するときの第１再配置コストと、前記再配置候補情報処理装置上のアプリケーションを他の情報処理装置へ再配置するときの第２再配置コストと、から構成される推定値である、上記（１）又は（２）のいずれかの制御装置である。
（４）本発明の一態様は、前記第１再配置コストは、前記再配置対象アプリケーションを再配置するときの資源消費コストの変動量と、前記再配置対象アプリケーションの再配置の実行における所要コストと、に基づいて算出される、上記（３）の制御装置である。
（５）本発明の一態様は、前記第２再配置コストは、前記再配置候補情報処理装置に配置されるアプリケーションを他の情報処理装置へ再配置するときの資源消費コストの変動量の期待値と、前記再配置候補情報処理装置に配置されるアプリケーションの他の情報処理装置への再配置の実行における所要コストの期待値と、前記再配置候補情報処理装置で発生するサービス要求遅延条件を満たさないアプリケーションを解消させるために前記再配置候補情報処理装置から他の情報処理装置へ再配置させるアプリケーション数の期待値と、に基づいて算出される、上記（３）又は（４）のいずれかの制御装置である。

（６）本発明の一態様は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御方法であって、制御装置が、サービス要求遅延条件を満たさないアプリケーションである再配置対象アプリケーションを再配置する先の候補である再配置候補情報処理装置のリストを作成し、前記リスト内の前記再配置候補情報処理装置毎に期待再配置コストを算出し、前記期待再配置コストが最小である前記再配置候補情報処理装置を前記再配置対象アプリケーションの再配置先情報処理装置に決定し、前記再配置対象アプリケーションが再配置される前記再配置先情報処理装置においてサービス要求遅延条件を満たさないアプリケーションが発生する場合に、前記再配置先情報処理装置に配置されるアプリケーションを再配置候補アプリケーションとして前記再配置先情報処理装置から他の情報処理装置へアプリケーションを再配置するための所定の再配置計算を実行する配置計算ステップと、前記制御装置が、前記配置計算ステップで決定した再配置内容に基づいて、アプリケーション配置制御を実行する配置制御ステップと、を含む制御方法である。

（７）本発明の一態様は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置のコンピュータに、サービス要求遅延条件を満たさないアプリケーションである再配置対象アプリケーションを再配置する先の候補である再配置候補情報処理装置のリストを作成し、前記リスト内の前記再配置候補情報処理装置毎に期待再配置コストを算出し、前記期待再配置コストが最小である前記再配置候補情報処理装置を前記再配置対象アプリケーションの再配置先情報処理装置に決定し、前記再配置対象アプリケーションが再配置される前記再配置先情報処理装置においてサービス要求遅延条件を満たさないアプリケーションが発生する場合に、前記再配置先情報処理装置に配置されるアプリケーションを再配置候補アプリケーションとして前記再配置先情報処理装置から他の情報処理装置へアプリケーションを再配置するための所定の再配置計算を実行する配置計算ステップと、前記配置計算ステップで決定した再配置内容に基づいて、アプリケーション配置制御を実行する配置制御ステップと、を実行させるためのコンピュータプログラムである。

本発明によれば、サービス要求遅延条件を満たさないアプリケーションを優先的に再配置させることを考慮することによってアプリケーションの再配置に伴うコストの抑制を図ることができるという効果が得られる。

一実施形態に係る分散クラウドシステムの構成例を示すブロック図である。 一実施形態に係る制御装置の構成例を示すブロック図である。 一実施形態に係る再配置計算方法の概略の説明図である。 一実施形態に係る再配置計算方法の手順の一例を示すフローチャートである。 一実施形態に係る再配置の一例を示す説明図である。 一実施形態に係る再配置の一例を示す説明図である。 一実施形態に係るアプリケーションの新規配置における制御方法の手順の例を示すフローチャートである。 一実施形態に係る既存アプリケーションの再配置における制御方法の手順の例を示すフローチャートである。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る分散クラウドシステムの構成例を示すブロック図である。図１に示される分散クラウドシステム１００（情報処理システム）は、複数のＭＥＣホスト１１０ｍ（情報処理装置）と、中央クラウドシステム５に含まれる各中央クラウドホスト１１０ｃ（情報処理装置）とを備える。これらのホスト１１０ｍ，１１０ｃは、モバイルバックホールネットワークＭＢＮやインターネットＩＮＷ等の通信ネットワークを介して接続される。以下、ＭＥＣホスト１１０ｍと中央クラウドホスト１１０ｃとを特に区別しないときは「ホスト１１０」と称する。また、アプリケーションのことをＡｐｐと称する場合がある。

ＭＥＣホスト１１０ｍは、移動通信網内において、ユーザ端末ＵＥが接続する基地局ｇＮＢに近い場所や、モバイルバックホールネットワークＭＢＮ側などに分散配置される。中央クラウドホスト１１０ｃは、移動通信網の外部の通信ネットワークであるインターネットＩＮＷ側に配置される。

ＭＥＣホスト１１０ｍ及び中央クラウドホスト１１０ｃは、ユーザ端末ＵＥ（ユーザ）に提供するサービスを実現するためのアプリケーションを実行する情報処理装置である。ＭＥＣホスト１１０ｍは、中央クラウドホスト１１０ｃよりもユーザ端末ＵＥに近い場所に設けられるので、中央クラウドホスト１１０ｃよりも通信遅延が小さい。図１の例では、移動通信網における無線アクセス網ＭＮＷの各エリア１，２，３の基地局ｇＮＢに近い場所に、各ＭＥＣホスト１１０ｍ（エリア１，２，３）が配置されている。これにより、例えばエリア１の基地局ｇＮＢに近い場所に配置されたＭＥＣホスト１１０ｍがエリア１に存在するユーザ端末ＵＥに対してアプリケーションサービスを提供することにより、サービス遅延や通信負荷を低減させることができる。一方、中央クラウドホスト１１０ｃは、ＭＥＣホスト１１０ｍよりも処理能力が大きい。このため、中央クラウドホスト１１０ｃは、例えばサービス要求遅延条件が厳しくないアプリケーションサービスやＭＥＣホスト１１０ｍでは処理負荷が大きいアプリケーションサービス等を受け持つ。分散クラウドシステム１００では、そのような各ホスト１１０の特徴に応じたアプリケーションの配置が行われる。

本実施形態において、アプリケーションの配置とは、あるユーザ端末ＵＥに提供するサービスを実現するためのアプリケーションがＭＥＣホスト１１０ｍ又は中央クラウドホスト１１０ｃに配置されることを言う。言い換えると、アプリケーションを配置するとは、ＭＥＣホスト１１０ｍ又は中央クラウドホスト１１０ｃ上で実行されるアプリケーションに対して、あるユーザ端末ＵＥを割り当てることを言う。

例えば、ユーザ端末ＵＥとしてＡＲ（Augmented Reality）やＶＲ（Virtual Reality）技術が適用されるヘッドマウントディスプレーに対応するアプリケーションは、要求遅延が短いので、ＭＥＣホスト１１０ｍに配置されることが好ましい。また、ユーザ端末ＵＥとして自動車に搭載されたナビゲーション装置へ地図情報を配信するアプリケーションは、それほど要求遅延が短くなく且つ処理量もそれほど多くないので、任意のホスト１１０に配置されてもよい。また、ユーザ端末ＵＥとして監視カメラに対応するアプリケーションは、要求遅延に多少余裕があるが処理量が多いので、処理能力に余裕があればＭＥＣホスト１１０ｍに配置されてもよく、又は中央クラウドホスト１１０ｃに配置されてもよい。

移動通信網において、ユーザ端末ＵＥが基地局エリア間を移動したり又はイベント開催等により一部の基地局エリアにユーザ端末ＵＥが集中したりすることによって、当初のアプリケーション配置では、十分なサービス品質を維持することができなくなる場合がある。図１において例えばエリア２でイベントが開催されてエリア２で多数のユーザ端末ＵＥによる混雑が発生すると、エリア２に対応するＭＥＣホスト１１０ｍに負荷が集中し、所定のサービス品質を維持することが難しい状況が発生し得る。このような場合、アプリケーションの再配置によって、所定のサービス品質を維持することが試みられる。

本実施形態において、アプリケーションの再配置とは、あるユーザ端末ＵＥに提供するサービスを実現するためのアプリケーションの配置を変更することを言う。言い換えると、アプリケーションを再配置するとは、あるホスト１１０上で実行されるアプリケーションに割り当てられているあるユーザ端末ＵＥを、他のホスト１１０上で実行されるアプリケーションに割り当てを変更することを言う。

図１において、例えば、あるユーザ端末ＵＥに提供するサービスを実現するためのアプリケーションが、ＭＥＣホスト１１０ｍ（エリア２）に配置されている状況下で、当該ＭＥＣホスト１１０ｍ（エリア２）の近傍の基地局エリア（エリア２）にユーザ端末ＵＥが集中することによって、当該ＭＥＣホスト１１０ｍ（エリア２）の負荷が増大して十分なサービス品質を維持することができなくなる場合がある。このような場合、所定のサービス品質を維持するために、当該ＭＥＣホスト１１０ｍ（エリア２）に対してアプリケーションの再配置を行うことによって、当該ＭＥＣホスト１１０ｍ（エリア２）の負荷を軽減することが試みられる。

制御装置１は、移動通信網やＭＥＣホスト１１０ｍや中央クラウドホスト１１０ｃ等と通信により情報を送受する。制御装置１は、分散クラウドシステム１００において、ユーザに提供するサービスを実現するためのアプリケーションを実行するホスト１１０を決定する。制御装置１は、分散クラウドシステム１００におけるアプリケーションの新規配置及び再配置に係る制御を行う。

本実施形態に係るアプリケーションの再配置では、サービス要求遅延条件を満たさないアプリケーションを優先的に再配置させることを考慮することによってアプリケーションの再配置に伴うコストの抑制を図る。

本実施形態では、サービス要求遅延条件を満たさないアプリケーションを閾値超過アプリケーションと称する。閾値超過アプリケーションとは、アプリケーションに要求されるエンドツウエンド（Ｅ２Ｅ）のサービス要求遅延時間に基づいた要求遅延閾値に対する、当該アプリケーションのＥ２Ｅのサービス遅延時間（Ｅ２Ｅサービス遅延時間）の比率（Ｅ２Ｅ遅延率）が所定値（例えば、１）を超過するアプリケーションである。アプリケーションのＥ２Ｅサービス遅延時間は、ユーザ端末ＵＥとホスト１１０上の当該アプリケーションとの間のネットワーク区間におけるデータ転送遅延時間と、当該ホスト１１０上の処理遅延時間との和によって表される。要求遅延閾値は、Ｅ２Ｅのサービス要求遅延時間であってもよく、又はＥ２Ｅのサービス要求遅延時間を指標にして決定された値であってもよい。

図２は、本実施形態に係る制御装置の構成例を示すブロック図である。図２において、制御装置１は、ユーザ端末（ＵＥ）要求受理部１１と、データベース（ＤＢ）１３と、分散クラウド情報収集部１４と、サービス品質監視部１５と、配置計算部１６と、配置制御部１７と、外部連携部１８とを備える。図２中の、実線の矢印は制御トラフィックの流れを示し、破線の矢印はサービストラフィックの流れを示す。

制御装置１の各機能は、制御装置１がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、制御装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。また、制御装置１は、単独のコンピュータにより実現するものであってもよく、又は制御装置１の機能を複数のコンピュータに分散させて実現するものであってもよい。

ＵＥ要求受理部１１は、移動通信網の各基地局エリアに存在するユーザ端末ＵＥからアプリケーション起動要求を受付ける。アプリケーション起動要求は、ユーザ端末ＵＥ（ユーザ）が所望するサービスを実現するためのアプリケーションを識別するアプリケーション識別情報（ＡｐｐＩＤ）とユーザ端末ＵＥの端末識別情報（端末ＩＤ）とを有する。

ＵＥ要求受理部１１は、ユーザ端末ＵＥからアプリケーション起動要求を受付けると、当該アプリケーション起動要求をＤＢ１３（ＵＥ情報）に登録する。また、ＵＥ要求受理部１１は、アプリケーション起動要求元のユーザ端末ＵＥから無線情報を取得し、取得した無線情報を当該ユーザ端末ＵＥの端末ＩＤに関連付けてＤＢ１３（ＵＥ情報）に格納する。無線情報は、アプリケーション起動要求元のユーザ端末ＵＥと基地局ｇＮＢとの間の無線通信に関する受信強度等の測定値や無線パラメータである。アプリケーション起動要求がＤＢ１３（ＵＥ情報）に登録されることによって、当該アプリケーションの新規配置計算の要求がＤＢ１３を介して配置計算部１６へ行われる。

ＵＥ要求受理部１１は、ＤＢ１３を介して配置制御部１７からのアプリケーション配置更新通知を受けると、ＤＢ１３のアプリケーション（Ａｐｐ）配置情報を参照し、アプリケーションの新規配置や再配置の情報の更新（追加および変更）を確認する。ＵＥ要求受理部１１は、アプリケーションの新規配置や再配置の情報の更新があると、当該更新された情報に示される新規配置先や再配置先のホスト１１０（ユーザ端末ＵＥの通信先のホスト）の情報を該当のユーザ端末ＵＥへ通知する。ＵＥ要求受理部１１は、例えば、アプリケーション起動要求元のユーザ端末ＵＥへ、アプリケーションが新規配置されたホスト１１０の情報を通知する。これにより、アプリケーション起動要求元のユーザ端末ＵＥは、通知された情報に示されるホスト１１０にアクセスして、アプリケーション起動要求に該当するアプリケーションを利用する。ＵＥ要求受理部１１は、例えば、アプリケーションが再配置されたホスト１１０の情報を、当該アプリケーションに該当のユーザ端末ＵＥへ通知する。これにより、当該アプリケーションに該当のユーザ端末ＵＥは、通知された情報に示される再配置先のホスト１１０にアクセスして当該アプリケーションを利用することにより、当該アプリケーションのサービスを継続して受けることができる。

ＤＢ１３は、各種の情報を格納する。ＤＢ１３に格納される情報として、サービスカタログ、ネットワークトポロジ、ホスト情報、リンク情報、ユーザ端末（ＵＥ）情報、Ａｐｐ配置情報等がある。サービスカタログは、各アプリケーションに関するサービス要求遅延条件（Ｅ２Ｅのサービス要求遅延時間等）や所要の計算資源（要求資源）やサービスの概要等を示す情報である。ネットワークトポロジは、分散クラウドシステム１００におけるネットワークの接続形態を示す情報である。ホスト情報は、各ホスト１１０の情報であって、例えば計算資源に関する情報等である。計算資源に関する情報として、各ホスト１１０で利用可能な最大資源量や、現在利用されている資源量（消費資源量）等がある。リンク情報は、ネットワークトポロジに示される各リンクで利用可能な最大帯域や、現在利用されている帯域（消費帯域）等の情報である。ＵＥ情報は、各ユーザ端末ＵＥから通知される情報であって、例えば各ユーザ端末ＵＥの端末ＩＤや受信強度等の無線情報やアプリケーション起動要求等である。Ａｐｐ配置情報は、アプリケーションの配置や再配置を示す情報である。

分散クラウド情報収集部１４は、分散クラウドシステム１００内の各ホスト１１０のホスト情報と各リンクのリンク情報とを定期的に収集する。分散クラウド情報収集部１４は、収集したホスト情報及びリンク情報をＤＢ１３に格納する。ホスト情報及びリンク情報は、ＭＥＣシステム４に含まれる各ＭＥＣホスト１１０ｍや、中央クラウドシステム５に含まれる各中央クラウドホスト１１０ｃ等から収集される。

サービス品質監視部１５は、各ホスト１１０に配置された各アプリケーションのＥ２Ｅサービス遅延時間を監視する。Ｅ２Ｅサービス遅延時間の監視では、サービス品質監視部１５は、各ホスト１１０に配置された各アプリケーション毎に、現在のＥ２Ｅサービス遅延時間を推定し、当該推定結果に基づいてサービス要求遅延条件を満たしているか否かを判断する。

具体的には、サービス品質監視部１５は、ＤＢ１３に格納されているＵＥ情報、ホスト情報、リンク情報及びＡｐｐ配置情報に基づいて現在のＥ２Ｅサービス遅延時間を推定する。Ｅ２Ｅサービス遅延時間は、エンドツウエンド（Ｅ２Ｅ）におけるサービスにかかる時間（遅延時間）である。Ｅ２Ｅサービス遅延時間は、アプリケーションの処理にかかる時間（処理遅延時間）とネットワーク区間のデータ転送にかかる時間（データ転送遅延時間）との合計である。

サービス品質監視部１５は、現在のＥ２Ｅサービス遅延時間の推定結果と、サービス要求遅延条件（Ｅ２Ｅのサービス要求遅延時間）に基づいた閾値とを比較する。サービス品質監視部１５は、当該比較の結果、現在のＥ２Ｅサービス遅延時間の推定結果が当該閾値を超過している場合に、配置計算部１６に対して、当該閾値超過のアプリケーション（閾値超過アプリケーション）が現在配置されているホスト１１０を再配置元に指定して再配置計算を要求する。再配置計算の要求は、サービス品質監視部１５からＤＢ１３を介して配置計算部１６へ行われる。

配置計算部１６は、分散クラウドシステム１００におけるアプリケーションの新規配置の計算（新規配置計算）及びアプリケーションの再配置の計算（再配置計算）を行う。新規配置計算では、配置計算部１６は、アプリケーション起動要求によるアプリケーションの新規配置計算の要求に応じて、アプリケーション起動要求元のユーザ端末ＵＥのＵＥ情報等のＤＢ１３内の各種の情報に基づいて、アプリケーション起動要求に示されるアプリケーション（起動要求アプリケーション）を新規配置するホスト１１０を決定する。この新規配置計算では、起動要求アプリケーションの要求遅延とアプリケーションの新規配置にかかるコストとに基づいて、新規配置先のホスト１１０が決定される。配置計算部１６は、新規配置計算の結果「アプリケーション起動要求元のユーザ端末ＵＥと新規配置先のホスト１１０との組合せ」をＤＢ１３内のＡｐｐ配置情報に格納する。なお、配置計算部１６は、起動要求アプリケーションのサービス要求遅延条件や要求資源を満たすホスト１１０が見つからない場合には、再配置計算を行った後に、再度、起動要求アプリケーションの新規配置計算を試みる。

配置計算部１６は、起動要求アプリケーションの新規配置先のホスト１１０が見つからない場合や、サービス品質監視部１５からの再配置計算の要求を受けた場合などに、再配置計算を行う。再配置計算方法の詳細は後述する。配置計算部１６は、再配置計算の結果「再配置対象アプリケーション、再配置元のホスト１１０及び再配置先のホスト１１０の組合せ」をＤＢ１３内のＡｐｐ配置情報に格納する。

配置制御部１７は、配置計算部１６がＤＢ１３に格納したＡｐｐ配置情報に基づいて、分散クラウドシステム１００におけるアプリケーションの新規配置及び再配置の制御（アプリケーション配置制御）を実行する。このアプリケーション配置制御の実行の結果、Ａｐｐ配置情報に基づいたアプリケーションの新規配置及び再配置が実現される。配置制御部１７は、アプリケーション配置制御の完了後に、ＤＢ１３を介してＵＥ要求受理部１１へアプリケーション配置更新通知を送る。

外部連携部１８は、移動通信網の制御システム（移動体網制御システム）３や中央クラウドシステム５の制御システム（中央クラウド制御システム）６と連携した処理を行う。例えば、外部連携部１８は、アプリケーションの新規配置や再配置に利用することができる情報を各システム３，６から取得する。例えば、移動体網制御システム３から、移動通信網の無線品質情報やユーザ端末ＵＥの位置情報を取得することが挙げられる。また、外部連携部１８は、移動体網制御システム３に対して、ＭＥＣホスト１１０ｍに係る設定変更を通知する。

（再配置計算方法）
本実施形態に係る再配置計算方法を説明する。配置計算部１６は、起動要求アプリケーションの新規配置先のホスト１１０が見つからない場合や、サービス品質監視部１５からの再配置計算の要求を受けた場合などに、再配置計算を行う。

起動要求アプリケーションの新規配置先のホスト１１０が見つからない場合、再配置元ホストは、起動要求アプリケーションの新規配置先として適切なホスト１１０が所定の決定ルールに従って選択される。例えば、起動要求アプリケーションのＥ２Ｅのサービス要求遅延時間が短い場合には、アプリケーション起動要求元のユーザ端末ＵＥに最も近いＭＥＣホスト１１０ｍが再配置元ホストに決定される。一方、サービス品質監視部１５からの再配置計算の要求には、再配置元ホストが指定されている。

図３及び図４を参照して本実施形態に係る再配置計算方法を説明する。
図３は、本実施形態に係る再配置計算方法の概略の説明図である。図３の例では、ＭＥＣホストＡが再配置元ホストである。ＭＥＣホストＡには、「Ａｐｐ ａ１」等の閾値超過アプリケーションと、閾値超過アプリケーションではない「Ａｐｐ ａ２」等の非閾値超過アプリケーションとが存在する。本実施形態に係る再配置計算方法では、まず、閾値超過アプリケーションを優先的に再配置させる処理Ｓ１を実行する。処理Ｓ１では、閾値超過アプリケーションを再配置する先のホスト１１０の候補（再配置候補ホスト）のリストを作成し、当該リスト内の再配置候補ホストの中から再配置先のホスト１１０（再配置先ホスト）を決定する。図３の例では、処理Ｓ１によって、再配置元のＭＥＣホストＡの閾値超過アプリケーション「Ａｐｐ ａ１」が再配置される先の再配置先ホストとしてＭＥＣホストＣが決定される。次いで、閾値超過アプリケーション「Ａｐｐ ａ１」が再配置される再配置先のＭＥＣホストＣにおいて閾値超過アプリケーションが発生する場合に、処理Ｓ２が実行される。処理Ｓ２では、再配置先のＭＥＣホストＣに配置されるアプリケーションを再配置候補アプリケーションとして、ＭＥＣホストＣから他のホスト１１０へアプリケーションを再配置するための所定の再配置計算が実行される。

図４は、本実施形態に係る再配置計算方法の手順の一例を示すフローチャートである。以下、図４を参照して本実施形態に係る再配置計算方法の手順の一例を説明する。

起動要求アプリケーションの新規配置先のホスト１１０が見つからない場合や、サービス品質監視部１５からの再配置計算の要求が発生した場合などに、図４に示される再配置計算処理（本実施形態では説明の便宜上、「ホスト判定型Ａｐｐ再配置処理」と称する）Ｓ１０００が実行される。ホスト判定型Ａｐｐ再配置処理Ｓ１０００には、入力情報として再配置元ホストｈが指定される。

ホスト判定型Ａｐｐ再配置処理Ｓ１０００では、まず処理Ｓ１としてステップＳ１－１からステップＳ１－８までが実行される。

（ステップＳ１－１） 配置計算部１６は、再配置元ホストｈの閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈを作成する。閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈは、再配置元ホストｈにおける閾値超過アプリケーションのリストであって、Ｅ２Ｅ遅延率「（Ｅ２Ｅサービス遅延時間）÷（要求遅延閾値）」が大きい順（降順）のリストである。

次いでＬｏｏｐ１処理が実行される。Ｌｏｏｐ１処理では、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈの上位から順番に閾値超過アプリケーションが抽出され、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈ内の全ての閾値超過アプリケーションが抽出されるまで繰り返される。

（ステップＳ１－２） 配置計算部１６は、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈの上位から１つの閾値超過アプリケーションｅａｐ＿ｈを抽出する。

（ステップＳ１－３） 配置計算部１６は、閾値超過アプリケーションｅａｐ＿ｈを再配置する先のホスト１１０の候補（再配置候補ホスト）のリストｅａｐ＿ｈ＿ｌｉｓｔを作成する。再配置候補ホストは、再配置元ホストｈを含んでもよい。

再配置候補ホストの条件の例を以下に示す。

（再配置候補ホストの条件の例１）
閾値超過アプリケーションｅａｐ＿ｈが再配置元ホストｈから再配置候補ホストに再配置された場合において、各ホスト１１０上のアプリケーションにおけるＥ２Ｅ遅延率の最大値が当該再配置が行われないときの最大値以下であることである。言い換えると、閾値超過アプリケーションｅａｐ＿ｈが再配置元ホストｈから再配置候補ホストに再配置されたとしても、各ホスト１１０上のアプリケーションにおけるＥ２Ｅ遅延率の最大値が悪化しないことである。

（再配置候補ホストの条件の例２）
各ホスト１１０及び各リンクの資源容量上限の超過が発生しないことである。

（ステップＳ１－４） 配置計算部１６は、リストｅａｐ＿ｈ＿ｌｉｓｔ内の再配置候補ホスト毎に、期待再配置コストを算出する。ある再配置候補ホストの期待再配置コストは、当該再配置候補ホストに閾値超過アプリケーションｅａｐ＿ｈを再配置する場合の再配置コストの推定値である。

ここで、期待再配置コストの算出方法を説明する。
期待再配置コストは次の（１）式により算出される。期待再配置コストの算出対象は再配置候補ホストｈ’である。

期待再配置コスト＝「処理Ｓ１における再配置コストＣ＿１ｓｔ」＋「処理Ｓ２における再配置コストＣ＿２ｓｔ」 ・・・（１）

再配置コストＣ＿１ｓｔは、閾値超過アプリケーションｅａｐ＿ｈの再配置に要するコストである。なお、再配置候補ホストｈ’が再配置元ホストｈである場合には、閾値超過アプリケーションｅａｐ＿ｈの再配置が行われないので、再配置コストＣ＿１ｓｔは０である。

再配置コストＣ＿１ｓｔは次の（２）式により算出される。

再配置コストＣ＿１ｓｔ＝ｗ＿１×Ｃｒｅｓ（ｅａｐ＿ｈ，ｈ，ｈ’）＋ｗ＿２×Ｃｒｅｌ（ｅａｐ＿ｈ，ｈ，ｈ’） ・・・（２）

ｗ＿１及びｗ＿２は、予め設定される重み係数であって、「ｗ＿１＋ｗ＿２＝１」である。
Ｃｒｅｓ（ｅａｐ＿ｈ，ｈ，ｈ’）は、閾値超過アプリケーションｅａｐ＿ｈが再配置元ホストｈから再配置候補ホストｈ’へ再配置される場合の、再配置元ホストｈ、再配置候補ホストｈ’及び各リンクにおける資源消費コストの総変動量の推定値である。Ｃｒｅｓ（ｅａｐ＿ｈ，ｈ，ｈ’）は、閾値超過アプリケーションｅａｐ＿ｈのサービスカタログの情報（要求資源）、各ホストｈ，ｈ’のホスト情報（資源単価）及び各リンクのリンク情報（ビット単価）などから算出される。

Ｃｒｅｌ（ｅａｐ＿ｈ，ｈ，ｈ’）は、閾値超過アプリケーションｅａｐ＿ｈの再配置元ホストｈから再配置候補ホストｈ’への再配置の実行に要するコストであって、閾値超過アプリケーションｅａｐ＿ｈがメモリ上に展開している情報をホストｈ，ｈ’間で転送することに伴って発生するコストの推定値である。Ｃｒｅｌ（ｅａｐ＿ｈ，ｈ，ｈ’）は、閾値超過アプリケーションｅａｐ＿ｈのサービスカタログの情報（要求資源）及び各リンクのリンク情報（ビット単価）などから算出される。

再配置コストＣ＿２ｓｔは次の（３）式により算出される。

再配置コストＣ＿２ｓｔ＝ｗ＿１×Ｃｒｅｓ＿ｅｖ（ｈ’，ｈ’’）＋ｗ＿２×Ｃｒｅｌ＿ｅｖ（ｈ’，ｈ’’）×ｎ＿ｅｖ（ｈ’） ・・・（３）

Ｃｒｅｓ＿ｅｖ（ｈ’，ｈ’’）は、再配置候補ホストｈ’上の１つのアプリケーションが再配置候補ホストｈ’から他のホストｈ’’へ再配置される場合の、再配置候補ホストｈ’及びホストｈ’’における資源消費コストの総変動量の期待値である。Ｃｒｅｓ＿ｅｖ（ｈ’，ｈ’’）は、再配置候補ホストｈ’上の各種アプリケーションのサービスカタログの情報（要求資源）及び各ホストｈ’，ｈ’’のホスト情報（資源単価）などから算出される。

例えば、再配置候補ホストｈ’に３種類のアプリケーション「Ａｐｐ ａ１」，「Ａｐｐ ａ２」，「Ａｐｐ ａ３」が、それぞれ、「Ａｐｐ ａ１」がＮ１個、「Ａｐｐ ａ２」がＮ２個、「Ａｐｐ ａ３」がＮ３個、配置されている場合において、あるアプリケーション種別「Ａｐｐ ａＸ」のホストｘにおける資源消費コストがＣ’ｒｅｓ（ａＸ，ｘ）であるとき、Ｃｒｅｓ＿ｅｖ（ｈ’，ｈ’’）は次の（４）式により算出される。「Ｎ＿ａｌｌ＝Ｎ１＋Ｎ２＋Ｎ３」である。

Ｃｒｅｓ＿ｅｖ（ｈ’，ｈ’’）＝（Ｎ１÷Ｎ＿ａｌｌ）×（Ｃ’ｒｅｓ（ａ１，ｈ’’）－Ｃ’ｒｅｓ（ａ１，ｈ’））
＋（Ｎ２÷Ｎ＿ａｌｌ）×（Ｃ’ｒｅｓ（ａ２，ｈ’’）－Ｃ’ｒｅｓ（ａ２，ｈ’））
＋（Ｎ３÷Ｎ＿ａｌｌ）×（Ｃ’ｒｅｓ（ａ３，ｈ’’）－Ｃ’ｒｅｓ（ａ３，ｈ’））
・・・（４）

Ｃｒｅｌ＿ｅｖ（ｈ’，ｈ’’）は、再配置候補ホストｈ’上の１つのアプリケーションの再配置候補ホストｈ’から他のホストｈ’’への再配置の実行に要するコストの期待値である。Ｃｒｅｌ＿ｅｖ（ｈ’，ｈ’’）は、再配置候補ホストｈ’上の、各種アプリケーションのサービスカタログの情報（要求メモリ量）と、アプリケーションの種類毎のアプリケーション数などから算出される。

例えば、再配置候補ホストｈ’に３種類のアプリケーション「Ａｐｐ ａ１」，「Ａｐｐ ａ２」，「Ａｐｐ ａ３」が、それぞれ、「Ａｐｐ ａ１」がＮ１個、「Ａｐｐ ａ２」がＮ２個、「Ａｐｐ ａ３」がＮ３個、配置されている場合において、各アプリケーション「Ａｐｐ ａ１」，「Ａｐｐ ａ２」，「Ａｐｐ ａ３」の要求メモリ量が、それぞれ、「Ａｐｐ ａ１」がｍａ１、「Ａｐｐ ａ２」がｍａ２、「Ａｐｐ ａ３」がｍａ３、であるとき、Ｃｒｅｌ＿ｅｖ（ｈ’，ｈ’’）は次の（５）式により算出される。「Ｎ＿ａｌｌ＝Ｎ１＋Ｎ２＋Ｎ３」である。

Ｃｒｅｌ＿ｅｖ（ｈ’，ｈ’’）＝（Ｎ１÷Ｎ＿ａｌｌ）×ｍａ１＋（Ｎ２÷Ｎ＿ａｌｌ）×ｍａ２＋（Ｎ３÷Ｎ＿ａｌｌ）×ｍａ３ ・・・（５）

ｎ＿ｅｖ（ｈ’）は、再配置候補ホストｈ’において閾値超過アプリケーションを解消するために必要となる、再配置候補ホストｈ’から再配置されるアプリケーション数の期待値である。ｎ＿ｅｖ（ｈ’）は、再配置候補ホストｈ’上のアプリケーションの期待要求処理量Ｐｅｖ（ｈ’）と、再配置候補ホストｈ’における最大のＥ２Ｅ遅延率とから算出される。１つのアプリケーションが再配置候補ホストｈ’から他のホストへ再配置されると、再配置候補ホストｈ’のＣＰＵ負荷が期待要求処理量Ｐｅｖ（ｈ’）だけ減少することが期待されるので、再配置候補ホストｈ’における最大のＥ２Ｅ遅延率が低下することが見込まれる。

ｎ＿ｅｖ（ｈ’）は、何個のアプリケーションが再配置候補ホストｈ’から他のホストへ再配置されると、再配置候補ホストｈ’において閾値超過アプリケーションが解消されるかという問題の解として求められる。期待要求処理量Ｐｅｖ（ｈ’）は、再配置候補ホストｈ’上の、各種アプリケーションのサービスカタログの情報（要求処理量）と、アプリケーションの種類毎のアプリケーション数などから算出される。

例えば、再配置候補ホストｈ’に３種類のアプリケーション「Ａｐｐ ａ１」，「Ａｐｐ ａ２」，「Ａｐｐ ａ３」が、それぞれ、「Ａｐｐ ａ１」がＮ１個、「Ａｐｐ ａ２」がＮ２個、「Ａｐｐ ａ３」がＮ３個、配置されている場合において、各アプリケーション「Ａｐｐ ａ１」，「Ａｐｐ ａ２」，「Ａｐｐ ａ３」の要求処理量が、それぞれ、「Ａｐｐ ａ１」がｐａ１、「Ａｐｐ ａ２」がｐａ２、「Ａｐｐ ａ３」がｐａ３、であるとき、期待要求処理量Ｐｅｖ（ｈ’）は次の（６）式により算出される。「Ｎ＿ａｌｌ＝Ｎ１＋Ｎ２＋Ｎ３」である。

Ｐｅｖ（ｈ’）＝（Ｎ１÷Ｎ＿ａｌｌ）×ｐａ１＋（Ｎ２÷Ｎ＿ａｌｌ）×ｐａ２＋（Ｎ３÷Ｎ＿ａｌｌ）×ｐａ３ ・・・（６）

なお、ｎ＿ｅｖ（ｈ’）の代わりに、係数αをｎ＿ｅｖ（ｈ’）に乗じた「α×ｎ＿ｅｖ（ｈ’）」を使用してもよい。係数αは、ホスト１１０毎に設定される係数であって、各ホスト１１０からアプリケーションを再配置させることのし易さを表す。係数αの値が大きいほど、アプリケーションをより再配置させやすい。

例えば、係数αとして、ホスト１１０に収容されているユーザ端末ＵＥのうち、当該ホスト１１０に対応する基地局エリアとは異なる他の基地局エリアに在圏しているユーザ端末ＵＥの比率を表す無線ミスマッチ率が挙げられる。図１において例えばエリア２のＭＥＣホスト１１０ｍに収容されているアプリケーションのユーザ端末ＵＥのうち、他のエリア１，３に在圏しているユーザ端末ＵＥの比率（無線ミスマッチ率）が大きいほど、エリア２のＭＥＣホスト１１０ｍから再配置される候補のアプリケーションが多くなり、且つ当該再配置によってユーザ端末ＵＥの在圏エリアと収容されるＭＥＣホスト１１０ｍとのミスマッチが解消されることによりＥ２Ｅ遅延率の改善が期待できる。

例えば、係数αとして、ホスト１１０上のアプリケーションのうち、ステートレスアプリケーションの比率が挙げられる。ステートレスアプリケーションは状態の管理を行わないので、ホスト１１０におけるステートレスアプリケーションの比率が大きいほど、当該ホスト１１０において再配置によるアプリケーションサービスへの影響が少ないことが期待できる。

例えば、係数αは「ＮＵ＿ａｌｌ÷ＮＵｍ」に比例した値であってもよい。ＮＵ＿ａｌｌは、ホスト１１０に収容されているアプリケーションのユーザ端末ＵＥの総数である。ＮＵｍは、当該ホスト１１０に収容されているアプリケーションのユーザ端末ＵＥのうち、当該ホスト１１０に対応する基地局エリアとは異なる他の基地局エリアに在圏しているユーザ端末ＵＥの数である。

例えば、係数αは「ＮＡ＿ａｌｌ÷ＮＳＡ」に比例した値であってもよい。ＮＡ＿ａｌｌは、ホスト１１０上のアプリケーション総数である。ＮＳＡは、当該ホスト１１０上のステートレスアプリケーション数である。

（ステップＳ１－５） 配置計算部１６は、ステップＳ１－４で算出された各再配置候補ホストの期待再配置コストのうち最小の期待再配置コストである再配置候補ホストが再配置元ホストｈであるか否かを判断する。この判断の結果、最小の期待再配置コストである再配置候補ホストが再配置元ホストｈである場合には（ステップＳ１－５、ＹＥＳ）、ステップＳ１－２に戻り、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈから次に上位の１つの閾値超過アプリケーションｅａｐ＿ｈを抽出する。一方、最小の期待再配置コストである再配置候補ホストが再配置元ホストｈではない場合には（ステップＳ１－５、ＮＯ）、ステップＳ１－６に進む。

（ステップＳ１－６） 配置計算部１６は、最小の期待再配置コストである再配置候補ホストを、閾値超過アプリケーションｅａｐ＿ｈ（再配置対象アプリケーション）を再配置する先のホスト（再配置先ホストｈ’）に決定する。

（ステップＳ１－７） 配置計算部１６は、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈを更新する。この更新では、配置計算部１６は、ステップＳ１－６で決定された再配置（閾値超過アプリケーションｅａｐ＿ｈ（再配置対象アプリケーション）と再配置先ホストｈ’との組合せ）によって解消される閾値超過アプリケーションがあれば、当該解消される閾値超過アプリケーションを閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈから削除する。

（ステップＳ１－８） 配置計算部１６は、ステップＳ１－６で決定された再配置（閾値超過アプリケーションｅａｐ＿ｈ（再配置対象アプリケーション）と再配置先ホストｈ’との組合せ）の後に、当該再配置先ホストｈ’において閾値超過アプリケーションが発生するか否かを判断する。この判断の結果、再配置先ホストｈ’において閾値超過アプリケーションが発生する場合には（ステップＳ１－８、ＹＥＳ）、ステップＳ２へ進む。一方、再配置先ホストｈ’において閾値超過アプリケーションが発生しない場合には、ステップＳ１－２に戻り、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈから次に上位の１つの閾値超過アプリケーションｅａｐ＿ｈを抽出する。

（ステップＳ２） 新規のホスト判定型Ａｐｐ再配置処理Ｓ１０００が再帰呼び出しされた処理として実行開始される。この新規のホスト判定型Ａｐｐ再配置処理Ｓ１０００には、入力情報として、再配置先ホストｈ’が新規の再配置元ホストｈ’に指定される。したがって、この新規のホスト判定型Ａｐｐ再配置処理Ｓ１０００では、ステップＳ１－６で決定された再配置（閾値超過アプリケーションｅａｐ＿ｈ（再配置対象アプリケーション）と再配置先ホストｈ’との組合せ）における再配置先ホストｈ’が新規の再配置元ホストｈ’として再配置計算が行われる。

次いでＬｏｏｐ１処理が終了すると、ステップＳ１０へ進む。

（ステップＳ１０） 配置計算部１６は、閾値超過Ａｐｐリストｔａｐ＿ｌｉｓｔ＿ｈ内に閾値超過アプリケーションが残っているか否かを確認する。この確認の結果、閾値超過アプリケーションが残っていない場合には（ステップＳ１０、ＹＥＳ）、当該ホスト判定型Ａｐｐ再配置処理Ｓ１０００を終了する。一方、閾値超過アプリケーションが残っている場合には（ステップＳ１０、ＮＯ）、ステップＳ２０へ進む。

（ステップＳ２０） 配置計算部１６は、再配置元ホストｈに対して所定の再配置計算を実行する。この所定の再配置計算として、例えば非特許文献１に記載されたアプリケーション再配置技術を用いてもよい。非特許文献１に記載されたアプリケーション再配置技術では、再配置元ホストｈから他のホスト１１０へ再配置する再配置対象アプリケーションと再配置先ホストとの組合せを、再配置に伴う各アプリケーションのＥ２Ｅ遅延の変動と再配置によるコストとを考慮して選定する。その再配置対象アプリケーションと再配置先ホストとの組合せの候補は、再配置後において各制約条件（各処理の要求遅延、各ホストやリンクの資源容量上限）が満たされる組合せである。ステップＳ２０の後に、当該ホスト判定型Ａｐｐ再配置処理Ｓ１０００を終了する。

なお、ステップＳ２０で再配置元ホストｈに対して実行される所定の再配置計算は、非特許文献１に記載されたアプリケーション再配置技術に限定されない。当該所定の再配置計算は、再配置元ホストｈから閾値超過アプリケーションを解消するために必要な再配置（再配置対象アプリケーションと再配置先ホストとの組合せ）を決定するものであればよい。さらには、当該再配置に伴うコストを低く抑えることができることが好ましい。また、分散クラウドシステム１００全体における総合的なサービス品質が考慮されることが好ましい。

また、ステップＳ２で呼び出される再配置計算処理は、ホスト判定型Ａｐｐ再配置処理Ｓ１０００以外の再配置計算処理であってもよい。例えば非特許文献１に記載されたアプリケーション再配置技術等を用いた再配置計算処理が、ステップＳ２で呼び出されてもよい。

図５は、本実施形態に係る再配置の一例を示す説明図である。図５において、まず再配置元のＭＥＣホストＡから閾値超過アプリケーション「Ａｐｐ ａ１」が処理Ｓ１（ホスト判定型Ａｐｐ再配置処理Ｓ１０００）により再配置先のＭＥＣホストＢに再配置されることが決定される。この再配置の後の再配置先のＭＥＣホストＢでは、閾値超過アプリケーション「Ａｐｐ ｂ１」が発生することから、ＭＥＣホストＢを再配置元ホストとして処理Ｓ２（ホスト判定型Ａｐｐ再配置処理Ｓ１０００）が実行される。この処理Ｓ２によって、ＭＥＣホストＢから閾値超過アプリケーション「Ａｐｐ ｂ１」が再配置される先のホスト１１０が決定される。

図６は、本実施形態に係る再配置の一例を示す説明図である。図６にはステップＳ２０における再配置計算の結果が示される。図６において、再配置元のＭＥＣホストＡには閾値超過アプリケーション「Ａｐｐ ａ１」が残っている。このため、ステップＳ２０において、ＭＥＣホストＡの全てのアプリケーションの中から所定の選択ルールに従って選択された再配置対象アプリケーションと、当該再配置対象アプリケーションを再配置する再配置先ホストとが決定される。

以上が本実施形態に係る再配置計算方法の説明である。

次に図７、図８を参照して、本実施形態に係る制御方法の実施例を説明する。

まず図７を参照して、アプリケーションの新規配置における制御方法の実施例を説明する。図７は、本実施形態に係るアプリケーションの新規配置における制御方法の手順の例を示すフローチャートである。

制御装置１は、時刻ｔ１を初期値「ｔ１＝０」から１ずつ増加させながら、時刻ｔ１が所定の時刻になるまでループ処理を繰り返す。

（ステップＳ１０１） 制御装置１は、アプリケーション（起動要求アプリケーション）の新規配置要求が発生すると、ステップＳ１０２に処理を移行する。

（ステップＳ１０２） 制御装置１は、アプリケーションの新規配置計算の結果、起動要求アプリケーションを新規配置可能なホスト１１０が発見された場合にはステップＳ１０６へ進み、そうではない場合にはステップＳ１０３へ進む。

（ステップＳ１０３） 制御装置１は、新規アプリケーション（起動要求アプリケーション）を仮に新規配置する先のホスト１１０（仮配置先ホスト）を決定する。

（ステップＳ１０４） 制御装置１は、仮配置先ホストを再配置元ホストに指定してホスト判定型Ａｐｐ再配置処理Ｓ１０００を実行する。

（ステップＳ１０５） 制御装置１は、ホスト判定型Ａｐｐ再配置処理Ｓ１０００の実行の結果、仮配置先ホストに起動要求アプリケーションを新規配置可能である場合にはステップＳ１０９へ進み、そうではない場合にはステップＳ１１０へ進む。

（ステップＳ１０６） 制御装置１は、ステップＳ１０２で発見された起動要求アプリケーションの新規配置可能なホスト１１０において、既に配置済みのアプリケーションの中に閾値超過アプリケーションがない場合にはステップＳ１０９へ進み、そうではない場合にはステップＳ１０７へ進む。

（ステップＳ１０７） 制御装置１は、ステップＳ１０２で発見された起動要求アプリケーションの新規配置可能なホスト１１０を再配置元ホストに指定してホスト判定型Ａｐｐ再配置処理Ｓ１０００を実行する。

（ステップＳ１０８） 制御装置１は、ホスト判定型Ａｐｐ再配置処理Ｓ１０００の実行の結果、ステップＳ１０２で発見された起動要求アプリケーションの新規配置可能なホスト１１０において閾値超過アプリケーションの改善がなされる場合にはステップＳ１０９に進み、そうではない場合にはステップＳ１１０へ進む。

（ステップＳ１０９） 制御装置１は、起動要求アプリケーションの新規配置や既存アプリケーションの再配置を実行する。この後、ステップＳ１１１へ進む。

（ステップＳ１１０） 制御装置１は、既存アプリケーションの再配置を中止すると共に起動要求アプリケーションの新規配置を失敗とする。この後、ステップＳ１１１へ進む。

（ステップＳ１１１） 制御装置１は、時刻ｔ１を１増加させる。この後、ステップＳ１０１へ戻る。

次に図８を参照して、既存アプリケーションの再配置における制御方法の実施例を説明する。図８は、本実施形態に係る既存アプリケーションの再配置における制御方法の手順の例を示すフローチャートである。

制御装置１は、時刻ｔ２を初期値「ｔ２＝０」から１ずつ増加させながら、時刻ｔ２が所定の時刻になるまでループ処理を繰り返す。

（ステップＳ２０１） 制御装置１は、既存アプリケーションのＥ２Ｅ遅延率を監視する。

（ステップＳ２０２） 制御装置１は、既存アプリケーションのＥ２Ｅ遅延率が所定の閾値を超過すると、ステップＳ２０３へ処理を移行する。

（ステップＳ２０３） 制御装置１は、Ｅ２Ｅ遅延率が所定の閾値を超過した既存アプリケーション（閾値超過アプリケーション）が存在するホスト１１０を再配置元ホストに指定してホスト判定型Ａｐｐ再配置処理Ｓ１０００を実行する。

（ステップＳ２０４） 制御装置１は、ホスト判定型Ａｐｐ再配置処理Ｓ１０００の実行の結果、再配置元ホストにおいて閾値超過アプリケーションの改善がなされる場合にはステップＳ２０５に進み、そうではない場合にはステップＳ２０６へ進む。

（ステップＳ２０５） 制御装置１は、ホスト判定型Ａｐｐ再配置処理Ｓ１０００の実行の結果として得られた既存アプリケーションの再配置を実行する。この後、ステップＳ２０７へ進む。

（ステップＳ２０６） 制御装置１は、既存アプリケーションの再配置を中止する。この後、ステップＳ２０７へ進む。

（ステップＳ２０７） 制御装置１は、時刻ｔ２を１増加させる。この後、ステップＳ２０１へ戻る。

本実施形態によれば、分散クラウドシステム１００において、サービス要求遅延条件を満たさないアプリケーション（閾値超過アプリケーション）を優先的に再配置させることを考慮することによってアプリケーションの再配置に伴うコストの抑制を図ることができるという効果が得られる。

本実施形態によれば、閾値超過アプリケーションを再配置させる再配置先ホストを決定する際に、閾値超過アプリケーションを再配置するときの再配置コストＣ＿１ｓｔ（第１再配置コスト）と、当該閾値超過アプリケーションが再配置される先の再配置先ホストからアプリケーションを再配置するときの再配置コストＣ＿２ｓｔ（第２再配置コスト）とが考慮されるので、総合的な再配置コストを抑制させる効果が得られる。

本実施形態によれば、再配置候補ホストにおいて閾値超過アプリケーションを解消するために必要となる、再配置候補ホストから再配置されるアプリケーション数の期待値に基づいて、再配置候補ホストの中から再配置先ホストが選択されるので、再配置させるアプリケーション数を抑制させる効果が得られる。

なお、これにより、例えば無線ネットワークにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（SDGs）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…制御装置、１１…ユーザ端末（ＵＥ）要求受理部、１３…データベース（ＤＢ）、１４…分散クラウド情報収集部、１５…サービス品質監視部、１６…配置計算部、１７…配置制御部、１８…外部連携部、１００…分散クラウドシステム、１１０ｍ…ＭＥＣホスト、１１０ｃ…中央クラウドホスト、ＵＥ…ユーザ端末、ｇＮＢ…基地局、ＭＢＮ…モバイルバックホールネットワーク、ＭＮＷ…無線アクセス網、ＩＮＷ…インターネット

Claims (7)

1. 複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置であり、
   サービス要求遅延条件を満たさないアプリケーションである再配置対象アプリケーションを再配置する先の候補である再配置候補情報処理装置のリストを作成し、
   前記リスト内の前記再配置候補情報処理装置毎に期待再配置コストを算出し、
   前記期待再配置コストが最小である前記再配置候補情報処理装置を前記再配置対象アプリケーションの再配置先情報処理装置に決定し、
   前記再配置対象アプリケーションが再配置される前記再配置先情報処理装置においてサービス要求遅延条件を満たさないアプリケーションが発生する場合に、前記再配置先情報処理装置に配置されるアプリケーションを再配置候補アプリケーションとして前記再配置先情報処理装置から他の情報処理装置へアプリケーションを再配置するための所定の再配置計算を実行する配置計算部と、
   前記配置計算部が決定した再配置内容に基づいて、アプリケーション配置制御を実行する配置制御部と、
   を備える制御装置。
2. 前記再配置候補情報処理装置は、前記再配置対象アプリケーションが再配置された場合において、各前記情報処理装置上のアプリケーションにおけるエンドツウエンド遅延率の最大値が悪化しない情報処理装置である、
   請求項１に記載の制御装置。
3. 前記期待再配置コストは、前記再配置対象アプリケーションを再配置するときの第１再配置コストと、前記再配置候補情報処理装置上のアプリケーションを他の情報処理装置へ再配置するときの第２再配置コストと、から構成される推定値である、
   請求項１又は２のいずれか１項に記載の制御装置。
4. 前記第１再配置コストは、
   前記再配置対象アプリケーションを再配置するときの資源消費コストの変動量と、
   前記再配置対象アプリケーションの再配置の実行における所要コストと、に基づいて算出される、
   請求項３に記載の制御装置。
5. 前記第２再配置コストは、
   前記再配置候補情報処理装置に配置されるアプリケーションを他の情報処理装置へ再配置するときの資源消費コストの変動量の期待値と、
   前記再配置候補情報処理装置に配置されるアプリケーションの他の情報処理装置への再配置の実行における所要コストの期待値と、
   前記再配置候補情報処理装置で発生するサービス要求遅延条件を満たさないアプリケーションを解消させるために前記再配置候補情報処理装置から他の情報処理装置へ再配置させるアプリケーション数の期待値と、に基づいて算出される、
   請求項３又は４のいずれか１項に記載の制御装置。
6. 複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御方法であって、
   制御装置が、
   サービス要求遅延条件を満たさないアプリケーションである再配置対象アプリケーションを再配置する先の候補である再配置候補情報処理装置のリストを作成し、
   前記リスト内の前記再配置候補情報処理装置毎に期待再配置コストを算出し、
   前記期待再配置コストが最小である前記再配置候補情報処理装置を前記再配置対象アプリケーションの再配置先情報処理装置に決定し、
   前記再配置対象アプリケーションが再配置される前記再配置先情報処理装置においてサービス要求遅延条件を満たさないアプリケーションが発生する場合に、前記再配置先情報処理装置に配置されるアプリケーションを再配置候補アプリケーションとして前記再配置先情報処理装置から他の情報処理装置へアプリケーションを再配置するための所定の再配置計算を実行する配置計算ステップと、
   前記制御装置が、前記配置計算ステップで決定した再配置内容に基づいて、アプリケーション配置制御を実行する配置制御ステップと、
   を含む制御方法。
7. 複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置のコンピュータに、
   サービス要求遅延条件を満たさないアプリケーションである再配置対象アプリケーションを再配置する先の候補である再配置候補情報処理装置のリストを作成し、
   前記リスト内の前記再配置候補情報処理装置毎に期待再配置コストを算出し、
   前記期待再配置コストが最小である前記再配置候補情報処理装置を前記再配置対象アプリケーションの再配置先情報処理装置に決定し、
   前記再配置対象アプリケーションが再配置される前記再配置先情報処理装置においてサービス要求遅延条件を満たさないアプリケーションが発生する場合に、前記再配置先情報処理装置に配置されるアプリケーションを再配置候補アプリケーションとして前記再配置先情報処理装置から他の情報処理装置へアプリケーションを再配置するための所定の再配置計算を実行する配置計算ステップと、
   前記配置計算ステップで決定した再配置内容に基づいて、アプリケーション配置制御を実行する配置制御ステップと、
   を実行させるためのコンピュータプログラム。

Images