JP2020178266A - 推定プログラムの作成方法、学習用データセットの作成方法、推定装置、推定プログラム、推定方法、及び、通信品質改善システム - Google Patents

Abstract

【課題】基地局の通信品質を高い精度で改善することを可能にする。【解決手段】学習対象基地局の設定変更前後における基地局パラメータの設定情報と該設定変更前後における該学習対象基地局の通信品質の測定情報とを含む複数の学習用データを作成することと（Ｓ１１〜Ｓ１５）、前記複数の学習用データを用いて、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とに基づいて前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定する推定プログラムを作成することと（Ｓ１６〜Ｓ１７）、を含むことを特徴とする推定プログラムの作成方法である。【選択図】図７

Description

本発明は、推定プログラムの作成方法、学習用データセットの作成方法、推定装置、推定プログラム、推定方法、及び、通信品質改善システムに関するものである。

従来、移動通信の通信品質を改善する通信品質改善システムとして、基地局の設定及び運用を自動化するＳＯＮ（Self Organizing Network）と呼ばれる機能を用いる通信システムが提案されている（例えば、特許文献１参照）。この通信システムでは、複数の基地局のパラメータを管理する基地局管理装置であるＳＯＮサーバが設置され、各基地局のパラメータの設定、最適化、修復などのチューニングを行う。

特開２０１３−２５５１６３号公報

基地局の通信品質を改善するために、通信品質に影響する当該基地局のパラメータを設定変更するチューニングを行う必要があるが、従来の通信品質改善システムによるチューニングでは、当該基地局の通信品質が実際に改善される精度は不十分であった。

本発明の一態様に係る推定プログラムの作成方法は、複数の学習対象基地局それぞれの基地局パラメータの設定情報と通信品質の測定情報とを含む複数の学習用データを作成することと、前記複数の学習用データを用いて、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とに基づいて前記推定対象基地局の基地局パラメータの設定変更によるパラメータ決定用情報を推定する推定プログラムとして機能する学習済みモデルを作成することと、を含む。
前記推定プログラムの作成方法において、前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含んでもよいし、又は、前記パラメータ決定用情報は、前記推定対象基地局の目標通信品質の向上に効果を有する設定変更対象の基地局パラメータの情報と、その基地局パラメータの設定変更後の通信品質を評価する指標値とを含んでもよい。
前記推定プログラムの作成方法において、前記複数の学習用データは、前記複数の学習対象基地局それぞれについて、前記基地局パラメータの複数種類の設定情報と、前記基地局パラメータの複数種類の設定情報をそれぞれ適用したときに測定された複数の通信品質の測定情報とを含んでもよい。
前記推定プログラムの作成方法において、前記学習用データの作成に用いた前記通信品質の測定情報と、前記学習用データの作成に用いた基地局パラメータの変更後の設定情報を適用したときに測定された通信品質の測定情報とに基づいて、前記指標値を算出することと、前記指標値の算出結果を教師データとして前記学習用データに含めることと、を含んでもよい。
前記推定プログラムの作成方法において、前記複数の学習用データは、前記学習対象基地局の非常時条件下における前記基地局パラメータの設定情報及び前記通信品質の測定情報が除外されていてもよい。
前記推定プログラムの作成方法において、前記複数の学習用データに基づいて、前記推定対象基地局に設定可能な複数の基地局パラメータの中から、前記学習用データの作成及び前記指標値の推定に用いる複数の基地局パラメータを選択することを更に含んでもよい。

本発明の他の態様に係る学習用データセットの作成方法は、複数の学習対象基地局それぞれの基地局パラメータの設定情報と通信品質の測定情報とを取得することと、複数の学習対象基地局それぞれの基地局パラメータの設定情報と通信品質の測定情報とを含む複数の学習用データを生成することと、を含む。
前記学習用データセットの作成方法において、前記複数の学習用データは、前記複数の学習対象基地局それぞれについて、前記基地局パラメータの複数種類の設定情報と、前記基地局パラメータの複数種類の設定情報をそれぞれ適用したときに測定された複数の通信品質の測定情報とを含んでもよい。
前記学習用データセットの作成方法において、前記学習用データの作成に用いた前記通信品質の測定情報と、前記学習用データの作成に用いた基地局パラメータの変更後の設定情報を適用したときに測定された通信品質の測定情報とに基づいて、前記指標値を算出することと、前記指標値の算出結果を、教師データとして前記学習用データに含めることと、を含んでもよい。
前記学習用データセットの作成方法において、前記学習対象基地局の目標通信品質の向上に効果があった設定変更対象の基地局パラメータの情報を特定することと、前記学習用データの作成に用いた前記通信品質の測定情報と、前記特定した基地局パラメータの変更後の設定情報を適用したときに測定された通信品質の測定情報とに基づいて、前記指標値を算出することと、前記特定した基地局パラメータの情報と前記指標値の算出結果とを、教師データとして前記学習用データに含めることと、を含んでもよい。
前記学習用データセットの作成方法において、前記複数の学習用データは、前記学習対象基地局の非常時条件下における前記基地局パラメータの設定情報及び前記通信品質の測定情報が除外されていてもよい。
前記学習用データセットの作成方法において、前記複数の学習用データに基づいて、前記推定対象基地局に設定可能な複数の基地局パラメータの中から、前記学習用データの作成に用いる複数の基地局パラメータを選択することを、更に含んでもよい。

本発明の更に他の態様に係る推定装置は、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とを取得する取得手段と、前記取得手段が取得した前記基地局パラメータの設定情報と前記通信品質の測定情報とに基づいて、前記推定対象基地局の基地局パラメータの設定変更によるパラメータ決定用情報を推定する推定手段とを有する。
前記推定装置において、前記推定手段は、複数の学習対象基地局それぞれの基地局パラメータの設定情報と通信品質の測定情報とを含む複数の学習用データを用いて学習した学習済みモデルを、コンピュータに実行させることにより、前記パラメータ決定用情報の推定を行ってもよい。
本発明の更に他の態様に係る推定装置は、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とを取得する取得手段と、前記取得手段が取得した前記基地局パラメータの設定情報と前記通信品質の測定情報とに基づいて、前記パラメータ決定用情報の推定する推定手段とを有し、前記推定手段は、前記推定装置が行った前記指標値の推定結果を含む学習用データを用いて更に学習した学習済みモデルをコンピュータに実行させることにより、前記推定を行う。
前記推定装置において、前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含んでもよいし、又は、前記パラメータ決定用情報は、前記推定対象基地局の目標通信品質の向上に効果を有する設定変更対象の基地局パラメータの情報と、その基地局パラメータの設定変更後の通信品質を評価する指標値とを含んでもよい。

本発明の更に他の態様に係る推定プログラムは、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とに基づいて前記推定対象基地局の基地局パラメータの設定変更によるパラメータ決定用情報を推定する推定手段として、コンピュータを機能させる。
前記推定プログラムにおいて、前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含んでもよいし、又は、前記パラメータ決定用情報は、前記推定対象基地局の目標通信品質の向上に効果を有する設定変更対象の基地局パラメータの情報と、その基地局パラメータの設定変更後の通信品質を評価する指標値とを含んでもよい。
前記推定プログラムにおいて、前記推定手段は、複数の学習対象基地局それぞれの基地局パラメータの設定情報と通信品質の測定情報とを含む複数の学習用データを用いて学習した学習済みモデルを、コンピュータに実行させることにより、前記パラメータ決定用情報の推定を行ってもよい。

本発明の更に他の態様に係る推定方法は、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とを取得することと、前記基地局パラメータの設定情報と前記通信品質の測定情報とに基づいて、前記推定対象基地局の基地局パラメータの設定変更によるパラメータ決定用情報を推定することと、を含む。
前記推定方法において、前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含んでもよいし、又は、前記パラメータ決定用情報は、前記推定対象基地局の目標通信品質の向上に効果を有する設定変更対象の基地局パラメータの情報と、その基地局パラメータの設定変更後の通信品質を評価する指標値とを含んでもよい。
前記推定方法において、複数の学習対象基地局それぞれの基地局パラメータの設定情報と通信品質の測定情報とを含む複数の学習用データを用いて学習した学習済みモデルを、コンピュータに実行させることにより、前記指標値の推定を行ってもよい。

本発明の更に他の態様に係る通信品質改善システムは、移動通信の基地局の通信品質を改善する通信品質改善システムであって、前記推定装置からなる推定部と、前記推定部で推定された前記指標値に基づいて、通信品質改善対象の基地局の基地局パラメータを設定変更する設定変更部と、を有する。

本発明によれば、基地局の通信品質を高い精度で改善することが可能となる。

実施形態に係る通信システムの全体構成例を示す説明図。 同通信システムの主要構成を示す機能ブロック図。 同通信システムにおける基地局の基地局パラメータ設定変更の流れを示すフローチャート。 ニューラルネットワークを構成する１つのニューロンのモデルの一例を示す説明図。 複数層構造のニューラルネットワークの一例を示す説明図。 実施形態における学習済みモデルの作成方法を実施する推定プログラム作成システムとしての学習済みモデル作成システムの主要部を示す機能ブロック図。 同学習済みモデル作成システムにより学習済みモデルを作成する方法の流れを示すフローチャート。 （ａ）は、特異なデータを学習用データから除外する例を示す説明図。（ｂ）は、異常期間のデータを学習用データから除外する例を示す説明図。

以下、図面を参照して、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る通信品質改善システムを備える通信システムの全体構成例を示す説明図である。
本実施形態の通信システムは、マクロセル基地局３０Ａ，３０Ｂ，３０Ｃと移動局としてのユーザ装置（ＵＥ）との通信品質を管理する通信品質管理装置１０と、マクロセル基地局３０Ａ，３０Ｂ，３０Ｃの基地局パラメータの管理を行う基地局管理装置２０とを備えている。

基地局管理装置２０は、マクロセル基地局３０Ａ，３０Ｂ，３０Ｃの基地局パラメータを設定変更する機能、各マクロセル基地局３０Ａ，３０Ｂ，３０Ｃの後述する通信品質測定情報や基地局パラメータ設定情報などを収集する機能などを備えている。また、基地局管理装置２０は、後述するスモールセル基地局３５Ｂ，３５Ｃ，３６Ｃの基地局パラメータを設定変更する機能や、各スモールセル基地局３５Ｂ，３５Ｃ，３６Ｃの通信品質測定情報や基地局パラメータ設定情報などを収集する機能なども備えている。この基地局管理装置２０としては、例えばＥＭＳ（Element Management System）を利用することができ、例えばＯ＆Ｍ（Operation & Management）ネットワークを介して外部装置（ＰＣ等）からアクセス可能に構成される。

マクロセル基地局３０Ａ，３０Ｂ，３０Ｃは、移動通信網において屋外に設置されている通常の半径数百ｍ乃至数ｋｍ程度の広域エリアであるマクロセルをカバーする広域の基地局であり、「Ｍａｃｒｏ ｅ−Ｎｏｄｅ Ｂ」、「ＭｅＮＢ」等と呼ばれる場合もある。基地局管理装置２０とマクロセル基地局３０Ａ，３０Ｂ，３０Ｃとの間は、例えばＯ＆Ｍネットワークを介して通信可能に接続されている。また、マクロセル基地局３０Ａ，３０Ｂ，３０Ｃはそれぞれ、Ｏ＆Ｍネットワークとは別に、回線終端装置及び専用回線を介して移動通信網のコアネットワーク２００に接続されている。

また、基地局管理装置２０はそれぞれ、マクロセル基地局３０Ａ，３０Ｂ，３０Ｃの無線通信エリアであるマクロセル３００Ｂ，３００Ｃ内に設置されているスモールセル基地局３５Ｂ，３５Ｃ，３６Ｃの基地局パラメータについても管理している。スモールセル基地局は、広域のマクロセル基地局とは異なり、無線通信可能距離が数ｍ乃至数百ｍ程度であり、一般家庭、店舗、オフィス等の屋内にも設置することができる移動設置可能な基地局である。スモールセル基地局は、移動通信網における広域のマクロセル基地局がカバーするエリアよりも小さなエリアをカバーするように設けられるため、「フェムトセル基地局」、「マイクロセル基地局」、「ミニセル基地局」などと呼ばれたり、「Ｈｏｍｅ ｅ−Ｎｏｄｅ Ｂ」や「Ｈｏｍｅ ｅＮＢ」と呼ばれたりする場合もある。スモールセル基地局３５Ｂ，３５Ｃ，３６Ｃについても、Ｏ＆Ｍネットワークを介して基地局管理装置２０と通信可能に接続されており、また、回線終端装置及び専用回線を介して移動通信網のコアネットワーク２００にも接続されている。

スモールセル基地局３５Ｂ，３５Ｃ，３６Ｃの無線通信エリアであるセル３５０Ａ〜３５０Ｃ，３６０Ａ〜３６０Ｃはそれぞれ、そのスモールセル基地局が設置されているマクロセルと重複することになるため、マクロセル基地局とその周辺に位置するスモールセル基地局とは、互いに関連して基地局パラメータを管理することが望ましい。また、周波数帯（Ｂａｎｄ）の異なる複数の基地局による各セルが互いに重複する場合も、同様に、当該複数の基地局間では、互いに関連して基地局パラメータを管理することが望ましい。

ユーザが使用するユーザ装置（ＵＥ）などの移動局は、マクロセル３００Ａ〜３００Ｃやセル３５０Ａ〜３５０Ｃ，３６０Ａ〜３６０Ｃに在圏するときに、その在圏するセルに対応するマクロセル基地局やスモールセル基地局との間で所定の通信方式及びリソースを用いて無線通信することができる。

本実施形態の通信システムにおける通信品質管理装置１０は、Ｏ＆Ｍネットワーク４００を介して、基地局管理装置２０と通信可能に接続されている。この通信品質管理装置１０は、基地局管理装置２０を介して通信品質測定情報や基地局パラメータ設定情報を収集して取得し、取得した通信品質測定情報及び基地局パラメータ設定情報に基づいて、推定対象である基地局（１つの基地局が複数のセルを形成する場合には推定対象のセル）の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報の推定を行う推定装置としての機能を有する。

なお、図１では、基地局管理装置２０が１台だけ示されているが、基地局をグループ分けしてグループごとに基地局管理装置２０を設けてもよい。また、以下の説明では、１つの基地局が１つのセルを形成する例で説明するため、推定対象基地局はセル識別情報によって特定することができる。

図２は、本実施形態における通信システムの主要構成を示す機能ブロック図である。
以下の説明では、マクロセル基地局３０や小型基地局３５，３６については、基地局３０，３５，３６といい、符号Ａ、Ｂ、Ｃによる符号分けは省略する。

通信品質管理装置１０は、例えばＣＰＵやメモリ等を有するコンピュータ装置で構成される推定部１１と、Ｏ＆Ｍネットワーク４００に対する外部通信インターフェースとして機能するＯ＆Ｍネットワーク通信部１２と、各基地局３０，３５，３６の通信品質測定情報や基地局パラメータ設定情報を取得する情報取得部１３と、例えばＣＰＵやメモリ等を有するコンピュータ装置で構成される設定変更部１４とから構成され、コンピュータ装置が所定のプログラムを実行することにより、Ｏ＆Ｍネットワーク通信部１２を介して基地局管理装置２０から各基地局３０，３５，３６の通信品質測定情報や基地局パラメータ設定情報を取得する処理や、推定対象基地局の基地局パラメータの設定変更後における通信品質の改善を評価する指標値としての評価スコア（パラメータ決定用情報）を推定する処理や、基地局３０，３５，３６の基地局パラメータを設定変更するための処理を行う。

推定部１１は、情報取得部１３が取得した推定対象基地局の通信品質測定情報及び基地局パラメータ設定情報に基づいて、当該推定対象基地局の基地局パラメータを設定変更前のものから設定変更後のものに設定変更した場合の通信品質の改善度合いを示す評価スコア（基地局パラメータ変更前の通信品質に対する基地局パラメータ変更後の通信品質の相対値）の推定を行う推定手段として機能する。具体的には、推定対象基地局の設定変更前における通信品質測定情報及び基地局パラメータ設定情報を入力とし、後述する６種類の基地局パラメータセットＳｅｔ０〜ＳｅｔＥごとに、当該基地局パラメータセットへの設定変更後における各評価スコア（基地局パラメータ変更前の通信品質に対する基地局パラメータ変更後の通信品質の相対値）を算出する。そして、各基地局パラメータセットＳｅｔ０〜ＳｅｔＥの評価スコアに基づいて、推定対象基地局の通信品質を改善する設定変更後の基地局パラメータセットを特定（決定）し、特定した基地局パラメータセットを、当該推定対象基地局のセル識別情報に関連づけて、Ｏ＆Ｍネットワーク通信部１２からＯ＆Ｍネットワーク４００を介して基地局管理装置２０へと送信する。なお、本実施形態における設定変更後の評価スコアは、設定変更前に対する相対値であるが、絶対値であってもよい。

最適な基地局パラメータセットの特定方法としては、推定部１１を構成するコンピュータ装置によって実行されるプログラムにより、例えば、評価スコアが最も高い基地局パラメータセットを特定するという方法であってもよい。このプログラムの機能は、上述した評価スコアの推定を行う推定プログラムに付加してもよい。あるいは、この場合の各評価スコアという中間パラメータを排除し、新たに、推定対象基地局について現状の基地局パラメータセットから設定変更したときに通信品質が改善する基地局パラメータセットを基地局パラメータセットＳｅｔ０〜ＳｅｔＥの中から選定（分類）する推定プログラムを用いてもよい。

また、最適な基地局パラメータセットの特定方法としては、例えば、当該基地局についての基地局パラメータセットＳｅｔ０〜ＳｅｔＥごとの評価スコアを基地局チューニングのエンジニアに提示し、エンジニアが当該評価スコアを参考にして選定した基地局パラメータセットを最適な基地局パラメータセットとして特定するという方法であってもよい。

なお、推定部１１のコンピュータ装置が実行する推定プログラム（学習済みモデル）については、後述する。

推定対象基地局の通信品質測定情報は、セル識別情報に関連づけられている。セル識別情報は、当該推定対象基地局によって形成されるセル３００，３５６，３６０を識別するための情報である。セル識別情報は、推定対象基地局が１つのセルのみ形成するものであれば、推定対象基地局につき１つのセル識別情報が対応するため、基地局識別情報としても機能し、この場合、基地局ごとの通信品質測定情報を用いて基地局ごとの評価スコアを推定することになる。一方、推定対象基地局が２つ以上のセルを形成するものである場合、推定対象基地局につき２つ以上のセル識別情報が対応することになり、セルごとの通信品質測定情報を用いてセルごとの評価スコアを推定することになる。

推定対象基地局の通信品質測定情報は、例えば、ＰＭ（Performance Management）データ等のトラヒック測定情報を通信品質管理装置１０で集計したＫＰＩ（Key Performance Indicator）データ等の集計情報などが挙げられる。本実施形態におけるＫＰＩデータは、通信品質を示す指標であり、例えば、推定対象基地局から移動局へのダウンロード時のスループット（ＤＬスループット）、推定対象基地局に対する移動局の接続成功率や異常切断率などが挙げられる。ＫＰＩデータは、基準値に対する比率、所定期間内の合計値、最大、最小、平均などの形式で集計されたものを含む。また、ＫＰＩデータは、最繁時、日中、夜間、特定時間帯、平日、休日などの条件ごとに集計されたものを含む。

また、推定対象基地局の通信品質測定情報は、例えば、推定対象基地局の周辺に配置される周辺基地局（推定対象基地局のセルと隣接又は部分的に重複するセルを形成する基地局、マクロセル内に配置されるスモールセル基地局など）についての通信品質測定情報を含んでもよい。

なお、推定対象基地局の通信品質測定情報は、後述する推定プログラムとしての学習済みモデルを作成する学習フェーズ時に学習用データの特徴量として用いられる通信品質測定情報の一部又は全部が用いられる。

また、推定対象基地局の基地局パラメータ設定情報は、当該推定対象基地局の通信品質（ＫＰＩデータ、評価スコア等）に影響する設定変更可能な基地局パラメータの設定内容を含む情報である。このような基地局パラメータの項目は、例えば数百個という数に及ぶので、基地局パラメータ設定情報に、すべての基地局パラメータの項目の設定値を含ませると、基地局パラメータ設定情報のデータ量が増大し、推定プログラムの作成および実行にかかる処理時間が増大する。

そこで、本実施形態では、すべての基地局パラメータの項目についてそれぞれ設定可能なパラメータ値の全組み合わせの中から、あらかじめ複数の組み合わせ（基地局パラメータセット）を選定し、基地局パラメータセットの単位で、基地局パラメータの設定変更を行うようにしている。これにより、推定対象基地局の基地局パラメータの設定内容を特定するうえでは、推定対象基地局の基地局パラメータ設定情報に、推定対象基地局で設定されている基地局パラメータセットを識別できる情報が含まれていれば足りるので、基地局パラメータ設定情報のデータ量を少なく抑えることができる。

なお、本実施形態では、例えば、以下の６つの基地局パラメータセットＳｅｔ０，ＳｅｔＡ，ＳｅｔＢ，ＳｅｔＣ，ＳｅｔＤ，ＳｅｔＥを用いる。なお、ここで示す基地局パラメータセットは、一例であり、これに限らず、適宜設定することができるものである。また、当然のことながら、このような基地局パラメータセットにまとめずに、基地局パラメータのパラメータ値を選定するようにしてよい。

基地局パラメータセットＳｅｔ０は、基地局パラメータセットＳｅｔＡ，ＳｅｔＢ，ＳｅｔＣ，ＳｅｔＤ，ＳｅｔＥの基地局パラメータに対して各基地局パラメータの一般設定値（基本設定値）を設定した基地局パラメータセットである。

基地局パラメータセットＳｅｔＡは、基地局のスケジューラのアルゴリズムを設定する基地局パラメータセットである。基地局は、スケジューラのアルゴリズムに従って、基地局と移動局との通信に使用する無線リソースの割り当てを行う。ここで、基地局のスケジューラのアルゴリズムを調整することで、当該基地局における全体的な通信品質を改善することが可能である。

基地局パラメータセットＳｅｔＢは、基地局のＱｏＳ（Quality of Service）を設定する基地局パラメータセットである。基地局は、設定されたＱｏＳを満たすように移動局との通信に使用する無線リソースの割り当てを変動させる。ここで、基地局に接続している移動局の通信品質に応じてＱｏＳを調整することで、当該基地局における全体的な通信品質を改善することが可能である。

基地局パラメータセットＳｅｔＣは、基地局に接続している移動局の数に応じて移動局を別の周波数帯へ遷移させる閾値を設定する基地局パラメータセットである。ここで、基地局に接続する移動局の数を調整することで、当該基地局における全体的な通信品質を改善することが可能である。

基地局パラメータセットＳｅｔＤは、移動局が基地局に接続している状態において、移動局の無線品質に応じて移動局を別の周波数帯へ遷移させる閾値を設定する基地局パラメータセットである。ここで、基地局に接続している移動局の無線品質に応じて当該移動局が接続する周波数帯を調整することで、当該基地局における全体的な通信品質を改善することが可能である。

基地局パラメータセットＳｅｔＥは、移動局がいずれの基地局にも接続していない状態（アイドル状態）において、移動局の無線品質に応じて移動局を別の周波数帯へ遷移させる閾値を設定する基地局パラメータセットである。ここで、基地局のエリア内に存在している移動局の無線品質に応じて当該移動局が接続する周波数帯を調整することで、当該基地局における全体的な通信品質を改善することが可能である。

Ｏ＆Ｍネットワーク通信部１２は、基地局管理装置２０から送信される各基地局３０，３５，３６の通信品質測定情報や基地局パラメータ設定情報を、Ｏ＆Ｍネットワーク４００を介して、受信する機能を果たす。Ｏ＆Ｍネットワーク通信部１２で受信した通信品質測定情報や基地局パラメータ設定情報は、情報取得部１３において取得され、推定部１１へ受け渡される。また、Ｏ＆Ｍネットワーク通信部１２は、設定変更部１４の下、推定部１１によって推定された推定対象基地局の基地局パラメータセットＳｅｔ０〜ＳｅｔＥごとの評価スコアに基づいて特定される推定対象基地局についての最適な基地局パラメータセットの情報を、Ｏ＆Ｍネットワーク４００を介してＯ＆Ｍネットワーク通信部１２から基地局管理装置２０へ送信する。

情報取得部１３は、基地局管理装置２０から送信される各基地局３０，３５，３６からの通信品質測定情報や基地局パラメータ設定情報をＯ＆Ｍネットワーク通信部１２から受け取って、データベースに蓄積して収集する。収集した各基地局３０，３５，３６の通信品質測定情報や基地局パラメータ設定情報は、各基地局３０，３５，３６の基地局パラメータ設定変更時期（例えば、前回の基地局パラメータ設定変更時期から１週間経過した時期など）に合わせて管理される。

設定変更部１４は、基地局パラメータに変更のある基地局について、推定部１１が特定した最適な基地局パラメータセットへの設定変更指示情報を、Ｏ＆Ｍネットワーク通信部１２により基地局管理装置２０へ送信する。具体的には、通信品質管理装置１０の設定変更部１４は、各基地局において現在設定されている基地局パラメータセットを記憶するデータベースを有する。設定変更部１４は、推定部１１が最適な基地局パラメータセットを特定したら、このデータベースを参照して当該基地局についての現在の基地局パラメータセットと最適な基地局パラメータセットとが一致するか否かを判断する。そして、一致しない場合には、設定変更すべき基地局であると判定し、その基地局に対して特定した最適な基地局パラメータセットへの設定変更指示情報を送信するために、当該設定変更指示情報を当該基地局の管理を担当する基地局管理装置２０へ送信する。

なお、このような基地局パラメータセットを設定変更すべき基地局であるかどうかの判定処理を行わず、最適な基地局パラメータセットを基地局管理装置２０に送り、基地局管理装置２０側で当該基地局パラメータセットへの設定変更をすべきかどうかを判定するようにしてもよい。また、最適な基地局パラメータセットを当該基地局に送り、基地局側で当該基地局パラメータセットへの設定変更をすべきかどうかを判定するようにしてもよい。これらの場合、通信品質管理装置１０の設定変更部１４では、上述のようなデータベースが不要である。

基地局管理装置２０は、例えばＣＰＵやメモリ等を有するコンピュータ装置で構成され、各基地局３０，３５，３６の通信品質測定情報や基地局パラメータ設定情報を収集し通信品質管理装置１０へ送信する処理や、通信品質管理装置１０から受信した最適な基地局パラメータセットに対応する基地局パラメータ変更指示を、Ｏ＆Ｍネットワーク４００を介して、対応する基地局へ送信する処理を行う。

基地局３０，３５，３６は、例えばＣＰＵやメモリ等を有するコンピュータ装置で構成される通信制御部３１と、Ｏ＆Ｍネットワーク４００に対する外部通信インターフェースとして機能するＯ＆Ｍネットワーク通信部３２ａと、コアネットワーク２００に対する外部通信インターフェースとして機能するコアネットワーク通信部３２ｂと、移動局との間の無線通信を行う無線通信部３２ｃと、基地局パラメータなどの設定情報や通信品質測定情報についての測定結果などのデータ、各種プログラムなどを記憶する記憶部３３とから構成され、コンピュータ装置が所定のプログラムを実行することにより、基地局パラメータ設定変更処理などの各種処理を実行したり、移動局との間の無線通信を行ったりする。

通信制御部３１は、Ｏ＆Ｍネットワーク通信部３２ａ、コアネットワーク通信部３２ｂ及び無線通信部３２ｃによるそれぞれの通信の制御を行う。また、通信制御部３１は、Ｏ＆Ｍネットワーク通信部３２ａで基地局管理装置２０から基地局パラメータの変更指示を受信したとき、記憶部３３に記憶されている各基地局パラメータの設定値を、当該最適な基地局パラメータセットによる設定値に書き換える基地局パラメータ設定変更処理を実行する。これにより、通信制御部３１は、書き換え後（設定変更後）の基地局パラメータに基づいて無線通信部３２ｃを制御し、最適な基地局パラメータセットに対応する無線通信が移動局との間で行われる。

また、通信制御部３１は、基地局管理装置２０からの要求等に応じて、記憶部３３に記憶した通信品質測定情報及び基地局パラメータ設定情報（現在の基地局パラメータセットなど）を、Ｏ＆Ｍネットワーク通信部３２ａからＯ＆Ｍネットワーク４００を介して、基地局管理装置２０へ送信する。

Ｏ＆Ｍネットワーク通信部３２ａは、記憶部３３に記憶されている通信品質測定情報や基地局パラメータ設定情報を、Ｏ＆Ｍネットワーク４００を介して、基地局管理装置２０へ送信する。また、Ｏ＆Ｍネットワーク通信部３２ａは、Ｏ＆Ｍネットワーク４００を介して、基地局管理装置２０から送信される最適な基地局パラメータセットを、Ｏ＆Ｍネットワーク４００を介して受信し、通信制御部３１へ受け渡す。

コアネットワーク通信部３２ｂは、無線通信部３２ｃにより無線通信する移動局とコアネットワーク２００との間の通信データを中継する。
無線通信部３２ｃは、移動局との間の無線通信を行う。
記憶部３３は、通信制御部３１により行われたＰＭデータ等の通信品質測定情報を記憶する。

図３は、本実施形態の通信システムにおける基地局の基地局パラメータ設定変更の流れを示すフローチャートである。
なお、本実施形態では、例えば１週間ごとに、各基地局の基地局パラメータの設定変更を行うという例で説明する。

各基地局３０，３５，３６では、継続的に、自らの基地局におけるＰＭデータ等の通信品質測定情報についての測定を実施し、その結果である通信品質測定情報を記憶部３３に記憶する処理を実施する。そして、各基地局３０，３５，３６は、基地局管理装置２０からの要求や所定のタイムスケジュールに応じて、記憶部３３に記憶した通信品質測定情報や基地局パラメータ設定情報（現在の基地局パラメータセットなど）を、Ｏ＆Ｍネットワーク４００を介して基地局管理装置２０へ送信し、基地局管理装置２０から通信品質管理装置１０へ送信されて、通信品質管理装置１０の情報取得部１３で取得する（Ｓ１）。

通信品質管理装置１０の推定部１１は、コンピュータ装置により推定プログラムを実行することで、これから評価スコアの推定を行う基地局（推定対象基地局）について、情報取得部１３が取得した当該推定対象基地局の通信品質測定情報（これを演算、加工したデータを含む。）及び基地局パラメータ設定情報を入力とし、現状の基地局パラメータセットから各基地局パラメータセットＳｅｔ０〜ＳｅｔＥへ設定変更したときの各評価スコア（パラメータ決定用情報）をそれぞれ算出（推定）する（Ｓ２）。この評価スコアの算出（推定）については、後述する学習フェーズにおいて、設定変更前後における基地局の基地局パラメータ設定情報と当該設定変更前後における当該基地局の通信品質測定情報とを含む複数の学習用データで構成される学習用データセットを用いて学習した学習済みモデル（推定プログラム）をコンピュータに実行させることにより実施される。

通信品質管理装置１０の推定部１１は、このようにして算出（推定）された推定対象基地局における現状の基地局パラメータセットから各基地局パラメータセットＳｅｔ０〜ＳｅｔＥへ設定変更したときの各評価スコアに基づき、当該推定対象基地局についての最適な基地局パラメータセットを特定する（Ｓ３）。この特定方法については、上述したように、推定部１１を構成するコンピュータ装置によって実行されるプログラムに従って特定する方法であってもよいし、基地局チューニングのエンジニアが当該評価スコアを参考にして選定した結果によって特定するという方法であってもよい。

その後、通信品質管理装置１０の設定変更部１４は、当該推定対象基地局について、データベースを参照して、推定部１１が特定した最適な基地局パラメータセットと現在の基地局パラメータセットとが一致するか否かを判断する（Ｓ４）。この判断において、一致しない場合には、設定変更を要する基地局であると判定し（Ｓ４のＹｅｓ）、当該推定対象基地局における最適な基地局パラメータセットへの設定変更指示情報を、コアネットワーク２００を介して、基地局管理装置２０へ送信する。これを受信した基地局管理装置２０の設定変更部２１は、当該推定対象基地局に対し、当該最適な基地局パラメータセットへの設定変更指示情報を送信する（Ｓ５）。一方、一致する場合には、設定変更を要しない基地局であると判定し（Ｓ４のＮｏ）、当該推定対象基地局についての基地局パラメータ設定変更は行わない。

推定対象基地局は、基地局管理装置２０からの最適な基地局パラメータセットを受信すると（Ｓ６）、記憶部３３に記憶されている各基地局パラメータの設定値を、当該最適な基地局パラメータセットによる設定値に書き換える基地局パラメータ設定変更処理を実行する（Ｓ７）。これにより、推定対象基地局の通信制御部３１は、書き換え後（設定変更後）の基地局パラメータに基づいて無線通信部３２ｃを制御し、最適な基地局パラメータセットに対応する無線通信が移動局との間で行われる。

以上、本実施形態における通信システムによれば、通信品質管理装置１０により推定される評価スコアによって、現状の基地局パラメータセットから各基地局パラメータセットＳｅｔ０〜ＳｅｔＥへ設定変更したときの通信品質を高精度で把握することができる。よって、この評価スコアに基づいて特定される最適な基地局パラメータセットに設定変更することで、当該基地局と移動局との無線通信品質を高い確度で改善することができる。

なお、本実施形態においては、通信品質管理装置の推定部１１において、推定対象基地局について現状の基地局パラメータセットから各基地局パラメータセットＳｅｔ０〜ＳｅｔＥへ設定変更したときの各評価スコア（パラメータ決定用情報）をそれぞれ算出（推定）し、かつ、その評価スコアに基づいて最適な基地局パラメータセットを特定（決定）するというものであるが、この最適な基地局パラメータセットの特定（決定）を行う機能を、基地局管理装置２０などの他の装置に持たせてもよい。

次に、本実施形態における通信品質管理装置１０の推定部１１においてコンピュータ装置に実行される推定プログラムとしての学習済みモデルの作成方法について、説明する。
本実施形態における学習済みモデルは、推定対象基地局の基地局パラメータセットの設定変更後における評価スコア（推定対象基地局の設定変更後における通信品質を評価する指標値）を推定するものである。そのため、本実施形態では、設定変更前後における学習対象基地局の基地局パラメータ設定情報と当該設定変更前後における当該学習対象基地局の通信品質測定情報とから複数の学習用データを作成し、これらの学習用データを含んで構成される学習用データセットを用いてモデルに学習させることにより、上述した学習済みモデルを作成する。

すなわち、本実施形態の学習済みモデルの作成に用いる学習用データセットとしては、ある学習対象基地局について、設定変更前の基地局パラメータセットで通信したときの通信品質測定情報を計測し、次に設定変更後の基地局パラメータセットで通信したときの通信品質測定情報を計測し、どのような通信状況（設定変更前の通信品質測定情報）における学習対象基地局がどの基地局パラメータセットからどの基地局パラメータセットへ変更したときにどのように通信品質（設定変更後の通信品質測定情報）が改善したか又は低下したかを示す複数の学習用データを用いるものである。

そして、本実施形態では、このような学習用データセットを用いて、所定のモデルに対して教師あり学習を行わせることで、未知の推定対象基地局についての基地局パラメータ設定情報及び通信品質測定情報、あるいは、既知の推定対象基地局についての未知の基地局パラメータ設定情報及び通信品質測定情報の入力に受けたときに、学習用データセットから学習済みモデルが学習した特徴に従って当該推定対象基地局を分類し、当該推定対象基地局の現状の基地局パラメータセットから各基地局パラメータセットへ設定変更したときの評価スコアを推定結果として出力する学習済みモデルを得ることができる。なお、本実施形態では、所定のモデルとしては、ニューラルネットワークモデルを採用するが、他の機械学習モデルを使用することも可能である。本実施形態の教師あり学習では、設定変更後における通信品質の改善度合いを示す評価スコアを正解データとして用いる。

「教師あり学習」では、一般に、ある入力データと結果データ（正解データ）の組を大量に機械学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル、すなわち、その関係性を帰納的に獲得することができる。これは、後述のニューラルネットワークやＳＶＭ（Support Vector Machine）などのアルゴリズムを用いて実現することができる。

ニューラルネットワークは、例えば、図４に示すようなニューロンのモデルを模したニューラルネットワークを実現する演算装置及びメモリ等で構成される。図４に示すように、ニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３としているが、その入力数は、より少ない数でもよいし、より多くの数でもよい。）に対する出力ｙを出力するものである。各入力ｘ１〜ｘ３には、それぞれの入力ｘに対応する重みＷ（Ｗ１〜Ｗ３）が乗算される。これにより、ニューロンは、次の式（１）により表現される出力ｙを出力する。なお、式（１）において、θはバイアスであり、ｆ_ｋは活性化関数である。

ｙ ＝ ｆ_ｋ｛Σ（Ｗ×ｘ）−θ｝ ・・・（１）

ニューラルネットワークの動作には、学習モードと評価モードとがあり、学習モードでは学習用データセットを用いて重みＷを学習し、評価モードではその重みＷを用いて評価用データの入力に対する出力（本実施形態では評価スコア）を得る。なお、学習モードは、実際に通信品質管理装置１０の推定部１１において学習済みモデルとして稼働させた状態で得られる各基地局の基地局パラメータ設定情報（基地局パラメータセット）及び通信品質測定情報を学習用データとして学習に利用し、その後の推定部１１における評価スコアの推測に反映させるようにすることも含まれる。

重みＷ１〜Ｗ３は、誤差逆伝搬法（バックプロパゲーション）等により学習可能である。誤差逆伝搬法は、入力ｘが入力されたときの出力ｙと正解の出力ｙ（正解データ）との差分を小さくするように、各ニューロンについての重みを調整（学習）する手法である。

ニューラルネットワークは、図５に示すように、深層学習あるいはディープラーニングを呼ばれる複数層構造にすることが可能である。図５の例は、中間層（隠れ層）が３層構造になっている例である。各層は複数のノード（ニューロン）で構成され、各層間のノードはそれぞれ異なる重みＷで連結されている。入力層に投入された入力ｘ１〜ｘ６は、重みＷの異なる中間層内のノードを通過する中で、入力ｘ１〜ｘ６が重みＷによって重み付けされながら合成され、出力層を通過して出力ｙを導出する。

本実施形態では、図５に示すような複数層構造のニューラルネットワークからなるニューラルネットワークモデルを用いることができる。本実施形態では、設定変更前後における基地局の基地局パラメータ設定情報（基地局パラメータセット）と当該設定変更前後における当該基地局の通信品質測定情報とから得られる複数の学習用データを含んで構成される学習用データセットを用い、これに、設定変更後における通信品質の改善度合いを示す評価スコアを正解データとして用いて、教師あり学習をさせることにより、学習済みモデルを作成する。

図６は、本実施形態における学習済みモデルの作成方法を実施する推定プログラム作成システムとしての学習済みモデル作成システムの主要部を示す機能ブロック図である。
図７は、本実施形態において、学習済みモデル作成システムにより学習済みモデルを作成する方法の流れを示すフローチャートである。

本実施形態の学習済みモデル作成システム４０は、図６に示すように、主に、学習用データの元になる元データを収集して蓄積するデータ収集蓄積部４１と、データ収集蓄積部で蓄積された元データから学習用データセットを作成する学習用データセット作成部４２と、学習用データセット作成部で作成された学習用データセットを用いてモデルに学習させて学習済みモデルを作成する学習部４３とから構成される。本実施形態では、学習済みモデル作成システム４０のこれらの機能部は、単一の学習済みモデル作成装置に組み込まれているが、その一部の機能部を他の装置（例えば基地局管理装置２０など）に組み込んでもよい。

データ収集蓄積部４１は、本実施形態の通信システムを利用し、特定地域に分布する各基地局（学習対象基地局とその周辺基地局）の通信品質測定情報や基地局パラメータ設定情報を、基地局管理装置２０を介して取得する。基地局管理装置２０は、上述したように、情報収集部２３において、各基地局からの通信品質測定情報や基地局パラメータ設定情報を、データベースに蓄積して収集しているので、このデータベースに蓄積されている特定地域における各基地局の通信品質測定情報や基地局パラメータ設定情報を、学習用データの元になる元データとして収集し、蓄積する（Ｓ１１）。

ここで、学習用データのために収集蓄積する元データは、学習効率を向上させるため、予め決められた特定の方法で収集蓄積するのが好ましい。例えば、本実施形態では、周辺基地局の基地局パラメータセットを固定したまま、学習対象基地局に対し、予め決められた手順で基地局パラメータセットＳｅｔ０〜ＳｅｔＥを一定期間ごとに切り替え、それぞれの通信品質測定情報を取得するという収集蓄積方法を採用している。具体的には、学習対象基地局の基地局パラメータセットを基地局パラメータセットＳｅｔ０に設定し、その後一定期間の通信品質測定情報を測定して、通信品質測定情報を収集、蓄積する。次に、学習対象基地局の基地局パラメータセットを基地局パラメータセットＳｅｔＡに設定変更し、その後一定期間の通信品質測定情報を測定して、通信品質測定情報を収集、蓄積する。次の期間は、基地局パラメータセットＳｅｔＢに設定変更し、その次の期間は、基地局パラメータセットＳｅｔＣに設定変更し、その次の期間は、基地局パラメータセットＳｅｔＤに設定変更し、その次の期間は、基地局パラメータセットＳｅｔＥに設定変更し、それぞれの通信品質測定情報を測定して、通信品質測定情報を収集、蓄積する。

下記の表１に、学習用データのために収集蓄積する元データの一例を示す。下記の表１において、セルＩＤが１００番台のデータは、学習対象基地局の基地局パラメータ設定情報及び通信品質測定情報であり、セルＩＤが９００番台のデータは、それぞれの学習対象基地局に対応する周辺基地局の基地局パラメータ設定情報及び通信品質測定情報である。

学習用データセット作成部４２は、データ収集蓄積部４１で蓄積された元データから学習用データセットを作成する。本実施形態の学習用データセットを構成する各学習用データは、上述したように、設定変更前後における基地局の基地局パラメータ設定情報（基地局パラメータセット）と、当該設定変更前後における当該基地局の通信品質測定情報（各種ＰＭデータ、各種ＫＰＩデータなど）と、設定変更後における通信品質の改善度合いを示す評価スコア（正解データ）とを含む。

具体的には、まず、前処理として、非常時条件下における基地局の基地局パラメータ設定情報及び通信品質測定情報を除外するデータクレンジング処理を実施する（Ｓ１２）。本実施形態は、推定対象基地局のセルが形成される地域が平常時であるときの通信品質を改善することを目的とするものであるため、非常時条件下での基地局パラメータ設定情報及び通信品質測定情報を学習用データから除外して、評価スコアの推定精度（ひいては最適な基地局パラメータセットの推定精度）を高めるものである。

例えば、基地局のセルが形成される地域で、平常時よりも人が集中する一時的なイベントが開催された場合や、事故などの異常事態が発生した場合などには、ＫＰＩデータ等の通信品質測定情報が平常時とは大きく異なる結果を示すので、当該イベントの影響を受けた期間についての当該基地局の基地局パラメータ設定情報及び通信品質測定情報を学習用データから除外する。また、例えば、基地局パラメータの設定変更や基地局の構成変更などが期間途中で行われた場合や、基地局の近隣に新たな基地局が期間途中に設置された場合などには、ＫＰＩデータ等の通信品質測定情報が構成変更の前後で大きく異なる結果を示すので、当該構成変更を行った時点以降の期間における当該基地局の基地局パラメータ設定情報及び通信品質測定情報を学習用データから除外する。

下記の表２は、前記表１の例において、ＫＰＩ０２の通信品質測定情報が異常値（＝２０）を示すデータや、ＫＰＩ０３の通信品質測定情報が異常値（＝０．０１）を示すデータを除外する例を示すものである。

このようなデータクレンジング処理は、オペレータによる指示入力に応じて実行することも可能であるが、元データを分析することで、除外すべき基地局パラメータ設定情報及び通信品質測定情報を選定して除外することも可能である。例えば、図８（ａ）に示すセルＡのように、突出したデータ（特異なデータ）を、例えばＫ近傍法などにより抽出して除外するという処理が可能である。また、図８（ｂ）に示すセルＢのように、例えば特異スペクトル変換法などにより急激な変化を示した後の異常期間を抽出して除外するという処理も可能である。

次に、蓄積した元データの項目から、学習用データに用いる特徴量を作成する（Ｓ１３）。元データの全項目を学習用データの特徴量の作成に用いてもよいが、元データの項目数は多いため、作成される学習済みモデルの処理時間を短縮するためにも、項目数を減らして特徴量を作成するのが好ましい。特徴量の作成は、蓄積した元データの項目の中から、推定結果にほとんど影響を及ぼさないような項目を除外したり、複数の項目をまとめて集計値や統計値に変換したりすることにより行うのが良い。本実施形態では、元データの項目が約１万個弱であったところ、学習用データとして用いる特徴量は数百個程度まで減らすことが可能である。

下記の表３に、前記表２の例から作成される特徴量の一例を示す。

このようにして特徴量を作成したら、次に、各学習対象基地局についての設定変更前後における通信品質の改善を評価する評価スコアを算出する（Ｓ１４）。

本実施形態における評価スコアは、設定変更前の通信パラメータ基地局パラメータセットで通信したときの通信品質測定情報から算出される通信品質スコアから、設定変更後の通信パラメータ基地局パラメータセットで通信したときの通信品質測定情報から算出される通信品質スコアへの変化量に基づいて算出される。

詳しくは、本実施形態においては、改善すべき通信品質の指標として、例えば、基地局から移動局へのダウンロード時のスループット（ＤＬスループット）を採用する。そして、学習対象基地局のＤＬスループットの情報（通信品質測定情報）を用いて基地局パラメータセットごとの通信品質スコアを算出する。なお、これに限らず、例えば、学習対象基地局に対する移動局の接続成功率及び異常切断率の情報（通信品質測定情報）を用いて、基地局パラメータセットごとの通信品質スコアを算出してもよい。

通信品質スコアは、ゼロ以上の値をとるように算出されているため、通信品質の最低評価時における通信品質スコアはゼロであり、通信品質に応じてより大きな数値をとるものである。

通信品質スコアの算出に用いられるＤＬスループットの情報には、例えば、前回の基地局パラメータ設定変更時期から今回の基地局パラメータ設定変更時期までの期間（現在の基地局パラメータセットの設定が使用されている期間）におけるＤＬスループットの測定結果についての残差平方和を用いることができる。そして、設定変更前後における通信品質スコアの残差平方和の変化量を算出し、その算出結果を自局評価スコアＡとして用いることができる。

更に、本実施形態においては、当該基地局に関する自局評価スコアＡだけでなく、周辺基地局に関する周辺局評価スコアＡ'も考慮に加えて、当該基地局についての基地局パラメータセットごとの最終的な評価スコアＺを算出する。なお、周辺局評価スコアＡ'の算出方法は、自局評価スコアＡと同様のものを用いることができる。最終的な評価スコアＺは、自局評価スコアＡと周辺局評価スコアＡ'がそれぞれ適切に考慮される計算式を用いて算出される。例えば、自局評価スコアＡと周辺局評価スコアＡ'にそれぞれ適切な係数を乗じて足し合わせることで、評価スコアＺを算出することができる。

下記の表４に、前記表２の例から算出される評価スコアの一例を示す。

なお、以上のような本実施形態における評価スコアの算出方法は、一例であり、これに限らず、種々の算出方法を利用することができる。

以上のようにして、評価スコアＺを算出したら、作成された特徴量と評価スコアとからなる学習用データが作成され、全学習対象基地局についての設定変更前後に関する学習用データからなる学習用データセットが生成（作成）される（Ｓ１５）。

下記の表５に、前記表３及び前記表４の例から得られる学習用データセットの一例を示す。

次に、このようにして生成された学習用データセットを用いて学習済みモデルの作成（学習モード）を試行し、パラメータチューニングを実行する（Ｓ１６）。ここでのパラメータとは、学習済みモデルを作成するプログラムを実行する際に設定する設定値や制限値（ハイパーパラメータ）などをいう。パラメータチューニングは、例えば、モデルが最適解を出せるパラメータを走査して設定する作業である。パラメータチューニングの種類としては、グリッドサーチ法やランダムサーチ法などがあり、これらを用いることができる。

次に、以上のようなパラメータチューニングを終えて得られる学習済みモデルに対し、モデル評価を行う（Ｓ１７）。このモデル評価には、例えば、クロスバリデーションやホールドアウト法などを用いることができる。本実施形態においては、ホールドアウト法とクロスバリデーションを併用してモデル評価を行う。

具体的には、ホールドアウト法では、元データを、事前に、学習モードで使用する学習データと、評価モードで使用するテストデータとに分割しておき、学習データだけを用いて学習済みモデルの作成を試行する。その後、作成した学習済みモデルにテストデータを入力し、その出力結果と当該テストデータの正解データとの比較（誤差＝推定精度）を行ってモデル評価を行う。

また、クロスバリデーションでは、元データを例えば５グループに分け、１回目は、そのうちの１つのグループをテストデータとし、それ以外のグループを学習データとして、学習済みモデルの作成とモデル評価を行う。２回目は、１回目とは異なるグループをテストデータとし、３回目は１回目及び２回目とは異なるグループをテストデータとして、同様に学習済みモデルの作成とモデル評価を行う。これを５グループすべてについて行い、各回で評価したモデル評価（推定精度）の平均を取る。

下記の表６には、前記表５の例の学習用データセットによって学習された学習済みモデルを推定プログラムとしてコンピュータ装置に実行させて、推定対象基地局の基地局パラメータセットを各基地局パラメータセットＳｅｔ０〜ＳｅｔＥへそれぞれ設定変更したときの各評価スコアを推定する場合の入力データ（説明変数）と出力データ（予測値）との一例を示す。

なお、本実施形態においては、推定対象基地局について現状の基地局パラメータセットから各基地局パラメータセットＳｅｔ０〜ＳｅｔＥへ設定変更したときの各評価スコア（パラメータ決定用情報）をそれぞれ算出（推定）する推定プログラム（学習済みモデル）を作成する例であるが、上述したように、このように算出される各評価スコアに基づいて最適な基地局パラメータセットを特定（決定）するという機能（例えば、評価スコアが最も高い基地局パラメータセットを特定する）も含む推定プログラム（学習済みモデル）を作成することもできる。あるいは、各評価スコアという中間パラメータを排除し、新たに、推定対象基地局について現状の基地局パラメータセットから設定変更したときに通信品質が改善する基地局パラメータセットを基地局パラメータセットＳｅｔ０〜ＳｅｔＥの中から選定（分類）する推定プログラムを作成することもできる。

また、本実施形態の推定プログラム（学習済みモデル）を蒸留して、新たに同様の機能を備えた推定プログラム（蒸留モデル）を作成することもできる。具体的には、本実施形態の推定プログラム（学習済みモデル）に対し、蒸留用入力データとして、設定変更前後における基地局パラメータ設定情報と当該設定変更前後における通信品質測定情報とを入力し、その評価スコアを出力させる。そして、出力された評価スコアを蒸留用入力データの正解データとした蒸留用の学習用データのセットを作成し、この蒸留用の学習用データセットを用いてモデルに学習させることにより、本実施形態の推定プログラム（学習済みモデル）と同様の機能を備えた新たな推定プログラム（蒸留モデル）を作成する。このようにして作成される新たな推定プログラム（蒸留モデル）は、一般に、本実施形態の推定プログラム（学習済みモデル）よりも軽量化される。また、蒸留用入力データを工夫するなどすることで、本実施形態の推定プログラム（学習済みモデル）よりも推定精度を高めることも可能である。

本実施形態の推定プログラム（学習済みモデル）を用いた通信システムにおいては、その運用後においても、各基地局から、設定変更前後における通信品質測定情報及び基地局パラメータ設定情報が収集される。したがって、このようにして収集される通信品質測定情報及び基地局パラメータ設定情報を利用して、作成済みの推定プログラム（学習済みモデル）に再学習させ、推定精度の向上等を図った新たな推定プログラム（派生モデル）を作成するようにしてもよい。

なお、本明細書で説明された処理工程並びに通信システム、通信品質管理装置、基地局管理装置、基地局及び移動局（ＵＥなど）、学習済みモデル作成システム等の構成要素は、様々な手段によって実装することができる。例えば、これらの工程及び構成要素は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよい。

ハードウェア実装については、実体（例えば、各種無線通信装置、eＮｏｄｅＢやｇＮｏｄｅ等の各種基地局装置、ハードディスクドライブ装置、又は、光ディスクドライブ装置）において前記工程及び構成要素を実現するために用いられる処理ユニット等の手段は、１つ又は複数の、特定用途向けＩＣ（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。

また、ファームウェア及び／又はソフトウェア実装については、前記構成要素を実現するために用いられる各部は、本明細書で説明された機能を実行するプログラム（例えば、プロシージャ、関数、モジュール、インストラクション、などのコード）で実装されてもよい。一般に、ファームウェア及び／又はソフトウェアのコードを明確に具体化する任意のコンピュータ／プロセッサ読み取り可能な媒体が、本明細書で説明された前記工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び／又はソフトウェアコードは、例えば制御装置や記憶装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び／又はソフトウェアコードは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、フロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、１又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。

また、前記媒体は非一時的な記録媒体であってもよい。また、前記プログラムのコードは、コンピュータ、プロセッサ、又は他のデバイス若しくは装置機械で読み込んで実行可能であれよく、その形式は特定の形式に限定されない。例えば、前記プログラムのコードは、ソースコード、オブジェクトコード及びバイナリコードのいずれでもよく、また、それらのコードの２以上が混在したものであってもよい。

また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。

１０ ：通信品質管理装置
１１ ：推定部
１２ ：Ｏ＆Ｍネットワーク通信部
１３ ：情報取得部
１４ ：設定変更部
２０ ：基地局管理装置
３０，３５，３６：基地局
３１ ：通信制御部
３２ａ ：Ｏ＆Ｍネットワーク通信部
３２ｂ ：コアネットワーク通信部
３２ｃ ：無線通信部
３３ ：記憶部
４０ ：学習済みモデル作成システム
４１ ：データ収集蓄積部
４２ ：学習用データセット作成部
４３ ：学習部
２００ ：コアネットワーク
３００，３５０，３６０：セル
４００ ：Ｏ＆Ｍネットワーク

Claims (26)

1. 学習対象基地局の設定変更前後における基地局パラメータの設定情報と該設定変更前後における該学習対象基地局の通信品質の測定情報とを含む複数の学習用データを作成することと、
   前記複数の学習用データを用いて、推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とに基づいて前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定する推定プログラムを作成することと、
   を含むことを特徴とする推定プログラムの作成方法。
2. 請求項１に記載の推定プログラムの作成方法において、
   前記複数の学習用データは、正解データとして、前記学習対象基地局の基地局パラメータの設定変更後における通信品質を評価する指標値を含み、
   前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含むことを特徴とする推定プログラムの作成方法。
3. 請求項２に記載の推定プログラムの作成方法において、
   前記指標値は、設定変更前の前記通信品質の測定情報と、設定変更後の前記通信品質の測定情報とに基づいて、算出されることを特徴とする推定プログラムの作成方法。
4. 請求項１乃至３のいずれかに記載の推定プログラムの作成方法において、
   前記複数の学習用データは、同一の学習対象基地局についての前記基地局パラメータの互いに異なる設定情報とそれぞれの設定情報を適用したときに測定された通信品質の測定情報とを含む、及び／又は、複数の学習対象基地局についての前記基地局パラメータの設定情報とその設定情報を適用したときに測定された通信品質の測定情報とを含む、ことを特徴とする推定プログラムの作成方法。
5. 請求項１乃至４のいずれか１項に記載の推定プログラムの作成方法において、
   前記複数の学習用データは、前記学習対象基地局の非常時条件下における前記基地局パラメータの設定情報及び前記通信品質の測定情報が除外されていることを特徴とする推定プログラムの作成方法。
6. 請求項１乃至５のいずれか１項に記載の推定プログラムの作成方法において、
   前記学習用データの作成に用いる複数の基地局パラメータは、前記推定対象基地局に設定可能な複数の基地局パラメータの中から一部の基地局パラメータを選択したものであることを特徴とする推定プログラムの作成方法。
7. 学習対象基地局の設定変更前後における基地局パラメータの設定情報と該設定変更前後における該学習対象基地局の通信品質の測定情報とを取得することと、
   推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とに基づいて前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定する推定プログラムの作成に用いる複数の学習用データとして、取得した前記基地局パラメータの設定情報と前記通信品質の測定情報とを含む複数の学習用データを生成することと、
   を含むことを特徴とする学習用データセットの作成方法。
8. 請求項７に記載の学習用データセットの作成方法において、
   前記複数の学習用データは、同一の学習対象基地局についての前記基地局パラメータの互いに異なる設定情報とそれぞれの設定情報を適用したときに測定された通信品質の測定情報とを含む、及び／又は、複数の学習対象基地局についての前記基地局パラメータの設定情報とその設定情報を適用したときに測定された通信品質の測定情報とを含む、ことを特徴とする学習用データセットの作成方法。
9. 請求項７又は８に記載の学習用データセットの作成方法において、
   前記複数の学習用データは、正解データとして、前記学習対象基地局の基地局パラメータの設定変更後における通信品質を評価する指標値を含むことを特徴とする学習用データセットの作成方法。
10. 請求項９に記載の学習用データセットの作成方法において、
    前記指標値は、設定変更前における前記学習対象基地局の前記通信品質の測定情報と、設定変更後における前記学習対象基地局の前記通信品質の測定情報とに基づいて、算出されることを特徴とする学習用データセットの作成方法。
11. 請求項７乃至１０のいずれか１項に記載の学習用データセットの作成方法において、
    前記複数の学習用データは、前記学習対象基地局の非常時条件下における前記基地局パラメータの設定情報及び前記通信品質の測定情報が除外されていることを特徴とする学習用データセットの作成方法。
12. 請求項７乃至１１のいずれか１項に記載の学習用データセットの作成方法において、
    前記学習用データの作成に用いる複数の基地局パラメータは、前記推定対象基地局に設定可能な複数の基地局パラメータの中から一部の基地局パラメータを選択したものであることを特徴とする学習用データセットの作成方法。
13. 推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とを取得する取得手段と、
    前記取得手段が取得した前記基地局パラメータの設定情報と前記通信品質の測定情報とに基づいて、前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定する推定手段とを有することを特徴とする推定装置。
14. 請求項１３に記載の推定装置において、
    前記推定手段は、学習対象基地局の設定変更前後における基地局パラメータの設定情報と該設定変更前後における該学習対象基地局の通信品質の測定情報とを含む複数の学習用データを用いて学習した推定プログラムを、コンピュータに実行させることにより、前記推定を行うことを特徴とする推定装置。
15. 推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とを取得する取得手段と、
    前記取得手段が取得した前記基地局パラメータの設定情報と前記通信品質の測定情報とに基づいて、前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定する推定手段とを有し、
    前記推定手段は、請求項１３又は１４に記載の推定装置が行った推定の結果を正解データとし、該推定時の入力情報を学習用データを用いて学習した推定プログラムを、コンピュータに実行させることにより、前記推定を行うことを特徴とする推定装置。
16. 請求項１３乃至１５のいずれか１項に記載の推定装置において、
    前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含むことを特徴とする推定装置。
17. 請求項１６に記載の推定装置において、
    前記指標値は、設定変更前の前記通信品質の測定情報と、設定変更後の前記通信品質の測定情報とに基づいて、算出されることを特徴とする推定装置。
18. 推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とに基づいて、前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定する推定手段として、コンピュータを機能させることを特徴とする推定プログラム。
19. 請求項１８に記載の推定プログラムにおいて、
    前記推定手段は、学習対象基地局の設定変更前後における基地局パラメータの設定情報と該設定変更前後における該学習対象基地局の通信品質の測定情報とを含む複数の学習用データを用いて学習した学習済みモデルを、コンピュータに実行させることにより、前記推定を行うことを特徴とする推定装置。
20. 請求項１８又は１９に記載の推定プログラムにおいて、
    前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含むことを特徴とする推定プログラム。
21. 請求項２０に記載の推定プログラムにおいて、
    前記指標値は、設定変更前の前記通信品質の測定情報と、設定変更後の前記通信品質の測定情報とに基づいて、算出されることを特徴とする推定プログラム。
22. 推定対象基地局の基地局パラメータの設定情報と通信品質の測定情報とを取得することと、
    取得した前記基地局パラメータの設定情報と前記通信品質の測定情報とに基づいて、前記推定対象基地局の通信品質を改善する設定変更後の基地局パラメータの設定情報を決定するためのパラメータ決定用情報又は該設定変更後の基地局パラメータの設定情報を推定することと、を含むことを特徴とする推定方法。
23. 請求項２２に記載の推定方法において、
    学習対象基地局の設定変更前後における基地局パラメータの設定情報と該設定変更前後における該学習対象基地局の通信品質の測定情報とを含む複数の学習用データを用いて学習した推定プログラムを、コンピュータに実行させることにより、前記推定を行うことを特徴とする推定方法。
24. 請求項２２又は２３に記載の推定方法において、
    前記パラメータ決定用情報は、前記推定対象基地局の基地局パラメータの設定変更後の通信品質を評価する指標値を含むことを特徴とする推定方法。
25. 請求項２４に記載の推定方法において、
    前記指標値は、設定変更前の前記通信品質の測定情報と、設定変更後の前記通信品質の測定情報とに基づいて、算出されることを特徴とする推定方法。
26. 移動通信の基地局の通信品質を改善する通信品質改善システムであって、
    請求項１３乃至１７のいずれか１項に記載の推定装置からなる推定部と、
    前記推定部で推定された結果に基づいて、通信品質改善対象の基地局の基地局パラメータを設定変更する設定変更部と、
    を有することを特徴とする通信品質改善システム。