JP2020136906A - 動画セグメントの画質及び経路を判定する判定サーバ及びプログラム - Google Patents

Abstract

【課題】５Ｇネットワークを含む動画配信システムにおいて、視聴に関する指標データに加え、５Ｇネットワークに関する指標データを用いて動画セグメントの画質及び経路を判定することで、視聴の高品質化及び安定化を図る。【解決手段】動画配信システムにおいて、５Ｇネットワーク６内に判定サーバ４を設置する。判定サーバ４は、端末１から視聴に関する指標データを受信し、ネットワークスイッチ３からネットワークに関する指標データを受信し、これらの指標データをＤＮＮに入力し、ＤＮＮの演算により、複数の画質及び経路の組み合わせのそれぞれについて評価値を予測する。選択器２１は、複数の画質及び経路の組み合わせのうち、最大の評価値に対応する画質及び経路の組み合わせを選択する。この画質及び経路の組み合わせは、動画セグメントをダウンロードする際に用いられる。【選択図】図３

Description

本発明は、動画配信システムにおいて、動画セグメントの画質及び経路を判定する判定サーバ及びプログラムに関する。

従来、スマートフォンをはじめとする携帯型視聴端末が広く普及し、これらの端末を用いて携帯回線を介して映像の視聴を行うことが一般的になっている。このため、携帯回線では、動画視聴のためのトラフィックが増大している。

このような携帯回線においては、複数の携帯電話通信キャリア会社により同じネットワーク上で通信が行われ、かつ端末自体が移動することから、通信速度の低下が生じやすい。

通信速度の変動が発生した場合であっても安定的に動画を視聴する技術として、回線の混雑状況に応じたビットレートで視聴を行う方式がある（例えば、特許文献１、非特許文献１，２を参照）。この方式は、端末が回線の混雑状況に応じて適応的にビットレートを選択することから、ＨＡＳ（ＨＴＴＰ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ）と呼ばれる。

つまり、ユーザが安定的に動画を視聴するために、端末は、動画セグメントを取得する際に、そのときの状況に見合う画質及び経路を決定する。具体的には、端末は、当該端末自体において、現時点のバッファ量、過去のスループットの履歴等の視聴に関する指標データに基づいて、動画セグメントの画質及び経路を決定する。

ところで、従来の第４世代携帯電話に代わる新たな移動体通信方式として、第５世代移動通信システムの開発が進められている。この第５世代移動通信システムによる５Ｇネットワーク世代の技術としては、通信の大容量、超低遅延化及び仮想的なネットワーク経路の構築により、柔軟なネットワークフロー制御が見込まれている。

ここで、５Ｇネットワークとは、従来の第４世代携帯電話に代わる第５世代移動通信システムのネットワークをいい、１０Ｇｂｐｓを超える通信速度、携帯電話のデータ通信方式であるＬＴＥの約１０００倍の大容量化等が予定されている。

５Ｇネットワーク内に動画配信を行うサーバを設置することにより、高速かつ低遅延な動画ストリーミングを実現することができるため、より安定的、高画質かつ低遅延な動画視聴を実現することが期待される。

特表２０１６−５０６６４４号公報

"ＡＢＲ Ｌｏｇｉｃ"、［online］、GitHub,Inc.、［平成３１年２月１４日検索］、インターネット＜ＵＲＬ：https://github.com/Dash-Industry-Forum/dash.js/wiki/ABR-Logic＞ "After Graduate School dash.js：ビットレート制御を図にしてまとめてみた"、［online］、［平成３１年２月１４日検索］、インターネット＜ＵＲＬ：http://testen.wp.xdomain.jp/2017/09/15/dash-js-%E3%83%93%E3%83%83%E3%83%88%E3%83%AC%E3%83%BC%E3%83%88%E5%88%B6%E5%BE%A1%E3%82%92%E5%9B%B3%E3%81%AB%E3%81%97%E3%81%A6%E3%81%BE%E3%81%A8%E3%82%81%E3%81%A6%E3%81%BF%E3%81%9F/＞

このような５Ｇネットワークを含む動画配信システムにおいても、効率的に動画配信を行うために、ＣＤＮ(Ｃｏｎｔｅｎｔｓ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ)を用いることが想定される。ＣＤＮは、端末に近いＰｏＰ（Ｐｏｉｎｔ ｏｆ Ｐｒｅｓｅｎｃｅ：配信拠点）に、動画のコピーを保持するサーバを配置し、当該サーバから端末へ動画を配信するネットワークである。

５Ｇネットワークを含む動画配信システムにおいても、端末が動画セグメントをダウンロードする際に、そのときの状況に見合う画質及び経路を決定する必要がある。

しかしながら、通信の大容量、超低遅延化等を実現する５Ｇネットワークにより動画配信サービスの利用が増大し、５Ｇネットワーク内に設置されたサーバへのアクセスが集中することが想定される。これでは、回線状況が悪化し、視聴品質を損なう可能性がある。

このような問題を解決するために、ＣＤＮ内に設置されたサーバからの動画配信と、５Ｇネットワーク内に設置されたサーバからの動画配信とを適切に切り替えることが必要となる。

このため、動画セグメントの画質及び経路を決定する際には、端末により生成される現時点のバッファ量等の視聴に関する指標データに加え、配信経路上の５Ｇネットワーク機器により生成される５Ｇネットワークに関する指標データを用いることが所望される。これらの指標データを用いることで、より効果的な動画セグメントの画質及び経路を決定できることが見込まれるからである。

しかしながら、５Ｇネットワークに関する指標データは、５Ｇネットワーク内の状況が反映されたデータであるため、５Ｇネットワークの外部の装置が当該指標データを取得することができない。そこで、５Ｇネットワークに関する指標データを、５Ｇネットワークの外部へ送信する仕組みが所望されていた。

このように、５Ｇネットワークを含む動画配信システムにおいて、５Ｇネットワークに関する指標データを用いることで、効率的な動画配信を実現できるものと想定される。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、５Ｇネットワークを含む動画配信システムにおいて、視聴に関する指標データに加え、５Ｇネットワークに関する指標データを用いて動画セグメントの画質及び経路を判定することで、視聴の高品質化及び安定化を図ることが可能な判定サーバ及びプログラムを提供することにある。

前記課題を解決するために、請求項１の判定サーバは、５Ｇネットワーク内に設置された配信サーバ、または前記５Ｇネットワーク外の所定のネットワーク内に設置された配信サーバから、動画セグメントを端末へダウンロードする動画配信システムにおいて、前記５Ｇネットワーク内に設置され、前記動画セグメントがダウンロードされる際の画質及び経路を判定する判定サーバであって、前記端末から、前記動画セグメントのダウンロードに伴い生成された視聴の状況に関する視聴データを受信すると共に、前記５Ｇネットワーク内に設置されたネットワークスイッチから、前記動画セグメントのダウンロードの際の前記ネットワークスイッチを経由する動画フローに伴い生成された前記５Ｇネットワークの状況に関するネットワークデータを受信する通信部と、前記通信部により受信された前記視聴データ及び前記ネットワークデータに基づいて、前記画質及び前記経路を予測する予測部と、を備えたことを特徴とする。

また、請求項２の判定サーバは、請求項１に記載の判定サーバにおいて、前記視聴データには、前記端末により前記動画セグメントが蓄積されたバッファの残量が含まれており、前記ネットワークデータには、前記端末及び他の端末が前記ネットワークスイッチを経由して、前記５Ｇネットワーク内に設置された前記配信サーバ及び前記５Ｇネットワーク外の前記所定のネットワーク内に設置された前記配信サーバのそれぞれからダウンロードする前記動画セグメントのフローの数が含まれている、ことを特徴とする。

また、請求項３の判定サーバは、請求項１または２に記載の判定サーバにおいて、前記予測部が、前記視聴データ及び前記ネットワークデータをＤＮＮ（ディープニューラルネットワーク）に入力し、前記ＤＮＮの演算により、複数の前記画質及び前記経路の組み合わせのそれぞれについて、評価値を予測する予測器と、前記予測器により予測された複数の組み合わせの前記評価値のうち、最大の前記評価値に対応する前記画質及び前記経路を選択する選択器と、を備えたことを特徴とする。

また、請求項４の判定サーバは、請求項３に記載の判定サーバにおいて、前記ＤＮＮが、ＤＱＮ（ディープＱネットワーク）の深層強化学習により最適化された重みが用いられ、前記深層強化学習に用いる報酬関数の変数として、前記端末がダウンロードする前記動画セグメントのビットレート、前記端末が前記動画セグメントをダウンロードしたときのバッファ枯渇時間、前記端末が前記動画セグメントをダウンロードしたときのバッファ残量、及び、前記端末が前記動画セグメントをダウンロードするのに要するダウンロード時間のうち、少なくとも１つが用いられる、ことを特徴とする。

さらに、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の判定サーバとして機能させることを特徴とする。

以上のように、本発明によれば、５Ｇネットワークを含む動画配信システムにおいて、視聴に関する指標データに加え、５Ｇネットワークに関する指標データも用いて動画セグメントの画質及び経路を判定するようにした。これにより、視聴の高品質化及び安定化を図ることができる。

本発明の実施形態による判定サーバを含む動画配信システムの全体構成例を示す概略図である。 動画配信システムの処理例の概略を示すフローチャートである。 動画配信システムの処理例の概略を説明する図である。 視聴に関する指標データの例を説明する図である。 ネットワークに関する指標データの例を説明する図である。 判定サーバの構成例を示すブロック図である。 判定サーバの処理例を示すフローチャートである。 予測部を説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。動画配信システムにおいては、ユーザである視聴者の視聴体験の質を向上させるために、できる限り高画質の動画を配信することが望ましい。しかし、高画質の動画を配信すると、回線の輻輳を招き、動画セグメントのダウンロード速度が動画の再生速度より遅くなり、端末に備えたバッファが枯渇して視聴が停止する可能性がある。そこで、端末では、高画質の動画を受信しながら、バッファが枯渇して視聴が停止しないように、動画を安定的に受信することが必要となる。

本発明では、５Ｇネットワークを含む動画配信システムにおいて、配信サーバが設置された５Ｇネットワーク内に判定サーバを設置する。本発明の判定サーバは、端末により生成された視聴に関する指標データ、及び５Ｇネットワーク内のネットワークスイッチにより生成された５Ｇネットワークに関する指標データに基づいて、動画セグメントの画質及び経路を判定することを特徴とする。

これにより、５Ｇネットワーク内に判定サーバが設置されることで、判定サーバは、端末から視聴に関する指標データを取得すると共に、５Ｇネットワーク内のネットワークスイッチから５Ｇネットワークに関する指標データを取得することができる。

このように、動画セグメントの画質及び経路は、視聴に関する指標データに加え、５Ｇネットワークに関する指標データを用いて判定される。したがって、ＣＤＮ内に設置された配信サーバからの動画配信と、５Ｇネットワーク内に設置された配信サーバからの動画配信とを適切に切り替えることができ、視聴の高品質化及び安定化を図ることができる。

〔動画配信システム：構成〕
まず、本発明の実施形態による判定サーバを含む動画配信システムの構成について説明する。図１は、本発明の実施形態による判定サーバを含む動画配信システムの全体構成例を示す概略図である。

この動画配信システムは、端末１、基地局２、５Ｇネットワーク６、インターネット７及びＣＤＮ９により構成される。端末１と基地局２とは、例えば携帯電話の無線回線により接続される。

ネットワークスイッチ３、判定サーバ４及び配信サーバ５は、５Ｇネットワーク６内に設置された装置であり、ＣＤＮサーバ（配信サーバ）８は、ＣＤＮ９内に設置された装置である。５Ｇネットワーク６は、携帯電話通信キャリア会社が５Ｇネットワーク６によるサービスを実現するために展開、運用及び管理しているネットワークである。５Ｇネットワーク６内のネットワークスイッチ３と、ＣＤＮ９内のＣＤＮサーバ８とは、インターネット７を介して接続される。

端末１は、ユーザの操作に従い、携帯電話の無線回線を利用して、配信サーバ５またはＣＤＮサーバ８から動画セグメントをダウンロードする。これにより、端末１を操作するユーザは、動画を視聴することができる。端末１は、例えばスマートフォン等の携帯端末、パーソナルコンピュータである。

具体的には、端末１は、動画セグメントのダウンロードに伴い、視聴に関する指標データを生成し、次の動画セグメントをダウンロードする際に、視聴に関する指標データを判定サーバ４へ送信する。そして、端末１は、次の動画セグメントの画質及び経路の判定結果を判定サーバ４から受信する。視聴に関する指標データの詳細については後述する。

つまり、端末１は、判定サーバ４から受信した判定結果に従い、次にダウンロードする動画セグメントの画質及び経路を判断する。そして、端末１は、当該経路の示す配信サーバ５またはＣＤＮサーバ８へリクエストを送信することで、配信サーバ５またはＣＤＮサーバ８から、当該画質の動画セグメントを取得する。

尚、図１には１台の端末１が記載されているが、実際は、配信サーバ５またはＣＤＮサーバ８からネットワークスイッチ３を介して、動画セグメントを取得する複数の端末１が存在する。

基地局２は、端末１との間で通信を行うためのアンテナを備え、端末１と５Ｇネットワーク６との間でデータの送受信を行う。

ネットワークスイッチ３は、５Ｇネットワーク６のスイッチングを行う機器のうち、動画が配信される経路上に位置する機器、すなわち５Ｇネットワーク６内に存在する動画フローを制御する機器である。５Ｇネットワーク６のスイッチングを行う機器とは、ネットワークフローのスイッチングを実施する物理的または仮想的なネットワークスイッチ、及び当該ネットワークスイッチの制御を行うネットワークコントローラである。

ネットワークスイッチ３は、動画フローの制御に伴い、５Ｇネットワーク６に関する指標データ（以下、「ネットワークに関する指標データ」という。）を生成し、当該指標データを判定サーバ４へ送信する。ネットワークに関する指標データの詳細については後述する。

判定サーバ４は、端末１から視聴に関する指標データを受信すると共に、ネットワークスイッチ３からネットワークに関する指標データを受信する。そして、判定サーバ４は、これらの指標データに基づいて、端末１が次にダウンロードする動画セグメントの画質及び経路を判定する。そして、判定サーバ４は、動画セグメントの画質及び経路の判定結果を端末１へ送信する。判定サーバ４の処理の詳細については後述する。

ここで、動画セグメントの画質は、ダウンロードする動画セグメントの画面解像度及びビットレートを示す。また、動画セグメントの経路は、動画セグメントが配信される配信元のサーバ、及びダウンロードされる動画セグメントの配信ルートを示すが、ここでは、配信元のサーバを示すものとする。

尚、配信ルートは、図１には図示しないサーバ（５Ｇネットワーク６に設置されたサーバ）により決定され、端末１は、配信ルートを含む経路に関するデータを、当該サーバから取得する。

配信サーバ５は、複数の異なる画質の動画ファイルを保持している。例えば、配信サーバ５は、１つの動画のコンテンツについて、３６０ｐの画面解像度かつ２００ｋｂｐｓの動画ファイル、・・・、１０８０ｐの画面解像度かつ２．０Ｍｂｐｓの動画ファイルを保持している。３６０ｐは、６４０×３６０ピクセルを示し、１０８０ｐは、１９２０×１０８０ピクセルを示す。

配信サーバ５は、端末１からのリクエストに従い、複数の異なる画質の動画ファイルのうち、一つの画質の動画ファイルを選択し、当該動画ファイルの動画セグメントを端末１へ送信する。

ＣＤＮサーバ８は、配信サーバ５と同様に、複数の異なる画質の動画ファイルを保持している。例えば、ＣＤＮサーバ８は、１つの動画のコンテンツについて、３６０ｐの画面解像度かつ２００ｋｂｐｓの動画ファイル、・・・、１０８０ｐの画面解像度かつ２．０Ｍｂｐｓの動画ファイルを保持している。

ＣＤＮサーバ８は、端末１からのリクエストに従い、複数の異なる画質の動画ファイルのうち、一つの画質の動画ファイルを選択し、当該動画ファイルの動画セグメントを端末１へ送信する。

〔動画配信システム：処理〕
次に、図１に示した動画配信システムの処理について説明する。図２は、動画配信システムの処理例の概略を示すフローチャートであり、図３は、動画配信システムの処理例の概略を説明する図である。

まず、ユーザによる動画視聴の操作があると、端末１は、初期設定された画質及び経路に従い、基地局２、５Ｇネットワーク６内のネットワークスイッチ３、及びインターネット７を介して、ＣＤＮ９内のＣＤＮサーバ８へアクセスする。そして、端末１は、当該経路のＣＤＮサーバ８から、インターネット７、ネットワークスイッチ３及び基地局２を介して、当該画質の動画セグメントのダウンロードを開始する（ステップＳ２０１）。

端末１は、ダウンロードした動画セグメントをバッファに蓄積し、バッファから動画セグメントのデータを逐次読み出してデコードし、動画の再生を開始する。

動画セグメントのダウンロードが開始すると、端末１は、視聴に関する指標データを生成する（ステップＳ２０２）。

図４は、視聴に関する指標データの例を説明する図である。視聴に関する指標データは、動画セグメントのダウンロードに伴い生成される、動画セグメントについての視聴の状況に関するデータ（視聴データ）である。視聴に関する指標データは、ユーザが動画を視聴する際に、動画セグメントのダウンロードに要した時間、帯域速度、過去のセグメントのダウンロード時の帯域幅の履歴、取得した映像の品質等が反映されたデータである。本発明の実施形態では、図４に示す指標データを扱うものとする。

視聴に関する指標データは、動画セグメントのスループット（所定セグメント数分、セグメント毎）、動画セグメントの画質（所定セグメント数分、セグメント毎）、バッファ枯渇時間（動画再生停止時間）（所定セグメント数分、セグメント毎）、バッファ残量、及びパケットロス率から構成される。視聴に関するこれらの指標データは、端末１により既知の処理にて生成される。所定セグメント数分の値は、指標データ毎に予め設定される。

動画セグメントのスループットは、直近の所定セグメント数分のセグメント毎に算出された単位時間あたりの処理データ量の履歴データである。動画セグメントの画質は、直近の所定セグメント数分のセグメント毎に取得した動画セグメントについての画面解像度及びビットレートの履歴を示す。

バッファ枯渇時間は、直近の所定セグメント数分のセグメント毎に求めたバッファ枯渇時間の履歴、すなわち、動画セグメントのダウンロードに時間がかかり、その結果バッファが空となった時間（動画再生停止時間）の履歴である。バッファ残量は、動画セグメントが蓄積される端末１に備えたバッファにおいて、端末１が視聴に関する指標データを判定サーバ４へ送信する直前の残量である。パケットロス率は、直近の所定時間内において、パケットが損失した割合である。所定時間は、予め設定される。

図２及び図３に戻って、ネットワークスイッチ３は、端末１から送信されたリクエスト及びＣＤＮサーバ８から送信された動画セグメントの転送に伴い、端末１により動画セグメントのダウンロードが開始したと判断する。そして、ネットワークスイッチ３は、ネットワークに関する指標データを生成する（ステップＳ２０３）。

図５は、ネットワークに関する指標データの例を説明する図である。ネットワークに関する指標データは、動画セグメントのダウンロードの際に、ネットワークスイッチ３を経由する動画フローに伴い生成される、動画セグメントについての５Ｇネットワーク６の状況に関するデータ（ネットワークデータ）である。

ネットワークに関する指標データは、フロー接続数、フロー接続量、フロー接続上限数、フロー接続上限量、及び接続中の端末１毎のスループットから構成される。

フロー接続数は、現時点において、当該ネットワークスイッチ３を介してダウンロードしている動画セグメントの動画フローの数、すなわち、端末１（及び他の端末１）と５Ｇネットワーク６内の配信サーバ５等とが接続された動画フローの数、及びＣＤＮ９内のＣＤＮサーバ８等のサーバとが接続された動画フローの数である。

フロー接続量は、現時点において、接続された（フロー接続数の）全ての動画フローにおけるデータの流量、すなわち、端末１（及び他の端末１）と５Ｇネットワーク６内の配信サーバ５等とが接続された動画フローにおけるデータの流量、及びＣＤＮ９内のＣＤＮサーバ８等のサーバとが接続された動画フローにおけるデータの流量である。

フロー接続上限数は、予め設定されたフロー接続数の上限値、すなわち、端末１（及び他の端末１）と５Ｇネットワーク６内の配信サーバ５等とが接続されるフロー接続数の上限値、及びＣＤＮ９内のＣＤＮサーバ８等のサーバとが接続されるフロー接続数の上限値である。

フロー接続上限量は、予め設定されたフロー接続量の上限値、すなわち、端末１（及び他の端末１）と５Ｇネットワーク６内の配信サーバ５等とが接続されるフロー接続量の上限値、及びＣＤＮ９内のＣＤＮサーバ８等のサーバとが接続されるフロー接続量の上限値である。

接続中の端末１毎のスループットは、現時点において、動画フローが形成された端末１毎に算出された単位時間あたりの処理データ量である。

図２及び図３に戻って、端末１は、動画セグメントのダウンロードが開始してから所定時間が経過したか否かを判定する（ステップＳ２０４）。端末１は、ステップＳ２０４において、所定時間が経過していないと判定した場合（ステップＳ２０４：Ｎ）、ステップＳ２０１へ移行する。

これにより、動画セグメントのダウンロードが継続され、視聴に関する指標データ及びネットワークに関する指標データが更新される。尚、後述するステップＳ２１１においても、端末１は、視聴に関する指標データを生成して更新し、ネットワークスイッチ３は、ネットワークに関する指標データを生成して更新する。

端末１は、ステップＳ２０４において、所定時間が経過したと判定した場合（ステップＳ２０４：Ｙ）、そのタイミングでダウンロード中の動画セグメントについて、そのダウンロードが完了したときに、次の動画セグメントをダウンロードするに先立って、次の動画セグメントの画質及び経路を判断するために、ステップＳ２０２にて生成した最新の視聴に関する指標データを判定サーバ４へ送信する（ステップＳ２０５）。視聴に関する指標データは、基地局２及びネットワークスイッチ３を介して判定サーバ４へ送信される。判定サーバ４へ送信する視聴に関する指標データは、次の動画セグメントの画質及び経路の判定結果を取得するための問い合わせでもある。

これにより、動画配信が開始してから所定時間経過したときに、動画の安定的な視聴を実現するため、判定サーバ４にて、生成済みの指標データに基づいた、次の動画セグメントの画質及び経路の判定処理が行われる。

また、ステップＳ２０５及び後述するステップＳ２０６〜Ｓ２０９の処理は、動画セグメントを単位として行われる。つまり、動画セグメントを単位として、既にダウンロードした直近の動画セグメントについて生成した視聴に関する指標データ、すなわち次の動画セグメントの画質及び経路の判定結果を取得するための問い合わせが、端末１から判定サーバ４へ送信される。

判定サーバ４は、端末１から視聴に関する指標データを受信すると、ネットワークに関する指標データの問い合わせをネットワークスイッチ３へ送信する。ネットワークスイッチ３は、判定サーバ４から当該問い合わせを受信すると、生成済みのネットワークに関する指標データを判定サーバ４へ送信する（ステップＳ２０６）。

これにより、判定サーバ４は、端末１が動画セグメントのダウンロードを完了して次の動画セグメントの画質及び経路を判断するタイミングにおいて、直近に生成された視聴に関する指標データ及びネットワークに関する指標データを取得することができる。

尚、ネットワークスイッチ３は、予め設定された時間間隔にて、最新のネットワークに関する指標データを判定サーバ４へ送信するようにしてもよい。この場合、判定サーバ４は、端末１から視聴に関する指標データを受信したときに、既に受信済みの最新のネットワークに関する指標データを用いて、判定処理を行う。

判定サーバ４は、端末１から視聴に関する指標データを受信し、ネットワークスイッチ３からネットワークに関する指標データを受信する。そして、判定サーバ４は、視聴に関する指標データ及びネットワークに関する指標データに基づいて、次の動画セグメントの画質及び経路を判定する（ステップＳ２０７）。ステップＳ２０７の判定処理の詳細については後述する。

判定サーバ４は、動画セグメントの画質及び経路の判定結果を端末１へ送信する（ステップＳ２０８）。

端末１は、判定サーバ４から判定結果を受信すると、判定結果の示す画質及び経路にて、当該経路のサーバ（本例では配信サーバ５）から、ネットワークスイッチ３及び基地局２を介して、当該画質の動画セグメントをダウンロードする（ステップＳ２０９）。これにより、動画セグメントの画質及び経路は、新たに判定された画質及び経路に変更され、例えば、ＣＤＮサーバ８とは異なる配信サーバ５から動画セグメントが取得される。

図２及び図３の例において、動画セグメントは、動画配信が開始したときに、ＣＤＮサーバ８からダウンロードされ、所定時間経過したときに、ＣＤＮサーバ８に代えて、高速かつ低遅延な配信サーバ５からダウンロードされるように、経路が変更されている。

端末１による動画配信システムの処理が終了しない限り（ステップＳ２１０）、ステップＳ２０２，Ｓ２０３の処理が行われ（ステップＳ２１１）、ステップＳ２１１，Ｓ２０５〜Ｓ２０９の処理が繰り返される。

〔判定サーバ４〕
次に、図１に示した判定サーバ４について詳細に説明する。図６は、判定サーバ４の構成例を示すブロック図であり、図７は、判定サーバ４の処理例を示すフローチャートである。この判定サーバ４は、通信部１０及び予測部１１を備えている。

通信部１０は、ネットワークスイッチ３との間でデータの送受信を行う。具体的には、通信部１０は、端末１から送信された視聴に関する指標データを、ネットワークスイッチ３を介して受信し（ステップＳ７０１）、視聴に関する指標データを予測部１１に出力する。

通信部１０は、視聴に関する指標データを受信すると、ネットワークに関する指標データの問い合わせをネットワークスイッチ３へ送信し、ネットワークスイッチ３からネットワークに関する指標データを受信する（ステップＳ７０２）。そして、通信部１０は、ネットワークに関する指標データを予測部１１に出力する。

予測部１１は、通信部１０から視聴に関する指標データ及びネットワークに関する指標データを入力し、これらの指標データに基づいて、予測処理にて、端末１が次にダウンロードする動画セグメントの画質及び経路を判定する（ステップＳ７０３）。そして、予測部１１は、動画セグメントの画質及び経路の判定結果を通信部１０に出力する。予測部１１の処理の詳細については後述する。

通信部１０は、予測部１１から動画セグメントの画質及び経路の判定結果を入力し、動画セグメントの画質及び経路の判定結果を、ネットワークスイッチ３を介して端末１へ送信する（ステップＳ７０４）。

（予測部１１）
次に、図６に示した予測部１１について詳細に説明する。図８は、予測部１１を説明する図である。この予測部１１は、予測器２０及び選択器２１を備えている。予測部１１は、通信部１０から視聴に関する指標データ及びネットワークに関する指標データを入力する。

予測器２０は、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ディープニューラルネットワーク）により構成される学習モデルであり、ＤＮＮベースの強化学習である深層強化学習により生成される。

予測器２０は、視聴に関する指標データ及びネットワークに関する指標データにおけるそれぞれのデータを、ＤＮＮの入力層の素子に入力する。そして、予測器２０は、ＤＮＮの演算により、予め設定された重みに基づいて、複数の画質及び経路の組み合わせのそれぞれについて評価値を予測する。予測器２０は、ＤＮＮの出力層の素子から、複数の画質及び経路の組み合わせのそれぞれについての評価値を選択器２１に出力する。ＤＮＮには、後述する学習装置により最適化された重みが設定されている。

ＤＮＮの入力層の素子に入力されるデータは、視聴に関する指標データ及びネットワークに関する指標データを構成するそれぞれのデータである。図４を参照して、例えば視聴に関する指標データとして、セグメント毎の動画セグメントのスループット、セグメント毎の動画セグメントの画質、セグメント毎のバッファ枯渇時間（動画再生停止時間）、バッファ残量、及びパケットロス率が、素子毎に入力される。この場合、動画セグメントのスループット、動画セグメントの画質及びバッファ枯渇時間は、所定セグメント数分の素子にそれぞれ入力される。

また、図５を参照して、例えばネットワークに関する指標データとして、フロー接続数、フロー接続量、フロー接続上限数、フロー接続上限量、及び接続している端末１毎のスループットが素子毎に入力される。この場合、スループットは、接続中の端末１の数分の素子にそれぞれ入力される。

ＤＮＮの出力層の素子から出力されるデータは、複数の画質及び経路の組み合わせのそれぞれについての評価値である。図１及び図８を参照して、例えば、経路をＣＤＮサーバ８とし画質を３６０ｐとしたとき（ＣＤＮサーバ８，３６０ｐ）の評価値、・・・、及び（ＣＤＮサーバ８，１０８０ｐ）の評価値、並びに（配信サーバ５，３６０ｐ）の評価値、・・・、及び（配信サーバ５，１０８０ｐ）の評価値が、素子毎に出力される。

選択器２１は、予測器２０から、複数の画質及び経路の組み合わせのそれぞれについての評価値を入力する。そして、選択器２１は、複数の画質及び経路の組み合わせのうち、最大の評価値に対応する画質及び経路の組み合わせを選択し、これを判定結果とする。選択器２１は、画質及び経路の判定結果を通信部１０に出力する。

例えば、図８の例において、（配信サーバ５，１０８０ｐ）の評価値が最大である場合、選択器２１は、複数の画質及び経路の組み合わせのうち（配信サーバ５，１０８０ｐ）を選択する。

（深層強化学習）
予測器２０を構成するＤＮＮは、強化学習である深層強化学習により生成される。具体的には、画質及び経路の判定に関し、明示的な正解例を与えずに収集した視聴に関する指標データ及びネットワークに関する指標データを用いて、これらの指標データに基づいた報酬設計から、適切な画質及び経路を学習するようにする。学習エージェントとして、ＤＱＮ（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ：ディープＱネットワーク）を用いる。

各学習ステップでの報酬関数Ｒ_tとして、例えば以下の式が用いられる。報酬関数Ｒ_tにより、予測の結果得られる時刻ｔの報酬が算出される。
［数１］
Ｒ_t＝α＊log（ｑ_t）−β＊ｂ_t−γ＊ｓ_t−δ＊ｄ_t ・・・（１）

変数ｑ_tは、時刻ｔにおいて、予測の結果に基づき、端末１がダウンロードした動画セグメントのビットレートである。これは、視聴に関する指標データに含まれる動画セグメントの画質におけるビットレートに相当する。変数ｑ_tのビットレートが高いほど、報酬関数Ｒ_tの値は大きくなり、変数ｑ_tのビットレートが低いほど、報酬関数Ｒ_tの値は小さくなる。

変数ｂ_tは、時刻ｔにおいて、予測の結果に基づき、端末１が動画セグメントをダウンロードしたときのバッファ枯渇時間である。これは、視聴に関する指標データに含まれるバッファ枯渇時間に相当する。変数ｂ_tのバッファ枯渇時間が短いほど、報酬関数Ｒ_tの値は大きくなり、変数ｂ_tのバッファ枯渇時間が長いほど、報酬関数Ｒ_tの値は小さくなる。

変数ｓ_tは、時刻ｔにおいて、予測の結果に基づき、端末１が動画セグメントをダウンロードしたときのバッファ残量である。これは、視聴に関する指標データに含まれるバッファ残量に相当する。変数ｓ_tのバッファ残量が小さいほど、報酬関数Ｒ_tの値は大きくなり、変数ｓ_tのバッファ残量が大きいほど、報酬関数Ｒ_tの値は小さくなる。

変数ｄ_tは、時刻ｔにおいて、予測の結果に基づき、端末１が動画セグメントをダウンロードするのに要した時間（ダウンロード時間）である。これは、視聴に関する指標データに含まれる動画セグメントのスループットから算出される値である。変数ｄ_tのダウンロード時間が短いほど、報酬関数Ｒ_tの値は大きくなり、変数ｄ_tのダウンロード時間が長いほど、報酬関数Ｒ_tの値は小さくなる。パラメータα，β，γ及びδは、それぞれの項の影響を調整するための重み係数である。

ＤＮＮを学習する学習装置は、収集した視聴に関する指標データ及びネットワークに関する指標データを用いて、ＤＱＮの深層強化学習を行い、ＤＮＮの重みを最適化する。例えば、学習装置は、前記式（１）の報酬関数Ｒ_tを用いて、以下の誤差関数Ｅ（ｓ_t，ａ_t）を用いた誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ：バックプロパゲーション）により、誤差関数Ｅ（ｓ_t，ａ_t）が最小となるようにＤＮＮを学習し、重みを求める。
［数２］
Ｅ（ｓ_t，ａ_t）＝（Ｒ_t+1＋γ＊ｍａｘ_ａＱ（ｓ_t+1，ａ）−Ｑ（ｓ_t，ａ_t））²
・・・（２）

ｓ_tは、時刻ｔの状態（視聴に関する指標データ及びネットワークに関する指標データ）を示し、ａ_tは、時刻ｔにおける行動（画質及び経路）を示す。γはパラメータであり、Ｑ（ｓ，ａ）は、状態ｓにおいて行動ａをとったときの行動価値関数を示す。ｍａｘ_ａＱ（ｓ_t+1，ａ）は、変数ａを変化させたときのＱ（ｓ_t+1，ａ）の最大値を示す。

ここで、時刻ｔにおいて、視聴に関する指標データ及びネットワークに関する指標データが状態ｓ_tであった場合、ある画質及び経路の行動ａ_tをとったとすると、ＤＮＮの出力層の素子が出力する評価値である行動価値関数の値はＱ（ｓ_t，ａ_t）である。学習装置は、この行動価値関数の値Ｑ（ｓ_t，ａ_t）と、前記式（２）において報酬関数Ｒ_t+1を反映した行動価値関数の値（Ｒ_t+1＋γ＊ｍａｘ_ａＱ（ｓ_t+1，ａ））との間の差が最小となるように、学習を行う。

以上のように、本発明の実施形態によれば、判定サーバ４は、５Ｇネットワーク６を含む動画配信システムにおいて、配信サーバ５が設置された５Ｇネットワーク６内に設置される。端末１は、視聴に関する指標データを生成し、５Ｇネットワーク６内に設置されたネットワークスイッチ３は、ネットワークに関する指標データを生成する。

これにより、５Ｇネットワーク６内に判定サーバ４が設置されることで、判定サーバ４は、端末１から視聴に関する指標データを取得すると共に、ネットワークスイッチ３からネットワークに関する指標データを取得することができる。

また、判定サーバ４の予測器２０は、視聴に関する指標データ及びネットワークに関する指標データをＤＮＮに入力し、ＤＮＮの演算により、画質及び経路の組み合わせのそれぞれについて、評価値を予測するようにした。

そして、選択器２１は、複数の画質及び経路の組み合わせのうち、最大の評価値に対応する画質及び経路の組み合わせを選択し、これを、端末１が次の動画セグメントをダウンロードする際の画質及び経路として利用させる。

この場合、ＤＮＮには、学習装置により最適化された重みが設定される。学習装置は、収集した視聴に関する指標データ及びネットワークに関する指標データを用いて、ＤＱＮの深層強化学習を行う。具体的には、学習装置は、前記式（１）の報酬関数Ｒ_tを用いて、前記式（２）の誤差関数Ｅ（ｓ_t，ａ_t）を用いた誤差逆伝播法により、ＤＮＮを学習し、重みを求める。

これにより、動画セグメントの画質及び経路は、視聴に関する指標データに加え、ネットワークに関する指標データも用いて判定される。したがって、ＣＤＮ９内に設置されたＣＤＮサーバ８からの動画配信と、５Ｇネットワーク６内に設置された配信サーバ５からの動画配信とを適切に切り替えることができ、視聴の高品質化及び安定化を図ることができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば、前記実施形態では、５Ｇネットワーク６内に設置された判定サーバ４は、動画セグメントの画質及び経路を判定するようにした。

これに対し、５Ｇネットワーク６内に設置されたネットワークスイッチ３が、ネットワークに関する指標データを生成する処理に加え、判定サーバ４の処理を行うようにしてもよい。この場合、判定サーバ４は不要となる。これにより、ハードウェアの設置コストの低減化を図ることができる。

また、前記実施形態では、判定サーバ４は、動画セグメントの画質及び経路の判定結果を端末１へ送信し、端末１は、当該判定結果の画質及び経路にて動画フローを制御し、動画セグメントをダウンロードするようにした。

これに対し、判定サーバ４は、動画セグメントの画質及び経路の判定結果をネットワークスイッチ３へ送信し、ネットワークスイッチ３が、当該判定結果の画質及び経路にて動画フローを制御し、動画セグメントを端末１へダウンロードするようにしてもよい。

また、前記実施形態では、端末１は、動画セグメントのダウンロードが完了したタイミングで、視聴に関する指標データを判定サーバ４へ送信し、判定サーバ４から、次の動画セグメントの画質及び経路の判定結果を受信するようにした。つまり、端末１は、動画セグメントを単位として、次の動画セグメントの画質及び経路を判断するようにした。

これに対し、端末１は、所定セグメント数分毎に、または所定時間間隔毎（所定時間が経過し、そのときの動画セグメントのダウンロードが完了したタイミング毎に）、画質及び経路の判定結果を受信するようにしてもよい。この場合、端末１は、所定セグメント数分または所定時間間隔分の動画セグメントについて、受信した画質及び経路にてダウンロードを行う。

また、前記実施形態では、判定サーバ４の予測部１１は、ＤＮＮを用いて動画セグメントの画質及び経路を予測するようにした。これに対し、予測部１１は、ＤＮＮ以外の学習モデルを用いて、動画セグメントの画質及び経路を予測するようにしてもよいし、学習モデルを用いることなく、予測するようにしてもよい。

学習モデルを用いない場合、予測部１１は、例えば、予め設定されたテーブルから、離散値に変換された視聴に関する指標データ及びネットワークに関する指標データに対応する評価値（複数の画質及び経路の組み合わせのそれぞれについての評価値）を読み出す。そして、予測部１１は、複数の画質及び経路の組み合わせのうち、最大の評価値に対応する画質及び経路の組み合わせを選択し、これを判定結果とする。

この場合、テーブルには、視聴に関する指標データ及びネットワークに関する指標データの組み合わせ毎に、当該組み合わせに対応する評価値（複数の画質及び経路の組み合わせのそれぞれについての評価値）が格納されている。

また、判定サーバ４の予測部１１は、例えば視聴に関する指標データのうちバッファ残量、並びにネットワークに関する指標データのうちフロー接続数及びフロー接続上限数に基づいて、画質及び経路を予測するようにしてもよい。

この場合、予測部１１は、バッファ残量が大きいほど、より高い画面解像度及びビットレートの画質を予測するようにし、バッファ残量が小さいほど、より低い画面解像度及びビットレートの画質を予測するようにする。

また、予測部１１は、５Ｇネットワーク６内の配信サーバ５等のフロー接続数が大きいほど、またはＣＤＮ９内のＣＤＮサーバ８等のフロー接続数が小さいほど、ＣＤＮ９内のＣＤＮサーバ８を経路として予測するようにする。予測部１１は、５Ｇネットワーク６内の配信サーバ５等のフロー接続数が小さいほど、またはＣＤＮ９内のＣＤＮサーバ８等のフロー接続数が大きいほど、５Ｇネットワーク６内の配信サーバ５を経路として予測するようにする。

また、予測部１１は、５Ｇネットワーク６内の配信サーバ５等のフロー接続上限数が小さいほど、またはＣＤＮ９内のＣＤＮサーバ８等のフロー接続上限数が大きいほど、ＣＤＮ９内のＣＤＮサーバ８を経路として予測するようにする。予測部１１は、５Ｇネットワーク６内の配信サーバ５等のフロー接続上限数が大きいほど、またはＣＤＮ９内のＣＤＮサーバ８等のフロー接続上限数が小さいほど、５Ｇネットワーク６内の配信サーバ５を経路として予測するようにする。

予測部１１は、図４に示した視聴に関する指標データ及び図５に示したネットワークに関する指標データのうち、１以上の所定数の指標データに基づいて、画質及び経路を予測するようにしてもよい。

また、前記実施形態では、判定サーバ４の予測部１１の予測器２０を構成するＤＮＮは、ＤＱＮを用いた深層強化学習により最適化され、学習装置は、ＤＱＮの深層強化学習を行う際に、前記式（１）の報酬関数Ｒ_tを用いて、ＤＮＮを学習して重みを求めるようにした。この場合の報酬関数Ｒ_tは、変数ｑ_t（動画セグメントのビットレート）、変数ｂ_t（バッファ枯渇時間）、変数ｓ_t（バッファ残量）及び変数ｄ_t（動画セグメントのダウンロード時間）を用いている。

これに対し、予測部１１は、前記式（１）において、変数ｑ_t，ｂ_t，ｓ_t，ｄ_tのうち、１つ以上の変数による報酬関数Ｒ_tを用いるようにしてもよい。また、予測部１１は、前記式（１）の報酬関数Ｒ_tとは異なる報酬関数Ｒ_tを用いるようにしてもよい。例えば、以下の報酬関数Ｒ_tが用いられる。
［数３］
Ｒ_t＝α＊log（ｑ_t）−β＊ｂ_t−γ＊ｓ_t−δ＊ｄ_t＋η＊ｗ_t ・・・（３）

変数ｗ_tは、時刻ｔにおいて、予測の結果に基づき、ネットワークスイッチ３にて５Ｇネットワーク６内の配信サーバ５等へスイッチングした動画フローと、ＣＤＮ９内のＣＤＮサーバ８等へスイッチングした動画フローとの間の均等度合いである。変数ｗ_tは、両動画フローが均等であればあるほど、その値は大きくなり、両動画フローが均等でなければないほど、その値は小さくなる。変数ｗ_tの均等度合いが高いほど、報酬関数Ｒ_tの値は大きくなり、変数ｓ_tの均等度合いが低いほど、報酬関数Ｒ_tの値は小さくなる。パラメータηは、その項の影響を調整するための重み係数である。

この場合、図５に示したネットワークに関する指標データには、フロー接続先数（５Ｇネットワーク６内の配信サーバ５等に接続されているフローの数、及びＣＤＮ９のＣＤＮサーバ８等に接続されているフローの数）が含まれているものとする。変数ｗ_tは、このフロー接続先数に基づいて算出される。

また、前記実施形態では、報酬関数Ｒ_tの変数は、前記式（１）に示した変数ｑ_t，ｂ_t，ｓ_t，ｄ_tとした。これに対し、報酬関数Ｒ_tの変数として、図４に示した視聴に関する指標データ及び図５に示したネットワークに関する指標データのうち、１以上の所定数の指標データを用いるようにしてもよい。また、これらの指標データのうちの１以上の所定数の指標データから算出されたデータを用いるようにしてもよい。

また、学習装置は、ＤＱＮの深層強化学習を行うことで、ＤＮＮを最適化するようにしたが、深層強化学習以外の学習を行うことで、ＤＮＮを最適化するようにしてもよい。

尚、本発明の実施形態による判定サーバ４のハードウェア構成としては、通常のコンピュータを使用することができる。判定サーバ４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

判定サーバ４に備えた通信部１０及び予測部１１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 端末
２ 基地局
３ ネットワークスイッチ
４ 判定サーバ
５ 配信サーバ
６ ５Ｇネットワーク
７ インターネット
８ ＣＤＮサーバ
９ ＣＤＮ
１０ 通信部
１１ 予測部
２０ 予測器
２１ 選択器

Claims (5)

1. ５Ｇネットワーク内に設置された配信サーバ、または前記５Ｇネットワーク外の所定のネットワーク内に設置された配信サーバから、動画セグメントを端末へダウンロードする動画配信システムにおいて、前記５Ｇネットワーク内に設置され、前記動画セグメントがダウンロードされる際の画質及び経路を判定する判定サーバであって、
   前記端末から、前記動画セグメントのダウンロードに伴い生成された視聴の状況に関する視聴データを受信すると共に、前記５Ｇネットワーク内に設置されたネットワークスイッチから、前記動画セグメントのダウンロードの際の前記ネットワークスイッチを経由する動画フローに伴い生成された前記５Ｇネットワークの状況に関するネットワークデータを受信する通信部と、
   前記通信部により受信された前記視聴データ及び前記ネットワークデータに基づいて、前記画質及び前記経路を予測する予測部と、
   を備えたことを特徴とする判定サーバ。
2. 請求項１に記載の判定サーバにおいて、
   前記視聴データには、前記端末により前記動画セグメントが蓄積されたバッファの残量が含まれており、
   前記ネットワークデータには、前記端末及び他の端末が前記ネットワークスイッチを経由して、前記５Ｇネットワーク内に設置された前記配信サーバ及び前記５Ｇネットワーク外の前記所定のネットワーク内に設置された前記配信サーバのそれぞれからダウンロードする前記動画セグメントのフローの数が含まれている、ことを特徴とする判定サーバ。
3. 請求項１または２に記載の判定サーバにおいて、
   前記予測部は、
   前記視聴データ及び前記ネットワークデータをＤＮＮ（ディープニューラルネットワーク）に入力し、前記ＤＮＮの演算により、複数の前記画質及び前記経路の組み合わせのそれぞれについて、評価値を予測する予測器と、
   前記予測器により予測された複数の組み合わせの前記評価値のうち、最大の前記評価値に対応する前記画質及び前記経路を選択する選択器と、
   を備えたことを特徴とする判定サーバ。
4. 請求項３に記載の判定サーバにおいて、
   前記ＤＮＮは、
   ＤＱＮ（ディープＱネットワーク）の深層強化学習により最適化された重みが用いられ、
   前記深層強化学習に用いる報酬関数の変数として、前記端末がダウンロードする前記動画セグメントのビットレート、前記端末が前記動画セグメントをダウンロードしたときのバッファ枯渇時間、前記端末が前記動画セグメントをダウンロードしたときのバッファ残量、及び、前記端末が前記動画セグメントをダウンロードするのに要するダウンロード時間のうち、少なくとも１つが用いられる、ことを特徴とする判定サーバ。
5. コンピュータを、請求項１から４までのいずれか一項に記載の判定サーバとして機能させるためのプログラム。

Images