JP2022119167A - 受信装置及びプログラム - Google Patents

受信装置及びプログラム Download PDF

Info

Publication number
JP2022119167A
JP2022119167A JP2021136661A JP2021136661A JP2022119167A JP 2022119167 A JP2022119167 A JP 2022119167A JP 2021136661 A JP2021136661 A JP 2021136661A JP 2021136661 A JP2021136661 A JP 2021136661A JP 2022119167 A JP2022119167 A JP 2022119167A
Authority
JP
Japan
Prior art keywords
bandwidth
band
unit
prediction model
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021136661A
Other languages
English (en)
Inventor
慧汰 板倉
Keita Itakura
正顕 黒住
Masaaki Kurozumi
翔平 森
Shohei Mori
敏 西村
Satoshi Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Publication of JP2022119167A publication Critical patent/JP2022119167A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】利用可能なネットワーク帯域の予測精度を向上させる。【解決手段】受信装置1は、セグメントを受信するごとに、現在のネットワーク帯域を逐次計測し、帯域計測値として出力する帯域計測部14と、受信装置1の移動速度又は位置を含む視聴環境を推定する視聴環境推定部13と、視聴環境ごとに帯域計測値の時間変動を示す帯域計測値列を対応付けた帯域計測値リストを管理する帯域計測値リスト管理部15と、帯域計測値リストを用いて、視聴環境ごとに帯域予測モデルを構築する帯域予測モデル構築部16と、視聴環境に応じた帯域予測モデルを選択する帯域予測モデル選択部18と、選択された帯域予測モデルに帯域計測値を入力して、次のセグメントの受信に利用可能なネットワーク帯域である帯域予測値を予測する帯域予測部19と、帯域予測値に従ってセグメントを受信するセグメント取得部20と、を備える。【選択図】図3

Description

本発明は、受信装置及びプログラムに関する。
昨今のインターネットにおけるストリーミング動画配信では、汎用的なWebサーバによりHTTPプロトコルを用いてストリーミング配信する方式が主流となっている。このようなHTTPプロトコルによるストリーミング配信方式(アダプティブストリーミング)の一例として、国際標準規格のMPEG-DASH(ISO/IEC23009-1)が知られている。
MPEG-DASHでは、Webサーバに動画コンテンツを一つ又は複数の品質(画面サイズやビットレートなどのパラメータ)でエンコードしたストリームをそれぞれ数秒から数十秒程度のファイルに分割したメディアセグメント、及びそれらの動画コンテンツの属性、URLなどを記述したマニフェストファイルを用意する。受信装置はマニフェストファイルから当該受信装置の画面サイズやネットワーク帯域の状態などを考慮して、適時品質を選択して次々とセグメントを受信し、1本の動画コンテンツにつなぎ合わせて再生する(例えば、非特許文献1参照)。
ここで、アダプティブストリーミングの動画品質の選択手法としては、セグメントを受信するごとに、そのデータ量と受信にかかった時間から次のセグメントの受信に利用可能な帯域を予測し、その予測値を基にそれぞれの動画のビットレートの中から最も近い品質の動画を選択する手法が一般的である。しかし、予測した利用可能帯域よりも選択した動画のビットレートの方が大きいと、次のセグメントの受信が再生時刻に間に合わなくなり、受信装置のバッファが枯渇して再生が停止するおそれがある。よって、視聴安定性を向上させるためには、次のセグメントの受信に利用可能な帯域をなるべく正確に予測することが重要である。
利用可能な帯域を予測する手法として、受信装置での帯域計測に基づく帯域変動予測においては、移動平均を用いた帯域変動予測が提案されている(例えば、非特許文献2参照)。また、特許文献1には、コンテンツファイルを受信する際の状況を表す帯域予測用データを外部の帯域予測装置に送信し、当該帯域予測装置から帯域予測用データに対応する帯域予測値データを受信し、当該帯域予測データをもとにコンテンツファイルを受信する手法が開示されている。
特開2019-220839号公報
"次世代動画配信技術「MPEG-DASH」技術概要と標準化・関連技術動向",映像情報メディア学会誌,Vol.67, No.2, 2013, p.109-115 From Theory to Practice: Improving Bitrate Adaptation in the DASH Reference Player,MMSys 9th ACM Multimedia Systems Conference Amsterdam Netherlands,June 2018,pp.123-137.
しかしながら、非特許文献2に記載されるような移動平均を用いた帯域変動予測では、単純平滑化となるため、本来の帯域幅を十分に使用することができていなかった。また、特許文献1に記載された手法においては、受信装置と帯域予測装置との送受信が頻発するおそれがあった。
かかる事情に鑑みてなされた本発明の目的は、コンテンツのストリーミング再生において、帯域予測装置を別途設けることなく、利用可能なネットワーク帯域(帯域変動)を高精度に予測することが可能な受信装置及びプログラムを提供することにある。
上記課題を解決するため、一実施形態に係るコンテンツ生成装置は、コンテンツのストリーミング再生において、セグメントを受信するごとに、現在のネットワーク帯域を逐次計測し、帯域計測値として出力する帯域計測部と、当該受信装置の移動速度又は位置を含む視聴環境を推定する視聴環境推定部と、前記視聴環境ごとに前記帯域計測値の時間変動を示す帯域計測値列を対応付けた帯域計測値リストを管理する帯域計測値リスト管理部と、前記帯域計測値リストを用いて、前記視聴環境ごとに帯域予測モデルを構築する帯域予測モデル構築部と、前記帯域予測モデル構築部により構築された前記帯域予測モデルの中から、前記視聴環境に応じた帯域予測モデルを選択する帯域予測モデル選択部と、前記帯域予測モデル選択部により選択された前記帯域予測モデルに前記帯域計測値を入力して、次のセグメントの受信に利用可能なネットワーク帯域である帯域予測値を予測する帯域予測部と、前記帯域予測値に従ってセグメントを受信するセグメント取得部と、を備える。
さらに、一実施形態において、前記視聴環境推定部は、加速度センサを用いて当該受信装置の移動速度を推定してもよい。
さらに、一実施形態において、前記視聴環境推定部は、GPSを用いて当該受信装置の位置を推定してもよい。
さらに、一実施形態において、前記帯域予測モデル構築部は、時系列予測手法により、前記視聴環境ごとに、前記帯域計測値列に適合するパラメータを決定し、前記帯域予測モデルを構築してもよい。
さらに、一実施形態において、前記帯域予測モデル選択部は、コンテンツの再生中に前記視聴環境が変化するごとに、該視聴環境に対応する帯域予測モデルを変更してもよい。
さらに、一実施形態において、前記帯域予測モデルは、予測値に信用区間を設定可能であり、前記帯域予測部は、前記帯域計測値が、予測した前記帯域予測値の信用区間の下限値よりも小さくなった場合には、前記帯域予測値を該下限値に補正してもよい。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記受信装置として機能させる。
本発明によれば、コンテンツのストリーミング再生において、帯域予測装置を別途設けることなく、利用可能なネットワーク帯域の予測精度を向上させることが可能となり、視聴安定性が向上する。
一実施形態に係るコンテンツ配信システムの概略を示す図である。 一実施形態に係るコンテンツ生成装置の構成例を示すブロック図である。 一実施形態に係る受信装置の構成例を示すブロック図である。 一実施形態に係る受信装置のセグメント受信方法の一例を示すフローチャートである。 一実施形態に係る受信装置の帯域予測について、従来手法との比較結果を示すグラフである。 一実施形態に係る受信装置の帯域予測について、従来手法との比較結果を示すヒストグラムである。 一実施形態に係る受信装置の帯域予測の補正例を示すグラフである。 図7に示す例における、各予測値の絶対平均誤差及び負の予測誤差の時間平均を示す表である。
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
図1に、本発明の一実施形態に係る受信装置を備えるコンテンツ配信システムの概略を示す。インターネットを介して、受信装置1と配信サーバ2とが接続される。コンテンツ生成装置3と配信サーバ2とは、専用のローカルネットワークで接続されてもよいし、インターネットを介して接続されてもよい。
受信装置1は、配信サーバ2から動画コンテンツのセグメント及びマニフェストファイルを受信し、ストリーミング再生を行う。
コンテンツ生成装置3は、動画コンテンツのセグメント及びマニフェストファイルを生成し、配信サーバ2に供給する。
配信サーバ2は、受信装置1によって指定されたURLのマニフェストファイル及びセグメントを受信装置1に配信するサーバであり、例えば一般的なWebサーバとすることができる。
(コンテンツ生成装置)
次に、コンテンツ生成装置3の詳細について説明する。図2は、コンテンツ生成装置3の構成例を示すブロック図である。図2に示すコンテンツ生成装置3は、素材映像出力部31と、エンコード部32と、セグメント化部33と、マニフェスト生成部34と、コンテンツ送信部35と、通信I/F36と、を備える。
素材映像出力部31は、外部から入力された素材映像、又は予め蓄積された素材映像から、生成対象のコンテンツの素材映像信号をエンコード部32に出力する。
エンコード部32は、素材映像出力部31から入力した素材映像信号を、既存の符号化方式(例えば、H.264|MPEG-4 AVC(Advanced Video Coding)、H.265|MPEG-H HEVC(High Efficiency Video Coding)など)により符号化したり、既存の暗号化方式(例えば、AES(Advanced Encryption Standard)方式)により暗号化したりする。そして、エンコード部32は、符号化ストリームをセグメント化部33に出力する。なお、音声についても、映像と同様に処理することが可能である。
セグメント化部33は、エンコード部32から入力した符号化ストリームを基に、例えばISO-BMFF(ISO-Base Media File Format)形式でセグメント化する。そして、セグメント化部33は、セグメントをマニフェスト生成部34に出力する。
マニフェスト生成部34は、セグメント化部33からセグメントを入力し、例えばMPEG-DASH(ISO/IEC23009-1)のMPD(Media Presentation Description)形式のマニフェストファイルを生成する。そして、マニフェスト生成部34は、マニフェストファイル及びセグメントをコンテンツ送信部35に出力する。マニフェストファイルには、セグメントの再生時刻、URLなどが記載される。マニフェストファイルの生成は、セグメントを入力するたびに順次更新する方法で行われてもよいし、全てのセグメントを入力してから行われてもよい。
コンテンツ送信部35は、マニフェスト生成部34から入力したマニフェストファイル及びセグメントを、通信I/F36を介して配信サーバ2に送信する。
(受信装置)
次に、受信装置1の詳細について説明する。図3は、受信装置1の構成例を示すブロック図である。図3に示す受信装置1は、通信I/F10と、マニフェスト取得部11と、セグメントリスト記憶部12と、視聴環境推定部13と、帯域計測部14と、帯域計測値リスト管理部15と、帯域予測モデル構築部16と、帯域予測モデル記憶部17と、帯域予測モデル選択部18と、帯域予測部19と、セグメント取得部20と、バッファ21と、再生部22と、を備える。
マニフェスト取得部11と、視聴環境推定部13と、帯域計測部14と、帯域計測値リスト管理部15と、帯域予測モデル構築部16と、帯域予測モデル選択部18と、帯域予測部19と、セグメント取得部20と、再生部22とにより、制御演算回路(コントローラ)を構成する。該制御演算回路は、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。セグメントリスト記憶部12と、帯域予測モデル記憶部17と、バッファ21とにより、記憶部を構成する。該記憶部は、1つ以上のメモリを含み、例えば半導体メモリ、磁気メモリなどを含んでもよい。該記憶部に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
マニフェスト取得部11は、配信サーバ2から所望の番組のマニフェストファイルを通信I/F10を介して受信する。そして、マニフェスト取得部11は、受信したマニフェストファイルを解析し、ストリームのビットレートごとに再生時刻及びセグメントのURLを対応付けたセグメントURLリストを生成し、セグメントリスト記憶部12に記憶する。
視聴環境推定部13は、受信装置1の移動速度又は位置を含む視聴環境を推定して分類する。そして、視聴環境推定部13は、分類した視聴環境を帯域計測値リスト管理部15及び帯域予測モデル選択部18に出力する。視聴環境推定部13は、視聴環境の推定をコンテンツの再生開始時に行ってもよいし、コンテンツの再生中に定期的に行ってもよい。
例えば、視聴環境推定部13は、受信装置1に内蔵された加速度センサを用いて、移動速度を推定する。移動速度の推定には、受信装置1が移動しているか否かの推定が含まれてもよい。移動速度の分類例は、移動していない、徒歩で移動中(所定の速度以下で移動中)、乗り物で移動中(所定の速度以上で移動中)、などである。
また、視聴環境推定部13は、GPS(Global Positioning System)を用いて、受信装置1の位置(現在地を示す経度及び緯度の座標)を推定してもよい。位置の推定には、受信装置1が屋外に位置するか屋内に位置するかの推定が含まれてもよい。位置の分類例は、自宅、職場、学校、お店、移動中、などである。頻繁に立ち寄る場所が複数存在する場合には、それらを全て区別して分類してもよい。
また、視聴環境推定部13は、受信装置1に内蔵された時計、又は外部から取得した時刻情報を用いて、現在時刻がインターネットの込み合う時間帯であるか否かを推定してもよい。また、視聴環境推定部13は、現在利用している回線の種別を推定してもよい。回線種別の分類例は、FTTH、Wi-Fi(登録商標)、LTEなどである。これらの分類の組み合わせを視聴環境とすることができる。
帯域計測部14は、セグメント取得部20からセグメントを入力するごとに(すなわち、配信サーバ2からセグメントを受信するごとに)、現在のネットワーク帯域を逐次計測し、帯域計測値として帯域計測値リスト管理部15及び帯域予測部19に出力する。例えば、帯域計測部14は、セグメントのバイト数をセグメントのリクエストから受信終了までの時間で除算することにより帯域計測値(単位はbps)を計測する。
帯域計測値リスト管理部15は、視聴環境推定部13によって分類された視聴環境ごとに、帯域計測部14から入力した帯域計測値の時間変動を示す帯域計測値列を対応付けた帯域計測値リストを生成して管理する。帯域計測値リスト管理部15は、帯域計測値を帯域計測部14から逐次入力してもよいし、コンテンツの再生終了時に一括してもよい。そして、帯域計測値リスト管理部15は、生成した帯域計測値リストを帯域予測モデル構築部16に出力する。
帯域予測モデル構築部16は、帯域計測値リスト管理部15から、帯域計測値リストを入力する。そして、帯域予測モデル構築部16は、定期的又は所定のタイミングにおいて、自己回帰和分移動平均モデル(ARIMA(AutoRegressive Integrated Moving Average)モデル)などの時系列予測手法により、視聴環境ごとに、帯域計測値列に適合するパラメータを決定し、帯域予測モデルを構築する。そして、帯域予測モデル構築部16は、視聴環境ごとに構築した複数の帯域予測モデルを帯域予測モデル記憶部17に記憶させる。帯域予測モデルに帯域計測値を入力することにより、帯域予測値(次のセグメントの受信に利用可能なネットワーク帯域)を算出できる。一例として、ARIMAモデルは、以下の式(1)で表される。
Figure 2022119167000002
式(1)に示すモデルでは、自己回帰次数p、差分階数d、及び移動平均次数qがパラメータである。また、yは帯域幅の実測値、εは正規乱数、φ及びθは係数である。例えば、帯域予測モデル構築部16は、帯域計測値列にフィッティングを行い、AIC(Akaike’s Information Criterion)値が最小又は所定の閾値以下となるパラメータを決定する。パラメータp,d,qの範囲は、例えば0≦p,d,q<10とするなど、あらかじめ絞っておいてもよい。
帯域予測モデルの構築は、定期的に行ってもよいし、コンテンツの再生終了時など、所定のタイミングで行ってもよい。なお、本実施形態では、時系列予測手法にARIMAモデルを適用したが、SARIMA(Seasonal AutoRegressive Integrated Moving Average)モデル、ARIMAX(AutoRegressive Integrated Moving Average with eXogenous variables)モデル、SARIMAX(Seasonal AutoRegressive Integrated Moving Average with eXogenous variables)モデルなども同様に適用することができる。
また、帯域予測モデル構築部16は、標準の帯域予測モデルを構築してもよい。例えば、視聴環境推定部13により推定された視聴環境が新規のものである場合に、標準の帯域予測モデルを用いて帯域予測を行ってもよい。
帯域予測モデル記憶部17は、視聴環境ごとに帯域予測モデルを対応付けて記憶する。
帯域予測モデル選択部18は、帯域予測モデル構築部16により構築され、帯域予測モデル記憶部17に記憶された、複数の帯域予測モデルの中から、視聴環境推定部13から入力した現在の視聴環境に応じた帯域予測モデルを選択する。帯域予測モデル選択部18は、コンテンツの再生開始時に帯域予測モデルを選択してもよいし、コンテンツのストリーミング再生中に視聴環境が変化するごとに、該視聴環境に対応する帯域予測モデルを選択してもよい。
帯域予測部19は、帯域予測モデル選択部18により選択された帯域予測モデルに、帯域計測部14により計測された帯域計測値を入力することにより、次のセグメントの受信に利用可能なネットワーク帯域である帯域予測値を予測する。そして、帯域予測部19は、帯域予測値をセグメント取得部20に出力する。帯域予測値の単位は、例えばMbpsである。
セグメント取得部20は、帯域予測部19から入力した帯域予測値と、セグメントリスト記憶部12から入力したセグメントURLリストとに従って、取得対象のセグメントを決定する。そして、該セグメントのURLを含むリクエストを通信I/F10を介して配信サーバ2に要求し、該リクエストへのレスポンスとして、配信サーバ2から通信I/F10を介してセグメントを受信し、バッファ21に出力する。
バッファ21は、再生部22から要求された再生時刻のセグメントを順次再生部22に出力する。
再生部22は、バッファ21から入力したセグメントをセグメントのメディア形式(映像、音声、テキストなど)に従ってデコードして再生し、受信装置1が備えるディスプレイに表示させる。
(セグメント受信方法)
次に、受信装置1のセグメント受信方法について、図4のフローチャートを参照して説明する。図4に示すフローチャートは、マニフェストファイルに複数のビットレートのストリームが記載されており、既にマニフェスト取得部11により、配信サーバ2からマニフェストファイルを取得しており、ストリームのビットレートごとのセグメントURLリストも作成済みの状態から開始するものとする。また、帯域計測部14において、セグメントを受信するごとに計測する帯域計測値を一時帯域計測値列として一時的に保持するものとする。
ステップS001では、受信装置1のユーザによりアプリケーションの再生が実行されると、視聴環境推定部13により、現在の視聴環境を推定する。そして、現在の視聴環境が過去に推定して既知である視聴環境と同一であるか否かを判定する。既知の視聴環境と同一である場合には(ステップS001-YES)、処理をステップS002に進め、既知の視聴環境と同一でない場合には(ステップS001-NO)、処理をステップS014に進める。
受信装置1は、アプリケーションの再生時に、帯域予測モデルの最適化を行うか否かをユーザに確認するようにしてもよい。この場合には、ステップS001では、ユーザにより帯域予測モデルの最適化が要求されたか否かも判定する。すなわち、視聴環境が過去に推定したものと同一であり、かつユーザにより帯域予測モデルの最適化が要求されなかった場合には(ステップS001-YES)、処理をステップS002に進め、視聴環境が過去に推定したものと異なるか、ユーザにより帯域予測モデルの最適化が要求された場合には(ステップS001-NO)、処理をステップS014に進める。
ステップS002では、受信装置1は、アプリケーションの再生開始時であるか否かを判定する。再生開始時である場合には(ステップS002-YES)、処理をステップS005に進め、再生開始時でない場合には(ステップS002-NO)、処理をステップS003に進める。
ステップS005では、帯域予測モデル選択部18により、現在の視聴環境(視聴環境推定部13により推定された視聴環境)に対応した帯域予測モデルを帯域予測モデル記憶部17から選択する。
ステップS006では、帯域予測部19により、帯域計測部14が保持する一時帯域計測値列と、ステップS005において選択した帯域予測モデルとを用いて、次のセグメントの受信に利用可能なネットワーク帯域である帯域予測値を算出する。なお、帯域計測値一時リストに値が存在しないなど、帯域予測値を求めることができない場合には、帯域予測値を0としてもよい。
ステップS007では、セグメント取得部20により、ステップS006において決定した帯域予測値と、セグメントURLリストに格納されているストリームのビットレートとを比較し、帯域予測値以下でありかつ最大のビットレートのセグメントURLリストを抽出するか、又は帯域予測値がすべてのビットレートよりも小さい場合には最小のビットレートのセグメントURLリストを抽出する。
ステップS008では、セグメント取得部20により、ステップS007において抽出したセグメントURLリストから、前回受信したセグメントに続くセグメントのURL(再生開始時は最初のセグメントURL)を抽出する。
ステップS009では、帯域計測部14により、帯域計測を開始する。
ステップS010では、セグメント取得部20により、ステップS008において抽出したセグメントのURLを含むセグメント要求を配信サーバ2に送信し、配信サーバ2から該URLに対応するセグメントを受信する。そして、再生部22により動画を再生する。
ステップS011では、帯域計測部14により、当該セグメントの受信にかかった時間及びセグメントのバイト数から帯域計測値を算出する。そして、帯域計測部14は帯域計測を終了して、算出した帯域計測値を一時帯域計測値列に追加する。
ステップS012では、セグメント取得部20により、セグメントURLに記載されたセグメントをすべて取得したか否かを判定する。また、受信装置1により、ユーザがアプリケーションの停止を実行したか否かを判定する。セグメントURLに記載されたセグメントをすべて取得したか、ユーザがアプリケーションの停止を実行した場合には(ステップS012-YES)、処理をステップS013に進め、セグメントURLに記載されたセグメントの取得が完了しておらず、かつユーザがアプリケーションの停止を実行していない場合には(ステップS012-NO)、処理をステップS001に戻す。
ステップS013では、帯域計測部14により、一時帯域計測値列のうち、現在の視聴環境に変化した時点からの帯域計測値を帯域計測値リスト管理部15に出力し、受信装置1はセグメントの受信処理を終了する。帯域計測値リスト管理部15は、帯域計測部14から入力した一時帯域計測値列に現在の視聴環境を対応付けて帯域計測値リストを管理する。
ステップS003では、視聴環境推定部13により、視聴環境が変化したか否かを判定する。視聴環境が前回視聴環境N-1から現在視聴環境Nに変化した場合には(ステップS003-YES)、処理をステップS004に進め、視聴環境が変化していない場合には(ステップS003-NO)、処理をステップS006に進める。
ステップS004では、帯域計測部14により、一時帯域計測値列のうち、前回視聴環境N-1に変化した時点から現在までの帯域計測値を帯域計測値リスト管理部15に出力する。帯域計測値リスト管理部15は、帯域計測部14から入力した一時帯域計測値列に前回視聴環境N-1を対応付けて帯域計測値リストを管理する。
ステップS014では、帯域予測部19により、予め構築しておいた標準の帯域予測モデルを用いて帯域予測値を決定する。そして、セグメント取得部20によりセグメントを取得し、再生部22により動画を再生する。
ステップS015では、帯域計測部14により、帯域計測値を算出し、収集する。
ステップS016では、帯域計測値の収集量が所定量を超えると、帯域計測値リスト管理部15により帯域計測値リストを生成し、帯域予測モデル構築部16により帯域予測モデルを構築する。
ステップS017では、帯域予測モデル記憶部17により、視聴環境に帯域予測モデルを対応付けて記憶する。その後、処理をステップS006に進める。
図5及び図6に、受信装置1の帯域予測について、従来手法との比較結果を示す。ここでは、受信装置1は、視聴環境「徒歩で移動中」に対応付けられた帯域計測値列を使用して帯域予測モデルを構築し、三次自己回帰(p=3)、一階差分(d=1)、九次移動平均(q=9)のARIMAモデルを選択したものとする。図5において、実線は帯域幅の実測値を示しており、破線は(3,1,9)ARIMAモデルによる帯域幅の予測結果を示しており、一点鎖線は従来の三点移動平均による帯域幅の予測結果を示している。図6(a)は、(3,1,9)ARIMAモデルによる予測結果の、実測値に対する誤差ヒストグラムを示している。図6(b)は、三点移動平均による予測結果の、実測値に対する誤差ヒストグラムを示している。図5及び図6から、従来の三点移動平均による予測に比べて、ARIMAモデルによる予測のほうが実測値に対する予測精度が高いことが確認できる。
このように、本発明によれば、コンテンツのストリーミング再生において、帯域予測モデルを用いることにより、帯域予測装置を別途設けることなく、次のセグメントの受信に利用可能な帯域を高精度に予測することができる。すなわち、帯域変動を高精度に予測することができるため、視聴安定性を向上させることが可能となる。
なお、下記の参考文献に開示されるように深層学習を用いて帯域変動予測を行うことも提案されている。しかし、深層学習を用いた帯域変動予測では、予測精度は高いが、計算量が多く高負荷であるため、受信装置に実装することは困難である。この点、本発明では時系列解析を取り入れることにより、計算処理を大幅に増やすことなく低負荷な処理で、予測精度を向上させることが可能となる。
参考文献:A Machine Learning Approach to TCP Throughput Prediction SIGMETRICS,Proceedings of the 2007 ACM SIGMETRICS international conference on Measurement and modeling of computer systems,June 2007,p.97-108.
(変形例)
次に、帯域予測部19の変形例ついて説明する。帯域変動の予測において利用可能帯域の予測値がネットワークの実測値を下回る正の予測誤差と、利用可能帯域の予測値がネットワークの実測値を上回る負の予測誤差が同程度発生すると考えれる。負の予測誤差が生じた場合には、選択した動画のビットレートが実際の利用帯域を上回ることにより、次セグメントの受信が再生時刻に間に合わなくなり、受信装置1のバッファ21が枯渇して再生が停止するおそれがある。視聴安定性を向上するためには、次のセグメントの受信に利用できる帯域をなるべく正確かつ実測値を上回らないように予測することが望ましい。
帯域予測モデル構築部16では時系列予測手法により帯域予測モデルを構築するが、急激に帯域が下降したとき場合には帯域を過大予測し、負の予測誤差が発生してしまう。そこで、帯域予測部19は、予測値の信用区間の下限値を用いて、急激に帯域が下降したか否かを判定し、急激に帯域が下降した場合には予測値を補正する。なお、ARIMAモデル、SARIMAモデル、ARIMAXモデル、SARIMAXモデルなどの帯域予測モデルでは、予測値に信用区間を設定可能である。具体的には、帯域予測部19は、帯域計測部14により計測された帯域計測値yが、帯域予測モデルを用いて予測した帯域予測値の信用区間の下限値よりも小さくなった場合には、所定の時間(例えば3秒間)、又は帯域が所定の基準値を超えるまで、帯域予測値を該下限値に補正する。所定の時間、帯域予測値を該下限値に補正する場合のアルゴリズムを式(2)に示す。
Figure 2022119167000003
式(2)におけるY^t+kは、補正後の予測値である。y^及びσ^は、帯域予測値の期待値及び標準偏差である。nは、予測値の信用区間の幅を表すパラメータである。つまり、y^-nσ^は、帯域予測値の信用区間の下限値を意味する。なお、n=1とすると68%信用区間となり、n=2とすると95%信用区間となる。Kは、連続して補正を適用する予測値の数である。
変形例では、図4に示すステップS006において、帯域予測部19により、帯域の予測値が実測値を上回らないように予測値の信用区間の値の下限値を一時的に利用することで、負の予測誤差を軽減する。
図7に、ARIMAモデルによる帯域予測値、及び式(2)によって補正した帯域予測値の一例を示す。図7ではサンプリング周期を1秒とし、K=3とした。図7において、実線は帯域幅の実測値を示しており、破線はARIMAモデルによる帯域幅の予測結果を示しており、一点鎖線は式(2)のn=2としたときの帯域幅の予測結果を示しており、二点鎖線は式(2)のn=1としたときの帯域幅の予測結果を示しており、点線は式(2)のn=0.7としたときの帯域幅の予測結果を示している。
図8に、図7に示す例において、各予測値の絶対平均誤差(MAE)及び負の予測誤差の時間平均(MNE)を示す。この結果から、帯域予測値を補正することによって、MAE及びMNEを軽減できていることがわかる。この例では、特にn=1とした場合に、MNEを小さくすることができる。このように、変形例によれば、利用可能なネットワーク帯域の予測精度を更に向上させ、負の予測誤差を軽減することが可能となる。
(プログラム)
上述した受信装置1として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースである。
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性(non-transitory)の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロック又は処理ステップについて、複数を1つに組み合わせたり、1つを複数に分割したりすることが可能である。
1 受信装置
2 配信サーバ
3 コンテンツ生成装置
10 通信I/F
11 マニフェスト取得部
12 セグメントリスト記憶部
13 視聴環境推定部
14 帯域計測部
15 帯域計測値リスト管理部
16 帯域予測モデル構築部
17 帯域予測モデル記憶部
18 帯域予測モデル選択部
19 帯域予測部
20 セグメント取得部
21 バッファ
22 再生部
31 素材映像出力部
32 エンコード部
33 セグメント化部
34 マニフェスト生成部
35 コンテンツ送信部
36 通信I/F

Claims (7)

  1. コンテンツのストリーミング再生において、セグメントを受信するごとに、現在のネットワーク帯域を逐次計測し、帯域計測値として出力する帯域計測部と、
    当該受信装置の移動速度又は位置を含む視聴環境を推定する視聴環境推定部と、
    前記視聴環境ごとに前記帯域計測値の時間変動を示す帯域計測値列を対応付けた帯域計測値リストを管理する帯域計測値リスト管理部と、
    前記帯域計測値リストを用いて、前記視聴環境ごとに帯域予測モデルを構築する帯域予測モデル構築部と、
    前記帯域予測モデル構築部により構築された前記帯域予測モデルの中から、前記視聴環境に応じた帯域予測モデルを選択する帯域予測モデル選択部と、
    前記帯域予測モデル選択部により選択された前記帯域予測モデルに前記帯域計測値を入力して、次のセグメントの受信に利用可能なネットワーク帯域である帯域予測値を予測する帯域予測部と、
    前記帯域予測値に従ってセグメントを受信するセグメント取得部と、
    を備える受信装置。
  2. 前記視聴環境推定部は、加速度センサを用いて当該受信装置の移動速度を推定する、請求項1に記載の受信装置。
  3. 前記視聴環境推定部は、GPSを用いて当該受信装置の位置を推定する、請求項1又は2に記載の受信装置。
  4. 前記帯域予測モデル構築部は、時系列予測手法により、前記視聴環境ごとに、前記帯域計測値列に適合するパラメータを決定し、前記帯域予測モデルを構築する、請求項1から3のいずれか一項に記載の受信装置。
  5. 前記帯域予測モデル選択部は、コンテンツの再生中に前記視聴環境が変化するごとに、該視聴環境に対応する帯域予測モデルを変更する、請求項1から4のいずれか一項に記載の受信装置。
  6. 前記帯域予測モデルは、予測値に信用区間を設定可能であり、
    前記帯域予測部は、前記帯域計測値が、予測した前記帯域予測値の信用区間の下限値よりも小さくなった場合には、前記帯域予測値を該下限値に補正する、請求項1から5のいずれか一項に記載の受信装置。
  7. コンピュータを、請求項1から6のいずれか一項に記載の受信装置として機能させるためのプログラム。

JP2021136661A 2021-02-03 2021-08-24 受信装置及びプログラム Pending JP2022119167A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021016132 2021-02-03
JP2021016132 2021-02-03

Publications (1)

Publication Number Publication Date
JP2022119167A true JP2022119167A (ja) 2022-08-16

Family

ID=82845272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021136661A Pending JP2022119167A (ja) 2021-02-03 2021-08-24 受信装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2022119167A (ja)

Similar Documents

Publication Publication Date Title
US11343492B2 (en) Method for generating video- and audience-specific encoding ladders
CN109286855B (zh) 全景视频的传输方法、传输装置和传输系统
US12003797B2 (en) Method and system for adaptive data transmission
JP5673538B2 (ja) 配信システム
AU2020244611A1 (en) Source-consistent techniques for predicting absolute perceptual video quality
US20110299588A1 (en) Rate control in video communication via virtual transmission buffer
EP3614231A1 (en) Method and apparatus for determining quality of experience of vr multi-media
Liubogoshchev et al. Adaptive cloud-based extended reality: Modeling and optimization
WO2023207801A1 (zh) 视频流帧率调整方法及其装置、设备、介质、产品
Biernacki Improving quality of adaptive video by traffic prediction with (F) ARIMA models
JP7103530B2 (ja) 映像分析方法、映像分析システム及び情報処理装置
Sun et al. Optimal strategies for live video streaming in the low-latency regime
JPWO2013008387A1 (ja) パラメータ推定装置、パラメータ推定方法、及び、パラメータ推定プログラム
Zhang et al. RAM360: Robust Adaptive Multi-Layer 360$^\circ $ Video Streaming With Lyapunov Optimization
JP2011061533A (ja) コンテンツ配信システム、体感品質推定装置、方法、及び、プログラム
KR20200037015A (ko) 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치
JP2022119167A (ja) 受信装置及びプログラム
Xie et al. Deep Curriculum Reinforcement Learning for Adaptive 360$^{\circ} $ Video Streaming With Two-Stage Training
US20170374432A1 (en) System and method for adaptive video streaming with quality equivalent segmentation and delivery
JP6640067B2 (ja) 配信制御装置、配信制御方法及びプログラム
Thang et al. Video streaming over HTTP with dynamic resource prediction
JP6825703B2 (ja) 送信装置、通信システム、通信方法、及びプログラム
CN108989905B (zh) 媒体流控制方法、装置、计算设备及存储介质
WO2023181205A1 (en) Video player, video playback method, and program
JP2016220060A (ja) 帯域予測プログラム、帯域予測装置、および帯域予測方法