JP2022093190A - 配信サーバ、受信装置、動画配信システム、及びプログラム - Google Patents

配信サーバ、受信装置、動画配信システム、及びプログラム Download PDF

Info

Publication number
JP2022093190A
JP2022093190A JP2020206349A JP2020206349A JP2022093190A JP 2022093190 A JP2022093190 A JP 2022093190A JP 2020206349 A JP2020206349 A JP 2020206349A JP 2020206349 A JP2020206349 A JP 2020206349A JP 2022093190 A JP2022093190 A JP 2022093190A
Authority
JP
Japan
Prior art keywords
quality
encoding
unit
rate
encoding rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020206349A
Other languages
English (en)
Inventor
正男 山本
Masao Yamamoto
敏 西村
Satoshi Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2020206349A priority Critical patent/JP2022093190A/ja
Publication of JP2022093190A publication Critical patent/JP2022093190A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】受信状況の変化に伴う動画再生の品質変化を緩やかにするとともに、エンコード処理のコストを低減する。【解決手段】配信サーバ10のエンコードレート情報通知部12は、セグメントの品質毎にセグメントを受信している受信装置の数Aを集計する品質毎集計部122と、エンコードレートの変更値の候補となる候補エンコードレートに対応する品質毎に、セグメントを受信する受信装置の数Bを予測する品質毎集計予測部124と、AとBの差に基づき新たなエンコードレートを決定するエンコードレート決定部125と、エンコードレート決定部125により決定されたエンコードレートのうち、第1のエンコードレートと該第1のエンコードレートよりも低い第2のエンコードレートとの差が閾値以下となった場合には、エンコーダ13に対して、第1のエンコードレートの動画コンテンツのエンコードを停止させるエンコード停止判断部126と、を備える。【選択図】図4

Description

本発明は、配信サーバ、受信装置、動画配信システム、及びプログラムに関する。
インターネット上で、アダプティブストリーミング方式によりストリーミング動画配信を行うために、MPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)、HLS(HTTP Live Streaming)、HDS(HTTP Dynamic Streaming)などの規格が制定されている。アダプティブストリーミングは、回線品質の劣化による動画再生の途切れを抑制することができる。
これらは、ベースとなる仕組みは同じであり、動画コンテンツを配信する配信サーバはエンコードレート(品質に相当)の異なる複数のストリームをそれぞれ数秒から数十秒程度のファイルに分割したもの(セグメント)と、それらの動画コンテンツの属性やURLを記述したマニフェストファイルを用意する。個々の受信装置は、マニフェストファイルからビットレートやセグメントの構成を把握し、インターネットの回線品質の変化等に伴う受信状況の良否に応じて、セグメント単位で再生可能なエンコードレートの動画ファイルを自律的に選択する。そして、マニフェストファイルに従って1本の動画コンテンツにつなぎ合わせて再生する(例えば、非特許文献1参照)。
従来のアダプティブストリーミングでは、配信サーバは、専ら高品質、中品質、低品質のエンコードレートの動画ストリームを生成する。受信できる品質の上限は、受信者の設置したインターネット受信環境の持つ潜在的な性能(回線容量)により、おのずと決まる。例えば、光回線の契約世帯は高品質の動画を受信できるが、メタル回線やモバイル回線といった回線容量の低い通信環境を利用している場合には、中品質あるいは低品質の動画を受信せざるを得ない。したがって、インターネットの回線品質を無視したとき、高品質、中品質、低品質の動画を受信する受信装置数の構成は、受信者設備等の回線容量で決まる。
実際には、インターネットの輻輳等の品質劣化要因(受信状況)は時々刻々と変化する。アダプティブストリーミングでは、受信装置は受信状況に応じて再生可能な品質を適宜、自律的に選択するため、動画再生の途切れは発生しにくい。しかし、例えば高品質から、中品質や低品質に急に品質が変化した場合(最悪、途切れた場合)には、ユーザは品質劣化を体感し、それが繰り返される頻度が多いほど不快に感じてしまう。
急な品質劣化を避ける方法として、例えば高品質と中品質の間や、中品質と低品質の間の品質の多くの動画ストリームをあらかじめ生成することで、受信装置が選択する品質が変化した場合でも、品質の変化量を小さくすることができる。しかし、品質種類が多くなればなるほどエンコード処理量は増加し、ハードウェア処理であればマシン台数の増加につながり、ソフトウェア処理であれば演算量の増加につながる。すなわち、コスト増加につながる。
そこで、特許文献1には、エンコード処理にかかるコストを増加させることなく、受信状況の変化に伴う動画再生の品質変化を緩やかにし、ユーザに品質劣化を体感させにくくすることが可能な動画配信システムが提案されている。
特開2017-175597号公報
平林 光治、「次世代動画配信技術「MPEG-DASH」技術概要と標準化・関連技術動向」、映像情報メディア学会誌、2013年、Vol.67、No.2、pp.109-115
特許文献1に開示された配信サーバ10は、例えば、高品質、中品質、低品質に対応するエンコードレートの初期値が20Mbps、10Mbps、240kbpsである場合、候補エンコードレートを高品質について0.5Mbpsきざみで20Mbps~15Mbpsとし、中品質について0.5Mbpsきざみで10Mbps~5Mbpsとし、低品質について240kbps又は120kbpsとすることが記載されている。すなわち、品質毎の変化量についてはそれぞれの品質ごとに自由に決定できると記載するにとどまり、品質間の品質差についての考慮はされていない。このため、例えば、高品質の下限を中品質の上限近くに設定した場合において、エンコードレート決定部125が決定する高品質と中品質のエンコードレートの差が小さくなる場合があり、結果としていずれの品質を選択しても見た目には画質劣化は変わらないといったことが生じる。このとき、そもそも高品質、中品質を設定する意味が無くなり、それぞれエンコード処理を行うために、エンコード処理にかかるコストが無駄となってしまう。
かかる事情に鑑みてなされた本発明の目的は、受信状況の変化に伴う動画再生の品質変化を緩やかにするとともに、品質間においてエンコードレートが漸近した場合には品質の種類を減らすことによりエンコード処理のコストを低減することが可能な配信サーバ、受信装置、動画配信システム、及びプログラムを提供することにある。
上記課題を解決するため、本発明に係る配信サーバは、動画コンテンツを複数の受信装置に配信する配信サーバであって、前記複数の受信装置の受信状況に基づいて、動画コンテンツの複数の品質に対応する複数のエンコードレートを適応的に決定するエンコードレート情報通知部と、前記エンコードレートに基づいてマニフェストファイルを生成するマニフェスト生成部と、前記エンコードレートに基づいて動画コンテンツをエンコードするエンコーダと、前記エンコーダによりエンコードされたデータを分割してセグメントを生成するセグメント生成部と、を備え、前記エンコードレート情報通知部は、セグメントの品質毎に、セグメントを受信している受信装置の数を集計する品質毎集計部と、前記受信状況に基づいて、エンコードレートの変更値の候補となる候補エンコードレートを複数決定し、各候補エンコードレートに対応する品質毎に、セグメントを受信する受信装置の数を予測する品質毎集計予測部と、前記品質毎集計部により集計した受信装置の数と、前記品質毎集計予測部により予測した受信装置の数との差Nに基づいて、前記複数の候補エンコードレートから新たなエンコードレートを決定するエンコードレート決定部と、前記エンコードレート決定部により決定されたエンコードレートのうち、第1のエンコードレートと該第1のエンコードレートよりも低い第2のエンコードレートとの差が閾値以下となった場合には、前記エンコーダに対して、第1のエンコードレートの動画コンテンツのエンコードを停止させるエンコード停止判断部と、を備える。
さらに、本発明に係る配信サーバにおいて、前記エンコードレート決定部は、停止していた動画コンテンツのエンコードを再開させる場合、再開時のエンコードレートを、再開時における前記第2のエンコードレート以上、停止時における前記第1のエンコードレート以下に決定する。
さらに、本発明に係る配信サーバにおいて、前記エンコードレート決定部は、前記Nが最小となるとき又は前記Nが閾値以下となったときの候補エンコードレートを前記新たなエンコードレートとして決定する。
また、上記課題を解決するため、本発明に係る受信装置は、配信サーバから動画コンテンツを受信する複数の受信装置であって、前記動画コンテンツの受信状況を前記配信サーバに送信する端末情報送信部と、前記配信サーバからマニフェストファイルを取得するマニフェスト取得部と、前記配信サーバから、前記受信状況に基づいて決定されたエンコードレートでエンコードされた動画ストリームを分割したセグメントを取得するセグメント取得部と、前記セグメントをデコードするデコーダと、前記マニフェストファイルから所定の品質の動画コンテンツの情報が削除された場合に、前記デコーダによりデコードされた動画に、アクセスの集中を示す情報をスーパーインポーズするスーパーインポーズ部と、を備える。
また、上記課題を解決するため、本発明に係る動画配信システムは、上記配信サーバと、上記の複数の受信装置と、を備える。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記配信サーバ又は上記受信装置として機能させることを特徴とする。
本発明によれば、受信状況の変化に伴う動画再生の品質変化を緩やかにするとともに、品質間においてエンコードレートが漸近した場合には品質の種類を減らすことによりエンコード処理のコストを低減することが可能になる。
本発明の一実施形態に係る動画配信システムの概念図である。 本発明の一実施形態に係る受信装置の構成例を示すブロック図である。 図2に示す受信装置の変形例を示すブロック図である。 本発明の第1の実施形態に係る配信サーバの構成例を示すブロック図である。 本発明の第1の実施形態に係る配信サーバにおけるエンコードレート情報通知部の構成例を示すブロック図である。 本発明の第1の実施形態に係る配信サーバにおける、高品質動画のエンコードの停止及び再開を示す図である。 本発明の第2の実施形態に係る配信サーバの構成例を示すブロック図である。 本発明の第2の実施形態に係る配信サーバにおけるエンコードレート情報通知部の構成例を示すブロック図である。
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
(動画配信システム)
図1に、本発明の一実施形態に係る動画配信システムの概念図を示す。動画配信システム1は、配信サーバ10と、複数の受信装置20(20-1,20-2,・・・,20-n)とを備える。配信サーバ10と複数の受信装置20とは、インターネット30を介して接続される。
配信サーバ10は、受信装置20からの動画配信要求に応じて、アダプティブストリーミング方式により動画ストリームを生成し、インターネット30を経由して受信装置20に配信する。配信サーバ10は、品質(エンコードレート)の異なる複数のセグメントと、動画コンテンツの属性やURLを記述したマニフェストファイルを用意する。本実施形態では、高品質及び低品質の2種類のセグメントが用意されているものとして説明するが、任意の種類のセグメントを用意することが可能である。
受信装置20は、配信サーバ10からマニフェストファイルを取得し、内容を解析する。そして、マニフェストファイルに記述された情報を基に、配信サーバ10に対して配信要求を行う。配信サーバ10からセグメントを受信すると、セグメントを1本の動画コンテンツにつなぎ合わせて再生する。
(受信装置)
まず、受信装置20の構成について説明する。図2に、本発明の一実施形態に係る受信装置20の構成例を示す。図2に示す受信装置20は、マニフェスト取得部21と、セグメント取得部22と、バッファ23と、デコーダ24と、再生部25と、受信状況計測部26と、端末情報送信部27とを備える。なお、図中の矢印は主なデータの流れを示すものであって、双方向にデータをやり取りしてもよい。
マニフェスト取得部21は、アプリケーション起動時又は番組選択時に、マニフェスト要求(リクエスト)を生成して配信サーバ10に送信する。そして、配信サーバ10から該要求に対するレスポンスとして所望の番組のマニフェストファイル(MPDファイル)を取得する。そして、マニフェストファイルを基にセグメント開始時刻及びセグメントのURLを対応付けたセグメントURLリストを生成し、セグメント取得部22に出力する。
受信状況計測部26は、動画コンテンツの受信状況として、通信速度(セグメントの受信速度)、及びバッファ23の蓄積量を定期的に計測し、セグメント取得部22及び端末情報送信部27に出力する。通信速度は、例えばバッファ23の1秒当たりの蓄積量の変化から求めることができる。
セグメント取得部22は、マニフェスト取得部21から入力されたセグメントURLリストから、セグメント開始時刻に対応付けられたセグメントのURLを抽出する。そして、受信状況計測部26から入力された受信状況(通信速度及びバッファ蓄積量)に基づき、高品質及び低品質の2種類のセグメントから1つを選択し、選択したセグメントのURLを含むセグメント要求(リクエスト)を生成して配信サーバ10に送信する。受信状況計測部26から受信状況が入力される前においては、予め決められた品質を選択する。例えば、光回線に接続されている受信装置20は高品質を選択し、メタル回線やモバイル回線に接続されている受信装置20は低品質を選択する。
なお、セグメント取得部22は、アダプティブストリーミングが従来持つ仕組みにより、複数種類のセグメントのうち一つを選択するようにしてもよい。セグメント取得部22は、配信サーバ10から該要求に対するレスポンスとして対応するセグメントを取得すると、バッファ23に蓄積する。
バッファ23は、セグメント取得部22から入力されたセグメントを一時的に蓄積しておくメモリである。
デコーダ24は、再生部25から要求されたセグメントをバッファ23から読み出す。そして、読み出したセグメントをメディアの形式(映像、音声、テキスト等)に従ってデコードして動画を生成し、再生部25に出力する。
再生部25は、再生開始時刻情報を含む再生命令を入力すると、再生開始時刻に基づいて動画を再生する。また、停止命令を入力した場合には、再生を停止する。
端末情報送信部27は、受信状況計測部26から入力された受信状況(通信速度及びバッファ蓄積量)、及び受信装置を識別する識別情報を含む端末情報を、定期的に配信サーバ10に送信する。
次に、図3を参照して、受信装置20の変形例について説明する。図3に示す受信装置20’は、マニフェスト取得部21と、セグメント取得部22と、バッファ23と、デコーダ24と、再生部25と、受信状況計測部26と、端末情報送信部27と、スーパーインポーズ部28とを備える。受信装置20’は受信装置20と比較して、スーパーインポーズ部28を更に備える点が相違する。その他の構成については受信装置20と同一であるため、同一の参照番号を付して適宜説明を省略する。
マニフェスト取得部21は、高品質及び低品質の動画コンテンツの情報のうち所定の品質の動画コンテンツの情報が削除されたことを検知する機能を有する。マニフェスト取得部21は、所定の品質の動画コンテンツの情報が削除されたことを検知すると、スーパーインポーズ部28にスーパーインポーズ指示を通知する。
スーパーインポーズ部28は、マニフェスト取得部21からスーパーインポーズ指示を通知されると、デコーダ24によりデコードされた動画に、アクセスの集中を示す情報(すなわち、ネットワークの輻輳が発生していることを示す情報)をスーパーインポーズする。例えば、スーパーインポーズ部28は、「只今、動画へのアクセスが混雑しています」という文字を動画に重ね合わせて表示する。
(配信サーバ)
次に、配信サーバ10の構成について説明する。図4に、配信サーバ10の構成例を示す。図4に示す配信サーバ10は、端末情報受信部11と、エンコードレート情報通知部12と、エンコーダ13と、マニフェスト生成部14と、セグメント生成部15と、マニフェスト送信部16と、データ生成部17と、セグメント送信部18とを備える。エンコーダ13は、配信サーバ10の外部に設けられる装置であってもよい。なお、図中の矢印は主なデータの流れを示すものであって、双方向にデータをやり取りしてもよい。また、マニフェストファイルやセグメントなどのデータを一時的に蓄積するバッファの図示は省略する。
端末情報受信部11は、受信装置20からあらかじめ指定した時間間隔で送信される端末情報を受信し、端末情報に含まれる受信状況をエンコードレート情報通知部12に出力する。
エンコードレート情報通知部12は、端末情報受信部11から受信状況が入力される度に、動画コンテンツの複数の品質に対応するエンコードレートを適応的に決定し、エンコーダ13及びマニフェスト生成部14に出力する。本実施形態では、エンコードレート情報通知部12は、高品質の動画コンテンツ(以下、「高品質動画」という。)のエンコードレート、及び低品質の動画コンテンツ(以下、「低品質動画」という。)のエンコードレートを決定する。また、高品質動画のエンコードレートが低品質動画のエンコードレートに漸近した場合には、高品質動画のエンコードの停止を指示するためのエンコード停止情報もエンコーダ13及びマニフェスト生成部14に出力する。エンコードレート情報通知部12の詳細については後述する。
エンコーダ13は、エンコードレート情報通知部12から通知されたエンコードレートで動画をエンコードして動画ストリームを生成し、セグメント生成部15に出力する。エンコーダ13は、エンコードレート情報通知部12からエンコード停止情報が入力された場合には、高品質動画のエンコードを停止する。エンコーダ13は、エンコード停止情報が解除されると(非アクティブになると)、高品質動画のエンコードを再開する。
マニフェスト生成部14は、エンコードレート情報通知部12から入力されたエンコードレートに基づいてマニフェストファイルを生成し、マニフェスト送信部16及びデータ生成部17に出力する。マニフェストファイルに記述するエンコードレートは、エンコードレート情報通知部12から通知されたエンコードレートに基づいて随時変更される。マニフェスト生成部14は、エンコードレート情報通知部12からエンコード停止情報が入力された場合には、マニフェストファイルから高品質動画についての記述を削除する。マニフェスト生成部14は、エンコード停止情報が解除されると(非アクティブになると)、高品質動画の記述を再開する。
マニフェスト送信部16は、受信装置20からマニフェスト要求を受信すると、マニフェスト生成部14から入力されたマニフェストファイルを該受信装置20に送信する。
セグメント生成部15は、エンコーダ13から入力された動画ストリームを分割して所定の形式のセグメントを生成し、データ生成部17に出力する。
データ生成部17は、マニフェスト生成部14から入力されたマニフェストファイルに基づき、セグメント生成部15から入力されたセグメントを所定のアダプティブストリーミングのファイル形式に変換し、セグメント送信部18に出力する。
セグメント送信部18は、受信装置20からセグメント要求を受信すると、データ生成部17から入力されたセグメントを該受信装置20に送信する。
(エンコードレート情報通知部)
次に、エンコードレート情報通知部12の処理内容について、図5を参照して説明する。図5は、エンコードレート情報通知部12の構成例を示すブロック図である。図5に示すエンコードレート情報通知部12は、受信状況取得部121と、品質毎集計部122と、受信状況分析部123と、品質毎集計予測部124と、エンコードレート決定部125と、エンコード停止判断部126とを備える。なお、図中の矢印は主なデータの流れを示すものであって、双方向にデータをやり取りしてもよい。
受信状況取得部121は、端末情報受信部11から複数の受信装置20の受信状況(通信速度及びバッファ蓄積量)を取得し、品質毎集計部122及び受信状況分析部123に出力する。
品質毎集計部122は、受信状況取得部121から受信状況が入力される度に、各受信装置20がどの品質のセグメントを要求しているかを把握し、高品質のセグメントを受信している受信装置20の数Hnowと、低品質のセグメントを受信している受信装置20の数Lnowをそれぞれ集計し、集計した品質毎受信装置数Hnow,Lnowを品質毎集計予測部124及びエンコードレート決定部125に出力する。あるいは、品質毎集計部122は、受信装置20から受信したセグメント要求からどの品質のセグメントを要求しているかを把握し、品質毎受信装置数Hnow,Lnowを集計してもよい。
受信状況分析部123は、受信状況取得部121から受信状況が入力される度に、各受信装置20の受信状況の良否を判定し、判定結果を品質毎集計予測部124に出力する。例えば、バッファ蓄積量が所定のバイト数よりも多い場合には受信状況が良いと判定し、バッファ蓄積量が所定のバイト数以下になった場合に受信状況が悪いと判定する。また、受信状況が良い場合にはエンコードレートをどれだけ高くしたセグメントを受信可能か判定し、受信状況が悪い場合にはエンコードレートをどれだけ低くしたセグメントを受信可能か判定する。
例えば、当初、高品質の5Mbpsのセグメントを受信していた受信装置20が、回線品質の劣化によりバッファ蓄積量が少なくなってきた場合、動画が途切れないようにするために品質を切り替えて低品質の1Mbpsのセグメントを要求すると予測される。しかし、高品質に対応するエンコードレートを5Mbpsから3Mbpsに変更した場合には、低品質の1Mbpsのセグメントを要求することなく、高品質の3Mbpsのセグメントを要求すると予測される。
そこで、品質毎集計予測部124は、高品質及び低品質に対応する各エンコードレートの変更値の候補となる候補エンコードレートを複数決定する。そして、品質毎集計予測部124は、品質毎集計部122から入力された品質毎受信装置数Hnow,Lnowと、受信状況分析部123から入力された判定結果とに基づき、候補エンコードレートに対応する品質毎に、セグメントを受信する受信装置の予測数(品質毎予測受信装置数)Hafter,Lafterを求め、エンコードレート決定部125に出力する。この処理を候補エンコードレートの値を変えながら、繰り返し行う。すなわち、高品質及び低品質に対応するエンコードレートの値を変更させたと仮定して、高品質のセグメントを受信すると予測される受信装置20の数Hafterと、低品質のセグメントを受信すると予測される受信装置20の数Lafterを求める。
品質毎集計予測部124は、候補エンコードレートの試行順番は任意とすることができる。例えば、受信状況が良い受信装置20の割合が閾値以上である場合には、現状よりもエンコードレートが高い候補エンコードレートを、現状のエンコードレートとの差が徐々に大きくなる順番で試行するようにしてもよい。また、受信状況が悪い受信装置20の割合が閾値以上である場合には、現状よりもエンコードレートが低い候補エンコードレートを、現状のエンコードレートとの差が徐々に大きくなる順番で試行するようにしてもよい。候補エンコードレートの変化量は高品質、低品質ともに同一であってもよいし、品質毎に変化量の大きさが異なってもよいし、低品質のエンコードレートは変化させないようにしてもよい。
エンコードレート決定部125は、品質毎集計部122により集計した受信装置20の数と、品質毎集計予測部124により予測した受信装置の数との差、すなわち、エンコードレートを候補エンコードレートに変更した場合に受信するセグメントの品質を変更すると予測される受信装置20の総数(予測品質変更数)Nを求める。Nは式(1)で表される。そして、予測品質変更数Nに基づいて、複数の候補エンコードレートから新たなエンコードレートを決定し、エンコーダ13及びマニフェスト生成部14に出力する。
Figure 2022093190000002
候補エンコードレートから新たなエンコードレートを決定する例を、以下に説明する。第1のエンコードレート決定例では、エンコードレート決定部125は、予測品質変更数Nが最小となるときの候補エンコードレートを新たなエンコードレートとして決定する。
第2のエンコードレート決定例では、品質毎集計予測部124は、エンコードレート決定部125から予測品質変更数Nを取得して予測品質変更数Nが閾値以下となったときにはその時点で処理を停止し、エンコードレート決定部125は、予測品質変更数Nが閾値以下となったときの候補エンコードレートを新たなエンコードレートとして決定する。
また、候補エンコードレートを下げていってもあるところから予測品質変更数Nが小さくならず、予測品質変更数Nの変化量が閾値以下となる場合には、回線に異常が発生していると考えられる。そのため、第3のエンコードレート決定例では、品質毎集計予測部124は、エンコードレート決定部125から予測品質変更数Nを取得して予測品質変更数Nの変化量が閾値以下となったときにはその時点で処理を停止し、エンコードレート決定部125は、予測品質変更数Nの変化量が閾値以下となる直前の候補エンコードレートを新たなエンコードレートとして決定する。
また、候補エンコードレートの値を上げていった場合には、低い品質に切り替える受信装置20が増加すると考えられる。そのため、第4のエンコードレート決定例では、品質毎集計予測部124は、エンコードレート決定部125から予測品質変更数Nを取得して予測品質変更数Nの変化量が閾値以上となったときにはその時点で処理を停止し、エンコードレート決定部125は、予測品質変更数Nの変化量が閾値以上となる直前の候補エンコードレートを新たなエンコードレートとして決定する。
ここで、高品質動画のエンコードレートを緩やかに低下させていき、低品質動画のエンコードレートを変化させずに維持することを例として考える。高品質動画のエンコードレートを例えば5Mbpsから0.5Mbps刻みで低下させていったとき、回線の輻輳が悪化している場合、ついには1.5Mbpsや1Mbpsに達する場合が想定される。低品質動画のエンコードレートが1Mbpsの場合には、高品質動画のエンコードレートとの差が僅少となり、主観画質が変わらなくなってくる。すなわち、受信側において高品質動画及び低品質動画のいずれを選択しても主観画質が変わらないということになる。この場合、高品質動画をエンコードすることは無駄となるため、低品質動画のみをエンコードすることが合理的である。そこで、エンコードレート情報通知部12により、以下の処理を行う。
エンコード停止判断部126は、エンコードレート決定部125により決定されたエンコードレートのうち、第1のエンコードレートと該第1のエンコードレートよりも低い第2のエンコードレートとの差が閾値以下となった場合には、エンコーダ13に対して、第1のエンコードレートの動画コンテンツのエンコードを停止させる。換言すれば、エンコーダ13は、エンコードレート決定部125により決定されたエンコードレートのうち、2つのエンコードレートの差が閾値以下となった場合には、エンコードレートが高いほうの動画コンテンツのエンコードを停止する。
エンコードレート決定部125は、停止していた動画コンテンツのエンコードを再開させる場合、再開時のエンコードレートを、再開時における第2のエンコードレート以上、停止時における第1のエンコードレート以下に決定する。これにより、動画コンテンツのエンコード再開時においても、動画再生の品質変化を緩やかにすることができる。
例えば図5に示すように、エンコード停止判断部126は、エンコードレート間差分計算部127と、判断部128と、エンコード停止通知部129とを備える。
エンコードレート間差分計算部127は、エンコードレート決定部125からエンコードレートを取得し、2つのエンコードレートの差分を計算して判断部128に出力する。本実施形態では、エンコードレート決定部125により決定されるエンコードレートは2種類のみであるため、エンコードレート間差分計算部127は、高品質動画のエンコードレートと低品質動画のエンコードレートの差分を計算する。
判断部128は、エンコードレート間差分計算部127により計算されたエンコードレートの差分が閾値以下となった場合に、高品質動画のエンコードを停止すると判断し、判断結果をエンコード停止通知部129に出力する。
エンコード停止通知部129は、判断部128により高品質動画のエンコードを停止すると判断されると、高品質動画のエンコードの停止を指示するためのエンコード停止情報をエンコードレート決定部125に出力する。
エンコードレート決定部125は、エンコード停止通知部129からエンコード停止情報が入力されると、エンコード停止情報をエンコーダ13及びマニフェスト生成部14に出力する。エンコードレート決定部125は、高品質動画のエンコード再開時のエンコードレートを、再開時における低品質動画のエンコードレート以上、エンコード停止時における高品質動画のエンコードレート以下に決定する。
図6は、高品質動画のエンコードの停止及び再開を示す図である。図中のHは高品質動画のエンコードレート(ビットレート[bps])を示しており、Lは低品質動画のエンコードレート(ビットレート[bps])を示しており、横軸は時間[s]を示している。ネットワークの輻輳が時間経過とともに悪化したとき、エンコーダ13は高品質動画コンテンツのエンコードレートを緩やかに下げていく。図6(a)に示すように、高品質動画と低品質動画のエンコードレートの差分が第1の閾値以下となったとき(時刻t1)、エンコーダ13は高品質動画のエンコードを停止し、低品質動画のエンコードのみを行う。ネットワークの輻輳が回復し、エンコードレート間差分計算部127により計算されたエンコードレートの差分が第2の閾値以上となったとき(時刻t2)、エンコーダ13は高品質動画のエンコードを再開し、エンコードレートを緩やかに上げていく。第1の閾値と第2の閾値は同じ値であってもよい。時刻t2における高品質動画のエンコードレートは、図6(a)に示すように時刻t1における高品質動画のエンコードレートと同じであってもよいし、時刻t2における低品質動画のエンコードレートと同じであってもよいし、これらの間の値であってもよい。
エンコードレート情報通知部12は、図6(b)に示すように、低品質動画のみをエンコードしている期間中(時刻t1以降)に更に輻輳が悪化したとき(時刻t3)、高品質動画のエンコードを停止したまま、低品質動画のエンコードレートを緩やかに下げてもよい。その後、低品質動画のエンコードレートを、時刻t4から時刻t5まで所定の値とし、時刻t5から緩やかに上げてもよい。また、輻輳が緩和し、低品質動画のエンコードレートが時刻t1と同程度になったとき(時刻t6)、高品質動画のエンコードを再開してもよい。時刻t6における高品質動画のエンコードレートは、図6(b)に示すように時刻t1における高品質動画のエンコードレートと同じであってもよいし、時刻t6における低品質動画のエンコードレートと同じであってもよいし、これらの間の値であってもよい。
配信サーバ10は、高品質動画のエンコードを停止していた期間(図6(a)では時刻t1から時刻t2の期間であり、図6(b)では時刻t1から時刻t4の期間)、高品質動画のエンコーダを行わないため、エンコード処理に係るコストを低減することができる。なお、エンコードレート決定部125により決定されるエンコードレートが3種類以上である場合も同様に、そのうちの2つのエンコードレートの差分が閾値以下となったときにエンコードレートが高いほうの動画コンテンツのエンコードを停止することで、エンコード処理に係るコストを低減することができる。このように本発明では、アダプティブストリーミングの仕組みをそのまま利用しながらも、体感品質をできるたけ維持しつつ、エンコーダ13のコストを低減することができる。
(第2の実施形態に係る配信サーバ)
次に、第2の実施形態に係る配信サーバについて説明する。第1の実施形態に係る配信サーバ10は、端末情報に基づいてエンコードレートを決定したが、端末情報に加えて他の情報に基づいてエンコードレートを決定してもよい。そこで、第2の実施形態では、端末情報及び緊急情報に基づいてエンコードレートを決定する配信サーバについて説明する。
図7に、本発明の第2の実施形態に係る配信サーバ40の構成例を示す。図7に示す配信サーバ40は、端末情報受信部11と、緊急情報受信部41と、エンコードレート情報通知部42と、エンコーダ13と、マニフェスト生成部14と、セグメント生成部15と、マニフェスト送信部16と、データ生成部17と、セグメント送信部18とを備える。配信サーバ40は、第1の実施形態に係る配信サーバ10と比較して、更に緊急情報受信部41を備え、エンコードレート情報通知部12に代えてエンコードレート情報通知部42を備える点が相違する。その他の構成については配信サーバ10と同一であるため、同一の参照番号を付して説明を省略する。
緊急情報受信部41は、緊急情報を受信すると、緊急情報をエンコードレート情報通知部42に出力する。緊急情報は、例えば、緊急地震速報のテレビ放送のチャイム音を検知して発報される信号や、気象庁が発表する緊急地震速報である。
エンコードレート情報通知部42は、配信サーバ10のエンコードレート情報通知部12と同様に、端末情報受信部11から受信状況が入力される度に、動画コンテンツの複数の品質に対応するエンコードレートを適応的に決定し、エンコーダ13及びマニフェスト生成部14に出力するが、緊急情報が入力された場合には、エンコードレートを一定の時間低下させる。
図8は、エンコードレート情報通知部42の構成例を示すブロック図である。図8に示すエンコードレート情報通知部42は、受信状況取得部121と、品質毎集計部122と、受信状況分析部123と、品質毎集計予測部124と、エンコードレート決定部125と、エンコードレート調整部421とを備える。なお、図中の矢印は主なデータの流れを示すものであって、双方向にデータをやり取りしてもよい。エンコードレート情報通知部42は、第1の実施形態に係る配信サーバ10のエンコードレート情報通知部12と比較して、エンコードレート調整部421を更に備える点が相違する。その他の構成についてはエンコードレート情報通知部12と同一であるため、同一の参照番号を付して説明を省略する。
エンコードレート調整部421は、緊急情報が入力された場合には、エンコードレート決定部125により決定されたエンコードレートを一定の時間低下させる。低下させる時間は任意(例えば30秒)に設定することができ、この時間が経過した後、エンコードレートを原状に戻す。
エンコードレート調整部421は、エンコードレートとともにフレームレートを低下させてもよい。例えば、フレームレートを、30フレーム/秒の1/30にあたる1フレーム/秒としたときには、エンコードレートも1/30としてもよいし、フレーム内の画質(特に地図情報と文字情報の画質)を向上させるために1/1~1/30の間で任意に設定できるようにしてもよい。
第1の実施形態に係る配信サーバ10では上述のように体感品質の維持を図ることができるが、気象庁の発表に基づく緊急地震速報のテレビ放送をストリーミング動画配信する際に動画再生の品質が低下したような場合には、画面にスーパーインポーズ表示される地図情報や文字情報の視認性が低下してしまう。このような場合に、第2の実施形態に係る配信サーバ40では動画のフレームレートを低下させるため、各フレームの動画品質を維持し、緊急地震速報の地図情報や文字情報の劣化を抑えて再生することが可能となる。
(プログラム)
上述した受信装置20,20’、及び配信サーバ10,40として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。プロセッサは、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースである。
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性(non-transitory)の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
1 動画配信システム
10,40 配信サーバ
11 端末情報受信部
12,42 エンコードレート情報通知部
13 エンコーダ
14 マニフェスト生成部
15 セグメント生成部
16 マニフェスト送信部
17 データ生成部
18 セグメント送信部
20,20’ 受信装置
21 マニフェスト取得部
22 セグメント取得部
23 バッファ
24 デコーダ
25 再生部
26 受信状況計測部
27 端末情報送信部
28 スーパーインポーズ部
30 インターネット
41 緊急情報受信部
121 受信状況取得部
122 品質毎集計部
123 受信状況分析部
124 品質毎集計予測部
125 エンコードレート決定部
126 エンコード停止判断部
127 エンコードレート間差分計算部
128 判断部
129 エンコード停止通知部
421 エンコードレート調整部

Claims (7)

  1. 動画コンテンツを複数の受信装置に配信する配信サーバであって、
    前記複数の受信装置の受信状況に基づいて、動画コンテンツの複数の品質に対応する複数のエンコードレートを適応的に決定するエンコードレート情報通知部と、
    前記エンコードレートに基づいてマニフェストファイルを生成するマニフェスト生成部と、
    前記エンコードレートに基づいて動画コンテンツをエンコードするエンコーダと、
    前記エンコーダによりエンコードされたデータを分割してセグメントを生成するセグメント生成部と、を備え、
    前記エンコードレート情報通知部は、
    セグメントの品質毎に、セグメントを受信している受信装置の数を集計する品質毎集計部と、
    前記受信状況に基づいて、エンコードレートの変更値の候補となる候補エンコードレートを複数決定し、各候補エンコードレートに対応する品質毎に、セグメントを受信する受信装置の数を予測する品質毎集計予測部と、
    前記品質毎集計部により集計した受信装置の数と、前記品質毎集計予測部により予測した受信装置の数との差Nに基づいて、前記複数の候補エンコードレートから新たなエンコードレートを決定するエンコードレート決定部と、
    前記エンコードレート決定部により決定されたエンコードレートのうち、第1のエンコードレートと該第1のエンコードレートよりも低い第2のエンコードレートとの差が閾値以下となった場合には、前記エンコーダに対して、第1のエンコードレートの動画コンテンツのエンコードを停止させるエンコード停止判断部と、
    を備える配信サーバ。
  2. 前記エンコードレート決定部は、停止していた動画コンテンツのエンコードを再開させる場合、再開時のエンコードレートを、再開時における前記第2のエンコードレート以上、停止時における前記第1のエンコードレート以下に決定する、請求項1に記載の配信サーバ。
  3. 前記エンコードレート決定部は、前記Nが最小となるとき又は前記Nが閾値以下となったときの候補エンコードレートを前記新たなエンコードレートとして決定する、請求項1又は2に記載の配信サーバ。
  4. 配信サーバから動画コンテンツを受信する複数の受信装置であって、
    前記動画コンテンツの受信状況を前記配信サーバに送信する端末情報送信部と、
    前記配信サーバからマニフェストファイルを取得するマニフェスト取得部と、
    前記配信サーバから、前記受信状況に基づいて決定されたエンコードレートでエンコードされた動画ストリームを分割したセグメントを取得するセグメント取得部と、
    前記セグメントをデコードするデコーダと、
    前記マニフェストファイルから所定の品質の動画コンテンツの情報が削除された場合に、前記デコーダによりデコードされた動画に、アクセスの集中を示す情報をスーパーインポーズするスーパーインポーズ部と、
    を備える受信装置。
  5. 請求項1から3のいずれか一項に記載の配信サーバと、
    請求項4に記載の複数の受信装置と、
    を備える動画配信システム。
  6. コンピュータを、請求項1から3のいずれか一項に記載の配信サーバとして機能させるためのプログラム。
  7. コンピュータを、請求項4に記載の受信装置として機能させるためのプログラム。
JP2020206349A 2020-12-11 2020-12-11 配信サーバ、受信装置、動画配信システム、及びプログラム Pending JP2022093190A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020206349A JP2022093190A (ja) 2020-12-11 2020-12-11 配信サーバ、受信装置、動画配信システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020206349A JP2022093190A (ja) 2020-12-11 2020-12-11 配信サーバ、受信装置、動画配信システム、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022093190A true JP2022093190A (ja) 2022-06-23

Family

ID=82068933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020206349A Pending JP2022093190A (ja) 2020-12-11 2020-12-11 配信サーバ、受信装置、動画配信システム、及びプログラム

Country Status (1)

Country Link
JP (1) JP2022093190A (ja)

Similar Documents

Publication Publication Date Title
KR102039778B1 (ko) 서버에서 멀티 비트 레이트 스트림 미디어를 적응적으로 제공하기 위한 방법 및 장치
US11546596B2 (en) Dynamic codec adaptation
WO2002058389A1 (en) System and method for adjusting bit rate and cost of delivery of digital data
JP2020053760A (ja) 情報処理システム、端末装置およびプログラム
JP6419848B2 (ja) 帯域幅最適化のための適応的データセグメント配信調停
WO2008108379A1 (ja) メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム
US10218757B2 (en) System and methods for dynamic transcoder rate adaption for adaptive bit rate streaming
KR20140020807A (ko) 콘텐츠 인식 멀티미디어 스트리밍을 위한 방법 및 시스템
US11563990B2 (en) Method and apparatus for automatic HLS bitrate adaptation
JP2016051927A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2023175841A (ja) ビデオストリーミングのためのセッションベースの適応再生プロファイルの決定
US10708667B1 (en) Combining fragments with different encodings
JP2005318057A (ja) サーバ装置および映像伝送システム
US20140099040A1 (en) Image processing device and image processing method
JP2016005043A (ja) 情報処理装置およびプログラム
JP2014192566A (ja) 映像処理装置、映像処理方法およびコンピュータプログラム
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
CN107135403B (zh) 信息处理设备
JP2014075737A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2022093190A (ja) 配信サーバ、受信装置、動画配信システム、及びプログラム
JP6793526B2 (ja) 動画配信システム、配信サーバ、及びプログラム
JP6891497B2 (ja) 情報処理装置、情報処理システム及びプログラム
US11409415B1 (en) Frame interpolation for media streaming
US10298651B2 (en) Encoding device, decoding device, computer program product, and streaming system
JP2022146714A (ja) 受信装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231113