JP2021158482A - 映像配信装置、映像配信方法およびプログラム - Google Patents

Abstract

【課題】映像配信中にネットワーク帯域が変動した場合であっても、適切に高品質な映像配信を継続する。【解決手段】映像配信装置は、ネットワークを介してクライアント装置に対して映像を配信する配信手段と、クライアント装置との間のネットワーク帯域の余裕の程度を示す使用可能帯域を測定する測定手段と、測定手段により測定された使用可能帯域と、映像の許容する画質範囲とに基づいて、配信手段によりクライアント装置へ配信する映像のデータ量を制御する制御手段と、を備える。【選択図】 図３

Description

本発明は、映像配信装置、映像配信方法およびプログラムに関する。

従来、複数の動画再生装置との通信帯域に基づいて配信に使用する帯域を決定し、決定された帯域に従って、各動画再生装置に対して、ユーザが要求した画質、解像度、フレームレートを反映した動画を配信する技術が知られている（例えば、特許文献１参照）。

特開２０１３−６６０４５号公報

本発明が解決しようとする課題は、映像配信中にネットワーク帯域が変動した場合であっても、適切に高品質な映像配信を継続することである。

上記課題を解決するために、本発明に係る映像配信装置の一態様は、ネットワークを介してクライアント装置に対して映像を配信する配信手段と、前記クライアント装置との間のネットワーク帯域の余裕の程度を示す使用可能帯域を測定する測定手段と、前記測定手段により測定された使用可能帯域と、前記映像の許容する画質範囲とに基づいて、前記配信手段により前記クライアント装置へ配信する映像のデータ量を制御する制御手段と、を備える。

本実施形態における映像配信システムの構成例を示す図。 カメラサーバ装置のハードウェア構成例を示す図。 カメラサーバ装置の機能構成の一例を示す機能ブロック図。 映像配信処理を示すシーケンス図。 配信条件リストの一例を示す図。 優先度を持つ配信条件リストの一例を示す図。 映像配信処理を示すフローチャート。 データ増減処理を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本実施形態における映像配信システム１００の構成例を示す図である。
本実施形態における映像配信システム１００は、ネットワークを利用して映像を配信するシステムである。この映像配信システム１００は、例えば店舗やビル監視向けには、インターネットやクローズドなＩＰネットワークを経由して、遠隔からのカメラ操作や映像、音声の閲覧、録画を行うことができる。
本実施形態では、映像配信システム１００における配信データが映像データのみである場合について説明する。ただし、配信データは、映像データの他にも音声データ、映像および音声の解析データ、字幕データなどを含むことができる。

映像配信システム１００は、映像配信装置であるカメラサーバ装置２００と、クライアント装置３００と、を備える。カメラサーバ装置２００とクライアント装置３００とは、ネットワーク４００を介して相互に接続されている。
カメラサーバ装置２００は、撮像装置であるカメラを備え、当該カメラによって撮像した映像を、ネットワーク４００を介して配信する。クライアント装置３００は、ネットワーク４００を介してカメラサーバ装置２００に対して映像の配信開始要求を送信し、これを受けてカメラサーバ装置２００が配信した映像を、ネットワーク４００を介して受信する。

ネットワーク４００は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成することができる。なお、ネットワーク４００は、カメラサーバ装置２００とクライアント装置３００との間で通信が支障なく行えるものであれば、その通信規格、規模、構成は問わない。つまり、ネットワーク４００は、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現してもよい。
また、ネットワーク４００に接続されるカメラサーバ装置２００およびクライアント装置３００の台数は、図１に示す数に限定されない。つまり、カメラサーバ装置２００およびクライアント装置３００の少なくとも一方が、複数台ネットワーク４００に接続されていてもよい。

図２は、カメラサーバ装置２００のハードウェア構成例である。
カメラサーバ装置２００は、ＣＰＵ２０１、一次記憶装置２０２、二次記憶装置２０３、画像キャプチャＩ／Ｆ２０４、画像センサ２０５、およびネットワークＩ／Ｆ２０６を備える。これらの各部は、内部バス２０７を介して相互に接続されている。
ＣＰＵ２０１は、カメラサーバ装置２００における動作を統括的に制御する。一次記憶装置２０２は、ＲＡＭに代表される書き込み可能な高速の記憶装置である。一次記憶装置２０２は、ＯＳや各種プログラムおよび各種データがロードされる記憶装置であり、ＯＳや各種プログラムの作業領域としても使用することができる。

二次記憶装置２０３は、フラッシュメモリ、ＨＤＤ、ＳＤカード等に代表される不揮発性の記憶装置である。二次記憶装置２０３は、ＯＳや各種プログラムおよび各種データの永続的な記憶領域として使用される。また、二次記憶装置２０３は、短期的な各種データの記憶領域としても使用することができる。ＣＰＵ２０１は、二次記憶装置２０３から必要なプログラム等を一次記憶装置２０２にロードし、当該プログラム等を実行することで各種の機能動作を実現する。カメラサーバ装置２００の機能や処理の詳細については後述する。
画像キャプチャＩ／Ｆ２０４には、ＣＣＤやＣＭＯＳ等の半導体素子および周辺回路を備える画像センサ２０５が接続され、画像センサ２０５から取得した画像データ（映像フレーム）を所定のフォーマットに変換・圧縮して一次記憶装置２０２に転送する。
ネットワークＩ／Ｆ２０５は、ネットワーク４００と接続するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してクライアント３００等との通信を行う。

図３は、カメラサーバ装置２００の機能構成の一例を示す機能ブロック図である。
この図３に示すように、カメラサーバ装置２００は、撮像処理部２１１と、一時記憶部２１２と、配信処理部２１３と、帯域測定部２１４と、ビットレート制御部２１５と、を備える。
撮像処理部２１１は、映像を撮像する。具体的には、撮像処理部２１１は、画像キャプチャＩ／Ｆ２０４を経由して一次記憶装置２０２に転送された映像フレームを取得し、符号化処理を行う。
一時記憶部２１２は、撮像処理部２１１において撮像された映像フレームを一時的に記憶する。例えば、一時記憶部２１２は、映像フレームを一時的に図１に示す一次記憶装置２０２等に蓄積する。なお、一次記憶装置２０２等に蓄積された複数の映像フレームからなる映像データ（以下、単に「映像」ともいう。）は、配信完了後に一次記憶装置２０２等から削除される。

配信処理部２１３は、ネットワーク４００を介してクライアント装置３００との間でデータの送受信を行う。例えば、配信処理部２１３は、クライアント装置３００から配信開始要求を受信すると、一時記憶部２１２に保存されている映像を、要求されたフォーマットで配信する。
帯域測定部２１４は、配信処理部２１３が配信している単位時間当たりのデータ量である使用帯域と、クライアント装置３００との間のネットワーク帯域と、を測定する。ここで、帯域測定部２１４は、送信パケットのＲＴＴ（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ）などからクライアント装置３００との間のネットワーク帯域を測定することができる。なお、ネットワーク帯域の測定は、カメラサーバ装置２００だけでなく、クライアント装置３００と連携して測定することも可能である。

ビットレート制御部２１５は、帯域測定部２１４により測定された使用帯域とネットワーク帯域とを参照し、ネットワーク帯域から使用帯域を差し引いた使用可能帯域を算出する。ここで、使用可能帯域は、どの程度ネットワーク帯域に余裕があるかを示す指標である。ビットレート制御部２１５は、算出された使用可能帯域と所定の閾値とを比較し、使用可能帯域が下限閾値以下である場合は、ネットワーク帯域に余裕がないと判定し、使用可能帯域が上限閾値以上である場合は、ネットワーク帯域に余裕があると判定する。
そして、ビットレート制御部２１５は、使用可能帯域が下限閾値以下であり、ネットワーク帯域に余裕がないと判定した場合には、配信する映像のデータ量を減少させる、つまり、映像のビットレートを減らすように制御する。一方、ビットレート制御部２１５は、使用可能帯域が上限閾値以上であり、ネットワーク帯域に余裕があると判定した場合には、配信する映像のデータ量を増加させる、つまり、映像のビットレートを増やすように制御する。

本実施形態では、ビットレート制御部２１５は、測定した使用可能帯域と、映像の許容する画質範囲とに基づいて、映像の画質情報を制御することで、配信する映像のデータ量（配信データ量）を制御する。ここで、画質情報は、映像の画質（品質）を決定づける情報であり、映像の符号化に用いる量子化値（Ｑ値）、映像を配信するフレームレートおよび映像の解像度を含む。
ビットレート制御部２１５は、まず、配信処理部２１３により配信している映像の画質情報を取得する。ビットレート制御部２１５は、複数取得された画質情報のうちの１つの画質情報が許容範囲内にあるか否かを判定することで、映像の画質が許容する画質範囲内にあるか否かを判定する。そして、上記１つの画質情報が許容範囲内にある場合には、ビットレート制御部２１５は、当該許容範囲内で上記１つの画質情報の設定を変更して配信データ量を増減すべき方向に変更する。

本実施形態では、上記１つの画質情報がＱ値であり、Ｑ値が許容範囲内にあるか否か、具体的には、Ｑ値が許容範囲の上限値から下限値までの間にあるか否かを判定することで、映像の画質が許容する画質範囲内にあるか否かを判定する。そして、ビットレート制御部２１５は、Ｑ値が許容範囲の上限値に達していない場合には、許容範囲内でＱ値を上限値へ向けて変更し、Ｑ値が許容範囲の下限値に達していない場合には、許容範囲内でＱ値を下限値へ向けて変更する。

一方、ビットレート制御部２１５は、上記１つの画質情報（本実施形態では、Ｑ値）が許容範囲外にあると判定した場合には、他の画質情報の設定を変更してデータ量を増減すべき方向に変更する。ここで、本実施形態では、上記他の画質情報は、フレームレートおよび解像度である。ビットレート制御部２１５は、まずフレームレートを変更してＱ値が上記許容範囲内を収まるように制御し、フレームレートを変更してもＱ値が上記許容範囲内に収まらない場合には、解像度をも変更してＱ値が上記許容範囲内に収まるように制御する。

なお、本実施形態では、使用可能帯域が下限閾値以下または上限閾値以上になった場合に、即座にビットレートを増減させる場合について説明する。しかしながら、使用可能帯域が下限閾値以下または上限閾値以上である状態が一定時間継続した場合に、ビットレートを増減させるようにしてもよい。
また、本実施形態では、使用帯域とネットワーク帯域とを使用してネットワーク状態を監視し、ネットワーク帯域に余裕があるか否かを判定する場合について説明する。しかしながら、使用帯域およびネットワーク帯域以外の情報も使用してネットワーク状態を監視するようにしてもよい。例えば、パケットロス回数、パケットの遅延時間またはパケット順序入替回数、更にはその状態が一定時間続いたこと等を考慮して、ネットワーク帯域に余裕があるか否かを判定するようにしてもよい。

この図３に示すカメラサーバ装置２００の各要素の一部または全部の機能は、図２に示すＣＰＵ２０１がプログラムを実行することで実現することができる。ただし、図３に示すカメラサーバ装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２０１の制御に基づいて動作する。
なお、本実施形態では、映像配信装置であるカメラサーバ装置２００が、撮像手段である画像キャプチャＩ／Ｆ２０４および画像センサ２０５を備える場合について説明した。しかしながら、カメラサーバ装置２００とは別装置が上記撮像手段を備え、映像配信装置であるカメラサーバ装置２００は撮像手段を備える別装置から映像フレームを取得する構成であってもよい。

図４は、本実施形態における映像配信処理を示す配信シーケンスの例である。
まず、クライアント装置３００は、カメラサーバ装置２００に対して配信開始要求を送信する（Ｓ１）。配信開始要求を受けたカメラサーバ装置２００は、レスポンスとして映像データ１−１を送信し、クライアント装置３００は、カメラサーバ装置２００が送信した映像データ１−１を受信する（Ｓ２）。
なお、この図４において、カメラサーバ装置２００からの映像データ送信に関する送達確認のパケットについては特に図示していないが、クライアント装置３００から送信されているものとする。

カメラサーバ装置２００は、映像データ１−１に続いて映像データ１−２、映像データ１−３を生成すると、これらを順次クライアント装置３００に配信する。そして、クライアント装置３００は、カメラサーバ装置２００が送信した映像データ１−２、映像データ１−３を受信する（Ｓ３、Ｓ４）。
その後、何等かの理由によりネットワーク状態が不安定になると、続く映像データ１−４、映像データ１−５が連続でパケットロスし、送達確認がとれない状態となったものとする（Ｓ５、Ｓ６）。この場合、カメラサーバ装置２００は、送達確認のタイムアウトをもって、映像データ１−４と映像データ１−５とを再送する（Ｓ７、Ｓ８）。

この再送処理によって送信できない時間帯ができるため、ネットワーク帯域が減少し、使用可能帯域も減少する。このとき、使用可能帯域が下限閾値以下まで減少した場合には、カメラサーバ装置２００は、映像のビットレートを減らし、更なるネットワーク帯域の変動に備える。つまり、カメラサーバ装置２００は、続く映像データ２−６、映像データ２０７は、ビットレートを減少させて配信する（Ｓ９、Ｓ１０）。
本配信シーケンスの概念は、ＨＴＴＰを用いたＭＰ４フラグメント配信やＭＰＥＧ−ＤＡＳＨ／ＨＬＳのようなＨＴＴＰアダプティブストリーミングから、ＲＴＰ／ＲＴＣＰを用いた配信にまで適用することが可能である。

図５（ａ）は、本実施形態における配信条件リストの例である。
本実施形態では、カメラサーバ装置２００は、上述したように、ネットワークの使用可能帯域と、映像の許容する画質範囲とに基づいて、配信する映像のデータ量（配信データ量）を制御する。具体的には、カメラサーバ装置２００は、ネットワーク帯域に余裕があり配信データ量を増加可能であると判断される場合は、映像画質を許容する画質範囲に収めながら、Ｑ値、フレームレートおよび解像度の少なくとも１つを変更して配信データ量を増加させる。一方、カメラサーバ装置２００は、ネットワーク帯域に余裕がなく配信データ量を減少させる必要があると判断される場合は、映像画質を許容する画質範囲に収めながら、Ｑ値、フレームレートおよび解像度の少なくとも１つを変更して配信データ量を減少させる。

本実施形態では、カメラサーバ装置２００は、許容する画質範囲を表すＱ値の許容範囲、フレームレート、解像度の組からなる配信条件が複数設定されたリストである配信条件リストを用いて、ネットワークの使用可能帯域に応じた配信条件を選択する。
図５（ａ）は、配信条件リストの一例である。この図５（ａ）に示す配信条件リストは、０から１１までの１２段階の配信条件が設定されている場合の例である。図５（ａ）に示す配信条件リストの「画質範囲」の数値は、Ｑ値の許容範囲を示す数値であり、右がＱ値の上限値、左がＱ値の下限値である。Ｑ値は、小さい値の方が高画質であり、大きい値の方が低画質であることを意味している。
この図５（ａ）に示す配信条件リストでは、Ｎｏ．０の配信条件が、解像度：３８４０ｐｘ×２１６０ｐｘ、フレームレート：６０ｆｐｓ、画質範囲：３０−１６に設定されており、Ｎｏ．０から配信データ量の大きい順に配列されている。

カメラサーバ装置２００は、配信データ量を増加させる場合で、配信している映像のＱ値が設定中の配信条件に含まれる許容範囲内にある場合には、当該許容範囲内でＱ値を小さくすることでデータ量を増加させる。Ｑ値が上限値に到達した場合には、配信条件リストからデータ量が増加する別の組に定義されている配信条件を選択し、選択した配信条件をもとにフレームレートおよび解像度を上げる。
同様に、配信データ量を減少させる場合で、配信している映像のＱ値が設定中の配信条件に含まれる許容範囲内にある場合には、当該許容範囲内でＱ値を大きくすることでデータ量を減少させる。Ｑ値が下限値に到達した場合には、配信条件リストからデータ量が減少する別の組に定義されている配信条件を選択し、選択した配信条件をもとにフレームレートおよび解像度を下げる。

以下、Ｎｏ．０の配信条件を用いて映像配信を始めた後に、ネットワーク帯域が変動するなどの理由により使用可能帯域が減少していった場合の制御について説明する。
カメラサーバ装置２００は、使用可能帯域が減少するに従って、配信データ量を減少させるために現在撮像している映像の画質を徐々に下げる。つまり、Ｑ値を徐々に大きくする。そして、Ｑ値が許容範囲の下限値である３０に到達すると、画質を確保するために、Ｎｏ．０の配信条件から１段下のＮｏ．１の配信条件に変更する。つまり、フレームレートを５０ｆｐｓに下げる。Ｎｏ．１の配信条件が設定されると、フレームレートが下がって配信データ量が減るため、画質を回復させ、Ｑ値が許容範囲３０−１６に収まるようにすることができる。
この後、更に使用可能帯域が減少し、再度Ｑ値が許容範囲の下限値である３０に到達すると、Ｎｏ．２の配信条件に変更する。つまり、フレームレートを３０ｆｐｓに下げて、Ｑ値を許容範囲３０−１６に収めるようにする。

更に使用可能帯域が減少し、Ｑ値が許容範囲の下限値である３０に到達すると、Ｎｏ．３の配信条件に変更する。このＮｏ．３の配信条件では、解像度を１９２０×１０８０に下げる。解像度が下がると配信データ量が減るため、画質を回復させ、Ｑ値が許容範囲３０−１６に収まるようにすることができる。その後、使用可能帯域が引き続き減り続けた場合は、最終的にはＮｏ．１１の配信条件まで変更される。
このように、Ｑ値が各段階で定めた許容範囲内に収まるように制御し、そこで収まらない場合は段階を落としてフレームレートを落とし、それでも収まらない場合は解像度を落とす制御を行う。したがって、画質を許容する画質範囲に収めながら、配信データ量を減少させることができる。

次に、Ｎｏ．３の配信条件を用いて映像配信を始めた後に、ネットワーク帯域が変動するなどの理由により使用可能帯域が増加していった場合の制御について説明する。
Ｎｏ．３の配信条件は、解像度が１９２０×１０８０、フレームレートが３０ｆｐｓ、Ｑ値の許容範囲が３０−１６である。カメラサーバ装置２００は、使用可能帯域が増えるに従って、配信データ量を増加させるために現在撮像している映像の画質を徐々に上げる。つまり、Ｑ値を徐々に小さくする。そして、Ｑ値が許容範囲の上限値である１６に到達すると、Ｎｏ．３の配信条件から１段上のＮｏ．２の配信条件に変更する。つまり、解像度を３８４０×２１６０に上げる。この場合、解像度が上がって配信データ量が増えるため、画質を下げ、Ｑ値が許容範囲３０−１６に収まるようにすることができる。

それ以降も使用可能帯域の増加に合わせてＱ値を小さくしていき、Ｑ値が許容範囲の上限値である１６に到達すると、１段上のＮｏ．１の配信条件に変更する。つまり、フレームレートを５０ｆｐｓに上げる。このとき、フレームレートが上がった分、画質を下げる。それ以降も使用可能帯域が増加に合わせてＱ値を小さくしていき、Ｑ値が許容範囲の上限値である１６に到達すると、１段上のＮｏ．０の配信条件に変更する。つまり、配信条件を最高画質となる解像度３８４０×２１６０、フレームレート６０ｆｐｓに変更し、画質範囲を３０−１６に収まるように制御する。
このように、Ｑ値が各段階で定めた許容範囲内に収まるように制御し、そこで収まらない場合は段階を上げてフレームレートを上げ、それでも収まらない場合は解像度を上げる制御を行う。したがって、画質を許容する画質範囲に収めながら、配信データ量を増加させることができる。

図５（ｂ）は、図５（ａ）に示す配信条件リストによって設定された１２段階の配信条件がどのように分布するのかを示した図である。この図５（ｂ）において、横軸は画質を表すＱ値、縦軸はデータ量である。
図５（ｂ）において、一番上の実線で示す曲線は、Ｎｏ．０の配信条件（解像度３８４０×２１６０、フレームレート６０ｆｐｓ、画質範囲３０−１６）を示している。また、上から２番目の実線で示す曲線は、Ｎｏ．１の配信条件（解像度３８４０×２１６０、フレームレート５０ｆｐｓ、画質範囲３０−１６）を示している。さらに、その下の実線で示す曲線は、Ｎｏ．２の配信条件（解像度３８４０×２１６０、フレームレート３０ｆｐｓ、画質範囲３０−１６）を示している。その下の破線で示す曲線は、Ｎｏ．３の配信条件（解像度１９２０×１０８０、フレームレート３０ｆｐｓ、画質範囲３０−１６）を示している。以降、配信条件リストに従って、Ｎｏ．１１の配信条件（解像度６４０×３６０、フレームレート１ｆｐｓ、画質範囲４０−１６）までを示している。

ネットワーク帯域が連続して減少していくような環境では、設定画質は、許容する画質範囲の下限周辺を遷移する。つまり、図５（ｂ）の左側（Ｑ値の大きい側）に集まりながら下のリストのフレームレートと解像度に遷移する。一方、ネットワーク帯域が連続して増加していくような環境では、設定画質は、許容する画質範囲の上限周辺を遷移する。つまり、図５（ｂ）の右側（Ｑ値の小さい側）に集まりながら上のリストのフレームレートと解像度に遷移する。そして、ネットワーク帯域が安定している環境では、リストの上下遷移はなく、特定の配信条件でのＱ値の許容範囲の上下限値内の遷移だけで収まるような制御になる。

このように、カメラサーバ装置２００は、許容する画質範囲（Ｑ値の許容範囲）と、フレームレートと、解像度とを含む配信条件が複数設定された配信条件リストを有する。カメラサーバ装置２００は、この配信条件リストを用いることで、ネットワークの使用可能帯域に応じて、一定の画質範囲に収まる最大解像度および最大フレームレートを容易に選択することが可能となる。

なお、配信条件リストは、図５（ａ）に示す配信条件リストに限定されるものではない。図５（ａ）に示す配信条件リストは、配信データ量の大きい順に配信条件を配列させた場合、フレームレートと解像度とが交互に下がっていくように設定されており、フレームレートと解像度とは同等の優先度を有する。しかしながら、配信条件リストは、いずれかのパラメータが下がりにくく設定されていてもよい。つまり、優先度を有する配信条件リストであってもよい。

図６（ａ）は、解像度優先の配信条件リストの例である。
この図６（ａ）に示す配信条件リストにおいて、Ｎｏ．０〜Ｎｏ．６までは解像度３８４０×２１６０を維持し、フレームレートを６０ｆｐｓから順に７．５ｆｐｓまで下げている。また、Ｎｏ．７〜Ｎｏ．９までは解像度１９２０×１０８０を維持し、フレームレートを５ｆｐｓまで下げている。そして、Ｎｏ．１０、Ｎｏ．１１では解像度を１２８０×７２０とし、フレームレートを１まで下げている。
このように、解像度が下がりにくく、フレームレートが下がりやすい解像度優先の配信条件リストを用いて配信条件を設定してもよい。フレームレートを下がりやすくして解像度を大きな値に維持することで、フレームレートは高くなくてもよいが細部などが鮮明に見える高解像度な映像配信を実現することができる。

図６（ｂ）は、フレームレート優先の配信条件リストの例である。
この図６（ｂ）に示す配信条件リストにおいて、Ｎｏ．０〜Ｎｏ．３まではフレームレート６０ｆｐｓを維持し、解像度を３８４０×２１６０から１９２０×１０８０まで下げている。また、Ｎｏ．４〜Ｎｏ．７まではフレームレート５０ｆｐｓを維持し、解像度を１９２０×１０８０から６４０×３６０まで下げている。そして、Ｎｏ．８〜Ｎｏ．１１ではフレームレート３０ｆｐｓを維持し、解像度を６４０×３６０から３２０×１８０まで下げている。
このように、フレームレートが下がりにくく、解像度が下がりやすいフレームレート優先の配信条件リストを用いて配信条件を設定してもよい。解像度を下がりやすくしてフレームレートを大きな値に維持することで、細部は鮮明でなくても構わないが、速い動きを見逃したくない高フレームレート配信を実現することができる。

次に、本実施形態におけるビットレート制御について詳細に説明する。
図７は、本実施形態におけるカメラサーバ装置２００のビットレート制御部２１５の動作を示すフローチャートである。この図７の処理は、クライアント装置３００から配信開始要求を受信したタイミングで開始される。カメラサーバ装置２００は、ＣＰＵ２０１が必要なプログラムを読み出して実行することにより、図７に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ２１において、ビットレート制御部２１５は、配信条件リストを取得する。ビットレート制御部２１５は、予めカメラサーバ装置２００が保持している特定の配信条件リストを取得してもよいし、クライアント装置３００から指示された優先度情報に従って、複数の配信条件リストの中から選択した配信条件リストを取得してもよい。優先度情報は、上述した解像度優先やフレームレート優先といった情報であり、例えば配信開始要求時にクライアント装置３００から取得することができる。配信条件リストの具体例は、図５（ａ）や図６（ａ）、図６（ｂ）で説明したとおりである。
なお、ビットレート制御部２１５は、クライアント装置３００が表示可能な画像の最大解像度および最大フレームレートに応じた配信条件リストを作成するようにしてもよい。この場合、配信条件として設定される解像度の上限およびフレームレートの上限は、クライアント装置３００が表示可能な画像の最大解像度および最大フレームレートとすることができる。

映像の配信処理は配信処理部２１３が実施し、クライアント装置３００との間のネットワーク帯域や配信の使用帯域の測定は帯域測定部２１４が実施する。このため、Ｓ２２では、ビットレート制御部２１５は、配信処理が行われて必要な帯域情報が生成されるまで一定時間待機する。
そして、一定時間が経過した後、Ｓ２３においてビットレート制御部２１５は、帯域測定部２１４により測定されたクライアント装置３００との間のネットワーク帯域と現在の映像配信処理で使用している使用帯域とを取得する。
次にＳ２４では、ビットレート制御部２１５は、Ｓ２３において取得されたネットワーク帯域から現在の使用帯域を差し引いて、どの程度ネットワーク帯域に余裕があるのかを示す使用可能帯域を算出する。

次に、Ｓ２５において、ビットレート制御部２１５は、ネットワーク帯域に余裕があるかどうかを判断するために、使用可能帯域が上下限値のどの範囲にあるかをチェックする。具体的には、使用可能帯域が上限閾値以上であるか、下限閾値以下であるか、上限閾値から下限閾値までの間にあるかを判定する。ここで、使用可能帯域の上限値は５０Ｍｂｐｓ、下限値は１０Ｍｂｐｓとすることができる。
なお、ここでは、使用可能帯域の上限閾値を５０Ｍｂｐｓ、下限閾値を３０Ｍｂｐｓに設定したが、使用可能帯域の上下限閾値は、無線ＬＡＮや４Ｇ回線などネットワーク経路や回線種類を考慮して決定してもよい。また、使用可能帯域の上下限閾値は、動的に変えてもよい。

そして、使用可能帯域が下限閾値よりも大きく上限閾値よりも小さい場合には、ネットワーク帯域が安定しており、配信データ量を変更する必要はないと判断してＳ２２に戻る。そして、再度帯域情報が更新されるのを待つ。
一方、使用可能帯域が下限閾値以下である場合には、ネットワーク帯域に余裕がなく、配信データ量を減少する必要があると判断してＳ２６に移行し、配信データ量を減少するためのデータ量減少処理を実行してからＳ２２に戻る。また、使用可能帯域が上限閾値以上である場合には、ネットワーク帯域に余裕があり、配信データ量を増加することができると判断してＳ２７に移行し、配信データ量を増加するためのデータ量増加処理を実行してからＳ２２に戻る。

このように、ビットレート制御部２１５は、カメラサーバ装置２００とクライアント装置３００との間のネットワーク帯域と使用帯域とに基づいて、ネットワーク帯域に余裕があるかどうかを判定する。そして、ネットワーク帯域に余裕がないと判定した場合は、配信データ量を減らすように制御し、ネットワーク帯域に余裕があると判定した場合は配信データ量を増やすように制御する。
配信データ量の増減は、Ｑ値、フレームレートおよび解像度の少なくとも１つを変更することによって実現する。以下、データ量減少処理およびデータ量増加処理の詳細について、図８（ａ）および図８（ｂ）を参照しながら説明する。

図８（ａ）は、図７のＳ２６において実施されるデータ量減少処理の手順を示すフローチャートである。
まずＳ２６ａにおいて、ビットレート制御部２１５は、撮像処理部２１１が生成している映像フレームから画質情報としてＱ値を取得し、Ｓ２６ｂに移行する。Ｓ２６ｂでは、ビットレート制御部２１５は、現在の画質が現在の配信条件で定義されている許容する画質範囲に入っているか否かを判定する。具体的には、ビットレート制御部２１５は、現在の画質が許容する画質の下限（下限画質）よりも良いか、つまり、Ｑ値が許容範囲の下限値よりも小さいか否かを判定する。例えば、図５（ａ）の配信条件リストのＮｏ．０の配信条件で配信している場合には、現在のＱ値が下限値３０よりも小さいか否かを判定する。

そして、ビットレート制御部２１５は、現在の画質が下限画質に達していない、つまり現在のＱ値が下限値３０よりも小さいと判定した場合は、まだ画質を低下させることができると判断し、Ｓ２６ｃに移行する。Ｓ２６ｃでは、ビットレート制御部２１５は、許容する画質範囲内で画質を下げるために許容範囲内でＱ値を変更し、図８（ａ）のデータ量減少処理を終了する。なお、ここではＱ値を指定して画質を下げる場合について説明したが、Ｑ値を指定せずに、目標となるビットレート値（目標符号量）のみを下げてＱ値は撮像処理時に自動で制御してもよい。

一方、Ｓ２６ｂにおいて、ビットレート制御部２１５が、現在の画質が下限画質に達している、つまり現在のＱ値が下限値３０以上であると判定した場合は、これ以上画質を低下させることができないと判断してＳ２６ｄに移行する。そして、Ｓ２６ｄでは、ビットレート制御部２１５は、Ｑ値を変更するのではなく、配信条件リストを１段階下の配信条件、つまり配信データ量が減少する配信条件に変更して図８（ａ）のデータ量減少処理を終了する。例えば、図５（ａ）のＮｏ．０の配信条件で配信している場合には、配信条件を、解像度３８４０×２１６０、フレームレート６０ｆｐｓから、１段階下のＮｏ．１の配信条件である解像度３８４０×２１６０、フレームレート５０ｆｐｓへ変更する。

図８（ｂ）は、図７のＳ２７において実施されるデータ量増加処理の手順を示すフローチャートである。
まずＳ２７ａにおいて、ビットレート制御部２１５は、撮像処理部２１１が生成している映像フレームから画質情報としてＱ値を取得し、Ｓ２７ｂに移行する。Ｓ２７ｂでは、ビットレート制御部２１５は、現在の画質が現在の配信条件で定義されている許容する画質範囲に入っているか否かを判定する。具体的には、ビットレート制御部２１５は、現在の画質が許容する画質の上限（上限画質）に達しているか、つまり、Ｑ値が許容範囲の上限値よりも大きいか否かを判定する。例えば、図５（ａ）の配信条件リストのＮｏ．１の配信条件で配信している場合には、現在のＱ値が上限値１６よりも大きいか否かを判定する。

そして、ビットレート制御部２１５は、現在の画質が上限画質に達していない、つまり現在のＱ値が上限値１６よりも大きいと判定した場合は、まだ画質を上げることができると判断し、Ｓ２７ｃに移行する。Ｓ２７ｃでは、ビットレート制御部２１５は、許容する画質範囲内で画質を上げるために許容範囲内でＱ値を変更し、図８（ｂ）のデータ量増加処理を終了する。なお、ここではＱ値を指定して画質を上げる場合について説明したが、Ｑ値を指定せずに、目標となるビットレート値（目標符号量）のみを上げてＱ値は撮像処理時に自動で制御してもよい。

一方、Ｓ２７ｂにおいて、ビットレート制御部２１５が、現在の画質が上限画質に達している、つまり現在のＱ値が上限値１６以下であると判定した場合は、これ以上画質を上げることができないと判断してＳ２７ｄに移行する。そして、Ｓ２７ｄでは、ビットレート制御部２１５は、Ｑ値を変更するのではなく、配信条件リストを１段階上の配信条件、つまり配信データ量が増加する配信条件に変更して図８（ｂ）のデータ量増加処理を終了する。例えば、図５（ａ）のＮｏ．１の配信条件で配信している場合には、配信条件を、解像度３８４０×２１６０、フレームレート５０ｆｐｓから、１段階上のＮｏ．０の配信条件である解像度３８４０×２１６０、フレームレート６０ｆｐｓへ変更する。

このように、ネットワーク帯域が不足してきた場合には、図８（ａ）に示すデータ量減少処理を実施して、まずはＱ値を変更して許容する画質範囲内で画質を下げることで配信データ量を減少する。そして、さらに配信データ量を減少させる必要がある場合は、フレームレートおよび解像度の少なくとも一方を下げる。一方、ネットワーク帯域が充分ある場合には、図８（ｂ）に示すデータ増加処理を実施して、まずはＱ値を変更して許容する画質範囲内で画質を上げることで配信データ量を増加する。そして、さらに配信データ量を増加できる場合は、フレームレートおよび解像度の少なくとも一方を上げる。これにより、配信中にネットワーク状態が変動した場合であっても、データ落ちや配信切断することなく高品質な映像配信を継続することができる。
また、配信条件リストに解像度優先を選択すれば、高解像度で画質を一定範囲内の抑えながらフレームレートが動的に変わる映像配信を実現できる。さらに、配信条件リストにフレームレート優先を選択すれば、高フレームレートで画質を一定範囲に押さえながら解像度が動的に変わる映像配信を実現できる。

以上説明したように、本実施形態における映像配信装置であるカメラサーバ装置２００は、ネットワーク４００を介してクライアント装置３００に対して映像を配信する。このとき、カメラサーバ装置２００は、クライアント装置３００との間のネットワーク帯域の余裕の程度を示す使用可能帯域を測定し、測定された使用可能帯域と映像の許容する画質範囲とに基づいてクライアント装置３００へ配信する映像のデータ量を制御する。
したがって、映像配信中にネットワーク帯域が変動した場合であっても、適切に高品質な映像配信を継続することができる。

具体的には、カメラサーバ装置２００は、クライアント装置３００との間の現在のネットワーク帯域と、カメラサーバ装置２００が単位時間当たりに送信している映像のデータ量である使用帯域とを測定する。そして、カメラサーバ装置２００は、クライアント装置３００との間の現在のネットワーク帯域から現在の使用帯域を差し引くことで使用可能帯域を測定する。そのため、クライアント装置３００との間のネットワーク帯域にどの程度余裕があるかを適切に把握することができ、配信する映像のデータ量を増加することができるか減少させる必要があるかを適切に判断することができる。

また、カメラサーバ装置２００は、配信する映像のデータ量の増減に際し、映像の符号化に用いる量子化値（Ｑ値）、映像を配信するフレームレートおよび映像の解像度の少なくとも１つを制御する。このように、映像配信開始後のネットワーク帯域の変動に応じて、動的にＱ値やフレームレート、解像度を調整することができる。そのため、適切に配信する映像のデータ量を制御することができる。
さらに、カメラサーバ装置２００は、測定した使用可能帯域が上限閾値以上となった場合、配信する映像のデータ量を増加させることができると判断し、使用可能帯域が下限閾値以下となった場合、配信する映像のデータ量を減少させる必要があると判断する。このように、使用可能帯域に余裕がある状態や使用可能帯域が不足してきた状態を適切に把握し、配信する映像のデータ量の増減を適切に判断することができる。

また、カメラサーバ装置２００は、Ｑ値の許容範囲、映像を配信するフレームレートおよび映像の解像度を少なくとも含む配信条件のリスト（配信条件リスト）を有することができる。カメラサーバ装置２００は、測定された使用可能帯域に基づいてデータ量を増減させると判断した場合、配信している映像のＱ値と設定中の配信条件に含まれるＱ値の許容範囲とを比較する。そして、カメラサーバ装置２００は、Ｑ値が許容範囲内にあると判断した場合には、当該許容範囲内でＱ値を変更することでデータ量を増減すべき方向に変更する。一方、Ｑ値が許容範囲外にあると判断した場合には、配信条件リストからデータ量が増減すべき方向に変更される別の配信条件を選択し、選択した配信条件に含まれるフレームレートおよび解像度に変更する。

このように、画質が許容する画質範囲内であれば、フレームレートおよび解像度は変更せず、許容範囲内でＱ値を変更して配信データ量を増減させる。そのため、ネットワーク帯域が不足してきた場合には、画質を一定画質に収めつつ配信データ量を減少させ、フレーム落ちや配信切断を防止することができる。また、ネットワーク帯域が十分ある場合には、画質を上限画質まで上げることができ、高品質な映像配信を行うことができる。
さらに、ネットワーク帯域が不足してきた場合で、画質が下限画質に達している場合には、フレームレートおよび解像度の少なくとも一方を下げて配信データ量を減少させる。そのため、画質を一定画質に収めつつ配信データ量を適切に減少させることができる。同様に、ネットワーク帯域が十分ある場合で、画質が上限画質に達している場合には、フレームレートおよび解像度の少なくとも一方を上げて配信データ量を増加させる。そのため、画質を一定画質に収めつつ配信データ量を適切に増加少させることができる。

また、配信条件リストを用いて、Ｑ値が各段階で定めた許容範囲内に収まるように制御し、そこで収まらない場合には、配信条件を１段階ずつ切り替えてフレームレートおよび解像度を変更する。そのため、ネットワークの使用可能帯域に応じて、一定の画質範囲に収まる最大フレームレートおよび最大解像度を容易に設定することができる。

従来、ユーザに指定された映像領域（タイル）だけを高解像映像から切り出して配信することにより、ネットワーク帯域の消費量を抑えつつ高解像映像を配信する映像配信最適化技術（ＨＤＳＭ２．０）がある。
しかしながら、上記技術では、ライブ映像配信時にネットワーク帯域そのものが変動して、映像配信に必要な帯域が足りなくなった場合には、たとえ限られたタイルであっても配信できずにフレーム落ちが発生し、最悪の場合は配信が切断してしまう。
これに対して、本実施形態では、ネットワーク帯域が変動して映像配信に使用できる帯域が不足してきた場合には、Ｑ値、フレームレート、解像度の少なくとも１つを変更して、画質を許容する画質範囲に収めつつ配信データ量を減らすことができる。したがって、フレーム落ちや配信切断することなく高品質な映像配信を継続することができる。

このように、本実施形態におけるカメラサーバ装置２００は、ネットワーク状態が不安定であり、ネットワーク帯域そのものが変動した場合であっても、配信不良を生じることなく高品質な映像配信を継続することができる。

なお、上記実施形態においては、配信データ量の増減に際し、まずＱ値を許容範囲内で変更し、Ｑ値が許容範囲外となったらフレームレートや解像度を変更する場合について説明した。しかしながら、Ｑ値、フレームレート、解像度の画質情報のうち、まず１つの画質情報を許容範囲内で変更し、当該１つの画質情報が許容範囲外となったら他の画質情報を変更するようにすればよく、上記１つの画質情報はＱ値に限定されない。上記１つの画質情報はフレームレートであってもよいし、解像度であってもよい。例えば、上記１つの画質情報が解像度である場合、まず解像度を許容範囲内で変更し、解像度が許容範囲外となったらフレームレートやＱ値を変更するようにしてもよい。この場合にも、画質を許容する画質範囲に収めつつ配信データ量を制御することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…映像配信システム、２００…カメラサーバ装置、２１１…撮像処理部、２１２…一時記憶部、２１３…配信処理部、２１４…帯域測定部、２１５…ビットレート制御部、３００…クライアント装置

Claims (14)

1. ネットワークを介してクライアント装置に対して映像を配信する配信手段と、
   前記クライアント装置との間のネットワーク帯域の余裕の程度を示す使用可能帯域を測定する測定手段と、
   前記測定手段により測定された使用可能帯域と、前記映像の許容する画質範囲とに基づいて、前記配信手段により前記クライアント装置へ配信する映像のデータ量を制御する制御手段と、を備えることを特徴とする映像配信装置。
2. 前記測定手段は、
   前記クライアント装置との間の現在のネットワーク帯域と、前記配信手段が単位時間当たりに送信している映像のデータ量である使用帯域とを測定し、
   前記ネットワーク帯域から前記使用帯域を差し引くことで前記使用可能帯域を測定することを特徴とする請求項１に記載の映像配信装置。
3. 前記制御手段は、
   前記使用可能帯域が上限閾値以上となった場合、または、その状態が一定時間継続した場合に、前記データ量を増加させ、
   前記使用可能帯域が下限閾値以下となった場合、または、その状態が一定時間継続した場合に、前記データ量を減少させることを特徴とする請求項１または２に記載の映像配信装置。
4. 前記制御手段は、
   前記映像の符号化に用いる量子化値、前記映像を配信するフレームレートおよび前記映像の解像度の少なくとも１つの画質情報を制御することで前記データ量を制御することを特徴とする請求項１から３のいずれか１項に記載の映像配信装置。
5. 前記配信手段により配信している映像の前記画質情報を複数取得する取得手段をさらに備え、
   前記制御手段は、
   前記測定手段により測定された使用可能帯域に基づいて前記データ量を増減させると判断した場合、
   前記取得手段により取得された前記画質情報のうちの１つの画質情報が許容範囲内にあると判断した場合には、当該許容範囲内で前記１つの画質情報の設定を変更することで前記データ量を増減すべき方向に変更し、
   前記取得手段により取得された前記１つの画質情報が前記許容範囲外にあると判断した場合には、前記取得手段により取得された前記画質情報のうちの他の画質情報の設定を変更することで前記データ量を増減すべき方向に変更することを特徴とすることを特徴とする請求項４に記載の映像配信装置。
6. 前記１つの画質情報は、前記量子化値であり、
   前記他の画質情報は、前記フレームレートおよび前記解像度の少なくとも一方であることを特徴とする請求項５に記載の映像配信装置。
7. 前記制御手段は、
   前記１つの画質情報の許容範囲と、前記他の画質情報の設定とを少なくとも含む配信条件のリストを有し、
   前記測定手段により測定された使用可能帯域に基づいて前記データ量を増減させると判断した場合、
   前記取得手段により取得された前記１つの画質情報が設定中の前記配信条件に含まれる前記許容範囲内にあると判断した場合には、当該許容範囲内で前記１つの画質情報の設定を変更することで前記データ量を増減すべき方向に変更し、
   前記取得手段により取得された前記１つの画質情報が設定中の前記配信条件に含まれる前記許容範囲外にあると判断した場合には、前記リストから前記データ量が増減すべき方向に変更される別の配信条件を選択し、選択した配信条件に含まれる前記他の画質情報の設定に変更することを特徴とすることを特徴とする請求項５または６に記載の映像配信装置。
8. 前記１つの画質情報は、前記量子化値であり、
   前記他の画質情報は、前記フレームレートおよび前記解像度であり、
   前記リストは、前記データ量の大きい順に前記配信条件を配列させた場合、前記フレームレートと前記解像度とが交互に下がっていくように設定されていることを特徴とする請求項７に記載の映像配信装置。
9. 前記１つの画質情報は、前記量子化値であり、
   前記他の画質情報は、前記フレームレートおよび前記解像度であり、
   前記リストは、前記データ量の大きい順に前記配信条件を配列させた場合、前記解像度が下がりやすく前記フレームレートが下がりにくく設定されていることを特徴とする請求項７に記載の映像配信装置。
10. 前記１つの画質情報は、前記量子化値であり、
    前記他の画質情報は、前記フレームレートおよび前記解像度であり、
    前記リストは、前記データ量の大きい順に前記配信条件を配列させた場合、前記フレームレートが下がりやすく前記解像度が下がりにくく設定されていることを特徴とする請求項７に記載の映像配信装置。
11. 前記制御手段は、
    複数の前記リストから、前記クライアント装置からの要求に応じた前記リストを選択して前記データ量の制御に用いることを特徴とする請求項７から１０のいずれか１項に記載の映像配信装置。
12. 前記配信条件に含まれる解像度の上限は、前記クライアント装置が表示可能な画像の最大解像度であることを特徴とする請求項７から１１のいずれか１項に記載の映像配信装置。
13. ネットワークを介してクライアント装置に対して映像を配信するステップと、
    前記クライアント装置との間のネットワーク帯域の余裕の程度を示す使用可能帯域を測定するステップと、
    測定された前記使用可能帯域と、前記映像の許容する画質範囲とに基づいて、前記クライアント装置へ配信する映像のデータ量を制御するステップと、を含むことを特徴とする映像配信方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の映像配信装置の各手段として機能させるためのプログラム。

Images