JP2005244315A - 映像ストリーミング伝送のネットワーク品質安定化装置 - Google Patents

Abstract

【課題】帯域制限に使用されるCPUの負荷を極力小さくし、ポイントツーポイント通信する場合に加えて多地点の複数端末へ配信をするシステムを構築する場合に、システム規模の増大を抑制できる映像ストリーミング伝送のネットワーク品質安定化装置を提供すること。
【解決手段】 ネットワーク状況検出部３においてテスト用送信パケットを送受信し、受信エラーが起きないように帯域を狭める帯域情報を作成する。帯域制御部４は、該帯域情報に従ってフィルタ実行部５の動作を制御する。フィルタ実行部５は、前記帯域情報に従って、Ｂピクチャ、Ｐピクチャのパケットを破棄し狭い帯域のネットワークに適合した伝送レートに変換する。該伝送レートの変換は、映像ストリームの伝送中にも適応的に行うことができる。
【選択図】 図１

Description

この発明は映像ストリーミング伝送のネットワーク品質安定化装置に関し、特に映像としてMPEGフォーマットを対象とし、ビジネス、教育、医療等の分野において、IPを利用した映像ストリーム伝送を利用する際（例えば、リアルタイムTV会議システム）に、輻輳もしくは変動するネットワークに対応して、映像ストリームのコンテンツの画像品質が極端に低下するのを防ぎ、相互コミュニケーションの円滑化を図るようする映像ストリーミング伝送のネットワーク品質安定化装置に関する。

従来、MPEGフォーマットを利用した通信の１つとして、例えばTV会議のように、ポイントツーポイント伝送で行われる双方向通信がある。この通信の場合には、もしネットワーク帯域が保障されないで通信パケットロスを生じると、伝送相手に対してのみ帯域に応じた伝送レートの調整を行い、送出ビットレート量を抑制する制御が行われる。この制御により、比較的容易に、破綻をもたらさないような品質安定化を実現することができる。

なお、任意の伝送レートで入力されるMPEG２トランスポートストリームを、その内容を損なうことなく別の任意の伝送レートに変換して出力する伝送レート変換装置は、下記の特許文献１に開示されている。
特開平１１−２０５７８９号公報

一方、複数地点への伝送、すなわち中継サーバを介してストリームをコピーして分配する１対Ｎ（Ｎは２以上の整数）の複数対地間での通信や、IPマルチキャストを用いて同一ストリームを複数対地向けに送る場合であって、必要帯域が保障されていない複数の相手に映像ストリームを伝送する場合には、伝送相手毎に帯域制限を行うことが必要になる。

なお、広帯域のレートから狭帯域のレートに変換するための方式として、(1)ビットストリームを復号した後に再圧縮する再変換方式や、(2)符号化領域において直接ビットレート変換を行う直接ビットレート変換方式がある。

ここで、前記伝送相手毎に帯域制限を行うために、前記(1)、(2)または前記特許文献１に記された方式を用いると、これらの方式は、基本的に、映像ストリームの圧縮領域でのビットレート変換処理であるため、CPUの計算量の負荷が大きく、かつ変換・再変換処理による伝送遅延が増えるという問題、またソフトウェア上ではCPU計算量が増加するため用意すべきマシン数が増大しシステム規模を抑制できないという問題があった。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、帯域制限に使用されるCPUの負荷を極力小さくし、ポイントツーポイント通信する場合に加えて多地点の複数端末へ配信をするシステムを構築する場合に、システム規模の増大を抑制できる映像ストリーミング伝送のネットワーク品質安定化装置を提供することにある。

前記した目的を達成するために、本発明は、送信側装置と受信側装置間の予め定められたネットワーク間で、テスト用送信パケットを送受信して受信エラーの状況を検出し、該受信エラーが検出された場合には前記テスト用送信パケットのレートを低減して該受信エラーが低減されるように帯域を狭める帯域情報を作成する手段と、該帯域を狭める帯域情報を基に、破棄するパケットを決定する手段と、前記送信側装置から送られてくる映像および音声パケットから、前記手段によって決定された破棄するパケットを破棄し、前記受信側装置のネットワークに流す前記映像および音声パケットの伝送レートを適正化する手段とを具備した点に第１の特徴がある。

また、本発明は、送信側装置と受信側装置間での通信中に受信側装置から受信エラー情報を取得し、受信エラーがある場合には帯域を狭める帯域情報を作成する手段と、該帯域を狭める帯域情報を基に、破棄するパケットを決定する手段と、前記送信側装置から送られてくる映像および音声パケットから、前記手段によって決定された破棄するパケットを破棄し、前記受信側装置のネットワークに流す前記映像および音声パケットの伝送レートを適正化する手段とを具備した点に第２の特徴がある。

本発明によれば、パケットを破棄して伝送レートを変換するので、CPUに大きな負荷をかけることなくレート変換を実現できるようになる。また、自動的な帯域制御に関するネットワークチューニングが可能になる。

また、CPUに大きな負荷をかけることのない簡易な手段で伝送レートの変換ができるので、多地点の複数端末へ映像配信するシステムなどにおいて、所望の箇所に簡易に該伝送レートを変換する手段を配置または挿入でき、システム規模を増大することなく、画質の安定化を図れるシステムを構築することができる。

また、Ｂピクチャ、Ｐピクチャのパケットを選択的に破棄することにより、伝送レートを短時間に大きく変更することが可能になる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の第１実施形態の構成を示すブロック図である。

この第１の実施形態は、通信前に受信側ネットワークの伝送帯域を判定し、事前に帯域制御情報を作成するようにしたものであり、受信側のネットワーク２の状況を検出するネットワーク状況検出部３と、該ネットワーク状況検出部３から通知された帯域情報に基づいて帯域制御を行う帯域制御部４と、該帯域制御部４により送信側のネットワーク１を介して伝送されてくる画像データを間引きするフィルタ実行部５とから構成されている。また、スイッチ部６と７は、測定対象とするネットワーク区間の両端またはその近傍に設置される。なお、送信側のネットワーク１は受信側のネットワーク２より広帯域であるとする。

次に、本実施形態の動作を、図２、図３のフローチャートを参照して説明する。ここに、図２は前記ネットワーク状況検出部３の動作を説明し、図３は前記帯域制御部４の動作を説明するフローチャートである。

まず、ネットワーク状況検出部３の動作を説明する。最初に、スイッチ部６と７は、それぞれ送信側のネットワーク１と受信側のネットワーク２に接続する。次に、図２のステップＳ１では、ネットワーク状況検出部３はスイッチ部６を介してテスト用の送信パケット（例えば、ＵＤＰ；User Datagram Protocol）を送信側のネットワーク１に送出する。ステップＳ２では、ネットワーク状況検出部３はフィルタ実行部５より下流側の受信側のネットワーク２を伝送されてきたパケットをスイッチ部７を介して受信する。ステップＳ３では、ステップＳ１で送出したテスト用のパケットとステップＳ２で受信したパケットとを比較して、受信パケットにエラーがあるか否かの判断をする。該エラーは、例えば伝送パケットロス率にて判断する。そして、エラーがあった場合にはステップＳ４に進んで、テスト用送信パケットのレートを削減する。例えば、前記伝送パケットロス率などを基準にして、必要な伝送帯域値を算出し、この値に近いビットレートに変換したビットレートに削減する。

次に、再度ステップＳ１に戻り、該レートを削減したテスト用送信パケットを送信側のネットワーク１に送出する。以下、前記ステップＳ１〜Ｓ４の動作を繰り返す。そして、ステップＳ３の判断が否定になると、すなわち受信パケットにエラーがないと判断されると、ステップＳ５に進み、前記レート削減の値に基づいて受信側のネットワークの帯域を決定する。ステップＳ６では、該決定した帯域情報を前記帯域制御部４に通知する。その後、前記スイッチ部６，７は、それぞれネットワーク１，２から分離される。

次に、該帯域制御部４の動作を、図３を参照して説明する。なお、前提として、本実施形態では、Ｉ，Ｐ，Ｂピクチャの先頭のＩＤを認識し、これらを判定できるものとする。送信側から映像および音声パケットの送信が開始されると、ステップＳ１１では、送信側のネットワーク１を通って伝送されてくる動画ストリーム（MPEG等）を取り込み、Ｉ，Ｐ，Ｂピクチャを検出する。ステップＳ１２では、前記ネットワーク状況検出部３から通知を受けた帯域情報と、前記Ｉ，Ｐ，Ｂピクチャから計算した伝送レートとから、破棄するパケットまたはピクチャ（フレーム）を決定する。ここに、例えば、Ｉ，Ｐ，Ｂピクチャはそれぞれ１つのパケットとなっているものとする。次に、ステップＳ１３では、フィルタ実行部５へ、破棄するパケットを指示する。

帯域制御部４は、前記破棄するパケットを決定するにあたって、まず復号する際に他のピクチャから参照されないＢピクチャのパケットを破棄し、次いでＰピクチャのパケットを破棄して、要求される伝送レートに近づくようにする。これらの破棄は、好ましくは一定間隔で行い、画質の劣化ができる限り起きないようにする。なお、更に伝送レートを削減する必要がある場合には、Ｉピクチャのパケットもある一定の間隔で破棄する。フィルタ実行部５は、帯域制御部４から破棄するパケットの指示を受けると、この指示に従ってパケットを破棄する。

以上の第１実施形態によれば、受信側のネットワーク２の伝送帯域に適合するようにＢピクチャあるいはＰピクチャのパケットを間引く方式であるので、これに関与するCPUの負荷を大幅に軽減できるようになる。

次に、本発明の第２の実施形態を図４および図５を参照して説明する。この実施形態は、実際の通信の運用中に受信側ネットワークの伝送帯域を判定し、受信側のネットワーク２の状況を検出するものである。ここに、図４は該第２の実施形態の構成を示すブロック図、図５はネットワーク状況検出部１１の動作を説明するフローチャートである。なお、図４において、図１と同一又は同等物には同一の符号が付されている。

ネットワーク状況検出部１１は、図５のステップＳ２１において、受信端末から受信エラー情報を取得する。なお、受信端末（受信側装置）は、ネットワーク２を介して受信した映像および音声パケットを復号する際にエラー情報を検出することができるので、該エラー情報を前記ネットワーク状況検出部１１に通知する。ステップＳ２２では、ネットワーク状況検出部１１は、該エラー情報からエラーがあるか否かの判定をする。この判定が肯定の場合には、ステップＳ２３に進んで、送信側のネットワーク１を介して伝送されてくる情報量は受信側のネットワーク２の帯域より多いか否かの判断がなされる。この判断が肯定の時にはステップＳ２４に進み、帯域を狭める帯域情報、例えば削減すべきフレーム数を帯域制御部４へ通知する。なお、該帯域制御部４は、前記帯域情報に従って、フィルタ実行部５の動作を制御する。

次いで、再度ステップＳ２１に戻って、受信側より受信エラーを取得する。一方、ステップＳ２３の判断が否定の場合には、エラーは受信側のネットワーク２の帯域が狭いゆえに発生したものでないと考えられるので、ステップＳ２５に進む。また、以上の動作の結果、ステップＳ２２の判断が否定になると、ステップＳ２５に進む。ステップＳ２５では、パケットの送受信が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ２１に戻り、再度前記した動作が繰り返される。

前記フィルタ実行部５の動作は、前記図３で説明したのと同一または同等であるので、再度の説明は省略する。

図６は、前記した本発明のネットワーク品質安定化装置の利用例を示すシステムズである。同図（Ａ）は、１：１通信の場合の利用例であり、送信側の帯域が受信側のそれより広い場合、送信側から受信側に向かうネットワーク２１中に本発明装置を設置すると有効である。

また、同図（Ｂ）は、１：Ｎ（Ｎは２以上の整数）通信の場合の利用例であり、送信側装置３１から、中継サーバ３２を介して複数の受信側装置４１，４２，４３に映像および音声パケットを送信する場合であって、受信側装置４３に至るネットワークの帯域が狭い場合、中継サーバ３２と受信側装置４３との間に本発明装置を配置すると、受信側装置４３が受信する映像品質の劣化を軽減でき有効である。

なお、前記の実施形態はテレビ会議に限らず、映像信号を、携帯電話や電子手帳などの電子携帯端末に送る場合に使用しても有効である。

本発明の第１実施形態の概略の構成を示すブロック図である。 図１のネットワーク状況検出部の動作を説明するフローチャートである。 図１、図４の帯域制御部の動作を説明するフローチャートである。 本発明の第２実施形態の概略の構成を示すブロック図である。 図４のネットワーク状況検出部の動作を説明するフローチャートである。 本発明の利用例を示すシステム図である。

符号の説明

１，２、２１・・・ネットワーク、３、１１・・・ネットワーク状況検出部、４・・・帯域制御部、５・・・フィルタ実行部。

Claims (3)

1. 送信側装置と受信側装置間の予め定められたネットワーク間で、テスト用送信パケットを送受信して受信エラーの状況を検出し、該受信エラーが検出された場合には前記テスト用送信パケットのレートを低減して該受信エラーが低減されるように帯域を狭める帯域情報を作成する手段と、
   該帯域を狭める帯域情報を基に、破棄するパケットを決定する手段と、
   前記送信側装置から送られてくる映像および音声パケットから、前記手段によって決定された破棄するパケットを破棄し、前記受信側装置のネットワークに流す前記映像および音声パケットの伝送レートを適正化する手段とを具備したことを特徴とする映像ストリーミング伝送のネットワーク品質安定化装置。
2. 送信側装置と受信側装置間での通信中に受信側装置から受信エラー情報を取得し、受信エラーがある場合には帯域を狭める帯域情報を作成する手段と、
   該帯域を狭める帯域情報を基に、破棄するパケットを決定する手段と、
   前記送信側装置から送られてくる映像および音声パケットから、前記手段によって決定された破棄するパケットを破棄し、前記受信側装置のネットワークに流す前記映像および音声パケットの伝送レートを適正化する手段とを具備したことを特徴とする映像ストリーミング伝送のネットワーク品質安定化装置。
3. 請求項１又は２に記載の映像ストリーミング伝送のネットワーク品質安定化装置において、
   前記破棄するパケットは、映像ストリーミング中のＢピクチャまたはＰピクチャのパケットであることを特徴とする映像ストリーミング伝送のネットワーク品質安定化装置。
   

Images