JP2007243260A - 画像通信システム，画像配信システム，サーバ装置，画像通信方法，画像配信システム制御プログラムおよびそのプログラム記録媒体 - Google Patents

Abstract

【課題】指定された通信ビットレートに収まるように符号化データを適応的にカットするビットレート調整に関わるサーバ装置の処理負荷を軽減する。
【解決手段】階層符号化されたデータのビットレートの範囲をより小さな複数の範囲に分割し，分割された各範囲にプライオリティ番号を対応づけるプライオリティテーブル２４を予め作成し，プライオリティテーブル２４に基づいて送信単位毎に符号化データにプライオリティ番号を付与する。画像配信時にクライアント端末から指示されたビットレートに対応するプライオリティ番号を算出し，ビットレートトランスコード部１４により，算出したプライオリティ番号と符号化データ内に付与されたプライオリティ番号を参照しながら指定されたビットレートに収まるように符号化データをカットすることで，ビットレートの調整を実現する。
【選択図】図１

Description

本発明は，階層符号化データを用いた画像通信技術に係り，特に多数のクライアント端末に映像を配信するような画像配信システムにおいて，各クライアント毎に画像のビットレートを多段階に変更可能にしたまま，配信性能の向上を可能とした画像配信技術に関するものである。

画像通信における階層符号化方式としては，例えば下記の非特許文献１に記載されているようなＭＰＥＧ−４ ＦＧＳ(Fine Granularity Scalable) 符号化方式が知られている。ＦＧＳ符号化に基づいた階層符号化方式では，基本レイヤビットストリームと拡張レイヤビットストリームの２つの符号化データを生成し，このうち拡張レイヤビットストリームを適応的にカットすることで任意のビットレートのストリームを取り出すことが可能である。

このような階層符号化の目的は，伝送帯域の変動があった場合に伝送帯域の変動に合わせてビットレートを変えることにより画像の途切れをなくすための機能を実現することである。また，一つのソースにて複数のビットレートを取り出せるという，いわゆるOne Source Multi Useを実現するものである。

また，階層符号化方式を適用した画像通信システムとしては，例えば下記の特許文献１に記載されたものが知られている。特許文献１記載の画像通信システムでは，階層符号化方式の特徴を活かして，各クライアント端末毎に画像データのビットレートを自由に変更できる機能を実現している。
特開２００５−３４１０７５号公報 "AMENDMENT 4:Streaming video profile "，ISO/IEC 14496-2:1999/FDAM4

従来の階層符号化画像通信システムでは，拡張レイヤビットストリームを適応的にカットしてビットレートを調整する場合，初めにユーザより指定されたビットレートから拡張レイヤの１フレーム当たりのデータ量を算出し，符号化された拡張レイヤストリームを送信単位毎に取り出してビット数をカウントアップして，１フレーム当たりのデータ量を超えるかどうかを判定し，１フレーム当たりのデータ量を超えない最大の値で送信していた。すなわち，ビットレートの切り出し精度としては送信単位まで細かく指定できたが，一方，ビット数のカウントや判定に関わる処理負荷が大きく送信性能を上げるうえでのボトルネックの一つとなっており，特に，一つのサーバ装置で同時に多くのクライアント端末に画像を配信することを要求されるような画像配信システムでは，処理負荷が大きな問題となっていた。

本発明は，上記問題点の解決を図り，画像配信システムなどにおいて，階層符号化方式により符号化された画像を配信するサーバ装置の処理負荷を軽減し，サーバ装置が同時に配信できるビットストリーム数を増大することを目的とする。

上記問題を解決するために，本発明は，基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータの通信を行う画像通信システムにおいて，前記階層符号化されたデータのビットレートの範囲をより小さな複数の範囲に分割し，分割された各範囲にプライオリティ番号を対応づけるプライオリティテーブル作成手段と，前記プライオリティテーブルに基づいて前記符号化データの送信単位毎に前記プライオリティ番号を付与するプライオリティ番号付与手段と，前記データのビットレートを指示するビットレート指示手段と，前記プライオリティテーブルに基づいて前記ビットレート指示手段により指示されたビットレートからプライオリティ番号に変換するプライオリティ番号算出手段と，送信対象となる階層符号化データのうち，前記プライオリティ番号と符号化データ内に付与されたプライオリティ番号を参照しながらデータ量を削減するコード変換を行うことで符号化ビットレートの調整を行うビットレートトランスコード手段とを備えることを特徴とする。

図１は，本発明の概要を説明するための図である。階層符号化方式では，入力映像を階層符号化し，基本レイヤビットストリーム２１と拡張レイヤビットストリーム２２として出力する。

本発明は，階層符号化時に，階層符号化されたデータのビットレートの範囲をより小さな複数の範囲に分割し，分割された各範囲にプライオリティ番号を対応づけるプライオリティテーブル２４を予め作成する。プライオリティ番号付与部２６では，基本レイヤビットストリーム２１および拡張レイヤビットストリーム２２から送信単位毎に符号化データを取り出し，作成したプライオリティテーブル２４に基づいて次のような加工処理を行う。すなわち，送信単位毎にビット量をカウントアップして，プライオリティテーブル２４を参照し，各プライオリティ番号に対応した各ビットレート値と比較して対応するプライオリティ番号を求め，取り出した符号化データにプライオリティ番号を付与する。

ビットレートトランスコード部１４では，プライオリティテーブル２４に基づいて指示されたビットレートに対応するプライオリティ番号Ｐr を算出し，算出したプライオリティ番号Ｐr と符号化データ内に付与されたプライオリティ番号とを比較しながら，データ量を削減する次のような処理を行う。すなわち，符号化データに付与されたプライオリティ番号が算出したプライオリティ番号Ｐr より大きい符号化データは廃棄して，Ｐr 以下である符号化データだけを送信する。

このように，指示されたビットレートのプライオリティ番号への変換および符号化データ内のプライオリティ番号を用いた送信可能な符号化データ決定という処理を行うことで，指定したビットレートに収まるようなビットレートでの送信を実現することが可能になる。

本発明によれば，階層符号化方式により符号化された画像配信システムにおいて，従来の方式に比べて，画像を配信するサーバ装置のビットレート調整に関する処理負荷を軽減することができる。したがって，１台のサーバ装置が同時に通信できるビットストリーム数を増大することが可能となる。

以下，図面を参照して本発明の実施形態について説明する。

図２は，本発明を適用した画像配信システムの全体構成を示す。各エンコーダ端末２Ａ，２Ｂは，それぞれカメラやＶＴＲ等の映像ソースから入力した映像を階層符号化方式により符号化してビットストリームを生成し，ネットワークを介してサーバ装置１に送信する。サーバ装置１は，各クライアント端末３Ａ〜３Ｃから要求のあったデータ量だけを切り出して，個々のクライアント端末３Ａ〜３Ｃに基本レイヤビットストリームと拡張ビットレイヤストリームからなる階層符号化されたデータを配信する。

図３は，サーバ装置とエンコーダ端末およびクライアント端末の構成例を示している。サーバ装置１は，エンコーダ端末２からのスケーラブルビットストリームを受信する符号化データ受信部１０と，エンコーダ端末２からのプライオリティテーブルを受信するプライオリティテーブル受信部１１と，クライアント端末３からのストリーム識別情報やビットレート情報を受信するストリーム情報受信部１２と，受信したビットレート情報とプライオリティテーブルを照合してプライオリティ番号を算出するプライオリティ番号算出部１３と，符号化データ受信部１０で受信したスケーラブルビットストリームのビットレートを変換するビットレートトランスコード部１４と，ビットレートトランスコード部１４で生成したスケーラブルビットストリームを各クライアント端末３に送信する符号化データ送信部１５とを備える。

エンコーダ端末２は，カメラ等の映像ソースから入力した映像を階層符号化してスケーラブルビットストリームを生成する階層符号化部２０と，階層符号化時の符号化ビットレート範囲を複数の段階に分割し，各範囲とプライオリティ番号とを対応付けるようなプライオリティテーブル２４を作成するプライオリティテーブル作成部２３と，プライオリティテーブル作成部２３により作成されたプライオリティテーブル２４をサーバ装置１に送信するプライオリティテーブル送信部２５と，プライオリティテーブル作成部２３で作成されたプライオリティテーブルを参照しながら階層符号化部２０により符号化したスケーラブルビットストリームからビデオパケットを取り出しプライオリティ番号を付与するプライオリティ番号付与部２６と，プライオリティ番号付与部２６にてプライオリティが付与されたスケーラブルビットストリームをサーバ装置１に送信する符号化データ送信部２７とを備える。

クライアント端末３は，自装置で受信するストリームの識別情報や希望するデータ量のビットレート情報をサーバ装置１へ送信するストリーム情報送信部３０と，サーバ装置１からスケーラブルビットストリームを受信する符号化データ受信部３１と，受信したスケーラブルビットストリームを復号する階層復号部３２と，復号画像をディスプレイ等に表示するための表示部３３とを備える。

クライアント端末３においてデータを受信する時の希望するビットレートは，例えばビットレートを入力するためのスライダーバーを表示部３３に表示し，ユーザに指定させても良いし，クライアント端末３が規定値もしくは通信状況に応じて自動的に決定しても良い。また，データを受信する時のビットレートをクライアント端末３が指定するのではなく，ネットワークの状況に応じてネットワーク上の装置あるいはサーバ装置１が指定するようにしても良い。

以下，本実施例の動作について図３を参照しながら説明する。エンコーダ端末２は，入力した映像を階層符号化部２０にて，基本レイヤビットストリーム２１と拡張レイヤビットストリーム２２から構成されるスケーラブルビットストリームを生成する。プライオリティテーブル作成部２３では，階層符号化部２０での符号化パラメータに基づきプライオリティテーブルを作成する。

図４は，プライオリティテーブルの構成例を示したものである。プライオリティテーブル２４は，プライオリティ番号とそれに対応するビットレート範囲の最大値を示すビットレート値から構成される。プライオリティテーブル作成部２３では，階層符号化部２０にて符号化する際の符号化パラメータ，すなわち，基本レイヤの符号化ビットレートをＢb ［ｂｐｓ］，拡張レイヤの符号化ビットレートをＢe ［ｂｐｓ］，基本レイヤのフレームレートをｆ［ｆｐｓ］，ＩピクチャとＰピクチャのデータ量の比率をＩＰr ，ＧＯＶ（Ｉピクチャから次のＩピクチャまでのデータ）の間隔をＴ_GOV ［秒（ｓｅｃ）］とし，基本レイヤビットストリームのビットレートを２段階，拡張レイヤビットストリームのビットレートをＮ−２段階に分割する場合，すなわち，基本レイヤビットストリームと拡張レイヤビットストリームを合せたスケーラブルビットストリームのビットレートをＮ段階に分割する場合，各プライオリティ番号に対応するビットレート値は，以下のように計算される。

Ｂ₁ ＝Ｂb ／（１＋（Ｔ_GOV ＊ｆ−１）＊ＩＰr ）
Ｂ₂ ＝Ｂb
Ｂn ＝Ｂb ＋（ｎ−２）＊Ｂe ／（Ｎ−２） ｎ＝３，４，…，Ｎ
プライオリティ番号付与部２６は，階層符号化部２０から基本レイヤビットストリーム２１と拡張レイヤビットストリーム２２を受け取り，プライオリティテーブル作成部２３により作成されたプライオリティテーブル２４を参照しながら，ビットストリーム中のビデオパケットにプライオリティ番号を付与する。

図５は，基本レイヤビットストリームに対するプライオリティ番号付与処理を説明するフローチャートである。一般にＭＰＥＧ−４符号化方式により符号化されたビットストリームは，ネットワーク上でのパケット損失等の伝送エラーに対処するために，図５（ｂ）に示されるようなビデオパケットから構成されている。プライオリティ番号付与の処理はこのビデオパケット単位で行う。

ステップＳ１では，基本レイヤビットストリームからビデオパケットを１つ取り出す。ステップＳ２では，取り出したビデオパケットがＩピクチャの符号化データかどうかを判定する。Ｉピクチャの符号化データであった場合には，ビデオパケットにプライオリティ番号を“１”に設定した拡張ヘッダを付与する。一方，Ｉピクチャの符号化データでなかった場合には，ビデオパケットにプライオリティ番号を“２”に設定した拡張ヘッダを付与する。以上の処理を一連の基本レイヤビットストリームについて繰り返す。図５（ｃ）は，プライオリティ番号付与後のビットストリームを示している。

図６は拡張レイヤビットストリームに対するプライオリティ番号付与処理を説明するフローチャートである。

ステップＳ１１では，ビット量をカウントするためのビットカウント値を“０”に初期化し，現ビデオパケットのプライオリティ番号Ｐn を３に初期化する。また，プライオリティ番号３に相当するビットレートはプライオリティテーブル２４から図４の例ではＢ₃ であるので，フレームレートをｆとすると，Ｂ₃ をｆで割ることにより，プライオリティ番号３における１フレーム当たりのビット量Ｂv を計算する。

次にステップＳ１２では，拡張レイヤビットストリームからビデオパケットを１つ取り出す。ステップＳ１３では，取り出したビデオパケットのパケットサイズを取得して，ステップＳ１４でビットカウント値をパケットサイズ分だけカウントアップする。ビットカウント値がプライオリティ番号３における１フレーム当たりのビット量Ｂv 以下であった場合，ステップＳ１８に進み，ビデオパケットにプライオリティ番号Ｐn （この場合は３）を設定した拡張ヘッダを付与する。

一方，ビットカウント値がＢv を越えていた場合，ステップＳ１６に進み，プライオリティ番号Ｐn を１増加（この場合は４）する。続いてステップＳ１７に進み，プライオリティ番号Ｐn （この場合は４）における１フレーム当たりのビット量Ｂv を計算し，その後，ステップＳ１８に進み，ビデオパケットにプライオリティ番号Ｐn （この場合は４）を設定した拡張ヘッダを付与する。

次にステップＳ１９にて，拡張ヘッダを付与したビデオパケットがフレームデータの最終となるビデオパケットかどうかの判定を行い，フレームデータの最終でなかった場合，ステップＳ１３に戻る。このようにステップＳ１３からステップＳ１８までの処理をフレーム最終のビデオパケットまで繰り返して行う。

上記の例では，基本レイヤビットストリームのビットレート範囲を２段階に分割しているが，ビデオパケットがＰピクチャの符号化データかどうかの判定処理を加えて，Ｉピクチャの符号化データのビデオパケットにプライオリティ番号１を，Ｐピクチャの符号化データのビデオパケットにプライオリティ番号２を，それ以外すなわちＢピクチャの符号化データのビデオパケットにプライオリティ番号３を割り当てても良い。

また，拡張レイヤビットストリームのビットレート範囲を等間隔に分割しているが，以下の式
Ｂn ＝Ｂb ＋αn ＊（ｎ−２）＊Ｂe ／（Ｎ−２） ｎ＝３，４，…，Ｎ
（ただし，αn は正の係数）
を用いてＢn を計算することで，重み付けした分割でもってビットレート範囲を決定しても良い。

また，プライオリティ番号をビデオパケット単位で付与しているが，複数のビデオパケットを一つのＲＴＰ（Real-time Transport Protocol）パケットにまとめて，ＲＴＰパケット単位でＲＴＰ拡張ヘッダにプライオリティ番号を設定し付与しても良い。

クライアント端末３は，サーバ装置１が受信している複数のエンコーダ端末２からのストリームのうち，特定の１ストリームを選択し，そのストリームを指定する識別子および受信ビットレートを，ストリーム情報送信部３０によってサーバ装置１に通知する。サーバ装置１はストリーム情報受信部１２にて，ストリーム識別情報と受信ビットレートをクライアント端末３から受ける。

プライオリティ番号算出部１３では，プライオリティテーブル受信部１１にて予め受信したエンコーダ端末２Ａ，２Ｂからのプライオリティテーブル２４の中で，ストリーム情報受信部１２にて受信したストリーム識別情報から対応するエンコーダ端末のプライオリティテーブル２４を選択し，選択されたプライオリティテーブル２４に基づいて受信ビットレートからプライオリティ番号を算出する。すなわち，受信ビットレートをＢr として，プライオリティテーブル２４のプライオリティ番号ｎに対応するビットレート値をＢn として，Ｂn ≦Ｂr ＜Ｂn ＋１であった場合，ｎを受信ビットレートＢr に対応するプライオリティ番号Ｐr とする。

算出したプライオリティ番号に基づいて，ビットレートトランスコード部１４では送信ビットレートの調整を行う。

図７は，ビットレートトランスコード部１４の処理を示すフローチャートである。まず，ステップＳ２１では，符号化データ受信部１０にて受信済みのプライオリティ番号付きのビデオパケットを１つ取り出してコピーする。

ステップＳ２２では，コピーしたビデオパケットの拡張ヘッダを参照して，ビデオパケットに付与されていたプライオリティ番号Ｐcur を取得する。

ステップＳ２３では，ステップＳ２２で取得したプライオリティ番号Ｐcur がプライオリティ番号算出部１３で算出したＰr より大きいかどうかを判定する。Ｐcur がＰr より小さい，あるいは等しい場合は，ステップＳ２４に進み，該当のコピーしたビデオパケットを符号化データ送信部１５に出力する。

一方，Ｐcur がＰr より大きい場合は，ステップＳ２５に進み，該当のコピーしたビデオパケットを廃棄する。以上の処理を一連の基本レイヤビットストリームおよび拡張レイヤビットストリームについて繰り返す。

以上のサーバ装置１，エンコーダ端末２およびクライアント端末３が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムによって実現することができ，そのプログラムをコンピュータで読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の概要を説明するための図である。 本発明を適用した画像配信システムの例を示す図である。 本発明の実施の形態に係るエンコーダ端末とサーバ装置およびクライアント端末の構成例を示す図である。 プライオリティテーブルの構成例を示す図である。 基本レイヤビットストリームにおけるプライオリティ番号付与処理のフローチャートである。 拡張レイヤビットストリームにおけるプライオリティ番号付与処理のフローチャートである。 ビットレートトランスコード部のフローチャートである。

符号の説明

１ サーバ装置
２ エンコーダ端末
３ クライアント端末
１０ 符号化データ受信部
１１ プライオリティテーブル受信部
１２ ストリーム情報受信部
１３ プライオリティ番号算出部
１４ ビットレートトランスコード部
１５ 符号化データ送信部
２０ 階層符号化部
２１ 基本レイヤビットストリーム
２２ 拡張レイヤビットストリーム
２３ プライオリティテーブル作成部
２４ プライオリティテーブル
２５ プライオリティテーブル送信部
２６ プライオリティ番号付与部
２７ 符号化データ送信部
３０ ストリーム情報送信部
３１ 符号化データ受信部
３２ 階層復号部
３３ 表示部

Claims (7)

1. 基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータの通信を行う画像通信システムにおいて，
   前記階層符号化されたデータのビットレートの範囲を複数の範囲に分割し，分割された各範囲にプライオリティ番号を対応づけるプライオリティテーブルを作成するプライオリティテーブル作成手段と，
   前記プライオリティテーブルに基づいて前記符号化データの送信単位毎に前記プライオリティ番号を付与するプライオリティ番号付与手段と，
   前記データのビットレートを指示するビットレート指示手段と，
   前記プライオリティテーブルに基づいて，前記ビットレート指示手段により指示されたビットレートから該当するプライオリティ番号を算出するプライオリティ番号算出手段と，
   送信対象となる階層符号化データのうち，前記算出したプライオリティ番号と符号化データ内に付与されたプライオリティ番号とを参照しながらデータ量を削減するコード変換を行うことで符号化ビットレートの調整を行うビットレートトランスコード手段とを備える
   ことを特徴とする画像通信システム。
2. １または複数のエンコーダ端末と，複数のクライアント端末と，前記エンコーダ端末および前記クライアント端末にネットワークを介して接続されるサーバ装置とを備え，基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータの配信を行う画像配信システムであって，
   前記エンコーダ端末は，
   自端末における入力映像を階層符号化する手段と，
   前記階層符号化されたデータのビットレートの範囲を複数の範囲に分割し，分割された各範囲にプライオリティ番号を対応づけるプライオリティテーブルを作成する手段と，
   前記プライオリティテーブルを前記サーバ装置へ送信する手段と，
   前記プライオリティテーブルに基づいて前記符号化データの送信単位毎に前記プライオリティ番号を付与するプライオリティ番号付与手段と，
   前記プライオリティ番号が付与された符号化データを前記サーバ装置へ送信する手段とを備え，
   前記クライアント端末は，
   自端末が受信するデータのビットレートを前記サーバ装置に通知する手段と，
   前記サーバ装置から階層符号化されたデータを受信する手段と，
   受信した階層符号化されたデータを階層復号する手段と，
   階層復号した画像を表示する手段とを備え，
   前記サーバ装置は，
   前記エンコーダ端末から受信したプライオリティテーブルに基づいて前記クライアント端末から通知されたビットレートから該当するプライオリティ番号を算出するプライオリティ番号算出手段と，
   送信対象となる階層符号化データのうち，前記算出したプライオリティ番号と符号化データ内に付与されたプライオリティ番号とを参照しながらデータ量を削減するコード変換を行うことで符号化ビットレートの調整を行うビットレートトランスコード手段とを備える
   ことを特徴とする画像配信システム。
3. 請求項２記載の画像配信システムにおいて，
   前記クライアント端末が受信するデータのビットレートを前記サーバ装置へ通知する手段を持つ代わりに，ネットワーク上の装置または前記サーバ装置が，各クライアント端末に対して配信するデータのビットレートを決定し，前記プライオリティ番号算出手段に通知する手段を持つ
   ことを特徴とする画像配信システム。
4. １または複数のエンコーダ端末および複数のクライアント端末とネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータを前記複数のクライアント端末に配信するサーバ装置であって，
   前記エンコーダ端末から受信したプライオリティテーブルに基づいて，前記クライアント端末またはネットワーク上の装置または当該サーバ装置が決定した前記クライアント端末へ送信すべきデータのビットレートから該当するプライオリティ番号を算出するプライオリティ番号算出手段と，
   送信対象となる階層符号化データのうち，前記算出したプライオリティ番号と符号化データ内に付与されたプライオリティ番号とを参照しながらデータ量を削減するコード変換を行うことで符号化ビットレートの調整を行うビットレートトランスコード手段とを備える
   ことを特徴とするサーバ装置。
5. 基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータの通信を行う画像通信方法であって，
   前記階層符号化されたデータのビットレートの範囲を複数の範囲に分割し，分割された各範囲にプライオリティ番号を対応づけるプライオリティテーブルを作成するプライオリティテーブル作成過程と，
   前記プライオリティテーブルに基づいて前記符号化データの送信単位毎に前記プライオリティ番号を付与するプライオリティ番号付与過程と，
   前記データのビットレートを指示するビットレート指示過程と，
   前記プライオリティテーブルに基づいて，前記ビットレート指示過程により指示されたビットレートから該当するプライオリティ番号を算出するプライオリティ番号算出過程と，
   送信対象となる階層符号化データのうち，前記算出したプライオリティ番号と符号化データ内に付与されたプライオリティ番号とを参照しながらデータ量を削減するコード変換を行うことで符号化ビットレートの調整を行うビットレートトランスコード過程とを備える
   ことを特徴とする画像通信方法。
6. 請求項２または請求項３に記載の画像配信システムの実現に用いられる処理をコンピュータに実行させるためのプログラムであって，
   請求項２または請求項３に記載の画像配信システムの前記サーバ装置が備える各手段または前記エンコーダ端末が備える各手段として，前記コンピュータを機能させるための画像配信システム制御プログラム。
7. 請求項２または請求項３に記載の画像配信システムの実現に用いられる処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
   請求項２または請求項３に記載の画像配信システムの前記サーバ装置が備える各手段または前記エンコーダ端末が備える各手段として，前記コンピュータを機能させるための画像配信システム制御プログラムを記録したプログラム記録媒体。

Images