JP2004304843A - 動画像符号化データの送信装置および送信方法 - Google Patents

Abstract

【課題】 再生画像の画質を大きく劣化させることなく、許容される伝送容量の範囲内で動画像符号化データを送信する装置を提供する。
【解決手段】 バッファ１６は、ＭＰＥＧ４に準拠した動画像符号化データを分割して得られたビデオパケット４１を蓄積する。各ビデオパケット４１の属性値として、画像符号化タイプ５１と画像間符号化画像数５２と画像内符号化ブロック数５３とが検出される。優先度算出部１４は、検出された属性値に基づき、各ビデオパケットの優先度５４を算出する。送信判定部１５は、許容された伝送容量の範囲内で、優先度５４に従ってビデオパケットを選択する。ＲＴＰ送信部８３は、送信判定部１５が選択したビデオパケット４２のみを送信する。
【選択図】 図１

Description

本発明は、動画像符号化データの送信装置および送信方法に関し、より特定的には、一または複数の動画像符号化データを許容される伝送容量の範囲内で送信する動画像符号化データの送信装置および送信方法に関する。

従来から、映画やテレビ番組などの動画像データを、インターネットを介して動画像配信サーバからパーソナルコンピュータなどの動画像受信端末へ配信する技術が知られている。インターネットの伝送容量の範囲内で動画像データを配信するためには、動画像データを所定の方式で符号化し、符号化して得られた動画像符号化データを動画像の特性に応じた方式で伝送することが必要とされる。

例えば、図１５に示すように、動画像データの符号化方式としてＭＰＥＧ４（Moving Picture Expert Group ４）を用い、データ伝送方式としてＲＴＰ（Realtime Transport Protocol ）を用いることにより、動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができる。図１５において、ＭＰＥＧ４符号化部８２は、画像データ供給部８１から供給された画像データをＭＰＥＧ４に準拠して符号化し、動画像符号化データを求める。動画像符号化データは、ビデオパケット４１の形式でＲＴＰ送信部８３に供給される。ＲＴＰ送信部８３は、ＲＴＰに準拠してビデオパケット４１を送信し、ＲＴＰ受信部８４は、ＲＴＰに準拠してビデオパケット４９を受信する。ＭＰＥＧ４復号化部８５は、受信したビデオパケット４９をＭＰＥＧ４に準拠して復号化し、画像データを再生する。再生画像は、ディスプレイ８６に表示される。

なお、ＭＰＥＧ４の詳細は、"Text for CD 14496-2 Video",ISO/IEC JTC1/SC29/WG11 Document MPEG/N1902, October, 1997．や“ＭＰＥＧ４のすべて”、三木 弼一 編著、工業調査会、1998．に、ＲＴＰの詳細は、"RTP: A Transport Protocol for Real-Time Applications", H.Schulzrinne, S.Casner, R.Frederik, and V.Jacobson, RFC1889,1996．に、それぞれ記載されている。

ＭＰＥＧ４では、図１６に示すように、動画像を構成する各画像ごとに画像内符号化または画像間符号化のいずれかが選択され、各画像は選択された方式で符号化される。図１６に示す例では、４枚の画像７１ａ〜ｄのうち、画像７１ａは画像内符号化され、画像７１ｂ〜ｄは画像間符号化される。画像内符号化される画像は、符号化対象とする画像だけを用いて符号化・復号化される。これに対して、画像間符号化される画像は、符号化対象とする画像に加えて、参照画像と呼ばれる画像を用いて符号化・復号化される。参照画像には、過去に復号化された画像が使用される。画像間符号化は、画像内符号化に比べて符号化効率が高いという長所を有する一方で、伝送誤りなどにより参照画像が得られない場合には復号化できないという短所を有する。

ＭＰＥＧ４では、各画像は、複数の画素からなるブロックに分割され、ブロック単位で符号化される。各ブロックは、ブロック内のデータのみを用いて符号化する画像内符号化、または、ブロック内のデータに加えて参照画像を用いて符号化する画像間符号化のいずれかの方式で符号化される。画像内符号化される画像（例えば、画像７１ａ）では、各ブロックは、すべて画像内符号化される。これに対して、画像間符号化される画像（例えば、画像７１ｂ）では、各ブロックは、画像内または画像間のいずれかの方式で符号化される。このように、画像間符号化された画像に含まれる画像内符号化されたブロックは、参照画像を参照することなく復号化できる。このようなブロックは、一般にリフレッシュブロックと呼ばれる。

このようにして得られた動画像符号化データは、画像のブロックを単位として、ビデオパケットと呼ばれるデータに分割される。図１７は、画像とビデオパケットとの対応関係を示す図である。図１７（ａ）に示す例では、１枚の画像を符号化して得られた動画像符号化データは、５個のビデオパケットに分割されている。ビデオパケットは、１個以上のブロックについての符号化データを含むことが条件とされる。したがって、ビデオパケットは、図１７（ｂ）に示すように、１ないし３個のブロックについての符号化データを含むものでもよく、図１７（ｃ）に示すように、画像のすべてのブロックについての符号化データを含むものでもよい。

ＲＴＰは、動画像のように実時間伝送を必要とするデータをインターネット上で伝送する方式の一つである。図１８は、ＲＴＰ伝送方式の説明図である。図１８において、ＲＴＰ送信部８３は、シリアルナンバーとタイムスタンプとを付加した後に、入力されたパケットを送信する。ＲＴＰ受信部８４は、タイムスタンプを参照して、シリアルナンバーの順に受信したパケットを出力する。この際、ＲＴＰ送信部８３は、パケットの到達を確認することなく、次々とパケットを送信する。したがって、通信ネットワーク７で輻輳や伝送誤りが発生したときには、パケットが途中で消失するパケットロスが発生する。このため、ＲＴＰでは、すべてのパケットの伝送を保証できない反面、伝送遅延によって動画像データの復号化処理が破綻することを防ぐことができる。

このようにＭＰＥＧ４とＲＴＰとを用いることにより、図１５に示すシステムを構成し、インターネット３を介して動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができる。この技術を用いれば、動画像受信端末２が携帯電話などの移動端末である場合にも、図１９に示すゲートウェイ４を使用することにより、動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができると考えられる。

しかしながら、図１９に示す動画像符号化データ配信システムには、動画像受信端末２における再生画像の画質が著しく劣化するという問題がある。その理由は、次のとおりである。

図１９に示すシステムでは、インターネット３の伝送容量はビデオパケット４１のデータレートに比べて十分大きいため、動画像配信サーバ１は、伝送容量の制限を考慮することなく、すべてのビデオパケット４１を送信する。このようにしても、インターネット３では輻輳や伝送誤りが生じることがない。したがって、ゲートウェイ４が受信するビデオパケット４８は、動画像配信サーバ１が送信したビデオパケット４１に一致する。

次に、ゲートウェイ４は、携帯電話網５に接続された動画像受信端末２に対して、ビデオパケット４８を送信する。この際、ビデオパケット４８は、携帯電話網５に含まれる無線伝送区間６を経由して伝送される。しかし、無線伝送区間６の伝送容量がビデオパケット４８のデータレートに比べて小さい場合には、図２０（ａ）に示すように、無線伝送区間６で輻輳が生じ、予期しないパケットロスが発生する。このため、受信したビデオパケット４９に基づき画像データを再生した場合に、再生画像の画質は著しく劣化する。

また、無線伝送の分野では、ノイズの影響を低減させ、通信の信頼性を向上させるために、伝送容量の一部を再送用に割り当る方式が採用される場合も多い。この方式を無線伝送区間６に採用した場合、図２０（ｂ）に示すように、送信部は、以前に消失したビデオパケット４７を、再送用伝送容量８を用いて送信する。しかし、たとえビデオパケットを再送することとしても、ビデオパケット４８のデータレートが無線伝送区間６の伝送容量を越えている場合には、やがて大量にビデオパケットが再送される状態になる。このため、無線伝送区間６ではやはり輻輳が生じ、予期しないパケットロスが発生する。したがって、この方式を採用しても、再生画像の画質を改善することはできない。

それ故に、本発明は、再生画像の画質を大きく劣化させることなく、許容される伝送容量の範囲内で動画像符号化データを送信する、動画像符号化データの送信装置および送信方法を提供することを目的とする。

本発明の動画像符号化データ処理装置は、データを送信する機能を有する送信装置に、半導体集積回路、ソフトウェアプログラム、その他の様々な形態にて組み込まれる動画像符号化データに関する処理を行う装置であって、各ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出部と、複数の属性値に基づき、各前記ビデオパケットの優先度を算出する優先度算出部と、送信装置に対して、優先度に基づき選択したビデオパケットの送信を指示するパケット送信指示部とを備える。

上記のような発明によれば、各ビデオパケットについて画像の符号化に関する複数の属性値が検出され、検出された属性値に基づき優先度が算出され、さらに、算出された優先度に基づき選択されたビデオパケットが送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１に示す動画像符号化データ送信装置１０は、画像データ供給部８１、ＭＰＥＧ４符号化部８２、ＲＴＰ送信部８３、画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、送信判定部１５、および、バッファ１６を備える。この動画像符号化データ送信装置１０は、図１５に示す動画像配信サーバ１と対比されるものである。

動画像符号化データ送信装置１０は、概ね次のように動作する。画像データ供給部８１は、ＭＰＥＧ４符号化部８２に対して画像データを供給する。画像データ供給部８１は、多数の動画像データを蓄積したデータサーバや、動画像データを取り込むカメラなどによって構成される。ＭＰＥＧ４符号化部８２は、供給された画像データをＭＰＥＧ４に準拠して符号化する。これにより得られた動画像符号化データは、ビデオパケット４１の形式でバッファ１６に供給される。

バッファ１６は、ＭＰＥＧ４符号化部８２から供給されたビデオパケット４１、各ビデオパケットの優先度５４、および、各ビデオパケットの送信マーク５５を蓄積する。優先度５４および送信マーク５５の詳細については、後述する。

画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、および、画像内符号化ブロック数検出部１３は、いずれも、バッファ１６に蓄積されたビデオパケット４１を参照し、各ビデオパケットの属性値を検出する。優先度算出部１４は、検出された複数の属性値に基づき、各ビデオパケットの優先度５４を算出し、バッファ１６に書き込む。送信判定部１５は、バッファ１６から読み出した優先度５４に基づき各ビデオパケット４１を送信するか否かを判定し、その結果を表す送信マーク５５をバッファ１６に書き込む。

バッファ１６からは、送信判定部１５において送信すべきと判定されたビデオパケット４２のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４２を受信装置（図示せず）に対して送信する。

次に、ビデオパケット４１について説明する。ビデオパケット４１は、ＭＰＥＧ４に準拠して符号化された動画像符号化データを分割したものである。この動画像符号化データは、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内または画像間のいずれかで符号化して得られたものである。動画像符号化データは、画像単位で分割された後に、ブロック単位でパケット化されている。すなわち、動画像符号化データは、各ブロックの符号化データが複数のビデオパケットにまたがらず、かつ、各画像の最初のブロックの符号化データはビデオパケットの先頭に位置するようにパケット化される。なお、本実施形態に係るビデオパケット４１は、図１５に示した従来のシステムにおけるビデオパケット４１と同じである。

図２は、ビデオパケットの構成を示す図である。ビデオパケット４１は、図２に示すように、ヘッダ６１、ブロックデータ６２、および、スタッフィング６３から構成される。ブロックデータ６２は、複数のブロックについての符号化データである。スタッフィング６３は、ビデオパケット４１のサイズをバイト境界にそろえるために追加された無意味なデータである。

ビデオパケット４１は、画像の最初のブロックを含むか否かにより、２種類に分類される。画像の最初のブロックを含むビデオパケット４１ａのヘッダ６１ａには、図２（ａ）に示すように、ピクチャスタートコード６４やＩ−Ｐ判定情報６５などが含まれる。画像の最初のブロックを含まないビデオパケット４１ｂのヘッダ６１ｂには、図２（ｂ）に示すように、ビデオパケットスタートコード６６や開始ブロック番号６７などが含まれる。ピクチャスタートコード６４は、このビデオパケットが画像の最初のブロックを含むことを表し、ビデオパケットスタートコード６６は、このビデオパケットが画像の最初のブロックを含まないことを表す。Ｉ−Ｐ判定情報６５は、画像が画像内または画像間のいずれによって符号化されたものであるかを示す。開始ブロック番号６７は、このビデオパケットに含まれる先頭のブロックの番号を示す。

図３は、画像とビデオパケットとの対応関係を示す図である。図３に示す例では、１枚の画像を符号化して得られた動画像符号化データは、ブロック単位で５個のビデオパケットに分割されている。画像の最初のブロックを含む第１のビデオパケット４１ａには、Ｉ−Ｐ判定情報６５が含まれている。画像の最初のブロックを含まない第２ないし第５のビデオパケット４１ｂには、開始ブロック番号６７が含まれている。

次に、動画像符号化データ送信装置１０の特徴である画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部１５の詳細について説明する。

ＭＰＥＧ４符号化部８２から供給されたビデオパケット４１は、順に、バッファ１６に蓄積される。画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部１５は、所定のタイミングで、例えば、バッファ１６に蓄積されたビデオパケット４１の量がしきい値以上となったときに、バッファ１６に蓄積されたビデオパケット４１のうち未処理のものについて、以下の処理を行う。

画像符号化タイプ検出部１１は、バッファ１６に蓄積されたビデオパケット４１を参照し、このビデオパケットが画像内符号化された画像、または、画像間符号化された画像のいずれに対応するかを検出し、その結果を表す画像符号化タイプ５１を出力する。具体的には、画像符号化タイプ検出部１１は、画像の最初のブロックを含むビデオパケット４１ａが与えられたときに、Ｉ−Ｐ判定情報６５を抽出して、その値を画像符号化タイプ５１に設定すればよい。

画像間符号化画像数検出部１２は、バッファ１６に蓄積されたビデオパケット４１を参照し、このビデオパケットに対応した画像の画像間符号化画像数５２を求める。ここで、画像間符号化画像数とは、画像間符号化された画像について、その画像とその画像の前にあって最も近い画像内符号化された画像との間に存在する画像の数をいう。例えば、図４に示すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７１ｄがこの順序で符号化され、画像７１ａは画像内符号化され、画像７１ｂ〜ｄは画像間符号化された場合を考える。画像７１ｄと直近の画像内符号化された画像７１ａとの間には、２枚の画像が存在するので、画像７１ｄの画像間符号化画像数は、２となる。同様に、画像７１ｂおよび７１ｃの画像間符号化画像数は、それぞれ、０および１となる。また、画像７１ａは画像内符号化されているので、画像７１ａの画像間符号化画像数は定義されない。画像間符号化画像数検出部１２は、画像符号化タイプ検出部１１と同様に、ビデオパケット４１ａに含まれるＩ−Ｐ判定情報６５を用いて、画像間符号化画像数５２を求める。

画像内符号化ブロック数検出部１３は、バッファ１６に蓄積されたビデオパケット４１を参照して、各ブロックが画像内または画像間のいずれによって符号化されているかを検出し、画像内符号化されたブロックの数５３（以下、画像内符号化ブロック数という）を出力する。具体的には、画像内符号化ブロック数検出部１３は、各ブロックの符号化方式が判別できる程度にまでビデオパケット４１を復号化することにより、画像内符号化ブロック数５３を求める。

ただし、画像の最初のブロックを含まないビデオパケット４１ｂには、図３に示すように、開始ブロック番号６７が含まれている。したがって、ビデオパケット４１が画像内符号化された画像に対応する場合には、画像内符号化ブロック数検出部１３は、対象とするビデオパケットの開始ブロック番号６７と次のビデオパケットの開始ブロック番号との差を画像内符号化ブロック数５３として出力することにより、ビデオパケット４１を復号化する必要はない。この場合、画像の最初のブロックを含むビデオパケット４１ａは、開始ブロック番号６７の値が１であるとして扱えばよい。

優先度算出部１４は、画像符号化タイプ検出部１１と画像間符号化画像数検出部１２と画像内符号化ブロック数検出部１３とによって検出された３個の属性値に基づき、各ビデオパケット４１の優先度５４を算出する。

図５は、ビデオパケットの属性値と優先度との対応関係を示す図である。図５に示すように、画像符号化タイプ５１が画像内符号化であるビデオパケットには、画像符号化タイプ５１が画像間符号化であるビデオパケットに比べて、高い優先度が与えられる。また、画像符号化タイプ５１が画像間符号化である場合には、画像間符号化画像数５２が少ないビデオパケットに、高い優先度が与えられる。また、画像内符号化ブロック数５３が多いビデオパケットに、高い優先度が与えられる。このように再生画像の画質に大きな影響を与えるビデオパケットには、高い優先度が与えられる。

図６は、優先度算出部１４の動作を示すフローチャートである。優先度算出部１４は、まず、求めるべき優先度Ｐの値を０に初期化する（ステップＳ１０１）。次に、優先度算出部１４は、画像符号化タイプ検出部１１から画像符号化タイプ５１を受け取る（ステップＳ１０２）。次に、優先度算出部１４は、画像符号化タイプ５１が画像内符号化であればステップＳ１０４に進み、そうでなければステップＳ１０５に進む（ステップＳ１０３）。ステップＳ１０４では、優先度算出部１４は、優先度Ｐに画像符号化タイプ５１に基づく第１の優先度Ｐａ＝Ｃａを加える。ここで、Ｃａは、後述する定数である。

ステップＳ１０４により、画像内符号化された画像に対応したビデオパケットには高い優先度が、画像間符号化された画像に対応したビデオパケットには低い優先度が、それぞれ与えられる。例えば、図７に示すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７１ｅがこの順序で符号化され、画像７１ａと７１ｅとは画像内符号化され、画像７１ｂと７１ｃとは画像間符号化された場合を考える。この場合、画像７１ａまたは７１ｅに対応したビデオパケットには高い優先度が、画像７１ｂまたは７１ｃに対応したビデオパケットには低い優先度が、それぞれ与えられる。

ステップＳ１０５では、優先度算出部１４は、画像間符号化画像数検出部１２から画像間符号化画像数５２を受け取る。次に、優先度算出部１４は、優先度Ｐに画像間符号化画像数５２に基づく第２の優先度Ｐｂ＝（Ｌ−Ｎ）×Ｃｂを加える（ステップＳ１０６）。ここで、Ｎは画像間符号化画像数５２であり、ＬおよびＣｂは後述する定数である。

ステップＳ１０６により、ビデオパケットに対応した画像が直近の画像内符号化された画像から離れるほど、そのビデオパケットには低い優先度が与えられる。例えば、図４に示した例については、図８に示すように、画像７１ｂに対応したビデオパケットには高い優先度が、画像７１ｄに対応したビデオパケットには低い優先度が、それぞれ与えられる。また、画像７１ｃに対応したビデオパケットには、両者の中間の優先度が与えられる。

次に、優先度算出部１４は、画像内符号化ブロック数検出部１３から画像内符号化ブロック数５３を受け取る（ステップＳ１０７）。次に、優先度算出部１４は、優先度Ｐに画像内符号化ブロック数５３に基づく第３の優先度Ｐｃ＝Ｍ×Ｃｃを加える（ステップＳ１０８）。ここで、Ｍは画像内符号化ブロック数５３であり、Ｃｃは後述する定数である。

ステップＳ１０８の処理により、画像内符号化されたブロックを多く含むビデオパケットには、より高い優先度が与えられる。

なお、Ｌはバッファ１６内のすべてのＮよりも大きな定数、Ｃａはバッファ１６内のすべてのＰｂよりも大きな定数、Ｃｂはバッファ１６内のすべてのＰｃよりも大きな定数、Ｃｃは正の定数である。これら定数の値は、この条件を満たすように予め決めておいてもよく、バッファ１６に蓄積されたビデオパケット４１を解析した後に決めてもよい。

送信判定部１５は、図１０に示すフローチャートに従い、通信ネットワークの伝送容量の範囲内で、優先度５４に従って送信すべきビデオパケットを選択する。送信判定部１５は、まず、送信量Ｔの値を０に設定し（ステップＳ２０１）、処理対象のビデオパケット４１の送信マーク５５をすべてオフに設定する（ステップＳ２０２）。次に、送信判定部１５は、処理対象のビデオパケット４１の最新のタイムスタンプＴ１（秒）および最古のタイムスタンプＴ２（秒）と、通信ネットワークの伝送容量Ｒ（キロビット毎秒）とに基づき、次式（１）を用いて送信可能データ量Ｂ（バイト）を計算する（ステップＳ２０３）。

その後、送信判定部１５は、送信すべきビデオパケットを選択する処理を繰り返す（ステップＳ２０４からＳ２０８）。具体的には、送信判定部１５は、送信マーク５５がオフであるビデオパケットのうち、優先度５４が最大であるものを検出する（ステップＳ２０４）。次に、送信判定部１５は、ステップＳ２０４で検出したビデオパケットのサイズＶを検出する（ステップＳ２０５）。次に、送信判定部１５は、ＴとＶとの和がＢ以下である場合にはステップＳ２０７に進み、それ以外の場合には処理を終了する（ステップＳ２０６）。ステップＳ２０７では、送信判定部１５は、ステップＳ２０４で検出したビデオパケットの送信マーク５５をオンに設定する。次に、送信判定部１５は、ＴにＶを加える（ステップＳ２０８）。ステップＳ２０４からＳ２０８により、送信可能データ量Ｂの範囲内で、優先度５４の順に、送信すべきビデオパケットの送信マーク５５をオンに設定したことになる。

また、送信判定部１５は、図１１に示すフローチャートに従い、送信すべきビデオパケットを選択してもよい。送信判定部１５は、まず、図１０のステップＳ２０１からＳ２０３と同じ処理を行い、送信量Ｔと送信マーク５５とを初期化し、送信可能データ量Ｂを計算する（ステップＳ３０１からＳ３０３）。

その後、送信判定部１５は、送信すべきビデオパケットを選択する処理を繰り返す（ステップＳ３０４からＳ３１０）。具体的には、送信判定部１５は、送信マーク５５がオフであるビデオパケットがあるか否かを判断し、ビデオパケットがある場合はステップＳ３０５に進み、それ以外の場合は処理を終了する（ステップＳ３０４）。次に、送信判定部１５は、送信マーク５５がオフであるビデオパケットのうち、優先度５４が最大であるものを検出し（ステップＳ３０５）、そのビデオパケットのサイズＶを検出する（ステップＳ３０６）。次に、送信判定部１５は、ＴとＶとの和がＢ以下である場合にはステップＳ３０８に進み、それ以外の場合にはステップＳ３１０に進む。

ＴとＶとの和がＢ以下である場合には、送信判定部１５は、検出したビデオパケットの送信マーク５５をオンに設定し（ステップＳ３０８）、ＴにＶを加えた後に、ステップＳ３０４へ戻る（ステップＳ３０９）。ＴとＶとの和がＢより大きい場合には、送信判定部１５は、検出したビデオパケットの送信マーク５５をチェック済みに設定し、ステップＳ３０４へ戻る（ステップＳ３１０）。チェック済みの送信マーク５５は、ステップＳ３０４ではオフでないとして取り扱われるものとする。ステップＳ３０４からＳ３１０により、送信可能データ量Ｂの範囲内で、優先度５４の順に、送信すべきビデオパケット４１の送信マーク５５をオンに設定したことになる。

なお、図１０および図１１に示すフローチャートでは、通信ネットワークの伝送容量Ｒを用いて送信可能データ量Ｂを計算しているが、これに代えて、許容される伝送容量として、受信装置との間で折衝して定めた伝送容量を用いてもよい。例えば、許容される伝送容量として、受信装置から指定された伝送容量を用いもよい。また、ビデオパケットの再送を行う方式を採用した場合には、許容される伝送容量として、通信ネットワークの伝送容量からビデオパケット再送用の伝送容量を引いた値を用いてもよい。

以上に示すように、本実施形態に係る動画像符号化データ送信装置は、供給された複数のビデオパケットを蓄積し、各ビデオパケットについて画像符号化タイプと画像間符号化画像数と画像内符号化ブロック数とを検出し、これらの属性値に基づき各ビデオパケットの優先度を算出した後に、蓄積したビデオパケットのうち、優先度と許容される伝送容量に従って選択したビデオパケットを送信する。これにより、画像内符号化された画像に対応したビデオパケットは、画像間符号化された画像に対応したビデオパケットよりも優先的に送信される。また、ビデオパケットに対応した画像が直近の画像内符号化された画像に近いほど、そのビデオパケットは優先的に送信される。また、画像内符号化されたブロックを多く含むビデオパケットは、優先的に送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。

（第２の実施形態）
図１２は、本発明の第２の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１２に示す動画像符号化データ送信装置２０は、ＲＴＰ受信部８４、ＲＴＰ送信部８３、画像符号化タイプ検出部２１、画像間符号化画像数検出部１２、画像内符号化ブロック数推定部２３、優先度算出部１４、送信判定部１５、および、バッファ１６を備える。この動画像符号化データ送信装置２０は、図１９に示すゲートウェイ４と対比されるものである。

ＲＴＰ受信部８４は、通信ネットワーク（図示せず）を介して、ＭＰＥＧ４に準拠して求めたビデオパケット４１を受信する。本実施形態に係るビデオパケット４１は、第１の実施形態に係るビデオパケット４１と同じ特徴を有する。

バッファ１６は、ＲＴＰ受信部８４から供給されたビデオパケット４１、各ビデオパケットの優先度５８、および、各ビデオパケットの送信マーク５９を蓄積する。

画像符号化タイプ検出部２１、画像間符号化画像数検出部１２、画像内符号化ブロック数推定部２３、優先度算出部１４、および、送信判定部１５は、第１の実施形態と同様に、所定のタイミングで、バッファ１６に蓄積されたビデオパケット４１のうち未処理のものについて処理を行う。

画像符号化タイプ検出部２１は、第１の実施形態に係る画像符号化タイプ検出部１１と同様に、画像符号化タイプ５１を出力する。これに加えて、画像符号化タイプ検出部２１は、画像内符号化された画像に含まれるブロックのデータサイズの平均値である画像内符号化ブロック平均データサイズ５６を出力する。

具体的には、画像符号化タイプ検出部２１は、画像内符号化された画像に対応したビデオパケットが入力されたときに、ビデオパケットのデータサイズＰをビデオパケットに含まれるブロック数Ｑで割った商を、画像内符号化ブロック平均データサイズ５６として出力する。あるいは、画像符号化タイプ検出部２１は、画像内符号化された画像に対応した複数のビデオパケットについて上記ＰおよびＱをそれぞれ合計し、Ｐの合計値をＱの合計値で割った商を画像内符号化ブロック平均データサイズ５６として出力してもよい。画像符号化タイプ検出部２１は、第１の実施形態に係る画像内符号化ブロック数検出部１３と同様の手法を用いて、ビデオパケット４１を復号化することなく、上記Ｑを求める。このようにして求めた画像内符号化ブロック平均データサイズ５６は、画像内符号化ブロック数推定部２３に供給される。

画像内符号化ブロック数推定部２３は、バッファ１６に蓄積されたビデオパケット４１のデータサイズと、このビデオパケットに含まれるブロック数とを検出する。これら２つの値は、ビデオパケット４１を復号化することなく検出できる。ビデオパケットに含まれる画像内符号化されたブロックの数Ｂｉについては、次式（２）が成立する。そこで、画像内符号化ブロック数推定部２３は、式（２）をＢｉについて解いた次式（３）を用いて、画像内符号化されたブロックの数Ｂｉを求める。

ここで、Ｓｖは対象とするビデオパケット４１のデータサイズ、Ａは画像符号化タイプ検出部２１から供給された画像内符号化ブロック平均データサイズ５６、Ｂｖは対象ビデオパケットに含まれるブロック数、Ｒｃは画像内符号化されたブロックと画像間符号化されたブロックの符号化効率の比である。Ｒｃの値は、予め例えば、Ｒｃ＝１０のように決定しておく。このようにビデオパケット４１を復号化することなく求めた値Ｂｉは、画像内符号化ブロック数推定値５７として、優先度算出部１４に供給される。

画像間符号化画像数検出部１２、優先度算出部１４、および、送信判定部１５は、第１の実施形態と同様に動作する。ただし、優先度算出部１４は、第１の実施形態に係る画像内符号化ブロック数５３に代えて、画像内符号化ブロック数推定値５７を用いる。

バッファ１６からは、送信判定部１５において送信すべきと判定されたビデオパケット４３のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４３を受信装置（図示せず）に対して送信する。

以上に示すように、本実施形態に係る動画像符号化データ送信装置は、各ビデオパケットに含まれるブロックの数と、ビデオパケットのサイズと、画像内符号化されたブロックの平均データサイズとに基づき、各ビデオパケットの画像内符号化ブロック数を推定することを特徴とする。したがって、第１の実施形態に係る動画像符号化データ送信装置が奏する効果に加えて、画像内符号化ブロック数を簡易な処理で検出できるという効果を奏する。

なお、本実施形態では、上式（３）を用いて画像内符号化ブロック数を推定することとしたが、画像内符号化ブロック数を推定する計算式は、これに限るものではない。例えば、画像符号化タイプ検出部から供給される画像内符号化ブロック平均データサイズに代えて、予め定めた画像内符号化されたブロックのデータサイズや、予め定めた画像間符号化されたブロックのデータサイズを用いて、画像内符号化ブロック数を推定してもよい。

（第３の実施形態）
図１３は、本発明の第３の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１３に示す動画像符号化データ送信装置３０は、第１から第４のＲＴＰ受信部８４ａ〜ｄ、ＲＴＰ送信部８３、画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、送信判定部３５、および、バッファ３６を備える。この動画像符号化データ送信装置３０は、図１４に示すゲートウェイ９として使用される。

ＲＴＰ受信部８４ａ〜ｄは、図１４に示すように、インターネット３を介して４つの動画像配信サーバ１ａ〜ｄから、それぞれ、ビデオパケット４１ａ〜ｄを受信する。本実施形態に係るビデオパケット４１ａ〜ｄは、第１の実施形態に係るビデオパケット４１と同じ特徴を有する。

バッファ３６は、ＲＴＰ受信部８４ａ〜ｄから供給されたビデオパケット４１ａ〜ｄ、各ビデオパケットの優先度５４ａ〜ｄ、および、各ビデオパケットの送信マーク５５ａ〜ｄを蓄積する。ただし、図１３では、図面の簡単化のため、ビデオパケット４１ａと優先度５４ａと送信マーク５５ａのみを示している。

画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部３５は、第１の実施形態と同様に、所定のタイミングで、バッファ３６に蓄積されたビデオパケット４１ａ〜ｄのうち未処理のものについて処理を行う。画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、および、優先度算出部１４は、第１の実施形態と同様に動作する。これにより、ビデオパケット４１ａ〜ｄの優先度５４ａ〜ｄが求められ、バッファ３６に書き込まれる。

送信判定部３５は、優先度５４ａ〜ｄに基づき、通信ネットワークの伝送容量の範囲内で、送信すべきビデオパケットを選択する。送信判定部３５は、いずれのＲＴＰ受信部８４ａ〜ｄから供給されたかにかかわらず、処理対象のすべてのビデオパケットを同じように扱い、図１０または図１１に示すフローチャートに従い、送信すべきビデオパケットを選択する。この選択手法によれば、複数の動画像符号化データに対応したビデオパケットの中から、再生画像の画質に大きな影響を与えるビデオパケットを選択して送信することができる。

また、送信判定部３５は、受信した動画像符号化データのデータレートの比に応じて各チャンネルに伝送容量を割り当て、チャンネルごとに送信すべきパケットを選択することとしてもよい。例えば、図１４に示すように、４種類のビデオパケット４１ａ〜ｄを携帯電話網５に中継する場合であって、ビデオパケット４１ａ〜ｄのデータレートが順に６４Ｋｂｐｓ、３２Ｋｂｐｓ、６４Ｋｂｐｓ、１２８Ｋｂｐｓである場合には、送信判定部３５は、携帯電話網５の伝送容量である６４Ｋｂｐｓを２：１：２：４の比に分割する。その後、送信判定部３５は、例えば、ビデオパケット４１ａについては、許容される伝送容量が６４Ｋｂｐｓ÷９であるとして、図１０または図１１に示すフローチャートに従い、送信すべきビデオパケットを選択する。この選択手法によれば、複数の再生画像のそれぞれについて、画質に大きな影響を与えるビデオパケットを選択して送信することができる。

バッファ３６からは、送信判定部３５において送信すべきと判定されたビデオパケット４４のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４４を動画像受信端末２に対して送信する。動画像受信端末２は、ビデオパケット４４を受信し、図１４に示すように、４つの再生画面８７ａ〜ｄをディスプレイ８６に表示する。

以上に示すように、本実施形態に係る動画像符号化データ送信装置は、複数の動画像に対応したビデオパケットを蓄積し、各ビデオパケットについて画像符号化タイプと画像間符号化画像数と画像内符号化ブロック数とを検出し、これらの属性値に基づき各ビデオパケットの優先度を算出した後に、蓄積したビデオパケットのうち、優先度と許容される伝送容量に従って選択したビデオパケットを送信する。したがって、複数の動画像に対応したビデオパケットが供給された場合でも、第１の実施形態に係る動画像符号化データ送信装置と同じ効果を奏することができる。また、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。

なお、第１から第３の実施形態では、特定の構成を有する動画像符号化データ送信装置を示したが、供給されるビデオパケットは、装置の内部で生成したものでも、通信ネットワークを介して受信したものでもよい。また、ビデオパケットは、１本の動画像を符号化して得られたものでも、複数の動画像を符号化して得られたものでもよい。また、画像内符号化ブロック数は、ビデオパケットを復号化して検出したものでも、画像内符号化ブロック平均データサイズなどを用いて推定したものでもよい。

また、第１から第３の実施形態では、画像の符号化タイプと画像内符号化画像数と画像間符号化ブロック数と優先度とを所定のタイミングで求めることとしたが、ビデオパケットが供給された時に、これらの値を求めることとしてもよい。

また、第１から第３の実施形態では、ＭＰＥＧ４とＲＴＰとを用いた動画像符号化データ送信装置について説明したが、画像符号化方式としてＭＰＥＧ４以外の方式を用いてもよく、通信方式としてＲＴＰ以外の方式を用いてもよい。

本発明は、再生画像の画質を大きく劣化させることなく、許容される伝送容量の範囲内で動画像符号化データを送信することができるという効果を奏するので、パケット単位でデータを伝送するデータ伝送装置およびデータ伝送方法等に利用することができる。

本発明の第１の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。 ビデオパケットの構成を示す図である。 画像とビデオパケットとの対応関係を示す図である。 画像間符号化画像数の説明図である。 図１に示す動画像符号化データ送信装置における、ビデオパケットの属性値と優先度との対応関係を示す図である。 図１に示す動画像符号化データ送信装置の優先度算出部の動作を示すフローチャートである。 図１に示す動画像符号化データ送信装置における、画像符号化タイプに基づく優先度の説明図である。 図１に示す動画像符号化データ送信装置における、画像間符号化画像数に基づく優先度の説明図である。 図１に示す動画像符号化データ送信装置における、画像内符号化ブロック数に基づく優先度の説明図である。 図１に示す動画像符号化データ送信装置の送信判定部の動作を示すフローチャートである。 図１に示す動画像符号化データ送信装置の送信判定部の他の動作を示すフローチャートである。 本発明の第２の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。 本発明の第３の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。 図１３に示す動画像符号化データ送信装置を用いた動画像符号化データ配信システムの構成を示す図である。 従来の動画像符号化データ配信システムの構成を示す図である。 ＭＰＥＧ４における画像符号化タイプの説明図である。 画像とビデオパケットとの対応関係を示す図である。 ＲＴＰ伝送方式の説明図である。 無線伝送を用いた、従来の動画像符号化データ配信システムの構成を示す図である。 図１９に示す動画像符号化データ配信システムが有する問題点の説明図である。

符号の説明

１０、２０、３０…動画像符号化データ送信装置
１１、２１…画像符号化タイプ検出部
１２…画像間符号化画像数検出部
１３…画像内符号化ブロック数検出部
１４…優先度算出部
１５、３５…送信判定部
１６、２６、３６…バッファ
２３…画像内符号化ブロック数推定部
４１、４２、４３、４４…ビデオパケット
５１…画像符号化タイプ
５２…画像間符号化画像数
５３…画像内符号化ブロック数
５４、５８…優先度
５５、５９…送信マーク
５６…画像内符号化ブロック平均データサイズ
５７…画像内符号化ブロック数推定値
８１…画像データ供給部
８２…ＭＰＥＧ４符号化部
８３…ＲＴＰ送信部
８４…ＲＴＰ受信部

Claims (1)

1. データを送信する機能を有する送信装置に、半導体集積回路、ソフトウェアプログラム、その他の様々な形態にて組み込まれる動画像符号化データに関する処理を行う装置であって、
   各ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出部と、
   前記複数の属性値に基づき、各前記ビデオパケットの優先度を算出する優先度算出部と、
   前記送信装置に対して、前記優先度に基づき選択したビデオパケットの送信を指示するパケット送信指示部とを備えた、動画像符号化データ処理装置。
   

Images