JP2002112265A - 動画像符号化データの送信装置および送信方法 - Google Patents

Abstract

(57)【要約】 【課題】 再生画像の画質を大きく劣化させることな
く、許容される伝送容量の範囲内で動画像符号化データ
を送信する装置を提供する。 【解決手段】 バッファ１６は、ＭＰＥＧ４に準拠した
動画像符号化データを分割して得られたビデオパケット
４１を蓄積する。各ビデオパケット４１の属性値とし
て、画像符号化タイプ５１と画像間符号化画像数５２と
画像内符号化ブロック数５３とが検出される。優先度算
出部１４は、検出された属性値に基づき、各ビデオパケ
ットの優先度５４を算出する。送信判定部１５は、許容
された伝送容量の範囲内で、優先度５４に従ってビデオ
パケットを選択する。ＲＴＰ送信部８３は、送信判定部
１５が選択したビデオパケット４２のみを送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化デー
タの送信装置および送信方法に関し、より特定的には、
一または複数の動画像符号化データを許容される伝送容
量の範囲内で送信する動画像符号化データの送信装置お
よび送信方法に関する。

【０００２】

【従来の技術】従来から、映画やテレビ番組などの動画
像データを、インターネットを介して動画像配信サーバ
からパーソナルコンピュータなどの動画像受信端末へ配
信する技術が知られている。インターネットの伝送容量
の範囲内で動画像データを配信するためには、動画像デ
ータを所定の方式で符号化し、符号化して得られた動画
像符号化データを動画像の特性に応じた方式で伝送する
ことが必要とされる。

【０００３】例えば、図１５に示すように、動画像デー
タの符号化方式としてＭＰＥＧ４（Moving Picture Exp
ert Group ４）を用い、データ伝送方式としてＲＴＰ
（Realtime Transport Protocol ）を用いることによ
り、動画像配信サーバ１から動画像受信端末２へ動画像
データを配信することができる。図１５において、ＭＰ
ＥＧ４符号化部８２は、画像データ供給部８１から供給
された画像データをＭＰＥＧ４に準拠して符号化し、動
画像符号化データを求める。動画像符号化データは、ビ
デオパケット４１の形式でＲＴＰ送信部８３に供給され
る。ＲＴＰ送信部８３は、ＲＴＰに準拠してビデオパケ
ット４１を送信し、ＲＴＰ受信部８４は、ＲＴＰに準拠
してビデオパケット４９を受信する。ＭＰＥＧ４復号化
部８５は、受信したビデオパケット４９をＭＰＥＧ４に
準拠して復号化し、画像データを再生する。再生画像
は、ディスプレイ８６に表示される。

【０００４】なお、ＭＰＥＧ４の詳細は、"Text for CD
14496-2 Video",ISO/IEC JTC1/SC29/WG11 Document MP
EG/N1902, October, 1997．や“ＭＰＥＧ４のすべ
て”、三木 弼一 編著、工業調査会、1998．に、ＲＴ
Ｐの詳細は、"RTP: A TransportProtocol for Real-Tim
e Applications", H.Schulzrinne, S.Casner, R.Freder
ik, and V.Jacobson, RFC1889,1996．に、それぞれ記載
されている。

【０００５】ＭＰＥＧ４では、図１６に示すように、動
画像を構成する各画像ごとに画像内符号化または画像間
符号化のいずれかが選択され、各画像は選択された方式
で符号化される。図１６に示す例では、４枚の画像７１
ａ〜ｄのうち、画像７１ａは画像内符号化され、画像７
１ｂ〜ｄは画像間符号化される。画像内符号化される画
像は、符号化対象とする画像だけを用いて符号化・復号
化される。これに対して、画像間符号化される画像は、
符号化対象とする画像に加えて、参照画像と呼ばれる画
像を用いて符号化・復号化される。参照画像には、過去
に復号化された画像が使用される。画像間符号化は、画
像内符号化に比べて符号化効率が高いという長所を有す
る一方で、伝送誤りなどにより参照画像が得られない場
合には復号化できないという短所を有する。

【０００６】ＭＰＥＧ４では、各画像は、複数の画素か
らなるブロックに分割され、ブロック単位で符号化され
る。各ブロックは、ブロック内のデータのみを用いて符
号化する画像内符号化、または、ブロック内のデータに
加えて参照画像を用いて符号化する画像間符号化のいず
れかの方式で符号化される。画像内符号化される画像
（例えば、画像７１ａ）では、各ブロックは、すべて画
像内符号化される。これに対して、画像間符号化される
画像（例えば、画像７１ｂ）では、各ブロックは、画像
内または画像間のいずれかの方式で符号化される。この
ように、画像間符号化された画像に含まれる画像内符号
化されたブロックは、参照画像を参照することなく復号
化できる。このようなブロックは、一般にリフレッシュ
ブロックと呼ばれる。

【０００７】このようにして得られた動画像符号化デー
タは、画像のブロックを単位として、ビデオパケットと
呼ばれるデータに分割される。図１７は、画像とビデオ
パケットとの対応関係を示す図である。図１７（ａ）に
示す例では、１枚の画像を符号化して得られた動画像符
号化データは、５個のビデオパケットに分割されてい
る。ビデオパケットは、１個以上のブロックについての
符号化データを含むことが条件とされる。したがって、
ビデオパケットは、図１７（ｂ）に示すように、１ない
し３個のブロックについての符号化データを含むもので
もよく、図１７（ｃ）に示すように、画像のすべてのブ
ロックについての符号化データを含むものでもよい。

【０００８】ＲＴＰは、動画像のように実時間伝送を必
要とするデータをインターネット上で伝送する方式の一
つである。図１８は、ＲＴＰ伝送方式の説明図である。
図１８において、ＲＴＰ送信部８３は、シリアルナンバ
ーとタイムスタンプとを付加した後に、入力されたパケ
ットを送信する。ＲＴＰ受信部８４は、タイムスタンプ
を参照して、シリアルナンバーの順に受信したパケット
を出力する。この際、ＲＴＰ送信部８３は、パケットの
到達を確認することなく、次々とパケットを送信する。
したがって、通信ネットワーク７で輻輳や伝送誤りが発
生したときには、パケットが途中で消失するパケットロ
スが発生する。このため、ＲＴＰでは、すべてのパケッ
トの伝送を保証できない反面、伝送遅延によって動画像
データの復号化処理が破綻することを防ぐことができ
る。

【０００９】このようにＭＰＥＧ４とＲＴＰとを用いる
ことにより、図１５に示すシステムを構成し、インター
ネット３を介して動画像配信サーバ１から動画像受信端
末２へ動画像データを配信することができる。この技術
を用いれば、動画像受信端末２が携帯電話などの移動端
末である場合にも、図１９に示すゲートウェイ４を使用
することにより、動画像配信サーバ１から動画像受信端
末２へ動画像データを配信することができると考えられ
る。

【００１０】

【発明が解決しようとする課題】しかしながら、図１９
に示す動画像符号化データ配信システムには、動画像受
信端末２における再生画像の画質が著しく劣化するとい
う問題がある。その理由は、次のとおりである。

【００１１】図１９に示すシステムでは、インターネッ
ト３の伝送容量はビデオパケット４１のデータレートに
比べて十分大きいため、動画像配信サーバ１は、伝送容
量の制限を考慮することなく、すべてのビデオパケット
４１を送信する。このようにしても、インターネット３
では輻輳や伝送誤りが生じることがない。したがって、
ゲートウェイ４が受信するビデオパケット４８は、動画
像配信サーバ１が送信したビデオパケット４１に一致す
る。

【００１２】次に、ゲートウェイ４は、携帯電話網５に
接続された動画像受信端末２に対して、ビデオパケット
４８を送信する。この際、ビデオパケット４８は、携帯
電話網５に含まれる無線伝送区間６を経由して伝送され
る。しかし、無線伝送区間６の伝送容量がビデオパケッ
ト４８のデータレートに比べて小さい場合には、図２０
（ａ）に示すように、無線伝送区間６で輻輳が生じ、予
期しないパケットロスが発生する。このため、受信した
ビデオパケット４９に基づき画像データを再生した場合
に、再生画像の画質は著しく劣化する。

【００１３】また、無線伝送の分野では、ノイズの影響
を低減させ、通信の信頼性を向上させるために、伝送容
量の一部を再送用に割り当る方式が採用される場合も多
い。この方式を無線伝送区間６に採用した場合、図２０
（ｂ）に示すように、送信部は、以前に消失したビデオ
パケット４７を、再送用伝送容量８を用いて送信する。
しかし、たとえビデオパケットを再送することとして
も、ビデオパケット４８のデータレートが無線伝送区間
６の伝送容量を越えている場合には、やがて大量にビデ
オパケットが再送される状態になる。このため、無線伝
送区間６ではやはり輻輳が生じ、予期しないパケットロ
スが発生する。したがって、この方式を採用しても、再
生画像の画質を改善することはできない。

【００１４】それ故に、本発明は、再生画像の画質を大
きく劣化させることなく、許容される伝送容量の範囲内
で動画像符号化データを送信する、動画像符号化データ
の送信装置および送信方法を提供することを目的とす
る。

【００１５】

【課題を解決するための手段および発明の効果】第１の
発明は、動画像を構成する各画像ごとに画像内符号化ま
たは画像間符号化を選択し、画像内符号化すべき画像に
含まれるすべてのブロックを画像内符号化し、画像間符
号化すべき画像に含まれる各ブロックを画像内符号化ま
たは画像間符号化して得られた動画像符号化データを送
信する動画像符号化データ送信装置であって、動画像符
号化データを画像のブロック単位で分割して得られた複
数のビデオパケットの供給を受け、ビデオパケットを蓄
積するパケット蓄積部と、各ビデオパケットについて、
画像の符号化方式に関する複数の属性値を検出する属性
値検出部と、複数の属性値に基づき、各ビデオパケット
の優先度を算出する優先度算出部と、パケット蓄積部に
蓄積されたビデオパケットのうち、優先度と許容される
伝送容量とに基づき選択したビデオパケットを送信する
パケット送信部とを備える。

【００１６】このような第１の発明によれば、各ビデオ
パケットについて画像の符号化に関する複数の属性値が
検出され、検出された属性値に基づき優先度が算出さ
れ、さらに、算出された優先度に基づき選択されたビデ
オパケットが送信される。したがって、再生画像の画質
に大きな影響を与えるビデオパケットには高い優先度を
与えて優先的に送信することにより、再生画像の画質を
大きく劣化させることなく、伝送容量の範囲内で動画像
符号化データを送信することができる。

【００１７】第２の発明は、第１の発明において、属性
値検出部は、各ビデオパケットに対応した画像の符号化
タイプを検出する画像符号化タイプ検出部と、各ビデオ
パケットに対応した画像と当該画像よりも前にあって最
も近い画像内符号化された画像との間にある画像の数を
検出する画像間符号化画像数検出部と、各ビデオパケッ
トに含まれる画像内符号化されたブロックの数を検出す
る画像内符号化ブロック数検出部とを含むことを特徴と
する。

【００１８】このような第２の発明によれば、各ビデオ
パケットについて、画像の符号化タイプと画像間符号化
画像数と画像内符号化ブロック数とが、画像の符号化方
式に関する属性値として検出される。したがって、これ
らの属性値を用いることにより、各ビデオパケットが再
生画像の画質に大きな影響を与えるか否かを、効果的に
判断することができる。

【００１９】第３の発明は、第２の発明において、画像
内符号化ブロック数検出部は、各ビデオパケットについ
て、当該ビデオパケットに含まれるブロックの数と当該
ビデオパケットのサイズとに基づき、当該ビデオパケッ
トに含まれる画像内符号化されたブロックの数を推定す
ることを特徴とする。

【００２０】このような第３の発明によれば、ビデオパ
ケットの構造から容易に得られる属性値を用いることに
より、ビデオパケットを復号化することなく、画像内符
号化ブロック数を簡易な処理で検出することができる。

【００２１】第４の発明は、第３の発明において、画像
内符号化ブロック数検出部は、各ビデオパケットについ
て、当該ビデオパケットに含まれるブロックの数と当該
ビデオパケットのサイズと画像内符号化された画像に含
まれるブロックの平均データサイズとに基づき、当該ビ
デオパケットに含まれる画像内符号化されたブロックの
数を推定することを特徴とする。

【００２２】このような第４の発明によれば、ビデオパ
ケットの構造から容易に得られる、画像内符号化された
画像に含まれるブロックの平均データサイズを用いるこ
とにより、画像内符号化ブロック数を簡易な処理で検出
することができる。

【００２３】第５の発明は、第１の発明において、パケ
ット送信部は、送信されるビデオパケットのデータ量が
伝送容量を越えない範囲内で、送信すべきビデオパケッ
トを優先度に従って選択することを特徴とする。

【００２４】このような第５の発明によれば、送信デー
タ量が伝送容量を越えない範囲内で、優先度の高いビデ
オパケットを優先して選択することにより、再生画像の
画質を大きく劣化させることなく、伝送容量の範囲内で
動画像符号化データを送信することができる。

【００２５】第６の発明は、第１の発明において、伝送
容量は、受信装置との間で折衝して定めた値であること
を特徴とする。

【００２６】このような第６の発明によれば、受信装置
の特性や通信路の状態に応じて伝送容量を切り替えて、
伝送容量の範囲内で動画像符号化データを送信すること
ができる。

【００２７】第７の発明は、第１の発明において、伝送
容量は、通信路の伝送容量から通信路においてビデオパ
ケットの再送用に割り当てた伝送容量を引いた値である
ことを特徴とする。

【００２８】このような第７の発明によれば、ビデオパ
ケットの再送を考慮して伝送容量を決定し、伝送容量の
範囲内で動画像符号化データを送信することができる。

【００２９】第８の発明は、第１の発明において、動画
像符号化データは、複数の動画像を個別に符号化して得
られたものであることを特徴とする。

【００３０】このような第８の発明によれば、複数の動
画像に対応したビデオパケットが供給された場合でも、
再生画像の画質に大きな影響を与えるビデオパケットに
は高い優先度を与えて優先的に送信することにより、再
生画像の画質を大きく劣化させることなく、伝送容量の
範囲内で動画像符号化データを送信することができる。

【００３１】第９の発明は、第８の発明において、パケ
ット送信部は、各動画像を個別に符号化したときのデー
タ量に応じて伝送容量を分割し、優先度と分割された伝
送容量とに基づき、動画像ごとに送信すべきビデオパケ
ットを選択することを特徴とする。

【００３２】このような第９の発明によれば、複数の動
画像に対応したビデオパケットが供給された場合には、
動画像ごとに伝送容量を割り当て、動画像ごとに送信す
べきビデオパケットを選択することにより、再生画像の
それぞれについて画質が大きく劣化することを防止する
ことができる。

【００３３】第１０の発明は、動画像を構成する各画像
ごとに画像内符号化または画像間符号化を選択し、画像
内符号化すべき画像に含まれるすべてのブロックを画像
内符号化し、画像間符号化すべき画像に含まれる各ブロ
ックを画像内符号化または画像間符号化して得られた動
画像符号化データを送信する動画像符号化データ送信方
法であって、動画像符号化データを画像のブロック単位
で分割して得られた複数のビデオパケットの供給を受
け、ビデオパケットを蓄積するパケット蓄積ステップ
と、各ビデオパケットについて、画像の符号化方式に関
する複数の属性値を検出する属性値検出ステップと、複
数の属性値に基づき、各ビデオパケットの優先度を算出
する優先度算出ステップと、パケット蓄積ステップにお
いて蓄積されたビデオパケットのうち、優先度と許容さ
れる伝送容量とに基づき選択したビデオパケットを送信
するパケット送信ステップとを備える。

【００３４】このような第１０の発明によれば、各ビデ
オパケットについて画像の符号化に関する複数の属性値
が検出され、検出された属性値に基づき優先度が算出さ
れ、さらに、算出された優先度に基づき選択されたビデ
オパケットが送信される。したがって、再生画像の画質
に大きな影響を与えるビデオパケットには高い優先度を
与えて優先的に送信することにより、再生画像の画質を
大きく劣化させることなく、伝送容量の範囲内で動画像
符号化データを送信することができる。

【００３５】第１１の発明は、第１０の発明において、
属性値検出ステップは、各ビデオパケットに対応した画
像の符号化タイプを検出する画像符号化タイプ検出ステ
ップと、各ビデオパケットに対応した画像と当該画像よ
りも前にあって最も近い画像内符号化された画像との間
にある画像の数を検出する画像間符号化画像数検出ステ
ップと、各ビデオパケットに含まれる画像内符号化され
たブロックの数を検出する画像内符号化ブロック数検出
ステップとを含むことを特徴とする。

【００３６】このような第１１の発明によれば、各ビデ
オパケットについて、画像の符号化タイプと画像間符号
化画像数と画像内符号化ブロック数とが、画像の符号化
方式に関する属性値として検出される。したがって、こ
れらの属性値を用いることにより、各ビデオパケットが
再生画像の画質に大きな影響を与えるか否かを、効果的
に判断することができる。

【００３７】第１２の発明は、第１１の発明において、
画像内符号化ブロック数検出ステップは、各ビデオパケ
ットについて、当該ビデオパケットに含まれるブロック
の数と当該ビデオパケットのサイズとに基づき、当該ビ
デオパケットに含まれる画像内符号化されたブロックの
数を推定することを特徴とする。

【００３８】このような第１２の発明によれば、ビデオ
パケットの構造から容易に得られる属性値を用いること
により、ビデオパケットを復号化することなく、画像内
符号化ブロック数を簡易な処理で検出することができ
る。

【００３９】第１３の発明は、第１２の発明において、
画像内符号化ブロック数検出ステップは、各ビデオパケ
ットについて、当該ビデオパケットに含まれるブロック
の数と当該ビデオパケットのサイズと画像内符号化され
た画像に含まれるブロックの平均データサイズとに基づ
き、当該ビデオパケットに含まれる画像内符号化された
ブロックの数を推定することを特徴とする。

【００４０】このような第１３の発明によれば、ビデオ
パケットの構造から容易に得られる、画像内符号化され
た画像に含まれるブロックの平均データサイズを用いる
ことにより、画像内符号化ブロック数を簡易な処理で検
出することができる。

【００４１】第１４の発明は、第１０の発明において、
パケット送信ステップは、送信されるビデオパケットの
データ量が伝送容量を越えない範囲内で、送信すべきビ
デオパケットを優先度に従って選択することを特徴とす
る。

【００４２】このような第１４の発明によれば、送信デ
ータ量が伝送容量を越えない範囲内で、優先度の高いビ
デオパケットを優先して選択することにより、再生画像
の画質を大きく劣化させることなく、伝送容量の範囲内
で動画像符号化データを送信することができる。

【００４３】第１５の発明は、第１０の発明において、
伝送容量は、受信側との間で折衝して定めた値であるこ
とを特徴とする。

【００４４】このような第１５の発明によれば、受信側
の特性や通信路の状態に応じて伝送容量を切り替えて、
伝送容量の範囲内で動画像符号化データを送信すること
ができる。

【００４５】第１６の発明は、第１０の発明において、
伝送容量は、通信路の伝送容量から通信路においてビデ
オパケットの再送用に割り当てた伝送容量を引いた値で
あることを特徴とする。

【００４６】このような第１６の発明によれば、ビデオ
パケットの再送を考慮して伝送容量を決定し、伝送容量
の範囲内で動画像符号化データを送信することができ
る。

【００４７】第１７の発明は、第１０の発明において、
動画像符号化データは、複数の動画像を個別に符号化し
て得られたものであることを特徴とする。

【００４８】このような第１７の発明によれば、複数の
動画像に対応したビデオパケットが供給された場合で
も、再生画像の画質に大きな影響を与えるビデオパケッ
トには高い優先度を与えて優先的に送信することによ
り、再生画像の画質を大きく劣化させることなく、伝送
容量の範囲内で動画像符号化データを送信することがで
きる。

【００４９】第１８の発明は、第１７の発明において、
パケット送信ステップは、各動画像を個別に符号化した
ときのデータ量に応じて伝送容量を分割し、優先度と分
割された伝送容量とに基づき、動画像ごとに送信すべき
ビデオパケットを選択することを特徴とする。

【００５０】このような第１８の発明によれば、複数の
動画像に対応したビデオパケットが供給された場合に
は、動画像ごとに伝送容量を割り当て、動画像ごとに送
信すべきビデオパケットを選択することにより、再生画
像のそれぞれについて画質が大きく劣化することを防止
することができる。

【００５１】

【発明の実施の形態】（第１の実施形態）図１は、本発
明の第１の実施形態に係る動画像符号化データ送信装置
の構成を示すブロック図である。図１に示す動画像符号
化データ送信装置１０は、画像データ供給部８１、ＭＰ
ＥＧ４符号化部８２、ＲＴＰ送信部８３、画像符号化タ
イプ検出部１１、画像間符号化画像数検出部１２、画像
内符号化ブロック数検出部１３、優先度算出部１４、送
信判定部１５、および、バッファ１６を備える。この動
画像符号化データ送信装置１０は、図１５に示す動画像
配信サーバ１と対比されるものである。

【００５２】動画像符号化データ送信装置１０は、概ね
次のように動作する。画像データ供給部８１は、ＭＰＥ
Ｇ４符号化部８２に対して画像データを供給する。画像
データ供給部８１は、多数の動画像データを蓄積したデ
ータサーバや、動画像データを取り込むカメラなどによ
って構成される。ＭＰＥＧ４符号化部８２は、供給され
た画像データをＭＰＥＧ４に準拠して符号化する。これ
により得られた動画像符号化データは、ビデオパケット
４１の形式でバッファ１６に供給される。

【００５３】バッファ１６は、ＭＰＥＧ４符号化部８２
から供給されたビデオパケット４１、各ビデオパケット
の優先度５４、および、各ビデオパケットの送信マーク
５５を蓄積する。優先度５４および送信マーク５５の詳
細については、後述する。

【００５４】画像符号化タイプ検出部１１、画像間符号
化画像数検出部１２、および、画像内符号化ブロック数
検出部１３は、いずれも、バッファ１６に蓄積されたビ
デオパケット４１を参照し、各ビデオパケットの属性値
を検出する。優先度算出部１４は、検出された複数の属
性値に基づき、各ビデオパケットの優先度５４を算出
し、バッファ１６に書き込む。送信判定部１５は、バッ
ファ１６から読み出した優先度５４に基づき各ビデオパ
ケット４１を送信するか否かを判定し、その結果を表す
送信マーク５５をバッファ１６に書き込む。

【００５５】バッファ１６からは、送信判定部１５にお
いて送信すべきと判定されたビデオパケット４２のみが
出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、
ビデオパケット４２を受信装置（図示せず）に対して送
信する。

【００５６】次に、ビデオパケット４１について説明す
る。ビデオパケット４１は、ＭＰＥＧ４に準拠して符号
化された動画像符号化データを分割したものである。こ
の動画像符号化データは、動画像を構成する各画像ごと
に画像内符号化または画像間符号化を選択し、画像内符
号化すべき画像に含まれるすべてのブロックを画像内符
号化し、画像間符号化すべき画像に含まれる各ブロック
を画像内または画像間のいずれかで符号化して得られた
ものである。動画像符号化データは、画像単位で分割さ
れた後に、ブロック単位でパケット化されている。すな
わち、動画像符号化データは、各ブロックの符号化デー
タが複数のビデオパケットにまたがらず、かつ、各画像
の最初のブロックの符号化データはビデオパケットの先
頭に位置するようにパケット化される。なお、本実施形
態に係るビデオパケット４１は、図１５に示した従来の
システムにおけるビデオパケット４１と同じである。

【００５７】図２は、ビデオパケットの構成を示す図で
ある。ビデオパケット４１は、図２に示すように、ヘッ
ダ６１、ブロックデータ６２、および、スタッフィング
６３から構成される。ブロックデータ６２は、複数のブ
ロックについての符号化データである。スタッフィング
６３は、ビデオパケット４１のサイズをバイト境界にそ
ろえるために追加された無意味なデータである。

【００５８】ビデオパケット４１は、画像の最初のブロ
ックを含むか否かにより、２種類に分類される。画像の
最初のブロックを含むビデオパケット４１ａのヘッダ６
１ａには、図２（ａ）に示すように、ピクチャスタート
コード６４やＩ−Ｐ判定情報６５などが含まれる。画像
の最初のブロックを含まないビデオパケット４１ｂのヘ
ッダ６１ｂには、図２（ｂ）に示すように、ビデオパケ
ットスタートコード６６や開始ブロック番号６７などが
含まれる。ピクチャスタートコード６４は、このビデオ
パケットが画像の最初のブロックを含むことを表し、ビ
デオパケットスタートコード６６は、このビデオパケッ
トが画像の最初のブロックを含まないことを表す。Ｉ−
Ｐ判定情報６５は、画像が画像内または画像間のいずれ
によって符号化されたものであるかを示す。開始ブロッ
ク番号６７は、このビデオパケットに含まれる先頭のブ
ロックの番号を示す。

【００５９】図３は、画像とビデオパケットとの対応関
係を示す図である。図３に示す例では、１枚の画像を符
号化して得られた動画像符号化データは、ブロック単位
で５個のビデオパケットに分割されている。画像の最初
のブロックを含む第１のビデオパケット４１ａには、Ｉ
−Ｐ判定情報６５が含まれている。画像の最初のブロッ
クを含まない第２ないし第５のビデオパケット４１ｂに
は、開始ブロック番号６７が含まれている。

【００６０】次に、動画像符号化データ送信装置１０の
特徴である画像符号化タイプ検出部１１、画像間符号化
画像数検出部１２、画像内符号化ブロック数検出部１
３、優先度算出部１４、および、送信判定部１５の詳細
について説明する。

【００６１】ＭＰＥＧ４符号化部８２から供給されたビ
デオパケット４１は、順に、バッファ１６に蓄積され
る。画像符号化タイプ検出部１１、画像間符号化画像数
検出部１２、画像内符号化ブロック数検出部１３、優先
度算出部１４、および、送信判定部１５は、所定のタイ
ミングで、例えば、バッファ１６に蓄積されたビデオパ
ケット４１の量がしきい値以上となったときに、バッフ
ァ１６に蓄積されたビデオパケット４１のうち未処理の
ものについて、以下の処理を行う。

【００６２】画像符号化タイプ検出部１１は、バッファ
１６に蓄積されたビデオパケット４１を参照し、このビ
デオパケットが画像内符号化された画像、または、画像
間符号化された画像のいずれに対応するかを検出し、そ
の結果を表す画像符号化タイプ５１を出力する。具体的
には、画像符号化タイプ検出部１１は、画像の最初のブ
ロックを含むビデオパケット４１ａが与えられたとき
に、Ｉ−Ｐ判定情報６５を抽出して、その値を画像符号
化タイプ５１に設定すればよい。

【００６３】画像間符号化画像数検出部１２は、バッフ
ァ１６に蓄積されたビデオパケット４１を参照し、この
ビデオパケットに対応した画像の画像間符号化画像数５
２を求める。ここで、画像間符号化画像数とは、画像間
符号化された画像について、その画像とその画像の前に
あって最も近い画像内符号化された画像との間に存在す
る画像の数をいう。例えば、図４に示すように、４枚の
画像７１ａ、７１ｂ、７１ｃおよび７１ｄがこの順序で
符号化され、画像７１ａは画像内符号化され、画像７１
ｂ〜ｄは画像間符号化された場合を考える。画像７１ｄ
と直近の画像内符号化された画像７１ａとの間には、２
枚の画像が存在するので、画像７１ｄの画像間符号化画
像数は、２となる。同様に、画像７１ｂおよび７１ｃの
画像間符号化画像数は、それぞれ、０および１となる。
また、画像７１ａは画像内符号化されているので、画像
７１ａの画像間符号化画像数は定義されない。画像間符
号化画像数検出部１２は、画像符号化タイプ検出部１１
と同様に、ビデオパケット４１ａに含まれるＩ−Ｐ判定
情報６５を用いて、画像間符号化画像数５２を求める。

【００６４】画像内符号化ブロック数検出部１３は、バ
ッファ１６に蓄積されたビデオパケット４１を参照し
て、各ブロックが画像内または画像間のいずれによって
符号化されているかを検出し、画像内符号化されたブロ
ックの数５３（以下、画像内符号化ブロック数という）
を出力する。具体的には、画像内符号化ブロック数検出
部１３は、各ブロックの符号化方式が判別できる程度に
までビデオパケット４１を復号化することにより、画像
内符号化ブロック数５３を求める。

【００６５】ただし、画像の最初のブロックを含まない
ビデオパケット４１ｂには、図３に示すように、開始ブ
ロック番号６７が含まれている。したがって、ビデオパ
ケット４１が画像内符号化された画像に対応する場合に
は、画像内符号化ブロック数検出部１３は、対象とする
ビデオパケットの開始ブロック番号６７と次のビデオパ
ケットの開始ブロック番号との差を画像内符号化ブロッ
ク数５３として出力することにより、ビデオパケット４
１を復号化する必要はない。この場合、画像の最初のブ
ロックを含むビデオパケット４１ａは、開始ブロック番
号６７の値が１であるとして扱えばよい。

【００６６】優先度算出部１４は、画像符号化タイプ検
出部１１と画像間符号化画像数検出部１２と画像内符号
化ブロック数検出部１３とによって検出された３個の属
性値に基づき、各ビデオパケット４１の優先度５４を算
出する。

【００６７】図５は、ビデオパケットの属性値と優先度
との対応関係を示す図である。図５に示すように、画像
符号化タイプ５１が画像内符号化であるビデオパケット
には、画像符号化タイプ５１が画像間符号化であるビデ
オパケットに比べて、高い優先度が与えられる。また、
画像符号化タイプ５１が画像間符号化である場合には、
画像間符号化画像数５２が少ないビデオパケットに、高
い優先度が与えられる。また、画像内符号化ブロック数
５３が多いビデオパケットに、高い優先度が与えられ
る。このように再生画像の画質に大きな影響を与えるビ
デオパケットには、高い優先度が与えられる。

【００６８】図６は、優先度算出部１４の動作を示すフ
ローチャートである。優先度算出部１４は、まず、求め
るべき優先度Ｐの値を０に初期化する（ステップＳ１０
１）。次に、優先度算出部１４は、画像符号化タイプ検
出部１１から画像符号化タイプ５１を受け取る（ステッ
プＳ１０２）。次に、優先度算出部１４は、画像符号化
タイプ５１が画像内符号化であればステップＳ１０４に
進み、そうでなければステップＳ１０５に進む（ステッ
プＳ１０３）。ステップＳ１０４では、優先度算出部１
４は、優先度Ｐに画像符号化タイプ５１に基づく第１の
優先度Ｐａ＝Ｃａを加える。ここで、Ｃａは、後述する
定数である。

【００６９】ステップＳ１０４により、画像内符号化さ
れた画像に対応したビデオパケットには高い優先度が、
画像間符号化された画像に対応したビデオパケットには
低い優先度が、それぞれ与えられる。例えば、図７に示
すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７
１ｅがこの順序で符号化され、画像７１ａと７１ｅとは
画像内符号化され、画像７１ｂと７１ｃとは画像間符号
化された場合を考える。この場合、画像７１ａまたは７
１ｅに対応したビデオパケットには高い優先度が、画像
７１ｂまたは７１ｃに対応したビデオパケットには低い
優先度が、それぞれ与えられる。

【００７０】ステップＳ１０５では、優先度算出部１４
は、画像間符号化画像数検出部１２から画像間符号化画
像数５２を受け取る。次に、優先度算出部１４は、優先
度Ｐに画像間符号化画像数５２に基づく第２の優先度Ｐ
ｂ＝（Ｌ−Ｎ）×Ｃｂを加える（ステップＳ１０６）。
ここで、Ｎは画像間符号化画像数５２であり、Ｌおよび
Ｃｂは後述する定数である。

【００７１】ステップＳ１０６により、ビデオパケット
に対応した画像が直近の画像内符号化された画像から離
れるほど、そのビデオパケットには低い優先度が与えら
れる。例えば、図４に示した例については、図８に示す
ように、画像７１ｂに対応したビデオパケットには高い
優先度が、画像７１ｄに対応したビデオパケットには低
い優先度が、それぞれ与えられる。また、画像７１ｃに
対応したビデオパケットには、両者の中間の優先度が与
えられる。

【００７２】次に、優先度算出部１４は、画像内符号化
ブロック数検出部１３から画像内符号化ブロック数５３
を受け取る（ステップＳ１０７）。次に、優先度算出部
１４は、優先度Ｐに画像内符号化ブロック数５３に基づ
く第３の優先度Ｐｃ＝Ｍ×Ｃｃを加える（ステップＳ１
０８）。ここで、Ｍは画像内符号化ブロック数５３であ
り、Ｃｃは後述する定数である。

【００７３】ステップＳ１０８の処理により、画像内符
号化されたブロックを多く含むビデオパケットには、よ
り高い優先度が与えられる。

【００７４】なお、Ｌはバッファ１６内のすべてのＮよ
りも大きな定数、Ｃａはバッファ１６内のすべてのＰｂ
よりも大きな定数、Ｃｂはバッファ１６内のすべてのＰ
ｃよりも大きな定数、Ｃｃは正の定数である。これら定
数の値は、この条件を満たすように予め決めておいても
よく、バッファ１６に蓄積されたビデオパケット４１を
解析した後に決めてもよい。

【００７５】送信判定部１５は、図１０に示すフローチ
ャートに従い、通信ネットワークの伝送容量の範囲内
で、優先度５４に従って送信すべきビデオパケットを選
択する。送信判定部１５は、まず、送信量Ｔの値を０に
設定し（ステップＳ２０１）、処理対象のビデオパケッ
ト４１の送信マーク５５をすべてオフに設定する（ステ
ップＳ２０２）。次に、送信判定部１５は、処理対象の
ビデオパケット４１の最新のタイムスタンプＴ１（秒）
および最古のタイムスタンプＴ２（秒）と、通信ネット
ワークの伝送容量Ｒ（キロビット毎秒）とに基づき、次
式（１）を用いて送信可能データ量Ｂ（バイト）を計算
する（ステップＳ２０３）。

【００７６】

【数１】

【００７７】その後、送信判定部１５は、送信すべきビ
デオパケットを選択する処理を繰り返す（ステップＳ２
０４からＳ２０８）。具体的には、送信判定部１５は、
送信マーク５５がオフであるビデオパケットのうち、優
先度５４が最大であるものを検出する（ステップＳ２０
４）。次に、送信判定部１５は、ステップＳ２０４で検
出したビデオパケットのサイズＶを検出する（ステップ
Ｓ２０５）。次に、送信判定部１５は、ＴとＶとの和が
Ｂ以下である場合にはステップＳ２０７に進み、それ以
外の場合には処理を終了する（ステップＳ２０６）。ス
テップＳ２０７では、送信判定部１５は、ステップＳ２
０４で検出したビデオパケットの送信マーク５５をオン
に設定する。次に、送信判定部１５は、ＴにＶを加える
（ステップＳ２０８）。ステップＳ２０４からＳ２０８
により、送信可能データ量Ｂの範囲内で、優先度５４の
順に、送信すべきビデオパケットの送信マーク５５をオ
ンに設定したことになる。

【００７８】また、送信判定部１５は、図１１に示すフ
ローチャートに従い、送信すべきビデオパケットを選択
してもよい。送信判定部１５は、まず、図１０のステッ
プＳ２０１からＳ２０３と同じ処理を行い、送信量Ｔと
送信マーク５５とを初期化し、送信可能データ量Ｂを計
算する（ステップＳ３０１からＳ３０３）。

【００７９】その後、送信判定部１５は、送信すべきビ
デオパケットを選択する処理を繰り返す（ステップＳ３
０４からＳ３１０）。具体的には、送信判定部１５は、
送信マーク５５がオフであるビデオパケットがあるか否
かを判断し、ビデオパケットがある場合はステップＳ３
０５に進み、それ以外の場合は処理を終了する（ステッ
プＳ３０４）。次に、送信判定部１５は、送信マーク５
５がオフであるビデオパケットのうち、優先度５４が最
大であるものを検出し（ステップＳ３０５）、そのビデ
オパケットのサイズＶを検出する（ステップＳ３０
６）。次に、送信判定部１５は、ＴとＶとの和がＢ以下
である場合にはステップＳ３０８に進み、それ以外の場
合にはステップＳ３１０に進む。

【００８０】ＴとＶとの和がＢ以下である場合には、送
信判定部１５は、検出したビデオパケットの送信マーク
５５をオンに設定し（ステップＳ３０８）、ＴにＶを加
えた後に、ステップＳ３０４へ戻る（ステップＳ３０
９）。ＴとＶとの和がＢより大きい場合には、送信判定
部１５は、検出したビデオパケットの送信マーク５５を
チェック済みに設定し、ステップＳ３０４へ戻る（ステ
ップＳ３１０）。チェック済みの送信マーク５５は、ス
テップＳ３０４ではオフでないとして取り扱われるもの
とする。ステップＳ３０４からＳ３１０により、送信可
能データ量Ｂの範囲内で、優先度５４の順に、送信すべ
きビデオパケット４１の送信マーク５５をオンに設定し
たことになる。

【００８１】なお、図１０および図１１に示すフローチ
ャートでは、通信ネットワークの伝送容量Ｒを用いて送
信可能データ量Ｂを計算しているが、これに代えて、許
容される伝送容量として、受信装置との間で折衝して定
めた伝送容量を用いてもよい。例えば、許容される伝送
容量として、受信装置から指定された伝送容量を用いも
よい。また、ビデオパケットの再送を行う方式を採用し
た場合には、許容される伝送容量として、通信ネットワ
ークの伝送容量からビデオパケット再送用の伝送容量を
引いた値を用いてもよい。

【００８２】以上に示すように、本実施形態に係る動画
像符号化データ送信装置は、供給された複数のビデオパ
ケットを蓄積し、各ビデオパケットについて画像符号化
タイプと画像間符号化画像数と画像内符号化ブロック数
とを検出し、これらの属性値に基づき各ビデオパケット
の優先度を算出した後に、蓄積したビデオパケットのう
ち、優先度と許容される伝送容量に従って選択したビデ
オパケットを送信する。これにより、画像内符号化され
た画像に対応したビデオパケットは、画像間符号化され
た画像に対応したビデオパケットよりも優先的に送信さ
れる。また、ビデオパケットに対応した画像が直近の画
像内符号化された画像に近いほど、そのビデオパケット
は優先的に送信される。また、画像内符号化されたブロ
ックを多く含むビデオパケットは、優先的に送信され
る。したがって、再生画像の画質に大きな影響を与える
ビデオパケットには高い優先度を与えて優先的に送信す
ることにより、再生画像の画質を大きく劣化させること
なく、伝送容量の範囲内で動画像符号化データを送信す
ることができる。

【００８３】（第２の実施形態）図１２は、本発明の第
２の実施形態に係る動画像符号化データ送信装置の構成
を示すブロック図である。図１２に示す動画像符号化デ
ータ送信装置２０は、ＲＴＰ受信部８４、ＲＴＰ送信部
８３、画像符号化タイプ検出部２１、画像間符号化画像
数検出部１２、画像内符号化ブロック数推定部２３、優
先度算出部１４、送信判定部１５、および、バッファ１
６を備える。この動画像符号化データ送信装置２０は、
図１９に示すゲートウェイ４と対比されるものである。

【００８４】ＲＴＰ受信部８４は、通信ネットワーク
（図示せず）を介して、ＭＰＥＧ４に準拠して求めたビ
デオパケット４１を受信する。本実施形態に係るビデオ
パケット４１は、第１の実施形態に係るビデオパケット
４１と同じ特徴を有する。

【００８５】バッファ１６は、ＲＴＰ受信部８４から供
給されたビデオパケット４１、各ビデオパケットの優先
度５８、および、各ビデオパケットの送信マーク５９を
蓄積する。

【００８６】画像符号化タイプ検出部２１、画像間符号
化画像数検出部１２、画像内符号化ブロック数推定部２
３、優先度算出部１４、および、送信判定部１５は、第
１の実施形態と同様に、所定のタイミングで、バッファ
１６に蓄積されたビデオパケット４１のうち未処理のも
のについて処理を行う。

【００８７】画像符号化タイプ検出部２１は、第１の実
施形態に係る画像符号化タイプ検出部１１と同様に、画
像符号化タイプ５１を出力する。これに加えて、画像符
号化タイプ検出部２１は、画像内符号化された画像に含
まれるブロックのデータサイズの平均値である画像内符
号化ブロック平均データサイズ５６を出力する。

【００８８】具体的には、画像符号化タイプ検出部２１
は、画像内符号化された画像に対応したビデオパケット
が入力されたときに、ビデオパケットのデータサイズＰ
をビデオパケットに含まれるブロック数Ｑで割った商
を、画像内符号化ブロック平均データサイズ５６として
出力する。あるいは、画像符号化タイプ検出部２１は、
画像内符号化された画像に対応した複数のビデオパケッ
トについて上記ＰおよびＱをそれぞれ合計し、Ｐの合計
値をＱの合計値で割った商を画像内符号化ブロック平均
データサイズ５６として出力してもよい。画像符号化タ
イプ検出部２１は、第１の実施形態に係る画像内符号化
ブロック数検出部１３と同様の手法を用いて、ビデオパ
ケット４１を復号化することなく、上記Ｑを求める。こ
のようにして求めた画像内符号化ブロック平均データサ
イズ５６は、画像内符号化ブロック数推定部２３に供給
される。

【００８９】画像内符号化ブロック数推定部２３は、バ
ッファ１６に蓄積されたビデオパケット４１のデータサ
イズと、このビデオパケットに含まれるブロック数とを
検出する。これら２つの値は、ビデオパケット４１を復
号化することなく検出できる。ビデオパケットに含まれ
る画像内符号化されたブロックの数Ｂｉについては、次
式（２）が成立する。そこで、画像内符号化ブロック数
推定部２３は、式（２）をＢｉについて解いた次式
（３）を用いて、画像内符号化されたブロックの数Ｂｉ
を求める。

【００９０】

【数２】

【００９１】ここで、Ｓｖは対象とするビデオパケット
４１のデータサイズ、Ａは画像符号化タイプ検出部２１
から供給された画像内符号化ブロック平均データサイズ
５６、Ｂｖは対象ビデオパケットに含まれるブロック
数、Ｒｃは画像内符号化されたブロックと画像間符号化
されたブロックの符号化効率の比である。Ｒｃの値は、
予め例えば、Ｒｃ＝１０のように決定しておく。このよ
うにビデオパケット４１を復号化することなく求めた値
Ｂｉは、画像内符号化ブロック数推定値５７として、優
先度算出部１４に供給される。

【００９２】画像間符号化画像数検出部１２、優先度算
出部１４、および、送信判定部１５は、第１の実施形態
と同様に動作する。ただし、優先度算出部１４は、第１
の実施形態に係る画像内符号化ブロック数５３に代え
て、画像内符号化ブロック数推定値５７を用いる。

【００９３】バッファ１６からは、送信判定部１５にお
いて送信すべきと判定されたビデオパケット４３のみが
出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、
ビデオパケット４３を受信装置（図示せず）に対して送
信する。

【００９４】以上に示すように、本実施形態に係る動画
像符号化データ送信装置は、各ビデオパケットに含まれ
るブロックの数と、ビデオパケットのサイズと、画像内
符号化されたブロックの平均データサイズとに基づき、
各ビデオパケットの画像内符号化ブロック数を推定する
ことを特徴とする。したがって、第１の実施形態に係る
動画像符号化データ送信装置が奏する効果に加えて、画
像内符号化ブロック数を簡易な処理で検出できるという
効果を奏する。

【００９５】なお、本実施形態では、上式（３）を用い
て画像内符号化ブロック数を推定することとしたが、画
像内符号化ブロック数を推定する計算式は、これに限る
ものではない。例えば、画像符号化タイプ検出部から供
給される画像内符号化ブロック平均データサイズに代え
て、予め定めた画像内符号化されたブロックのデータサ
イズや、予め定めた画像間符号化されたブロックのデー
タサイズを用いて、画像内符号化ブロック数を推定して
もよい。

【００９６】（第３の実施形態）図１３は、本発明の第
３の実施形態に係る動画像符号化データ送信装置の構成
を示すブロック図である。図１３に示す動画像符号化デ
ータ送信装置３０は、第１から第４のＲＴＰ受信部８４
ａ〜ｄ、ＲＴＰ送信部８３、画像符号化タイプ検出部１
１、画像間符号化画像数検出部１２、画像内符号化ブロ
ック数検出部１３、優先度算出部１４、送信判定部３
５、および、バッファ３６を備える。この動画像符号化
データ送信装置３０は、図１４に示すゲートウェイ９と
して使用される。

【００９７】ＲＴＰ受信部８４ａ〜ｄは、図１４に示す
ように、インターネット３を介して４つの動画像配信サ
ーバ１ａ〜ｄから、それぞれ、ビデオパケット４１ａ〜
ｄを受信する。本実施形態に係るビデオパケット４１ａ
〜ｄは、第１の実施形態に係るビデオパケット４１と同
じ特徴を有する。

【００９８】バッファ３６は、ＲＴＰ受信部８４ａ〜ｄ
から供給されたビデオパケット４１ａ〜ｄ、各ビデオパ
ケットの優先度５４ａ〜ｄ、および、各ビデオパケット
の送信マーク５５ａ〜ｄを蓄積する。ただし、図１３で
は、図面の簡単化のため、ビデオパケット４１ａと優先
度５４ａと送信マーク５５ａのみを示している。

【００９９】画像符号化タイプ検出部１１、画像間符号
化画像数検出部１２、画像内符号化ブロック数検出部１
３、優先度算出部１４、および、送信判定部３５は、第
１の実施形態と同様に、所定のタイミングで、バッファ
３６に蓄積されたビデオパケット４１ａ〜ｄのうち未処
理のものについて処理を行う。画像符号化タイプ検出部
１１、画像間符号化画像数検出部１２、画像内符号化ブ
ロック数検出部１３、および、優先度算出部１４は、第
１の実施形態と同様に動作する。これにより、ビデオパ
ケット４１ａ〜ｄの優先度５４ａ〜ｄが求められ、バッ
ファ３６に書き込まれる。

【０１００】送信判定部３５は、優先度５４ａ〜ｄに基
づき、通信ネットワークの伝送容量の範囲内で、送信す
べきビデオパケットを選択する。送信判定部３５は、い
ずれのＲＴＰ受信部８４ａ〜ｄから供給されたかにかか
わらず、処理対象のすべてのビデオパケットを同じよう
に扱い、図１０または図１１に示すフローチャートに従
い、送信すべきビデオパケットを選択する。この選択手
法によれば、複数の動画像符号化データに対応したビデ
オパケットの中から、再生画像の画質に大きな影響を与
えるビデオパケットを選択して送信することができる。

【０１０１】また、送信判定部３５は、受信した動画像
符号化データのデータレートの比に応じて各チャンネル
に伝送容量を割り当て、チャンネルごとに送信すべきパ
ケットを選択することとしてもよい。例えば、図１４に
示すように、４種類のビデオパケット４１ａ〜ｄを携帯
電話網５に中継する場合であって、ビデオパケット４１
ａ〜ｄのデータレートが順に６４Ｋｂｐｓ、３２Ｋｂｐ
ｓ、６４Ｋｂｐｓ、１２８Ｋｂｐｓである場合には、送
信判定部３５は、携帯電話網５の伝送容量である６４Ｋ
ｂｐｓを２：１：２：４の比に分割する。その後、送信
判定部３５は、例えば、ビデオパケット４１ａについて
は、許容される伝送容量が６４Ｋｂｐｓ÷９であるとし
て、図１０または図１１に示すフローチャートに従い、
送信すべきビデオパケットを選択する。この選択手法に
よれば、複数の再生画像のそれぞれについて、画質に大
きな影響を与えるビデオパケットを選択して送信するこ
とができる。

【０１０２】バッファ３６からは、送信判定部３５にお
いて送信すべきと判定されたビデオパケット４４のみが
出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、
ビデオパケット４４を動画像受信端末２に対して送信す
る。動画像受信端末２は、ビデオパケット４４を受信
し、図１４に示すように、４つの再生画面８７ａ〜ｄを
ディスプレイ８６に表示する。

【０１０３】以上に示すように、本実施形態に係る動画
像符号化データ送信装置は、複数の動画像に対応したビ
デオパケットを蓄積し、各ビデオパケットについて画像
符号化タイプと画像間符号化画像数と画像内符号化ブロ
ック数とを検出し、これらの属性値に基づき各ビデオパ
ケットの優先度を算出した後に、蓄積したビデオパケッ
トのうち、優先度と許容される伝送容量に従って選択し
たビデオパケットを送信する。したがって、複数の動画
像に対応したビデオパケットが供給された場合でも、第
１の実施形態に係る動画像符号化データ送信装置と同じ
効果を奏することができる。また、動画像ごとに伝送容
量を割り当て、動画像ごとに送信すべきビデオパケット
を選択することにより、再生画像のそれぞれについて画
質が大きく劣化することを防止することができる。

【０１０４】なお、第１から第３の実施形態では、特定
の構成を有する動画像符号化データ送信装置を示した
が、供給されるビデオパケットは、装置の内部で生成し
たものでも、通信ネットワークを介して受信したもので
もよい。また、ビデオパケットは、１本の動画像を符号
化して得られたものでも、複数の動画像を符号化して得
られたものでもよい。また、画像内符号化ブロック数
は、ビデオパケットを復号化して検出したものでも、画
像内符号化ブロック平均データサイズなどを用いて推定
したものでもよい。

【０１０５】また、第１から第３の実施形態では、画像
の符号化タイプと画像内符号化画像数と画像間符号化ブ
ロック数と優先度とを所定のタイミングで求めることと
したが、ビデオパケットが供給された時に、これらの値
を求めることとしてもよい。

【０１０６】また、第１から第３の実施形態では、ＭＰ
ＥＧ４とＲＴＰとを用いた動画像符号化データ送信装置
について説明したが、画像符号化方式としてＭＰＥＧ４
以外の方式を用いてもよく、通信方式としてＲＴＰ以外
の方式を用いてもよい。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化デ
ータ送信装置の構成を示すブロック図である。

【図２】ビデオパケットの構成を示す図である。

【図３】画像とビデオパケットとの対応関係を示す図で
ある。

【図４】画像間符号化画像数の説明図である。

【図５】図１に示す動画像符号化データ送信装置におけ
る、ビデオパケットの属性値と優先度との対応関係を示
す図である。

【図６】図１に示す動画像符号化データ送信装置の優先
度算出部の動作を示すフローチャートである。

【図７】図１に示す動画像符号化データ送信装置におけ
る、画像符号化タイプに基づく優先度の説明図である。

【図８】図１に示す動画像符号化データ送信装置におけ
る、画像間符号化画像数に基づく優先度の説明図であ
る。

【図９】図１に示す動画像符号化データ送信装置におけ
る、画像内符号化ブロック数に基づく優先度の説明図で
ある。

【図１０】図１に示す動画像符号化データ送信装置の送
信判定部の動作を示すフローチャートである。

【図１１】図１に示す動画像符号化データ送信装置の送
信判定部の他の動作を示すフローチャートである。

【図１２】本発明の第２の実施形態に係る動画像符号化
データ送信装置の構成を示すブロック図である。

【図１３】本発明の第３の実施形態に係る動画像符号化
データ送信装置の構成を示すブロック図である。

【図１４】図１３に示す動画像符号化データ送信装置を
用いた動画像符号化データ配信システムの構成を示す図
である。

【図１５】従来の動画像符号化データ配信システムの構
成を示す図である。

【図１６】ＭＰＥＧ４における画像符号化タイプの説明
図である。

【図１７】画像とビデオパケットとの対応関係を示す図
である。

【図１８】ＲＴＰ伝送方式の説明図である。

【図１９】無線伝送を用いた、従来の動画像符号化デー
タ配信システムの構成を示す図である。

【図２０】図１９に示す動画像符号化データ配信システ
ムが有する問題点の説明図である。

【符号の説明】

１０、２０、３０…動画像符号化データ送信装置 １１、２１…画像符号化タイプ検出部 １２…画像間符号化画像数検出部 １３…画像内符号化ブロック数検出部 １４…優先度算出部 １５、３５…送信判定部 １６、２６、３６…バッファ ２３…画像内符号化ブロック数推定部 ４１、４２、４３、４４…ビデオパケット ５１…画像符号化タイプ ５２…画像間符号化画像数 ５３…画像内符号化ブロック数 ５４、５８…優先度 ５５、５９…送信マーク ５６…画像内符号化ブロック平均データサイズ ５７…画像内符号化ブロック数推定値 ８１…画像データ供給部 ８２…ＭＰＥＧ４符号化部 ８３…ＲＴＰ送信部 ８４…ＲＴＰ受信部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井村 康治 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 (72)発明者 井戸 大治 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5C059 MA00 MA05 PP04 RB02 RB09 RC12 SS08 SS10 TA73 TC00 TC27 TD07 TD11 UA01 UA02 UA04 UA05 UA38 5C064 BA01 BB05 BC10 BC16 BD08 BD14 5J064 AA02 BC01 BC26 BD02 5K030 HA08 HB02 HC02 JA05 JL01 JT01 KX11 LE14 MB11

Claims (18)

【特許請求の範囲】
1. 【請求項１】 動画像を構成する各画像ごとに画像内符
   号化または画像間符号化を選択し、画像内符号化すべき
   画像に含まれるすべてのブロックを画像内符号化し、画
   像間符号化すべき画像に含まれる各ブロックを画像内符
   号化または画像間符号化して得られた動画像符号化デー
   タを送信する動画像符号化データ送信装置であって、 前記動画像符号化データを画像のブロック単位で分割し
   て得られた複数のビデオパケットの供給を受け、前記ビ
   デオパケットを蓄積するパケット蓄積部と、 各前記ビデオパケットについて、画像の符号化方式に関
   する複数の属性値を検出する属性値検出部と、 前記複数の属性値に基づき、各前記ビデオパケットの優
   先度を算出する優先度算出部と、 前記パケット蓄積部に蓄積されたビデオパケットのう
   ち、前記優先度と許容される伝送容量とに基づき選択し
   たビデオパケットを送信するパケット送信部とを備え
   た、動画像符号化データ送信装置。
2. 【請求項２】 前記属性値検出部は、 各前記ビデオパケットに対応した画像の符号化タイプを
   検出する画像符号化タイプ検出部と、 各前記ビデオパケットに対応した画像と当該画像よりも
   前にあって最も近い画像内符号化された画像との間にあ
   る画像の数を検出する画像間符号化画像数検出部と、 各前記ビデオパケットに含まれる画像内符号化されたブ
   ロックの数を検出する画像内符号化ブロック数検出部と
   を含むことを特徴とする、請求項１に記載の動画像符号
   化データ送信装置。
3. 【請求項３】 前記画像内符号化ブロック数検出部は、
   各前記ビデオパケットについて、当該ビデオパケットに
   含まれるブロックの数と当該ビデオパケットのサイズと
   に基づき、当該ビデオパケットに含まれる画像内符号化
   されたブロックの数を推定することを特徴とする、請求
   項２に記載の動画像符号化データ送信装置。
4. 【請求項４】 前記画像内符号化ブロック数検出部は、
   各前記ビデオパケットについて、当該ビデオパケットに
   含まれるブロックの数と当該ビデオパケットのサイズと
   画像内符号化された画像に含まれるブロックの平均デー
   タサイズとに基づき、当該ビデオパケットに含まれる画
   像内符号化されたブロックの数を推定することを特徴と
   する、請求項３に記載の動画像符号化データ送信装置。
5. 【請求項５】 前記パケット送信部は、送信されるビデ
   オパケットのデータ量が前記伝送容量を越えない範囲内
   で、送信すべきビデオパケットを前記優先度に従って選
   択することを特徴とする、請求項１に記載の動画像符号
   化データ送信装置。
6. 【請求項６】 前記伝送容量は、受信装置との間で折衝
   して定めた値であることを特徴とする、請求項１に記載
   の動画像符号化データ送信装置。
7. 【請求項７】 前記伝送容量は、通信路の伝送容量から
   前記通信路においてビデオパケットの再送用に割り当て
   た伝送容量を引いた値であることを特徴とする、請求項
   １に記載の動画像符号化データ送信装置。
8. 【請求項８】 前記動画像符号化データは、複数の動画
   像を個別に符号化して得られたものであることを特徴と
   する、請求項１に記載の動画像符号化データ送信装置。
9. 【請求項９】 前記パケット送信部は、各動画像を個別
   に符号化したときのデータ量に応じて前記伝送容量を分
   割し、前記優先度と分割された前記伝送容量とに基づ
   き、動画像ごとに送信すべきビデオパケットを選択する
   ことを特徴とする、請求項８に記載の動画像符号化デー
   タ送信装置。
10. 【請求項１０】 動画像を構成する各画像ごとに画像内
    符号化または画像間符号化を選択し、画像内符号化すべ
    き画像に含まれるすべてのブロックを画像内符号化し、
    画像間符号化すべき画像に含まれる各ブロックを画像内
    符号化または画像間符号化して得られた動画像符号化デ
    ータを送信する動画像符号化データ送信方法であって、 前記動画像符号化データを画像のブロック単位で分割し
    て得られた複数のビデオパケットの供給を受け、前記ビ
    デオパケットを蓄積するパケット蓄積ステップと、 各前記ビデオパケットについて、画像の符号化方式に関
    する複数の属性値を検出する属性値検出ステップと、 前記複数の属性値に基づき、各前記ビデオパケットの優
    先度を算出する優先度算出ステップと、 前記パケット蓄積ステップにおいて蓄積されたビデオパ
    ケットのうち、前記優先度と許容される伝送容量とに基
    づき選択したビデオパケットを送信するパケット送信ス
    テップとを備えた、動画像符号化データ送信方法。
11. 【請求項１１】 前記属性値検出ステップは、 各前記ビデオパケットに対応した画像の符号化タイプを
    検出する画像符号化タイプ検出ステップと、 各前記ビデオパケットに対応した画像と当該画像よりも
    前にあって最も近い画像内符号化された画像との間にあ
    る画像の数を検出する画像間符号化画像数検出ステップ
    と、 各前記ビデオパケットに含まれる画像内符号化されたブ
    ロックの数を検出する画像内符号化ブロック数検出ステ
    ップとを含むことを特徴とする、請求項１０に記載の動
    画像符号化データ送信方法。
12. 【請求項１２】 前記画像内符号化ブロック数検出ステ
    ップは、各前記ビデオパケットについて、当該ビデオパ
    ケットに含まれるブロックの数と当該ビデオパケットの
    サイズとに基づき、当該ビデオパケットに含まれる画像
    内符号化されたブロックの数を推定することを特徴とす
    る、請求項１１に記載の動画像符号化データ送信方法。
13. 【請求項１３】 前記画像内符号化ブロック数検出ステ
    ップは、各前記ビデオパケットについて、当該ビデオパ
    ケットに含まれるブロックの数と当該ビデオパケットの
    サイズと画像内符号化された画像に含まれるブロックの
    平均データサイズとに基づき、当該ビデオパケットに含
    まれる画像内符号化されたブロックの数を推定すること
    を特徴とする、請求項１２に記載の動画像符号化データ
    送信方法。
14. 【請求項１４】 前記パケット送信ステップは、送信さ
    れるビデオパケットのデータ量が前記伝送容量を越えな
    い範囲内で、送信すべきビデオパケットを前記優先度に
    従って選択することを特徴とする、請求項１０に記載の
    動画像符号化データ送信方法。
15. 【請求項１５】 前記伝送容量は、受信側との間で折衝
    して定めた値であることを特徴とする、請求項１０に記
    載の動画像符号化データ送信方法。
16. 【請求項１６】 前記伝送容量は、通信路の伝送容量か
    ら前記通信路においてビデオパケットの再送用に割り当
    てた伝送容量を引いた値であることを特徴とする、請求
    項１０に記載の動画像符号化データ送信方法。
17. 【請求項１７】 前記動画像符号化データは、複数の動
    画像を個別に符号化して得られたものであることを特徴
    とする、請求項１０に記載の動画像符号化データ送信方
    法。
18. 【請求項１８】 前記パケット送信ステップは、各動画
    像を個別に符号化したときのデータ量に応じて前記伝送
    容量を分割し、前記優先度と分割された前記伝送容量と
    に基づき、動画像ごとに送信すべきビデオパケットを選
    択することを特徴とする、請求項１７に記載の動画像符
    号化データ送信方法。