JP2001333426A - 動画像符号化データの中継装置および中継方法 - Google Patents

Abstract

(57)【要約】 【課題】 高い伝送レートで受け取った動画像符号化デ
ータを低い伝送レートで送信する場合に、画像劣化及び
大幅な伝送遅延を生じさせることなく動画像符号化デー
タの中継を行う。 【解決手段】 符号量検出部４は、処理対象データバッ
ファ３Ｂ内の処理対象フレームの動画像符号化データの
符号量を検出し、廃棄対象判定部５は、その検出結果に
応じて、符号量の削減方法を選択し、選択した方法に従
って、廃棄対象の選択を行う。符号量削減部６は、この
選択された廃棄対象を廃棄することにより動画像符号化
データの符号量の削減を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像符号化デ
ータの中継装置および中継方法に関する。

【０００２】

【従来の技術】近年、インターネット上のリアルタイム
マルチメディア通信環境の整備に伴って、高速なアクセ
ス回線の整備がなされてきている。このような高速のア
クセス回線としては、社内ＬＡＮやイントラネットに利
用されているアクセス回線（１０Ｍ〜１００Ｍｂｐ
ｓ）、ケーブルテレビに利用されているアクセス回線
（上り０．８Ｍ〜１４Ｍｂｐｓ、下り８Ｍ〜４０Ｍｂｐ
ｓ）、ＡＤＳＬ（上り６４ｋ〜１．４Ｍｂｐｓ、下り
１．５Ｍ〜８Ｍｂｐｓ）、ＦＷＡ（Fixed Wireless Acc
ess）等がある。

【０００３】これに対し、一般ユーザに普及しているネ
ットワークは、未だに低速なアクセス回線を用いたもの
が多い。例えば、ＰＨＳを利用した場合の通信速度は６
４ｋｂｐｓであり、ＩＳＤＮにおいて２チャネルを用い
て通信を行った場合でも通信速度は１２８ｋｂｐｓにし
かならない。

【０００４】このような現状において、一般のユーザが
低速ネットワークであるＩＳＤＮを用いて高速ネットワ
ークであるインターネットへの接続を行うということが
盛んに行われるようになってきている。図１３は、その
例を示すものである。図１３に示す通信システムにおい
て、高速ネットワーク１００２内のサーバ１００１から
低速ネットワーク１００４内の端末１００５宛てに動画
像符号化データを送信するものとする。この場合、サー
バ１００１では、高速ネットワーク１００２における通
信速度と低速ネットワーク１００４における通信速度と
の比に応じて、端末１００５宛てに送る動画像符号化デ
ータの平均的な符号量を減らし、端末１００５宛てに送
信する。この通信システムにおいては、高速ネットワー
ク１００２内のサーバ１００１から低速ネットワーク１
００４内の端末１００５宛に送信されてきた動画像符号
化データが高速ネットワーク１００２と低速ネットワー
ク１００４との接続を行うゲートウェイサーバ１００３
によって受信される。このゲートウェイサーバ１００３
において、動画像符号化データは、高速ネットワーク１
００２における通信速度と低速ネットワーク１００４に
おける通信速度との速度差を吸収するためにバッファに
一旦格納され、低速ネットワーク１００４に対応した通
信速度で低速ネットワーク１００４側に送信される。

【０００５】このようにして、高速ネットワーク１００
２および低速ネットワーク１００４を順次介して動画像
符号化データのリアルタイム伝送が行われ、低速ネット
ワーク１００４内の端末１００５では、動画像符号化デ
ータのリアルタイム再生が行われる。

【０００６】

【発明が解決しようとする課題】ところで、図１３に例
示した通信システムにおいて、ゲートウェイサーバ１０
０３に順次到達する動画像符号化データは、各々の符号
量が一定しておらず、フレーム間で変動する。さらに詳
述すると次の通りである。まず、図１３においてサーバ
１００１は、例えばＭＰＥＧ（Moving Picture Experts
Group）１方式の動画像符号化データを送信しているも
のとする。このＭＰＥＧ１方式では、所定個数のフレー
ムからなるＧＯＰ（Group of Picture）を単位として動
画像の符号化が行われる。このＧＯＰは、少なくとも１
枚のＩ（Intra）フレームと、複数のＰ（Predictive）
フレームと、Ｂ（Bidirectionally predictive）フレー
ムとにより構成されている。そして、Ｉフレームについ
ては、フレーム内の画素データのみを使用して、他のフ
レームとは独立して符号化（フレーム内符号化）が行わ
れる。また、Ｐフレームについては、時間的に「前」に
存在するフレームとの相関性を利用するフレーム間予測
によって符号化が行われる。また、Ｂフレームについて
は、時間的に「前後」のフレームとの相関性を利用する
フレーム間予測によって符号化が行われる。

【０００７】ここで、Ｉフレームに対応した動画像符号
化データは他のフレームとの相関関係を利用しないため
に大きな符号量となるのに対し、Ｐ及びＢフレームに対
応した動画像符号化データは前後のフレームとの相関関
係を利用するためＩフレームの場合に比べ少ない符号量
となる。

【０００８】また、動画像を構成する一連のフレーム
は、各フレーム毎に画像の情報量が区々であるため、例
えば同じＰフレームであっても、各Ｐフレーム間で動画
像符号化データの符号量に変動が生じる。

【０００９】このようにフレーム間で符号量が区々であ
ったとしても、高速ネットワーク１００２の通信速度は
十分に高いので、サーバ１００１から送信された各フレ
ームの動画像符号化データは、高速ネットワーク１００
２を介してゲートウェイサーバに瞬時に到着する。しか
し、低速ネットワーク１００４における通信速度は高速
ネットワーク１００２に比べると著しく通信速度が低い
ので、ゲートウェイサーバ１００３に到着した動画像デ
ータがゲートウェイサーバ１００３から送信されて端末
１００５に到達するまでの伝送遅延は動画像データの符
号量に応じて大きく変動することとなる。以下、図１４
を参照してこの問題について説明する。この図１４は、
ゲートウェイサーバ１００３に順次到着した一連の動画
像符号化データの符号量と、ゲートウェイサーバ１００
３内のバッファに蓄積されている全動画像符号化データ
の総符号量（以下、バッファ量という）の時間的推移を
例示している。

【００１０】図１４に示すように、サーバ１００１から
送信された各動画像符号化データは、高速ネットワーク
１００２を介することにより瞬時にゲートウェイサーバ
１００３に到着し、バッファに格納される。そして、こ
のバッファに格納された動画像符号化データは、低速ネ
ットワーク１００４の通信速度が低いことから、この通
信速度に対応した低い時間レートで少量ずつバッファか
ら読み出され、端末１００５宛てに送信される。図１４
には、ゲートウェイサーバ１００３に到着した動画像符
号化データが全て端末１００５に受信するまでの遅延時
間が各フレーム毎に矢印で示されている。図示のよう
に、動画像符号化データが端末１００５に到着するまで
の遅延時間は、当該動画像符号化データの符号量に比例
し、符号量が大きい程、その動画像符号化データは大き
く遅れて端末１００５に到着する。また、動画像符号化
データがゲートウェイサーバ１００３に到着した時点に
おいて、その前のフレームの動画像符号化データが未だ
送信されず、バッファ内に残っている場合がある。この
ような未送信の残存データがある場合には、その残存デ
ータの送信が完了しないと、新たに到着した動画像符号
化データの送信が開始されないため、当該動画像符号化
データが端末１００５に到着するまでの遅延時間はこの
残存データの分だけさらに長くなってしまう。従って、
符号量の大きな動画像符号化データがゲートウェイサー
バ１００３に連続して到着すると、各動画像符号化デー
タの到着タイミングにおいてバッファ内の残存データの
量が次第に増えて行き、動画像符号化データが端末１０
０５に到着するまでの遅延時間もこれに伴って増えてゆ
く。そして、この遅延時間があまりに大きくなると、端
末１００５では各動画像符号化データの到着タイミング
のジッタを吸収しきれなくなり、いわゆるコマ落ちが発
生してしまう。図１４に示す例において、３番目にゲー
トウェイサーバ１００３に到着した動画像符号化データ
は、その符号量が著しく大きいことから、ゲートウェイ
サーバ１００３に到着してから端末１００５に全て受信
されるまでにフレームの発生周期の３倍相当の時間がか
かってしまい、端末１００５に受信されたときには既に
当該動画像符号化データの復号を行うべきタイミングを
逸してしまっている。このため、当該動画像符号化デー
タは、復号されずに廃棄されることとなる。このような
コマ落ちは、動画像符号化データが端末１００５に到着
するまでの遅延時間が正常な長さに戻るまで収まらず、
複数フレーム連続して発生することが多い。このような
連続的なコマ落ちが発生すると、端末１００３における
再生画像の品質は著しく劣化することとなる。

【００１１】このようなコマ落ちを防止するための方法
として、ゲートウェイサーバ１００３内においてサーバ
１００１から受信された動画像符号化データを復号し、
この結果得られる画像データを符号量の少ない動画像符
号化データに再符号化して端末１００５に送信する、と
いう方法も考えられる。しかしながら、このような方法
を採用した場合、再符号化の際に膨大な量の演算を行わ
なければならないため、ゲートウェイサーバ１００３に
動画像符号化データが到着してから再符号化を終えて端
末１００５宛てに送信されるまでの時間が長くなってし
まうという問題がある。

【００１２】この発明は、以上説明したような事情に鑑
みてなされたものであり、高い通信速度で受信される一
連の動画像符号化データを中継してこれよりも低い通信
速度で受信側に送信するときに、個々の動画像符号化デ
ータの伝送遅延が著しく大きくなることを抑え、受信側
での再生画像の品質を劣化させることなく、動画像符号
化データを中継することができる中継装置および中継方
法を提供することを目的としている。

【００１３】

【課題を解決するための手段】請求項１に記載の中継装
置は、動画像を構成する一連のフレームの動画像符号化
データを送信側ノードから順次受信する受信手段と、前
記受信手段によって受信された動画像符号化データを記
憶する第１の記憶手段と、前記受信手段によって受信さ
れた動画像符号化データの符号量を検出する符号量検出
手段と、前記記憶手段から未送信のフレームの動画像符
号化データを読み出し、前記符号量検出手段による当該
動画像符号化データの符号量の検出結果に基づいて、当
該フレームの動画像符号化データの符号量の制御を行う
手段であって、当該フレームの動画像符号化データの符
号量が所定量以上である場合に当該動画像符号化データ
の一部を符号量の小さな所定のデータに置き換える符号
量制御手段と、前記符号量制御手段によって前記符号量
の制御が行われた動画像符号化データを受信側ノードに
送信する送信手段とを具備することを特徴とする。

【００１４】請求項２に記載の中継装置は、請求項１に
記載の特徴に加えて、前記送信手段は、前記符号量制御
手段によって前記符号量の削減が行われた動画像データ
を記憶する第２の記憶手段を具備し、前記符号量制御手
段は、前記符号量検出手段により検出された当該動画像
符号化データの符号量と、前記第２の記憶手段に残存し
ている未送信の動画像符号化データとの和が所定値以上
である場合に当該動画像符号化データの一部を符号量の
小さな所定のデータに置き換えることを特徴とする。

【００１５】請求項３に記載の中継装置は、請求項１ま
たは請求項２に記載の特徴に加えて、前記一連のフレー
ムに対応した動画像符号化データは、当該フレームを分
割した複数のマクロブロックの各々に対応した符号化デ
ータを含み、各符号化データはフレーム内符号化データ
またはフレーム間予測符号化データであり、該フレーム
間予測符号化データは、当該マクロブロックに対応した
画像と当該フレームのフレーム間予測符号化のために参
照された他のフレームの中の当該マクロブロックに近似
した参照画像との差分に対応したテクスチャ情報と、当
該マクロブロックに対応した画像と当該参照画像との間
の動きを表す動き情報とを有し、前記符号量制御手段
は、前記受信側ノードにおいて前記動画像符号化データ
を復号する際に、後続フレームに与える影響が少ないマ
クロブロックに対応する符号化データを廃棄対象データ
として決定する廃棄対象データ決定手段と、前記動画像
符号化データのうち前記廃棄対象データ決定手段によっ
て廃棄対象データとされたものを符号量の小さな所定の
データに置換するデータ廃棄手段とを具備することを特
徴とする。

【００１６】請求項４に記載の中継装置は、請求項３に
記載の特徴に加えて、前記廃棄対象データ決定手段は、
前記受信手段によって受信された動画像符号化データの
うち当該フレームよりも時間的に前のフレームの動画像
符号化データに含まれる動き情報を参照することによ
り、当該フレームの時間的に前のフレームにおいて動き
がなく、かつ、当該フレーム中においてフレーム内符号
化されているマクロブロックを選択し、当該マクロブロ
ックのフレーム内符号化データを廃棄対象データとして
決定する手段を具備することを特徴とする。

【００１７】請求項５に記載の中継装置は、請求項３に
記載の特徴に加えて、前記廃棄対象データ決定手段は、
当該フレームよりも時間的に前または後の他のフレーム
の動画像符号化データに含まれる動き情報を参照するこ
とにより、他のフレーム中のマクロブロックのフレーム
間予測符号化のために参照されていないマクロブロック
を選択し、当該マクロブロックの符号化データを廃棄対
象データとして決定する手段を具備することを特徴とす
る。

【００１８】請求項６に記載の中継装置は、請求項３に
記載の特徴に加えて、前記廃棄対象データ決定手段は、
値の小さなテクスチャ情報を廃棄対象データとして決定
する手段を具備することを特徴とする。

【００１９】請求項７に記載の中継装置は、請求項３に
記載の特徴に加えて、前記廃棄対象データ決定手段は、
当該フレームを構成する各マクロブロックのうち時間的
に後のフレームにおいて同じ位置に存在するマクロブロ
ックがフレーム内符号化されているものの符号化データ
を廃棄対象データとして決定する手段を具備することを
特徴とする。

【００２０】請求項８に記載の中継装置は、請求項３に
記載の特徴に加えて、前記廃棄対象データ決定手段は、
各々異なった方法により廃棄対象データを決定する複数
の廃棄対象データ決定部からなることを特徴とする。

【００２１】請求項９に記載の中継装置は、請求項８に
記載の特徴に加えて、前記複数の廃棄対象データ決定部
のうち廃棄対象データの決定を行うものを選択する選択
手段を具備することを特徴とする。

【００２２】請求項１０に記載の中継装置は、請求項２
に記載の特徴に加えて、前記一連のフレームに対応した
動画像符号化データは、当該フレームを分割した複数の
マクロブロックの各々に対応した符号化データを含み、
各符号化データはフレーム内符号化データまたはフレー
ム間予測符号化データであり、該フレーム間予測符号化
データは、当該マクロブロックに対応した画像と当該フ
レームのフレーム間予測符号化のために参照された他の
フレームの中の当該マクロブロックに近似した参照画像
との差分に対応したテクスチャ情報と、当該マクロブロ
ックに対応した画像と当該参照画像との間の動きを表す
動き情報とを有し、前記符号量制御手段は、各々異なっ
た方法により、前記受信側ノードにおいて前記動画像符
号化データを復号する際に、後続フレームに与える影響
が少ないマクロブロックに対応する符号化データを廃棄
対象データとして決定する複数の廃棄対象データ決定部
と、当該フレームの動画像符号化データの符号量と前記
第２の記憶手段に残存している未送信の動画像符号化デ
ータとの和に基づいて、前記複数の廃棄対象データ決定
部のうち廃棄対象データの決定を行うものを選択する選
択手段と、前記動画像符号化データのうち前記選択手段
によって選択された前記複数の廃棄対象データ決定部に
おいて廃棄対象データとされたものを符号量の小さな所
定のデータに置換するデータ廃棄手段とを具備すること
を特徴とする。

【００２３】請求項１１に記載の中継装置は、動画像を
構成する一連のフレームの動画像符号化データを送信側
ノードから順次受信する受信手段と、前記受信手段によ
って受信され、未送信の動画像符号化データを記憶する
記憶手段と、前記記憶手段に記憶された未送信の動画像
符号化データの符号量を検出する符号量検出手段と、前
記記憶手段から未送信のフレームの動画像符号化データ
を読み出し、符号量の制御を行う手段であって、前記符
号量検出手段によって検出された未送信のフレームの動
画像符号化データの符号量が所定量以上である場合に当
該動画像符号化データの一部を符号量の小さな所定のデ
ータに置き換える符号量制御手段と、前記符号量制御手
段によって前記符号量の制御が行われた動画像符号化デ
ータを受信側ノードに送信する送信手段とを具備するこ
とを特徴とする。

【００２４】請求項１２に記載の動画像符号化データの
中継方法は、動画像を構成する一連のフレームの動画像
符号化データを送信側ノードから順次受信する受信過程
と、前記受信過程において受信された動画像符号化デー
タを記憶する記憶過程と、前記受信過程において受信さ
れた前記動画像符号化データの符号量を検出する符号量
検出過程と、前記記憶過程において記憶した前記動画像
符号化データのうち未送信のフレームの動画像符号化デ
ータを読み出し、前記符号量検出過程における当該動画
像符号化データの符号量の検出結果に基づいて、当該動
画像符号化データの符号量の制御を行う過程であって、
当該動画像符号化データの符号量が所定量以上である場
合に当該動画像符号化データの一部を符号量の小さな所
定のデータに置き換える符号量制御過程と、前記符号量
制御過程において前記符号量の制御が行われた動画像符
号化データを受信側ノードに送信する送信過程とを具備
することを特徴とする。

【００２５】

【発明の実施の形態】以下、図面を参照し、本発明の実
施形態について説明する。かかる実施形態は、あくまで
も本発明の例示であり、本発明を限定するものではな
く、本発明の範囲内において任意に変更可能である。

【００２６】［１］第１実施形態 ［１．１］実施形態の構成 図１は、本発明に係る中継装置の一例であるゲートウェ
イサーバ１の構成を示すブロック図である。本実施形態
にかかるゲートウェイサーバ１は、受信部２と、受信バ
ッファ３Ａと、処理対象データバッファ３Ｂと、符号量
検出部４と、廃棄対象判定部５と、符号量削減部６と、
送信バッファ７と、送信部８とを有する。

【００２７】受信部２は、例えば図１３において高速ネ
ットワーク１００２内の送信側ノード（サーバ１００１
に該当）から低速ネットワーク１００４内の受信側ノー
ド（端末１００５）宛てに送信される一連の動画像符号
化データを順次受信し、受信バッファ３Ａに書き込む装
置である。受信バッファ３Ａは、受信部２によって現時
点までに受信された所定フレーム数分の動画像符号化デ
ータを記憶する記憶手段である。処理対象データバッフ
ァ３Ｂは、受信バッファ３Ａに記憶された各動画像符号
化データのうち現時点において送信のための処理（具体
的には必要な符号量削減処理および送信処理）を行うべ
きものを記憶する記憶手段である。

【００２８】次に符号量検出部４について説明する。本
実施形態では、受信部２が受信した各フレームの動画像
符号化データの符号量に応じて、その動画像符号化デー
タの取り扱い、すなわち、その動画像符号化データに対
して符号量削減のための処理を施すか否か、また、符号
量を削減する場合には如何なる処理を実行するかを決定
する。符号量検出部４は、このような動画像符号化デー
タの取り扱いを決定するために、動画像符号化データの
符号量を判定し、その判定結果に基づき動画像符号化デ
ータの取り扱い方法を指定する情報を出力する。図２お
よび図３はこのような符号量検出部４の機能を説明する
図である。

【００２９】まず、符号量検出部４は、処理対象データ
バッファ３Ｂに格納された動画像符号化データの符号量
Ｘを検出し、この符号量Ｘを図２に示すように閾値ＳＤ
１〜ＳＤ４と比較する。ここで、閾値ＳＤ１は、低速ネ
ットワーク１００４の通信速度Ｚとフレームレート１／
Δｔ及び送信バッファ７の残存データの符号量Ｙに依存
する値として ＳＤ１＝ＺΔｔ−Ｙ（ビット）………（式１） の式で表される。すなわち、閾値ＳＤ１の値は、フレー
ムの発生時間間隔Δｔの間に低速ネットワーク１００４
を介して受信側ノードに送信可能な符号量ＺΔｔから、
当該フレームの送信時において送信バッファ７に存在し
ている残存データの符号量Ｙを引いた値となる。なお、
図２においては、送信バッファ７の残存データの符号量
Ｙが０ビットである場合の閾値ＳＤ１〜ＳＤ４が示され
ている。

【００３０】閾値ＳＤ２〜ＳＤ４は、閾値ＳＤ１よりも
大きい値である。本実施形態では、各閾値間の関係は、
ＳＤ１＜ＳＤ２＜ＳＤ３＜ＳＤ４となっている。そし
て、符号量検出部４は、符号量Ｘと閾値ＳＤ１〜ＳＤ４
との比較結果に基づいて４個のスイッチＳＷ１〜ＳＷ４
のＯＮ／ＯＦＦ設定を行う。

【００３１】図３には符号量Ｘの比較結果とスイッチＳ
Ｗ１〜ＳＷ４のＯＮ／ＯＦＦ設定との対応が例示されて
いる。図３に示すように、処理対象データバッファ３Ｂ
に格納された動画像符号化データの符号量ＸがＳＤ１よ
りも小さい場合には、全てのスイッチＳＷ１〜ＳＷ４が
ＯＦＦ状態とされる。また、符号量ＸがＳＤ１＜Ｘ≦Ｓ
Ｄ２の関係を満たす場合、スイッチＳＷ１のみがＯＮと
なり他のスイッチＳＷ２〜ＳＷ４はＯＦＦとなる。ま
た、ＳＤ２＜Ｘ≦ＳＤ３の場合、スイッチＳＷ１及びＳ
Ｗ２がＯＮ状態、他のスイッチがＯＦＦ状態となり、Ｓ
Ｄ３＜Ｘ≦ＳＤ４の場合スイッチＳＷ１〜ＳＷ３がＯＮ
状態、スイッチＳＷ４がＯＦＦ状態となり、ＳＤ４≦Ｘ
の場合には全てのスイッチＳＷ１〜ＳＷ４がＯＮ状態と
なる。このスイッチＳＷ１〜ＳＷ４のＯＮ／ＯＦＦ状態
は、当該動画像符号化データに対する取り扱いを指定す
る情報として、廃棄対象判定部５によって参照される。

【００３２】次に廃棄対象判定部５について説明する。
本実施形態では、あるフレームの動画像符号化データの
符号量が大きく、その符号量を削減する必要がある場合
に、フレームを分割したマクロブロック（以下、ＭＢと
いう）単位で符号化データの廃棄を行うことにより符号
量を削減する。廃棄対象判定部５は、この符号化データ
の廃棄を行う対象となるＭＢを判定する手段である。す
なわち、廃棄対象判定部５は、受信バッファ３Ａに記憶
された一連の動画像符号化データを参照することによ
り、処理対象データバッファ３Ｂに格納された処理対象
フレームに対応した動画像符号化データ中において廃棄
対象となるＭＢを決定し、その決定結果を符号量削減部
６へ供給する。

【００３３】次に廃棄対象となるＭＢの選択方法につい
て説明する。廃棄対象判定部５は、廃棄しても後続フレ
ームに対する影響範囲の少ないデータ及び廃棄しても当
該フレームに対する影響範囲の少ないＭＢを廃棄対象の
データとして選択する。その具体的な選択基準は以下の
通りである。 選択基準１．処理対象フレームの時間的に前のフレーム
（以下、単に「前フレーム」という）において動きがな
く、かつ、処理対象フレーム中においてフレーム内符号
化されているＭＢ 選択基準２．時間的に前後のフレーム中のＭＢによって
参照されていないＭＢ 選択基準３．動きがないＭＢに対応したテクスチャ情報
（具体的には、フレーム間予測符号化されたＭＢについ
ては参照画像との間の差分のＤＣＴ係数、イントラＭＢ
については当該ＭＢのフレーム内符号化データ） 選択基準４．次のフレームにおいて、同じ位置に存在す
るＭＢがフレーム内符号化されているＭＢ

【００３４】また、上記選択基準１〜４は、符号量検出
部４におけるスイッチＳＷ１〜ＳＷ４のＯＮ／ＯＦＦ状
態に基づいて採用される。さらに詳述すると、廃棄対象
判定部５は、スイッチＳＷ１〜ＳＷ４の全てがＯＦＦ状
態である場合には、上記選択基準１〜４の全てを採用し
ない。この場合、動画像符号化データの符号量の削減は
行われない。そして、スイッチＳＷ１〜ＳＷ４のうち１
または複数のスイッチがＯＮ状態である場合、廃棄対象
判定部５は、そのスイッチに対応した選択基準、すなわ
ち、スイッチＳＷ１であれば選択基準１、スイッチＳＷ
２であれば選択基準２、スイッチＳＷ３であれば選択基
準３、スイッチＳＷ４であれば選択基準４を採用して廃
棄対象のＭＢを選択する。

【００３５】廃棄対象判定部５は、廃棄対象のＭＢの選
択結果を表す情報として、廃棄ＭＢマップ及び廃棄テク
スチャ情報マップを生成する。ここで、廃棄ＭＢマップ
および廃棄テクスチャ情報マップは、各々処理対象フレ
ーム毎に作成されるマップであり、各々処理対象フレー
ムの各ＭＢに対応したフラグにより構成されている。

【００３６】本実施形態では、スイッチＳＷ１、ＳＷ２
またはＳＷ４のいずれかがＯＮ状態であり、選択基準
１、２または４を満たすＭＢを廃棄対象として選択する
場合には、廃棄ＭＢマップにおける廃棄対象ＭＢに対応
したフラグに“１”を設定する。

【００３７】また、本実施形態では、スイッチＳＷ３が
ＯＮ状態であり、選択基準３を満たすＭＢを廃棄対象と
して選択する場合には、廃棄テクスチャ情報マップにお
ける廃棄対象ＭＢに対応したフラグに“１”を設定す
る。

【００３８】以下、この廃棄ＭＢマップ及び廃棄テクス
チャ情報マップを生成するための具体的な処理内容につ
いて説明する。 ａ．参照情報準備処理 処理対象フレームについて廃棄ＭＢマップや廃棄テクス
チャ情報マップの生成処理を行う場合、当該処理対象フ
レームに関する情報の他、処理対象フレームに対して時
間的に前のフレームに関する情報や時間的に後のフレー
ムに関する情報が必要になることがある。そこで、本実
施形態では、処理対象フレームについての廃棄ＭＢマッ
プや廃棄テクスチャ情報マップの生成処理に間に合うよ
うに、これらの生成処理において参照される情報を予め
準備する。これが参照情報準備処理である。参照情報準
備処理には、イントラＭＢマップ生成処理と、静止ＭＢ
マップ生成処理と、非参照ＭＢマップ生成処理とがあ
る。これらのうち静止ＭＢマップ生成処理および非参照
ＭＢマップ生成処理では、受信バッファ３Ａに格納され
た動画像符号化データのうち処理対象フレームに対して
時間的に前または後のフレームに対応した動画像符号化
データが必要に応じて参照される。

【００３９】（i）イントラＭＢマップ生成処理 図４は、廃棄対象判定部５において行われるイントラＭ
Ｂマップ生成処理を示す概念図である。図面が煩雑にな
るのを防ぐため、図４では、１フレームを構成する全Ｍ
Ｂのうち１６個のＭＢａ〜ｐのみが例示されている。こ
のイントラＭＢマップ生成処理では、受信部２によって
受信された動画像符号化データについて、フレーム内符
号化されたＭＢの位置を表すイントラＭＢマップＭＩを
生成する。このイントラＭＢマップＭＩは、１フレーム
を構成する各ＭＢに対応したフラグを要素とするマップ
である。イントラＭＢマップ生成処理において、廃棄対
象判定部５は、まず、イントラＭＢマップＭＩにおける
全フラグを“０”に初期化する。次に、廃棄対象判定部
５は、動画像符号化データに含まれる各ＭＢのＭＢタイ
プＶＬＣ（Variable Length Code）を参照することによ
り、処理対象フレームを構成する各ＭＢについて、当該
ＭＢがイントラＭＢであるか否かを判定し、当該ＭＢが
イントラＭＢである場合には、イントラＭＢマップＭＩ
の各フラグのうち当該ＭＢに対応したフラグを“１”と
する。

【００４０】図４には、以上の処理により生成されたイ
ントラＭＢマップＭＩが例示されている。この図４に示
す例では、ＭＢａ、ＭＢｄ、ＭＢｅ、ＭＢｇ、ＭＢｌ、
ＭＢｎがフレーム内符号化されている。

【００４１】本実施形態では、Ｉフレームの動画像符号
化データも、イントラＭＢマップ生成処理の対象とな
る。ただし、Ｉフレームについては、全てのＭＢがフレ
ーム内符号化されているため、各ＭＢがフレーム内符号
化されているか否かの個別的判断はなされず、全てのＭ
Ｂに対応したフラグが一括して“１”とされる。

【００４２】（ii）静止ＭＢマップ生成処理 図５は、廃棄対象判定部５において行われる静止ＭＢマ
ップ生成処理を示す概念図である。この静止ＭＢマップ
生成処理では、各フレームに含まれたＭＢ中において動
きの少ないＭＢの位置を表す静止ＭＢマップＭＶを生成
する。この静止ＭＢマップＭＶも、１フレームを構成す
る各ＭＢに対応したフラグを要素とするマップである。
この静止ＭＢマップ生成処理において、廃棄対象判定部
５は、まず、静止ＭＢマップＭＶにおける全フラグを
“０”に初期化する。次に、廃棄対象判定部５は、処理
対象フレーム中の各ＭＢについて次のことを行う。ま
ず、当該ＭＢがフレーム間予測符号化されたＭＢである
場合、廃棄対象判定部５は、処理対象フレームのフレー
ム間予測符号化データから当該ＭＢに対応した動き情報
を取り出し、当該動き情報によって表された動きベクト
ルのスカラー値を算出する。そして、スカラー値を所定
の基準値と比較して、基準値よりも小さい場合には当該
ＭＢを動きの殆どない静止ＭＢとみなし、静止ＭＢマッ
プＭＶにおける当該ＭＢに対応したフラグに“１”を設
定する。

【００４３】また、当該ＭＢがイントラＭＢである場
合、廃棄対象判定部５は、処理対象フレームの直前のフ
レームのフレーム間予測符号化データを参照し、当該Ｍ
Ｂと同位置のＭＢに対応した動き情報を取り出し、当該
動き情報によって表された動きベクトルのスカラー値を
算出する。そして、スカラー値を所定の基準値と比較し
て、基準値よりも小さい場合には当該ＭＢを動きの殆ど
ない静止ＭＢとみなし、静止ＭＢマップＭＶにおける当
該ＭＢに対応したフラグに“１”を設定する。

【００４４】なお、当該ＭＢがイントラＭＢである場合
には、このように処理対象フレームの直前のフレームの
フレーム間予測符号化データ中の動き情報を参照するだ
けでなく、処理対象フレームの直後のフレームのフレー
ム間予測符号化データ中の動き情報をも参照し、当該Ｍ
Ｂと同位置の時間的に前後のＭＢに対応した動き情報の
スカラー値がいずれも基準値以下である場合に、当該Ｍ
Ｂを静止ＭＢとみなすようにしてもよい。

【００４５】以上の処理が各ＭＢについて実行され、静
止ＭＢマップＭＶにおいて、動きがないと考えられる各
ＭＢに対応したフラグに“１”が設定される。図５の例
では、ＭＢａ、ＭＢｄ、ＭＢｅ、ＭＢｇ、ＭＢｌ、ＭＢ
ｎが動きが少ないＭＢである。

【００４６】（iii）非参照ＭＢマップ生成処理 図６は、廃棄対象判定部５において行われる非参照ＭＢ
マップ生成処理を示す概念図である。この非参照ＭＢマ
ップ生成処理では、処理対象フレームにおける各ＭＢが
他のフレームのＭＢのフレーム間予測符号化のために参
照されていないＭＢの位置を示す非参照ＭＢマップＭＳ
を生成する。この非参照ＭＢマップＭＳは、１フレーム
における各ＭＢに対応したフラグを要素とするマップで
ある。

【００４７】この非参照ＭＢマップ生成処理において、
廃棄対象判定部５は、まず、非参照ＭＢマップＭＳの全
フラグを“１”に初期化する。次に、廃棄対象判定部５
は、処理対象フレームの前後所定数のフレームの中か
ら、処理対象フレームを参照してフレーム間予測符号化
されたフレームを求める。そして、該当するフレームの
動画像符号化データ（フレーム間予測符号化データ）を
受信バッファ３Ａから読み出し、これに含まれる各動き
情報に基づき、処理対象フレームにおいてフレーム間予
測符号化のために参照されているＭＢを順次求め、非参
照ＭＢマップＭＳにおける当該ＭＢに対応したフラグを
“０”にしてゆく。このような処理を、処理対象フレー
ムを参照したフレーム間予測符号化により得られた全て
の動画像符号化データを参照して実行することにより、
他のフレームのフレーム間予測符号化のために参照され
ていないＭＢに対応したフラグのみが“１”となった非
参照ＭＢマップＭＳが得られる。

【００４８】図６に示す例では、処理対象フレームは、
その直後のＰフレームとその直前のＢフレームのフレー
ム間予測符号化の際に参照されている。そこで、この例
の場合には、これらのＰフレームおよびＢフレームの動
画像符号化データ中の動き情報を参照して上記の処理が
行われることとなる。

【００４９】まず、廃棄対象判定部５は、処理対象フレ
ームの直後のＰフレームの各ＭＢに対応した動き情報を
参照することにより、各ＭＢのフレーム間予測符号化の
際に参照された処理対象フレーム中の参照画像の占有位
置を各々求める。そして、これらの各参照画像毎に各々
が跨っている処理対象フレーム中の各ＭＢを求め、非参
照ＭＢマップＭＳにおいてこれらのＭＢに対応したフラ
グを“０”にしてゆく。例えば図６では、Ｐフレームの
ＭＢａ２に対応した参照画像は、処理対象フレームのＰ
フレームのＭＢａ１、ＭＢｂ１、ＭＢｅ１およびＭＢｆ
１に跨っている。そこで、廃棄対象判定部５は、非参照
ＭＢマップＭＳにおいてＭＢａ１、ＭＢｂ１、ＭＢｅ１
およびＭＢｆ１に対応したフラグを“０”にするのであ
る。このような処理を、Ｐフレーム中の全ＭＢについて
実行する。そして、処理対象フレームの直前のＢフレー
ム中の各ＭＢについても同様の処理を実行するのであ
る。

【００５０】以上の処理の結果、他のフレームのＭＢの
符号化のために参照されているＭＢに対応したフラグが
“０”、参照されていないＭＢに対応したフラグが
“１”となった非参照ＭＢマップＭＳが得られる。

【００５１】ｂ．廃棄ＭＢマップの生成処理 次に廃棄ＭＢマップの生成処理について説明する。廃棄
対象判定部５は、処理対象フレームが与えられる毎にそ
の処理対象フレームに対応した廃棄ＭＢマップを作成す
る。この廃棄ＭＢマップの作成に先立ち、廃棄対象判定
部５は、廃棄ＭＢマップの初期化を行う。すなわち、廃
棄ＭＢマップの全フラグを“０”に初期化する。

【００５２】この初期化後、廃棄対象判定部５は、選択
基準１、２または４を満たすＭＢを選択する各処理のう
ちスイッチＳＷ１、ＳＷ２またはＳＷ４によって実行が
指示されたものを実行する。以下、選択基準１、２、４
の順に、各々を満たすＭＢを選択する処理について説明
する。 選択基準１を満たすＭＢを選択する処理 この処理は、符号量検出部４によってスイッチＳＷ１が
ＯＮ状態とされたフレームを対象として実行される。こ
の処理では、処理対象フレームの各ＭＢについて次のこ
とを行う。 （i）処理対象フレームに対して時間的に前のフレーム
について作成された静止ＭＢマップＭＶを参照し、当該
ＭＢと同位置にあるＭＢに対応したフラグを参照する。
そして、フラグが“１”であれば、次の（ii）に進み、
“０”であれば当該ＭＢについての処理を終える。 （ii）処理対象フレームについて作成されたイントラＭ
ＢマップＭＩを参照し、当該ＭＢに対応したフラグを参
照する。そして、フラグが“１”であれば、次の（ii
i）に進み、“０”であれば当該ＭＢについての処理を
終える。 （iii）廃棄ＭＢマップにおける当該ＭＢに対応したフ
ラグに“１”を設定し、当該ＭＢに対応した処理を終え
る。 以上の処理が各ＭＢについて実行され、廃棄ＭＢマップ
において、前のフレームにおいて同位置のＭＢに動きが
なく、かつ、イントラＭＢである各ＭＢに対応したフラ
グに“１”が設定される。

【００５３】選択基準２を満たすＭＢを選択する処理 この処理は、スイッチＳＷ２がＯＮ状態とされたフレー
ムを対象として実行される。この処理において、廃棄対
象判定部５は、処理対象フレームについて作成された非
参照ＭＢマップＭＳの各フラグを参照する。そして、非
参照ＭＢマップＭＳ中のフラグに“１”が設定されてい
る場合、廃棄ＭＢマップにおける当該フラグに対応した
フラグに“１”を設定する。この操作が非参照ＭＢマッ
プＭＳにおける全フラグについて実行され、処理対象フ
レームにおいて他のフレームのフレーム間予測符号化の
ために参照されなかった各ＭＢに対応した廃棄ＭＢマッ
プ中の各フラグに“１”が設定される。

【００５４】選択基準４を満たすＭＢを選択するため
の処理 この処理は、スイッチＳＷ４がＯＮ状態とされたフレー
ムを対象として実行される。この処理では、処理対象フ
レームの後続のフレームについて作成されたイントラＭ
ＢマップＭＩの各フラグを参照する。そして、イントラ
ＭＢマップＭＩ中のフラグに“１”が設定されている場
合、廃棄ＭＢマップにおける当該フラグに対応したフラ
グに“１”を設定する。この操作がイントラＭＢマップ
ＭＩにおける全フラグについて実行され、処理対象フレ
ームにおいて後続フレームにおける同位置のＭＢがフレ
ーム内符号化されている各ＭＢに対応した廃棄ＭＢマッ
プ中の各フラグに“１”が設定される。

【００５５】ｃ．廃棄テクスチャ情報マップの生成処理 次に廃棄テクスチャ情報マップの生成処理について説明
する。この廃棄テクスチャ情報マップの生成処理は、全
ての処理対象フレームについて実行される。

【００５６】まず、廃棄対象判定部５は、廃棄テクスチ
ャ情報マップの全フラグを“０”に初期化する。次に、
スイッチＳＷ３がＯＮ状態であるか否かを判定し、ＯＮ
状態である場合に限り、以下の処理を実行する。すなわ
ち、廃棄テクスチャ情報マップにおいて、選択基準３を
満たすＭＢに対応したフラグに“１”を設定する処理で
ある。具体的には、この処理では、処理対象フレームに
対応した静止ＭＢマップＭＶをそっくりそのままコピー
して、廃棄テクスチャ情報マップを作成する。以上が廃
棄対象判定部５の詳細である。

【００５７】次に符号量削減部６について説明する。こ
の符号量削減部６は、廃棄対象判定部５から送られてく
る廃棄ＭＢマップ及び廃棄テクスチャ情報マップに従っ
て、処理対象フレーム中の各ＭＢの符号化データを廃棄
することによって、処理対象フレームの符号量を削減す
る。

【００５８】図７は、符号量削減部６の構成を示すブロ
ック図である。図７に示すように、符号量削減部６は、
ＭＢ廃棄部６１と、テクスチャ情報廃棄部６２とを有す
る。

【００５９】ＭＢ廃棄部６１は、廃棄対象判定部５から
送られてくる廃棄ＭＢマップに従って、処理対象データ
バッファ３Ｂから読み出した動画像符号化データに対す
る符号量の制御を行う装置である。さらに詳述すると、
ＭＢ廃棄部６１は、廃棄対象判定部５から送られてくる
廃棄ＭＢマップの各フラグを参照する。そして、“１”
が設定されているフラグがある場合には、処理対象フレ
ームの動画像符号化データにおいて当該ＭＢに対応した
符号化データを廃棄し、その代わりに、前フレームから
の画像の変化及び動きがないことを意味する“ｎｏ ｄ
ａｔａ”を追加する。このＭＢ廃棄部６１の処理を経た
動画像符号化データは、テクスチャ情報廃棄部６２に送
られる。

【００６０】テクスチャ情報廃棄部６２は、廃棄対象判
定部５から送られてくる廃棄テクスチャ情報マップに従
って、ＭＢ廃棄部６１から送られてくる動画像符号化デ
ータに対する符号量の制御を行う装置である。さらに詳
述すると、テクスチャ情報廃棄部６２は、廃棄対象判定
部５から送られてくる廃棄テクスチャ情報マップの各フ
ラグを参照する。そして、“１”が設定されているフラ
グがある場合には、処理対象フレームの動画像符号化デ
ータにおいて当該ＭＢに対応したテクスチャ情報を廃棄
し、その代わりに、前フレームからの画像の変化及び動
きがないことを意味する“ｎｏ ｄａｔａ”を追加す
る。以上説明した符号量削減部６による処理を経た動画
像符号化データは、送信バッファ７に格納される。

【００６１】送信部８は、送信バッファ７に格納された
動画像符号化データを低速ネットワーク１００４を介し
て端末１００５に送信する。

【００６２】［１．２］実施形態の動作 以下、図８〜図１０を参照し、本実施形態の動作につい
て説明する。図８において、Ｐｎフレームは、あるＧＯ
Ｐの最後のフレームであり、Ｉフレーム及びＰ１〜Ｐ５
フレームは、このＧＯＰの次のＧＯＰに含まれるフレー
ムである。図８には、これらの各フレームに対応した動
画像符号化データがゲートウェイサーバ１に順次到着し
た場合を想定し、これらの一連の動画像符号化データの
到着時の符号量と、処理対象データバッファ３Ｂ内の動
画像符号化データの符号量の時間的推移が例示されてい
る。

【００６３】これらの各動画像符号化データは、ゲート
ウェイサーバ１に受信されると、受信バッファ３Ａに順
次格納される。廃棄対象判定部５では、これらの各動画
像符号化データを用いて、上述した参照情報準備処理が
行われ、各動画像符号化データ毎に、静止ＭＢマップＭ
Ｖ、イントラＭＢマップＭＩ及び非参照ＭＢマップＭＳ
が生成される。

【００６４】そして、各フレームの発生周期と同じ周期
で、受信バッファ３Ａから１フレームずつ処理対象フレ
ームの動画像符号化データが取り出され、処理対象デー
タバッファ３Ｂに格納される。この処理対象フレームの
動画像符号化データに対応した参照情報準備処理は、こ
の処理対象データバッファ３Ｂへの格納に間に合うよう
に前もって行われる。

【００６５】図８に示す各フレームのうちＰｎフレーム
の動画像符号化データが処理対象データバッファ３Ｂに
格納されると、符号量検出部４により、その符号量Ｘが
検出され、閾値ＳＤ１〜ＳＤ４と比較される。この例で
は、Ｐｎフレームの前のフレームにおいて符号量削減後
の符号量がフレーム発生間隔Δｔの間に低速ネットワー
ク１００４を介して送信可能な符号量以下にまで削減さ
れている。このため、Ｐｎフレームの送信開始時におい
て送信バッファ７に存在している残存データの符号量は
０ビットとなる。この結果、低速ネットワーク１００４
の通信速度をＺとした場合、閾値ＳＤ１は、（式１）よ
りＳＤ１＝ＺΔｔとなる。また、この例において、Ｐｎ
フレームの動画像符号化データの符号量Ｘは、この閾値
ＳＤ１よりも小さい。従って、廃棄対象判定部５によ
り、スイッチＳＷ１〜ＳＷ４が全てＯＦＦに設定され
る。

【００６６】次に、廃棄対象判定部５により、Ｐｎフレ
ームに対応した廃棄ＭＢマップ及び廃棄テクスチャ情報
マップの全フラグが“０”に初期化される。そして、符
号量検出部４におけるスイッチＳＷ１〜４の状態が参照
され、廃棄ＭＢマップ及び廃棄テクスチャ情報マップの
生成処理が行われる。この場合、スイッチＳＷ１〜ＳＷ
４は全てＯＦＦに設定されている。このため、廃棄対象
判定部５は、上述した選択基準１〜４の全てを採用しな
い。従って、廃棄ＭＢマップおよび廃棄テクスチャ情報
マップは全フラグが“０”のままとなる。このようにし
て、廃棄対象判定部５において生成された廃棄ＭＢマッ
プはＭＢ廃棄部６１へ、廃棄テクスチャ情報マップはテ
クスチャ情報廃棄部６２へ供給される。

【００６７】次に、処理対象データバッファ３Ｂに格納
された動画像符号化データは、符号量削減部６のＭＢ廃
棄部６１に引き渡される。そして、ＭＢ廃棄部６１で
は、廃棄対象判定部５から送られてくる廃棄ＭＢマップ
の各フラグ中において“１”が設定されているフラグの
有無が判定される。この場合、廃棄ＭＢマップの全フラ
グが“０”となっている。このため、処理対象データバ
ッファ３Ｂ内のＰｎフレームの動画像符号化データは、
ＭＢ廃棄部６１によるＭＢの廃棄が行われることなく、
テクスチャ情報廃棄部６２に引き渡される。

【００６８】次に、テクスチャ情報廃棄部６２では、廃
棄対象判定部５から送られてきた廃棄テクスチャ情報マ
ップの各フラグのうち“１”となっているフラグの有無
が判定される。この場合、廃棄テクスチャ情報マップの
全てのフラグが“０”になっている。このため、処理対
象データバッファ３Ｂ内のＰｎフレームに対応した動画
像符号化データは、テクスチャ情報廃棄部６２によるテ
クスチャ情報の廃棄が行われることなく、送信バッファ
７へと書き込まれる。このようにして、送信バッファ７
に書き込まれたＰｎフレームの動画像データは、送信部
８によって低速ネットワーク１００４側へと送信され
る。

【００６９】次に、Ｉフレームの動画像符号化データが
処理対象データバッファ３Ｂに格納されると、符号量検
出部４により、その符号量Ｘが検出され、閾値ＳＤ１〜
ＳＤ４と比較される。この例では、Ｐｎフレームの動画
像符号化データの符号量は、フレーム発生間隔Δｔの間
に低速ネットワーク１００４を介して送信可能な符号量
以下である。このため、Ｉフレームの送信開始時におい
て送信バッファ７に存在しているＰｎフレームの残存デ
ータの符号量は０ビットとなる。この結果、閾値ＳＤ１
は、Ｐｎフレームの場合と同様に、送信バッファ７の残
存データの符号量Ｙに関係なく、（式１）よりＳＤ１＝
ＺΔｔとなる。また、この例では、Ｉフレームの動画像
符号化データの符号量Ｘが閾値ＳＤ４よりも大きいた
め、スイッチＳＷ１〜ＳＷ４の全てがＯＮに設定され
る。このため、廃棄対象判定部５は、上述した選択基準
１〜４の全てを採用して廃棄ＭＢマップ及び廃棄テクス
チャ情報マップを生成する。すなわち、以下のような処
理を実行することとなる。まず、廃棄対象判定部５は、
廃棄対象ＭＢマップの生成処理を実行する。

【００７０】図９に示すように、廃棄対象判定部５は、
上記選択基準１を満たすものとして、Ｐｎフレームにつ
いて作成された静止ＭＢマップＭＶと、Ｉフレームにつ
いて作成されたイントラＭＢマップＭＩとを参照して、
両マップにおいて同時にフラグに“１”が設定されてい
るＭＢを検出する。そして、廃棄ＭＢマップＨＭにおい
て該ＭＢに対応したフラグに対して“１”を与える。図
９においては、廃棄ＭＢマップＨＭにおいてｉ、ｍ、ｐ
に対応した位置のフラグが上記選択基準１に該当するも
のと判定され、フラグに対して“１”が設定されてい
る。

【００７１】また、廃棄対象判定部５は、上記選択基準
２を満たすものとして、Ｉフレームに対応した非参照Ｍ
ＢマップＭＳ中において“１”が設定されているフラグ
を検出する。そして、廃棄ＭＢマップＨＭにおいて該フ
ラグに対応したフラグに対して “１”を設定する。図
９においては、廃棄ＭＢマップＨＭにおいてｂ、ｄ、
ｅ、ｋに対応した位置のフラグが上記選択基準２に該当
するものとみなされ、フラグに対して“１”が設定され
ている。

【００７２】また、廃棄対象判定部５は、上記選択基準
４を満たすＭＢとして、Ｐ１フレームについて作成され
たイントラＭＢマップＭＩ中において“１”が設定され
ているフラグを検出する。そして、廃棄ＭＢマップＨＭ
において該フラグに対応したフラグに“１”を設定す
る。図９においては、廃棄ＭＢマップＨＭにおいてｊ、
ｍ、ｐに対応した位置のフラグが上記選択基準４に該当
するものとみなされ、フラグに対して“１”が設定され
ている。

【００７３】次に廃棄対象判定部５は、廃棄テクスチャ
情報マップＨＤの生成処理を実行する。この処理では、
図１０に示すように、廃棄テクスチャ情報マップＨＤに
おいて、選択基準３を満たすＭＢに対応したフラグに
“１”を設定する。すなわち、Ｉフレームに対応した静
止ＭＢマップＭＶをそっくりそのままコピーして、廃棄
テクスチャ情報マップＨＤを作成する。

【００７４】このようにして、廃棄対象判定部５におい
て生成された廃棄ＭＢマップＨＭはＭＢ廃棄部６１へ、
廃棄テクスチャ情報マップＨＤはテクスチャ情報廃棄部
６２へ供給される。

【００７５】まず、符号量削減部６においては、ＭＢ廃
棄部６１によって廃棄対象判定部５から送られてきたＩ
フレームに対応した廃棄ＭＢマップＨＭに従って、処理
対象データバッファ３Ｂ内の動画像符号化データに対す
る符号量の制御が行われる。すなわち、ＭＢ廃棄部６１
は、廃棄対象判定部５から送られてきた廃棄ＭＢマップ
ＨＭ中において“１”が設定されているフラグを検出す
る。図９に示す場合、ＭＢ廃棄部６１においては、ｂ、
ｄ、ｅ、ｉ、ｊ、ｋ、ｍ、ｐに対応したフラグに対して
“１”が設定されていることが検出される。そして、Ｍ
Ｂ廃棄部６１は、Ｉフレームの動画像符号化データのう
ち廃棄ＭＢマップＨＭにおいて“１”が設定されている
フラグに対応したＭＢの動画像符号化データを廃棄し、
その代わりに、Ｐｎフレームからの画像の変化及び動き
がないことを意味する“ｎｏ ｄａｔａ”を追加する。
図９に示す場合、ＭＢ廃棄部６１は、ｂ、ｄ、ｅ、ｉ、
ｊ、ｋ、ｍ、ｐに対応したＭＢについては、元々あった
符号化データを廃棄して、その代わりに“ｎｏ ｄａｔ
ａ”を追加することとなる。そして、このＭＢ廃棄部６
１における処理を経た動画像符号化データは、テクスチ
ャ情報廃棄部６２に引き渡される。

【００７６】テクスチャ情報廃棄部６２は、廃棄対象判
定部５から送られてくるＩフレーム分の廃棄テクスチャ
情報マップＨＤに従って、該動画像符号化データに対す
る符号量の制御が行われる。すなわち、テクスチャ情報
廃棄部６２は、廃棄対象判定部５から送られてくる廃棄
テクスチャ情報マップＨＤにおいて“１”が設定されて
いるフラグを検出する。図１０に示す場合、テクスチャ
情報廃棄部６２においては、ｆ、ｍ、ｐに対応したフラ
グに対して“１”が設定されていることが検出される。
そして、テクスチャ情報廃棄部６２は、ＭＢ廃棄部６１
における処理を経た動画像符号化データのうち廃棄テク
スチャ情報マップＨＤにおいて“１”が設定されている
フラグに対応したＭＢのテクスチャ情報を廃棄し、その
代わりに、Ｐｎフレームからの画像の変化がないことを
意味する“ｎｏ ｄａｔａ”を追加する。このようにし
て、符号量の制御が終了すると、テクスチャ情報廃棄部
６２は、Ｉフレームの動画像符号化データを送信バッフ
ァ７へ書き込む。このようにして、送信バッファ７に書
き込まれたＩフレームの動画像データが送信部８によっ
て低速ネットワーク１００４側へと送信される。

【００７７】次に、Ｐ１フレームの動画像符号化データ
が処理対象データバッファ３Ｂに格納されると、符号量
検出部４により、その符号量Ｘが検出され、閾値ＳＤ１
〜ＳＤ４と比較される。

【００７８】しかし、この例では、Ｉフレームの動画像
符号化データの符号量削減後の符号量が、フレーム発生
間隔Δｔの間に低速ネットワーク１００４を介して送信
可能な符号量以下にまで削減されていない。この結果、
Ｐ１フレームの送信開始時において、送信バッファ７に
は、Ｉフレームの残存データがＹＩビットだけ存在する
こととなる。このため、閾値ＳＤ１は、（式１）よりＳ
Ｄ１＝ＺΔｔ−ＹＩとなる。すなわち、Ｐ１フレームに
対応した閾値ＳＤ１の値は、ＰｎフレームやＩフレーム
のように送信バッファ７の残存データが０ビットの場合
よりもＹＩビット分だけ小さくなり、これに伴って、閾
値ＳＤ２〜ＳＤ４の値も小さくなる。

【００７９】また、この例では、Ｐ１フレームの符号量
Ｘが閾値ＳＤ２＜Ｘ≦ＳＤ３であるため、スイッチＳＷ
１及びＳＷ２がＯＮとされ、廃棄対象判定部５では、上
述した選択基準１および２を採用して廃棄ＭＢマップＨ
Ｍ及び廃棄テクスチャ情報マップＨＤが生成され、これ
らを参照して符号量削減部６による符号量削減処理が行
われる。その詳細な動作は既に説明したＩフレームの場
合と基本的に同様であるので説明を省略する。後続のＰ
２フレーム〜Ｐ５フレームについても同様である。

【００８０】以上説明したように、本実施形態によれ
ば、ゲートウェイサーバ１によって受信された動画像符
号化データは、各フレーム毎にフレームの発生時間間隔
の間に低速ネットワークを介して受信側ノードに送信可
能な符号量前後に符号量の削減を行うことが可能とな
る。また、本実施形態によれば当該フレームの削減後の
符号量がフレームの発生時間間隔の間に低速ネットワー
クを介して受信側ノードに送信可能な符号量以下にまで
削減されていない場合、当該フレームの次のフレームの
符号量を削減する際の基準を厳しくして符号量の削減を
行う。このため、各フレームに対応した動画像符号化デ
ータは、フレームの発生時間を大きく越えてしまうこと
なく低速ネットワークを介して送信することが可能とな
る。このため高速ネットワーク側から受信される一連の
動画像符号化データを中継してこれよりも低い通信速度
しか有していない低速ネットワーク側に送信するとき
に、個々の動画像符号化データの伝送遅延が著しく大き
くなるを抑え、低速ネットワーク側に存在する受信側に
おける再生画像の品質を劣化させることなく、動画像符
号化データを中継することが可能となる。

【００８１】［１．３］第１実施形態の変形例 上記実施形態においては、廃棄テクスチャ情報マップＨ
Ｄを生成して廃棄すべきテクスチャ情報を決定する構成
としている。しかし、ＭＰＥＧ４方式の動画像符号化デ
ータの中継を行う場合には以下のような方法を採ること
も可能である。

【００８２】まず、高速ネットワーク１００２側からゲ
ートウェイ１が受信するデータがパケットに分割されて
いる場合、当該パケット中においてデータパーテーショ
ンによってＤＣＴ係数と動き情報を完全に分割すること
が可能である。

【００８３】図１２は、ＭＰＥＧ４方式の動画像符号化
データのデータパケット構造を示した図である。図１２
に示すように、ＭＰＥＧ４方式の動画像符号化データ
は、パケット中においてＭＭ（Motion Marker）によっ
て動き情報とＤＣＴ係数が完全に分離された状態となっ
ている。このため、テクスチャ情報の削除を行う場合に
は、データパーテーションによって区切られたＤＣＴ係
数を全て削除する構成としてもかまわない。

【００８４】［２］第２実施形態 次に、本発明の第２実施形態に係る中継装置について説
明する。上記第１実施形態では、ゲートウェイサーバに
よって受信された個々のフレームの動画像符号化データ
について、各々符号量を検出し、符号量が所定の閾値を
越える動画像符号化データについて符号量の削減を行っ
た。

【００８５】これに対し、本実施形態では、上記第１実
施形態における受信バッファ３Ａに格納された動画像符
号化データのうち未送信のものの全符号量を監視し、こ
の全符号量が所定の基準値を越えたときに、未送信の動
画像符号化データについて符号量削減のための処理を行
う。

【００８６】例えば図１２には、受信バッファ３Ａに格
納された未送信のフレームの動画像符号化データが例示
されている。この例では、現在の処理対象フレームであ
るＰｎフレームが受信されて受信バッファ３Ａに格納さ
れた後、このＰｎフレームの送信に時間が掛かったため
に、Ｉフレーム、Ｐ１フレーム、Ｐ２フレーム、Ｐ３フ
レームが順次受信されて受信バッファ３Ａに格納され、
未送信の動画像符号化データの全符号量が基準値Ｙを越
えてしまった。本実施形態では、このような場合に、未
送信のフレームの動画像符号化データについて符号量削
減処理を行い、Ｐｎフレームに対応した動画像符号化デ
ータの送信によって生じた大幅な遅れを取り戻す。

【００８７】この場合の符号量削減処理の実施方法とし
ては、例えば次のものが考えられる。 ａ．未送信の動画像符号化データ（図１２の例ではＩフ
レーム、Ｐ１フレーム、Ｐ２フレーム、Ｐ３フレーム）
の全てについて、所定の方法により符号量の削減処理を
施す。 ｂ．未送信の動画像符号化データのうち符号量の大きな
もの（例えば上位２フレームあるいは符号量が所定量以
上のもの）を選択し、それらについて所定の方法により
符号量の削減処理を施す。 ｃ．未送信の動画像符号化データの各々について、各々
の符号量に応じて適切な符号量削減処理を選択し、符号
量の削減を行う。

【００８８】本実施形態によれば、動画像符号化データ
の中継中に、符号量の大きな動画像符号化データの送信
により大幅な遅延が生じた場合に、その大幅な遅延を取
り戻すことができるため、受信側においてコマ落ちが連
続的に発生するのを防止することができる。

【００８９】

【発明の効果】以上説明したように、この発明によれ
ば、高い通信速度で受信される一連の動画像符号化デー
タを中継してこれよりも低い通信速度で受信側に送信す
るときに、個々の動画像符号化データの伝送遅延が著し
く大きくなるを抑え、受信側での再生画像の品質を劣化
させることなく、動画像符号化データを中継することが
できるという効果がある。

【図面の簡単な説明】

【図１】 この発明の第１実施形態に係るゲートウェイ
サーバの構成を示すブロック図である。

【図２】 同実施形態において受信された一連の動画像
符号化データと各々の符号量Ｘを例示した図である。

【図３】 同実施形態において受信された動画像符号化
データの符号量ＸとスイッチＳＷ１〜ＳＷ４のＯＮ／Ｏ
ＦＦ設定との対応を示した図である。

【図４】 同実施形態における廃棄対象判定部５におい
て行われるイントラＭＢマップＭＩの生成処理を示す概
念図である。

【図５】 同実施形態における廃棄対象判定部５におい
て行われる静止ＭＢマップＭＶの生成処理を示す概念図
である。

【図６】 同実施形態における廃棄対象判定部５におい
て行われる非参照ＭＢマップＭＳの生成処理を示す概念
図である。

【図７】 同実施形態における符号量削減部６の構成を
示すブロック図である。

【図８】 同実施形態においてゲートウェイサーバ１に
順次到着した一連の動画像符号化データの到着時の符号
量と、符号量削減後に送信バッファ７に格納される動画
像符号化データの符号量の時間的推移を示す図である

【図９】 Ｉフレームとこれに続く３個のＰフレーム
（Ｐ１〜Ｐ３フレーム）が廃棄対象判定部５によって順
次処理された場合を例に、各処理対象フレームについて
作成された各廃棄ＭＢマップＨＭと、各廃棄ＭＢマップ
ＨＭの作成に当たって参照された各種マップの関係を例
示した図である。

【図１０】 Ｉフレームとこれに続く３個のＰフレーム
（Ｐ１〜Ｐ３フレーム）が廃棄対象判定部５によって順
次処理された場合を例に、各処理対象フレームについて
作成された各廃棄テクスチャ情報マップＨＤを例示した
図である。

【図１１】 ＭＰＥＧ４方式の動画像符号化データのデ
ータパケット構造を表す図である。

【図１２】 この発明の第２実施形態を説明する図であ
る。

【図１３】 高速ネットワーク１００２と低速ネットワ
ーク１００４とを相互接続した通信システムの構成を示
すブロック図である。

【図１４】 ゲートウェイサーバ１００３内に設けられ
たバッファのバッファ量と、送信されてきた動画像符号
化データの符号量の関係を示した図である。

【符号の説明】

１……ゲートウェイサーバ ２……受信部 ３Ａ……受信バッファ ３Ｂ……処理対象データバ
ッファ ４……符号量検出部 ５……廃棄対象判定部
６……符号量削減部 ７……送信バッファ ８……送信部 １００１……サーバ １００２……高速ネットワー
ク １００４……低速ネットワーク １００５……端末 ＳＤ……閾値 ＳＷ……スイッチ ＭＳ……非
参照ＭＢマップ ＭＩ……イントラＭＢマップ ＭＶ……静止ＭＢマ
ップ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森岡 将史 東京都千代田区永田町二丁目11番１号 エ ヌ・ティ・ティ移動通信網株式会社内 Ｆターム(参考） 5C059 KK22 KK34 MA00 MA05 MA23 NN23 PP05 PP06 PP07 RE09 SS08 TA05 TA73 TB07 TC20 TD12 UA32 UA38 5K030 GA03 GA13 HA08 HB02 HC01 HD03 JA05 JA11 JT02 KA19 LB14 LC18 9A001 CC03 EE04 HH27

Claims (12)

【特許請求の範囲】
1. 【請求項１】 動画像を構成する一連のフレームの動画
   像符号化データを送信側ノードから順次受信する受信手
   段と、 前記受信手段によって受信された動画像符号化データを
   記憶する第１の記憶手段と、 前記受信手段によって受信された動画像符号化データの
   符号量を検出する符号量検出手段と、 前記記憶手段から未送信のフレームの動画像符号化デー
   タを読み出し、前記符号量検出手段による当該動画像符
   号化データの符号量の検出結果に基づいて、当該フレー
   ムの動画像符号化データの符号量の制御を行う手段であ
   って、当該フレームの動画像符号化データの符号量が所
   定量以上である場合に当該動画像符号化データの一部を
   符号量の小さな所定のデータに置き換える符号量制御手
   段と、 前記符号量制御手段によって前記符号量の制御が行われ
   た動画像符号化データを受信側ノードに送信する送信手
   段とを具備することを特徴とする中継装置。
2. 【請求項２】 請求項１に記載の中継装置において、 前記送信手段は、 前記符号量制御手段によって前記符号量の制御が行われ
   た動画像符号化データを記憶する第２の記憶手段を具備
   し、 前記符号量制御手段は、 前記符号量検出手段により検出された当該動画像符号化
   データの符号量と、前記第２の記憶手段に残存している
   未送信の動画像符号化データとの和が所定値以上である
   場合に当該動画像符号化データの一部を符号量の小さな
   所定のデータに置き換えることを特徴とする中継装置。
3. 【請求項３】 請求項１または請求項２に記載の中継装
   置において、 前記一連のフレームに対応した動画像符号化データは、
   当該フレームを分割した複数のマクロブロックの各々に
   対応した符号化データを含み、各符号化データはフレー
   ム内符号化データまたはフレーム間予測符号化データで
   あり、該フレーム間予測符号化データは、当該マクロブ
   ロックに対応した画像と当該フレームのフレーム間予測
   符号化のために参照された他のフレームの中の当該マク
   ロブロックに対応した画像に近似した参照画像との差分
   に対応したテクスチャ情報と、当該マクロブロックに対
   応した画像と当該参照画像との間の動きを表す動き情報
   とを有し、 前記符号量制御手段は、 前記受信側ノードにおいて前記動画像符号化データを復
   号する際に、後続フレームに与える影響が少ないマクロ
   ブロックに対応する符号化データを廃棄対象データとし
   て決定する廃棄対象データ決定手段と、 前記動画像符号化データのうち前記廃棄対象データ決定
   手段によって廃棄対象データとされたものを符号量の小
   さな所定のデータに置換するデータ廃棄手段とを具備す
   ることを特徴とする中継装置。
4. 【請求項４】 請求項３に記載の中継装置において、 前記廃棄対象データ決定手段は、 前記受信手段によって受信された動画像符号化データの
   うち当該フレームよりも時間的に前のフレームの動画像
   符号化データに含まれる動き情報を参照することによ
   り、当該フレームよりも時間的に前のフレームにおいて
   動きがなく、かつ、当該フレーム中においてフレーム内
   符号化されているマクロブロックを選択し、当該マクロ
   ブロックのフレーム内符号化データを廃棄対象データと
   して決定する手段を具備することを特徴とする中継装
   置。
5. 【請求項５】 請求項３に記載の中継装置において、 前記廃棄対象データ決定手段は、 当該フレームよりも時間的に前または後の他のフレーム
   の動画像符号化データに含まれる動き情報を参照するこ
   とにより、他のフレーム中のマクロブロックのフレーム
   間予測符号化のために参照されていないマクロブロック
   を選択し、当該マクロブロックの符号化データを廃棄対
   象データとして決定する手段を具備することを特徴とす
   る中継装置。
6. 【請求項６】 請求項３に記載の中継装置において、 前記廃棄対象データ決定手段は、 値の小さなテクスチャ情報を廃棄対象データとして決定
   する手段を具備することを特徴とする中継装置。
7. 【請求項７】 請求項３に記載の中継装置において、 前記廃棄対象データ決定手段は、 当該フレームを構成する各マクロブロックのうち時間的
   に後のフレームにおいて同じ位置に存在するマクロブロ
   ックがフレーム内符号化されているものの符号化データ
   を廃棄対象データとして決定する手段を具備することを
   特徴とする中継装置。
8. 【請求項８】 請求項３に記載の中継装置において、 前記廃棄対象データ決定手段は、各々異なった方法によ
   り廃棄対象データを決定する複数の廃棄対象データ決定
   部からなることを特徴とする中継装置。
9. 【請求項９】 請求項８に記載の中継装置において、 前記複数の廃棄対象データ決定部のうち廃棄対象データ
   の決定を行うものを選択する選択手段を具備することを
   特徴とする中継装置。
10. 【請求項１０】 請求項２に記載の中継装置において、 前記一連のフレームに対応した動画像符号化データは、
    当該フレームを分割した複数のマクロブロックの各々に
    対応した符号化データを含み、各符号化データはフレー
    ム内符号化データまたはフレーム間予測符号化データで
    あり、該フレーム間予測符号化データは、当該マクロブ
    ロックに対応した画像と当該フレームのフレーム間予測
    符号化のために参照された他のフレームの中の当該マク
    ロブロックに対応した画像に近似した参照画像との差分
    に対応したテクスチャ情報と、当該マクロブロックに対
    応した画像と当該参照画像との間の動きを表す動き情報
    とを有し、 前記符号量制御手段は、 各々異なった方法により、前記受信側ノードにおいて前
    記動画像符号化データを復号する際に、後続フレームに
    与える影響が少ないマクロブロックに対応する符号化デ
    ータを廃棄対象データとして決定する複数の廃棄対象デ
    ータ決定部と、 当該フレームの動画像符号化データの符号量と前記第２
    の記憶手段に残存している未送信の動画像符号化データ
    との和に基づいて、前記複数の廃棄対象データ決定部の
    うち廃棄対象データの決定を行うものを選択する選択手
    段と、 前記動画像符号化データのうち前記選択手段によって選
    択された前記複数の廃棄対象データ決定部において廃棄
    対象データとされたものを符号量の小さな所定のデータ
    に置換するデータ廃棄手段とを具備することを特徴とす
    る中継装置。
11. 【請求項１１】 動画像を構成する一連のフレームの動
    画像符号化データを送信側ノードから順次受信する受信
    手段と、 前記受信手段によって受信され、未送信の動画像符号化
    データを記憶する記憶手段と、 前記記憶手段に記憶された全ての未送信の動画像符号化
    データの符号量を検出する符号量検出手段と、 前記記憶手段から未送信のフレームの動画像符号化デー
    タを読み出し、符号量の制御を行う手段であって、前記
    符号量検出手段によって検出された全ての未送信のフレ
    ームの動画像符号化データの符号量が所定量以上である
    場合に当該動画像符号化データの一部を符号量の小さな
    所定のデータに置き換える符号量制御手段と、 前記符号量制御手段によって前記符号量の制御が行われ
    た動画像符号化データを受信側ノードに送信する送信手
    段とを具備することを特徴とする中継装置。
12. 【請求項１２】 動画像を構成する一連のフレームの動
    画像符号化データを送信側ノードから順次受信する受信
    過程と、 前記受信過程において受信された動画像符号化データを
    記憶する記憶過程と、 前記受信過程において受信された前記動画像符号化デー
    タの符号量を検出する符号量検出過程と、 前記記憶過程において記憶した前記動画像符号化データ
    のうち未送信のフレームの動画像符号化データを読み出
    し、前記符号量検出過程における当該動画像符号化デー
    タの符号量の検出結果に基づいて、当該動画像符号化デ
    ータの符号量の制御を行う過程であって、当該動画像符
    号化データの符号量が所定量以上である場合に当該動画
    像符号化データの一部を符号量の小さな所定のデータに
    置き換える符号量制御過程と、 前記符号量制御過程において前記符号量の制御が行われ
    た動画像符号化データを受信側ノードに送信する送信過
    程とを具備することを特徴とする動画像符号化データの
    中継方法。