JP2003116133A - 動画像圧縮符号化伝送品質制御方式および方法 - Google Patents

Abstract

(57)【要約】 【課題】 伝送路の状況を常に監視し、その監視結果に
基づく符号化制御を行うことにより伝送速度が変動する
伝送路においても安定した動画像・音声通信を可能にす
ること。 【解決手段】 送信側の画像符号化部１は、受信側から
フイードバックされてきた目標ビットレート６に基づい
て、画像符号化制御をする。例えば、量子化ステップを
変化させたり、スキップするフレーム数を変化させたり
する。該画像符号化部１から出力された画像符号化ビッ
トストリームは、音声符号化部２からの音声符号化ビッ
トストリームと、多重化部３で多重化され、出力バッフ
ァ部４を経て、ビットストリーム５として出力される。
前記目標ビットレート６は、受信側で受信する該ビット
ストリーム５により算出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像および音声
を圧縮符号化して伝送する際の伝送路の品質変動に対し
て受信側での品質を最適に保つための品質制御を行う、
動画像圧縮符号化伝送品質制御方式および方法に関す
る。

【０００２】

【従来の技術】従来の動画像圧縮符号化伝送方式を、図
７および図８を参照して説明する。

【０００３】送信側では、図７に示すように、画像符号
化部５１から出力されたビットストリームは、多重化部
５３で、音声符号化部５２からの音声ビットストリーム
と多重化される。ビットストリームの多重化について
は、例えば、回線交換伝送路に対しては、多重化フォー
マットとしてＩＴＵ−Ｔ勧告Ｈ．２２３等が、パケット
交換伝送路に対しては、ＩＴＵ−Ｔ勧告Ｈ．２２５等が
それぞれ用いられる。

【０００４】動画像・音声が多重化されたビットストリ
ームは出力バッファ部５４に一旦蓄積され、その後多重
化ビットストリーム５５として、回線交換伝送路の場合
にはシリアルインターフェース等により伝送路上に出力
され、またパケット交換伝送路の場合には、多重化ビッ
トストリーム５５がさらにパケット化され、例えばＩＰ
ネットワークの場合、ＴＣＰやＵＤＰレイヤのインター
フェース、ＩＰレイヤインターフェース、イーサネット
（登録商標）やＰＰＰレイヤのインターフェースを経
て、１００Ｂａｓｅ−Ｔやシリアルインターフェース等
により伝送路上に出力される。

【０００５】受信側では、ネットワーク等からの多重化
されたビットストリーム５５は、図８の入力バッファ部
６１に入力された後、多重分離部６２において画像およ
び音声のビットストリームにそれぞれ分離され、各画像
復号部６３、音声復号部６４へとそれぞれ入力される。
画像ビットストリームは画像復号部６３にて画像信号に
復号され、一方音声ビットストリームは音声復号部６４
にて音声信号に復号される。

【０００６】前記した従来の方式においては、動画像お
よび音声の符号化ビットレートは、多重化による冗長度
を含めても伝送路のビットレートを超えないようあらか
じめ設定される。例えば、ＤＳ３（４５Ｍビット／秒）
の伝送路を使用して動画像・音声を圧縮伝送する場合、
画像４０Ｍビット／秒、音声１Ｍビット／秒、多重化ヘ
ッダ冗長度５％で合計４３．０５Ｍビット／秒といった
形にあらかじめ設定するのが一般的であった。

【０００７】

【発明が解決しようとする課題】従来の方式では、あら
かじめ与えられる伝送路の伝送速度の公称値に合わせ
て、符号化のビットレートを設定している。この場合、
ディジタル専用回線のような安定した伝送速度が常に得
られる伝送路では問題は生じないが、雑音により伝送速
度が影響を受けるアナログモデム回線、トラヒックの状
況に応じて回線の伝送速度が逐次変動するベストエフォ
ット型のインターネット回線、トラヒックの状況に加え
て電波の状況に応じても伝送速度が逐次変動するベスト
エフォット型の移動体パケット交換回線など伝送速度が
変動する回線では、次のような問題が生じるため好まし
くない。

【０００８】伝送速度が低下した場合、伝送遅延が大き
くなるため、受信側において動画像や音声データがなか
なか到着しないこととなり、特にリアルタイム伝送にお
いては動画像復号再生時の遅延の蓄積や、音声の途切れ
といった問題が生じる。

【０００９】またこの伝送遅延の増大のため、符号化さ
れたデータは送信側のバッファメモリに蓄積されること
となり、これが蓄積最大許容量を超えた場合はバッファ
オーバーフローとなり正常なデータを送信できなくな
る、あるいはＩＰＰプロトコル等においては一部データ
の遅延や欠落によりパケット全体の消失となり、同じく
受信側での正常な復号は不可能となる。この場合、受信
側では動画像が大きく破綻し、音声の途切れや雑音が発
生する。

【００１０】一方、あらかじめ伝送路の伝送速度の変動
幅がわかっている場合には、その変動幅の最小のビット
レートで符号化し伝送することも考えられる。しかしこ
の場合、伝送速度の低下する時間率が小さい場合でも最
小のビットレートで符号化することとなり、伝送速度の
低下していない時間においては伝送速度を有効に利用し
ていないこととなる。

【００１１】本発明の目的は、従来技術の問題点を解消
し、伝送路の状況を常に監視し、その監視結果に基づく
符号化制御を行うことにより伝送速度が変動する伝送路
においても安定した動画像・音声通信を可能とし、さら
に伝送路の速度を効率良く利用することを可能とする動
画像圧縮符号化伝送品質制御方式および方法を提供する
ことにある。

【００１２】

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、動画像圧縮符号化伝送品質制御方法
において、受信側は、受信したデータ量に基づいて伝送
路のビットレートを求めて、目標ビットレートとして送
信側にフイードバックし、送信側は、該フイードバック
された目標ビットレートを基に画像符号化制御を行うよ
うにした点に第１の特徴がある。

【００１３】また、本発明は、動画像圧縮符号化伝送品
質制御方式において、受信側からの画像符号化の目標ビ
ットレートを受信する手段と、該受信された目標ビット
レートを基に、画像符号化制御を行う手段とを具備し、
使用可能伝送速度を超えないように符号化を行うように
した点に第２の特徴がある。

【００１４】これらの特徴によれば、伝送速度が低下し
た場合でも、送信されるビットレートは伝送路のビット
レートを超えることが無くなり、伝送遅延が増大せず、
ＩＰ通信の場合の伝送遅延によるパケット消失や、リア
ルタイム伝送における動画像・音声の遅延、音声の途切
れといった問題を回避することができるようになる。

【００１５】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１および図２は、本発明の一実施
形態の構成を示すブロック図である。

【００１６】本実施形態の圧縮符号化伝送品質制御方式
は、送信側装置と、受信側装置とからなる。送信側装置
は、図１に示されているように、画像符号化部１，音声
符号化部２，多重化部３，および出力バッファ部４で構
成される。一方、受信側装置は、図２に示されているよ
うに、入力バッファ部１１，レート算出部１２，多重分
離部１３，画像復号部１４，および音声復号部１５から
構成される。

【００１７】前記画像符号化部１としては、ＩＳＯ／Ｉ
ＥＣのＭＰＥＧ−１，２，４や、ＩＴＵ−ＴのＨ．２６
１，Ｈ．２６３に代表される動画像圧縮符号化装置を用
いることができる。その一具体例の構成を、図３を参照
して説明する。

【００１８】入力画像信号は、フレームスキップ部１０
１でバッファメモリ１１３から得られる制御信号に従っ
てフレームを間引かれ、現フレームメモリ１０２に蓄積
される。動き検出部１０３は、現フレームメモリ１０２
から読み出された画像信号と、フレームメモリ１０４か
ら読み出された前フレームの画像信号とから画像の信号
の動き検出を行い、動きベクトルｍｖを動き補償部１０
５と可変長符号化部１０６に出力する。動き補償部１０
５は該動きベクトルｍｖを用いて、前記前フレームの画
像信号を動き補償し、動き補償された画像信号を減算器
１０７と加算器１０８に出力する。

【００１９】符号化モード判定部１０９は、現フレーム
画像信号と減算器１０７から出力された差分誤差信号と
から、符号化モードを判定し、イントラモードであれ
ば、スイッチ手投１１０をIntra（イントラ）側に、一
方インターモードであればInter（インター）側に接続
する。また、スイッチ手段１１４も、該スイッチ手段１
１０と同期して同様に切り替えられる。ＤＣＴ部１１１
は高い符号化効率を得るために入力してきた画像信号あ
るいは差分誤差信号をＤＣＴし、量子化部１１２は該Ｄ
ＣＴされた信号を量子化する。この際、量子化部１１２
は、バッファメモリ１１３から得られる制御信号および
／または受信側装置からフィードバックされる目標ビッ
トレート６に従って、レート制御を行う。該量子化部１
１２から出力された量子化係数と前記動きベクトルは可
変長符号化部１０６でハフマン符号化等の可変長符号に
変換されて、バッファメモリ１１３で一時蓄積され、次
いで所定の伝送レートでビットストリームとして出力さ
れる。

【００２０】また、逆量子化部１１５は量子化部１１２
から出力された量子化係数を逆量子化し、逆量子化によ
り得られたＤＣＴ係数は逆ＤＣＴ部１１６で画像信号に
復元される。復元された画像信号は、符号化モードがイ
ントラの場合はそのまま、一方インターの場合には加算
器１０８で動き補償された画像信号に加算されて、フレ
ームメモリ１０４に蓄積される。このフレームメモリ１
０４に蓄積された画像信号は、次フレーム符号化時の動
き検出のための画像として用いられる。

【００２１】次に、本実施形態の動作を図１、図２を参
照して説明する。まず本実施形態の送信側の動作を説明
する。

【００２２】画像符号化部１は、動画像および音声符号
化出力が多重化されたビットストリーム５の出力ビット
レートが、受信側からフイードバックされる画像符号化
の目標ビットレート６を超えないように、常時、目標出
力ビット数を制御しながら符号化を行う。

【００２３】一般に音声の符号化ビットレートを目標値
に逐次変化させるのは容易なことではないため、本発明
では、受信側において推定した伝送路のビットレートか
ら画像符号化に許容されるビットレートを算出し送信側
にフィードバックして、画像符号化部１のビットレート
を制御する。なお、図３の例では、受信側からフイード
バックされる目標ビットレート６を量子化部１１２に入
れるようにしたが、フレームスキップ部１０１に入れ
て、フレームスキップ数を制御するようにしても良い。
または、該目標ビットレート６を量子化部１１２とフレ
ームスキップ部１０１の両方に入れて、両者で画像符号
化部１のビットレートを制御するようにしてもよい。

【００２４】画像符号化部１は、目標ビットレート６が
与えられると、出力ビットレートが目標値となるよう符
号化処理において量子化ステップサイズの変更や、フレ
ームスキップ数の制御を行う。

【００２５】画像符号化部１で目標ビットレート６に制
御された画像ビットストリームは、音声符号化部２で符
号化された音声ビットストリームと共に多重化部３に入
力され、ここでは画像・音声の多重化が行われ、出力バ
ッファ部４を経てビットストリーム５として受信側へ伝
送される。

【００２６】次に、本実施形態の受信側の動作を、図２
を参照して説明する。送信側から送られてきた多重化さ
れたビットストリーム５は、入力バッファ部１１に入力
される。入力バッファ部１１は、一定微小間隔ＤＴ毎に
到着したデータのビット数ｐをレート算出部１２に通知
する。同時に送信側からの多重化されたビットストリー
ム５は、多重分離部１３に入力され、画像および音声そ
れぞれのビットストリームに分離された後、画像ビット
ストリームは画像復号部１４にて画像信号に復号され、
音声ビットストリームは音声復号部１５にて音声信号に
復号される。

【００２７】レート算出部１２の要部の動作を、図４を
参照して説明する。メモリ部２１は、入力バッファ部１
１より、一定微小間隔ＤＴ毎に到着したビットストリー
ムのビット数ｐを逐次入力して蓄積する。次に演算区間
データ抽出部２２は、メモリ部２１から一定演算間隔Ｃ
Ｔ毎に一定演算区間時間ＰＴ（ただし、ＤＴ＜ＣＴ＜Ｐ
Ｔ）に相当するデータを抽出する。ここで抽出されたデ
ータは、画像ビットレート算出部２３に入力される。

【００２８】例えば、前記入力バッファ部１１に入力さ
れるビット数（データ量）が、図５に示されている曲線
ｍのように変化すると、前記一定微小間隔ＤＴ毎に到着
したビットストリームのビット数ｐ（＝Ｂ(t)、すなわ
ち斜線部の面積）が、メモリ部２１に蓄積される。次に
演算区間データ抽出部２２は、図６に示されているよう
に、メモリ部２１から得たビット数Ｂ(t)を、一定演算
間隔ＣＴ毎に一定演算区間時間ＰＴ（ただし、ＤＴ＜Ｃ
Ｔ＜ＰＴ）に相当するデータを抽出する。

【００２９】画像ビットレート算出部２３では、時間Ｐ
Ｔの間に抽出されたデータをＢ［ｔ］、データの個数を
Ｎとして、下記の（１）で表される式に基づき、伝送路
の推定ビットレートＢＥを算出する。ただし、ｔxは、
図６に示されているように、前記一定演算区間時間ＰＴ
の始点とする。

【００３０】なお、前記（１）式の演算は、ｔx〜（ｔx
＋ＰＴ），（ｔx＋ＣＴ）〜（ｔx＋ＣＴ＋ＰＴ），（ｔ
x＋２ＣＴ）〜（ｔx＋２ＣＴ＋ＰＴ），（ｔx＋３Ｃ
Ｔ）〜（ｔx＋３ＣＴ＋ＰＴ），・・・の期間毎、すなわち
ＣＴ時間毎に行われる。

【００３１】また、音声符号化方式や多重化方式により
あらかじめ決められる音声符号化ビットレートＢＡおよ
び多重化に必要なヘッダのビットレートＢＭから、画像
に割り当てることのできるビットレートＢＶは、下記の
（２）式から求められる。 ＢＶ＝ＢＥ−ＢＡ−ＢＭ ...（２） 画像ビットレート算出部２３は上記ＢＶを、前記目標ビ
ットレート６として出力し、送信側の画像符号化部１に
フィードバックする。

【００３２】以上のように、本実施形態によれば、受信
側において一定微小間隔毎に到着したビットストリーム
のビット数を抽出し、一定間隔毎にある区間の伝送路の
ビットレートを算出し、さらに画像に割り当てることの
できる目標ビットレート６を算出して、送信側にフイー
ドバックし、送信側では受信側から得られた目標ビット
レートに応じた符号化制御を行うことで、伝送路の伝送
速度の変動に対しても、多重化ビットストリームのビッ
トレートが伝送路のビットレートを超えることなく安定
した通信が行えるようになる。

【００３３】したがって、例えば伝送速度が低下した場
合でも、送信されるビットレートは伝送路のビットレー
トを超えることが無いため、伝送遅延が増大せず、ＩＰ
通信の場合の伝送遅延によるパケット消失や、リアルタ
イム伝送における動画像・音声の遅延、音声の途切れと
いった問題を回避することができる。

【００３４】また、本発明によれば、受信側で伝送路の
速度を推定し、これを送信側にフィードバックすること
により、送信側では常に使用可能伝送速度を把握しなが
ら動画像や音声の符号化を行うことが可能となる。その
際、使用可能伝送速度を超えないように符号化を行うこ
とで、従来の方法で問題となっていたデータの遅延や消
失を防ぐことが可能となり、結果受信側での動画像・音
声の品質向上が行える。

【００３５】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、受信側において受信したビットストリームから
画像に割り当てることのできる目標ビットレートを算出
して送信側にフィードバックし、送信側では受信側から
得られた目標ビットレートに応じた符号化制御を行うよ
うにしたので、伝送路の伝送速度の変動に対しても、多
重化ビットストリームのビットレートが伝送路のヒット
レートを超えることなく安定した通信が行えるようにな
る。したがって、例えば伝送速度が低下した場合でも、
送信されるビットレートは伝送路のビットレートを超え
ることが無いため、伝送遅延が増大せず、ＩＰ通信の場
合の伝送遅延によるパケット消失や、リアルタイム伝送
における動画像・音声の遅延、音声の途切れといった問
題を回避することができるようになる。

【００３６】また、本発明によれば、現在使用可能な伝
送速度に常に対応して符号化できるため、平常時の符号
化画像の品質を向上させることができるようになる。

【００３７】

【図面の簡単な説明】

【図１】 本発明の一実施形態の送信側装置の構成を示
す概略ブロック図である。

【図２】 本発明の一実施形態の受信側装置の構成を示
す概略ブロック図である。

【図３】 図１の画像符号化部の一具体例を示すブロッ
ク図である。

【図４】 図２のレート算出部の一具体例を示すブロッ
ク図である

【図５】 図２の入力バッファ部に入力するビットスト
リームのビット数の一例を示す図である。

【図６】 図２のレート算出部の動作説明図である。

【図７】 従来の送信側装置の構成を示す概略ブロック
図である。

【図８】 従来の受信側装置の構成を示す概略ブロック
図である。

【符号の説明】

１・・・画像符号化部、２・・・音声符号化部、３・・・多重化
部、４・・・出力バッファ部、５・・・ビットストリーム、６
・・・目標ビットレート、１１・・・入力バッファ部、１２・・
・レート算出部、１３・・・多重分離部、１４・・・画像復号
部、１５・・・音声復号部、２１・・・メモリ部、２２・・・演
算区間データ抽出部、２３・・・画像ビットレート算出
部、１０１・・・フレームスキップ部、１１２・・・量子化
部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 修一 埼玉県上福岡市大原二丁目１番15号 株式 会社ケイディーディーアイ研究所内 (72)発明者 藤瀬 雅行 東京都小金井市貫井北町四丁目２番１号 独立行政法人通信総合研究所内 (72)発明者 児島 史秀 東京都小金井市貫井北町四丁目２番１号 独立行政法人通信総合研究所内 (72)発明者 佐藤 勝善 東京都小金井市貫井北町四丁目２番１号 独立行政法人通信総合研究所内 Ｆターム(参考） 5C059 KK23 LB07 MA00 MA04 MA05 MA23 MC11 ME02 NN01 RB01 RC32 RE16 SS08 TA07 TA46 TA71 TC16 TC37 TC38 TD03 UA02 5J064 AA03 BA09 BB05 BC01 BC08 BC14 BC16 BC23 BD02

Claims (6)

【特許請求の範囲】
1. 【請求項１】 受信側は、受信したデータ量に基づいて
   伝送路のビットレートを求めて、目標ビットレートとし
   て送信側にフイードバックし、 送信側は、該フイードバックされた目標ビットレートを
   基に画像符号化制御を行うことを特徴とする動画像圧縮
   符号化伝送品質制御方法。
2. 【請求項２】 前記受信側は、動画像および音声符号化
   出力が多重化されたビットストリームを受信し、該受信
   したビットストリームから動画像の符号化ビットレート
   を求め、該動画像の符号化ビットレートを基に前記目標
   ビットレートを算出することを特徴とする請求項１に記
   載の動画像圧縮符号化伝送品質制御方法。
3. 【請求項３】 前記受信側は、一定時間間隔（ＤＴ）毎
   に測定した受信ビット数を、第１の所定期間（ＰＴ）で
   平均し、該平均を第２の所定期間（ＣＴ）ずつずらして
   行うことにより、前記画像符号化の目標ビットレートの
   算出を行う（ただし、ＤＴ＜ＣＴ＜ＰＴ）ことを特徴と
   する請求項１または２に記載の動画像圧縮符号化伝送品
   質制御方法。
4. 【請求項４】 前記送信側は画像符号化部を有し、該画
   像符号化部において、少なくとも量子化ステップサイズ
   の変更およびフレームスキップ数の制御の一方を行うこ
   とを特徴とする請求項１ないし３のいずれかに記載の動
   画像圧縮符号化伝送品質制御方法。
5. 【請求項５】 受信側からの画像符号化の目標ビットレ
   ートを受信する手段と、 該受信された目標ビットレートを基に、画像符号化制御
   を行う手段とを具備し、 使用可能伝送速度を超えない
   ように符号化を行うことを特徴とする動画像圧縮符号化
   伝送品質制御方式。
6. 【請求項６】 さらに、音声符号化を行い音声符号化ビ
   ットストリームを生成する手段と、 画像符号化ビットストリームと音声符号化ビットストリ
   ームを多重化する手段とを具備したことを特徴とする請
   求項５に記載の動画像圧縮符号化伝送品質制御方式。