JP2001025015A - 動画像符号化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像の高能率符号化に係り、特に、リアル
タイムで可変ビットレート符号化を行う際に好適な符号
量制御装置に関する。 【解決手段】 動画像の符号化を行う動画像符号化装置
において、各画像の発生符号量を検出する手段２３と、
各画像の平均量子化スケールを検出する手段２２と、各
画像の目標平均符号量を設定する手段３３と、符号量の
余裕分を設定する手段３２と、前記発生符号量、量子化
スケールと、前記目標平均符号量、符号量余裕分から所
定区間の割当符号量を決定する手段１４と、最小量子化
スケールを設定する手段３４と、前記割当符号量に対応
した量子化スケールにより次に符号化する量子化スケー
ルを決定し、前記割当符号量に対応した量子化スケール
が前記最小量子化スケールより小さい場合には、前記最
小量子化スケールにより前記次に符号化する量子化スケ
ールを決定する手段１４とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】動画像の高能率符号化に係
り、特に、リアルタイムで可変ビットレート符号化を行
う際に好適な符号量制御装置及びその方法に関する。

【０００２】

【従来の技術】TV信号などの動画像を高能率に符号化す
る技術の国際標準として既にMPEG2が規定されている。M
PEG2は、動画像を構成する「フレーム」画像を「マクロブ
ロック」と呼ばれる16×16画素のブロックに分割し、各
マクロブロック単位に、時間的に前または後に所定の数
フレーム離れた参照画像と符号化画像の間で「動きベク
トル」と呼ばれる動き量を求め、この動き量を基に参照
画像から符号化画像を構成する「動き補償予測」技術
と、動き補償予測の誤差信号または符号化画像そのもの
に対して、直交変換の一種であるＤＣＴ(離散コサイン
変換)を用いて情報量を圧縮する「変換符号化」技術の2
つの画像符号化の要素技術をベースに規定されている。

【０００３】従来のMPEG2の動画像符号化装置の一構成
例を図７に示す。また、符号化ピクチャ構造の一例を図
６に示す。動き補償予測では、図６に示した符号化ピク
チャ構造のように、 Iピクチャ(フレーム内符号化)、Ｐ
ピクチャ(順方向予測符号化)、Ｂピクチャ(双方向予測
符号化)と呼ばれる、予測方法の異なる３種類のピクチ
ャの組合せによって構成される。図７に示されるよう
に、変換符号化では、Ｉピクチャでは符号化画像そのも
のに対し、Ｐ,Ｂピクチャでは動き補償器７７による動
き補償予測の誤差信号である減算器７１の出力に対し
て、ＤＣＴがＤＣＴ器７２で施される。

【０００４】ＤＣＴ器７２で得られたＤＣＴ係数に対し
て量子化が、符号量制御部９０の出力により制御して量
子化器７３によってなされた後に、動きベクトル等のそ
の他の付帯情報と共に可変長符号化が可変長符号化器７
５でなされ、符号列が「ビットストリーム」としてバッ
ファ７６に記憶された後に出力される。この際、バッフ
ァ７６の充足度に応じて符号量制御部９０で量子化スケ
ールが制御される。一方、量子化器７３の出力係数は、
逆量子化器７７、ＩＤＣＴ器７８に供給さて、局部復号
されてブロック毎にフレームメモリ８１に貯えられる。

【０００５】MPEG2は可変長符号化であるため、単位時
間当りの発生符号量(ビットレート)は一定ではない。そ
こで、量子化器７３での量子化の際の量子化スケールを
マクロブロック単位に適宜変更することにより、所要の
ビットレートに制御することが可能になっている。MPEG
2 Test Model 5では、GOP単位で発生符号量を一定にす
る固定ビットレート制御方法が提案されている。

【０００６】このTest Model 5における固定ビットレー
ト制御方法は、一定の転送レートが要求される用途に対
しては有効な方法である。しかし、動画像シーケンスの
どの部分に対してもほぼ同じ符号量が割り当てられるた
め、情報量を多く含む複雑なシーンに対しては十分な符
号量が与えられずに画質劣化が生じてしまう。これに対
して、情報量が少ない単純なシーンの場合には符号量が
余剰になって無駄が生じ、DVD-Videoのように可変転送
レートが可能な用途に対しては、適切なレート制御方法
とは言えなかった。

【０００７】以上のような問題を解決するレート制御方
法が可変ビットレート制御方法である。特開平6−１４
１２９８号公報には、可変ビットレート制御による符号
化装置が開示されている。この装置では、最初に、入力
動画像に対して固定量子化スケールによって仮符号化を
行い、単位時間毎に発生符号量がカウントされる。つぎ
に、入力動画像全体の発生符号量が所要値になるよう
に、仮符号化時の発生符号量に基づいて各部分の目標転
送レートを設定する。そしてこの目標転送レートに合致
するように制御を行いながら、入力動画像に対して２回
目の符号化、言い換えると実符号化が行われる。

【０００８】しかし、上記従来例では、出力ビットスト
リームを得るためには少なくとも２回の符号化を行わな
ければならず、リアルタイム性を要求されるような用途
ではこの装置のような２パス方式の可変ビットレート制
御は使用出来ない。

【０００９】これに対し、動画像をほぼリアルタイムで
符号化するための可変ビットレート制御方法、すなわち
１パス方式の可変ビットレート制御方法も存在する。特
開平１０−３０２３９６号公報には、１パス方式の可変
ビットレート制御方法による符号化装置が開示されてい
る。

【００１０】この装置では、動画像を符号化する際に単
位時間毎の符号化難易度を測定し、それを予め標準化さ
れた符号化難易度と割当符号量の関係から単位時間毎の
割当符号量の参考値を求める。

【００１１】割当符号量の参考値から実際の割当符号量
へ変更する方法は、記録媒体に所定の時間長記録する動
画像の発生符号量の総和が記録媒体に記録可能な実容量
以下になるように、記録媒体の実容量から定まる一定の
割当符号量bavで符号化した場合の割当符号量Bavと現在
までの実際の発生符号量の総和Bgenを比較し、Bav−Bge
nが正の時にbav以上の割当符号量を許可することによ
り、所定の時間長の動画像が一定の記録容量の記録媒体
に記録出来ることを保証する１パス方式の可変ビットレ
ート制御を実現している。

【００１２】

【発明が解決しようとする課題】しかしながら１パス方
式の可変ビットレート制御では２パス方式とは異なり、
入力される動画像シーケンスがどのような画面複雑度の
時間変化で構成されているかは予めわからない状態でビ
ットレート制御を行わなければならない。上記従来発明
では実際の発生符号量が、記録媒体の実容量から定まる
一定の割当符号量bavより下回った分だけ、それ以降の
符号化でbavを上回る符号量割当が可能になる。そのた
め、動画像シーケンスの前半で比較的符号化が易しく、
後半が難しい場合は、前半の余剰ビットが後半の難しい
部分に回せて、シーケンス全体の主観画質の改善が可能
になるが、逆に前半が難しく、後半が易しい場合は前半
の難しい部分の主観画質の改善は不可能である上に、符
号化の終了した時点では後半の易しい部分で符号量が余
剰になり、記録媒体の容量の無駄が生じてしまう。本発
明は以上の問題を解決して、割当符号量に時間的に変化
するマージンを付加することによって、動画像シーケン
スの初めの部分でも一定の割当符号量を上回る符号量割
当を可能にし、シーケンス全体の符号量割当を適正に
し、かつ全般的な画質向上を図ることを目的とする。

【００１３】

【課題を解決するための手段】そこで本発明では、MPEG
２等の動き補償予測、直交変換、量子化、可変長符号化
の各手段を備えた可変ビットレート制御による動画像符
号化装置において、各画像の発生符号量と平均量子化ス
ケールを検出し、それと同時に各画像の目標平均符号量
と符号量の余裕分であるマ−ジンを設定する。

【００１４】目標符号量は、一定区間(通常はGOPと呼ば
れる１５フレーム程度の一定の長さの画像群)に対し
て、符号列の転送先が例えば記録媒体の場合は、動画像
シーケンスの記録時間と記録媒体の実容量から定まる一
定のビットレートで符号化した場合の割当符号量を設定
する。符号量のマージンは後述する方法によって、所定
時間毎に設定値が変更される。各画像の発生符号量、量
子化スケールと、目標平均符号量、符号量のマージンか
ら前記一定区間の割当符号量を決定し、それを所定の方
法で一定区間内の各画像に配分する。

【００１５】符号量のマージンの設定値は、例えば動画
像シーケンスの記録済み時間または残り記録時間で変化
させ、シーケンスの最初では最大で、時間の経過と共に
一定の割合で減少させ、シーケンスの最後では０となる
ように設定することにより、記録媒体の実容量を超える
ことなく、途中の区間では一定のビットレートを超える
符号量割当が可能になる。あるいは、記録媒体の実容量
に対しマージンを設ける場合は、記録媒体の容量のマー
ジンを動画像シーケンスの所定の区間長に区切った各区
間に配分する。

【００１６】マージンの配分をシーケンスの最初では大
目に、後半になるにつれて次第に少な目に設定し、前半
で余ったマージンは順次後半に繰り越すことにより、無
駄の少ないマージンの割当が可能となる。

【００１７】また、別なマージンの設定方法では、動画
像シーケンスの記録済み時間、残り記録時間、記録済み
の発生符号量、記録媒体に対する残り容量、目標転送レ
ート、最大転送レート及び所定時間における実転送レー
トのうちのいくつかを因数とする関数によってマージン
を設定することにより、一層適正な符号量制御を行うこ
とが可能になる。

【００１８】以上のような方法で配分された各画像の割
当符号量に対し、各フレームの平均量子化スケールと発
生符号量を乗算して所定の変換を施して、各フレームの
画面複雑度を求め、この値を一定期間内のピクチャタイ
プ別平均画面複雑度で割った値を前記各画像の割当符号
量に乗算することにより、画面複雑度を考慮した符号量
割当が行われる。

【００１９】

【発明の実施の形態】本発明の動画像符号化装置及びそ
の方法の第1の実施例について、以下に図１と共に説明
する。図１に示したように、本発明の動画像符号化装置
及びその方法の第1の実施例は、減算器１１、DCT器１
２、量子化器１３、符号量制御器１４、可変長符号化器
１５、バッファ１６、逆量子化器１７、IDCT器１８、動
き補償予測器１９、加算器２０、フレームメモリ２１、
平均量子化スケール検出器２２、発生符号量検出器２
３、画像特性検出器２５、記録時間検出器３１、マージ
ン設定器３２、平均レート設定器３３、及び最小量子化
スケール設定器３４より構成されている。

【００２０】原画像は図示されていない画像ブロック分
割器によって、予めマクロブロック単位に分割されてい
るものとする。分割された原画像は、Iピクチャについ
ては動き補償予測が行われず、原画像ブロックそのもの
がDCT器１２に送られ、DCTされた後に量子化器１３で符
号量制御器１４から送られる量子化スケールによって量
子化される。

【００２１】量子化器１３の出力は可変長符号化器１５
で符号に変換されてバッファ１６で調整された後に符号
が出力される。一方、量子化器１３の出力係数は逆量子
化器１７、IDCT器１８で局部復号されてブロック毎にフ
レームメモリ２１に貯えられる。

【００２２】Ｐ及びＢピクチャについては分割された原
画像とフレームメモリに貯えられた所定の局部復号画像
ブロックが動き補償予測器１９に供給され、ここで動き
ベクトル検出及び動き補償が行われて、予測画像ブロッ
クが減算器１１で原画像ブロックとの間で画素間差分が
取られ、差分値である誤差画像ブロックがDCT器１２に
送られる。

【００２３】この後はＩピクチャと同様にDCTされ、量
子化器１３で符号量制御器１４から送られる量子化スケ
ールによって量子化された後に可変長符号化器１５で符
号に変換されてバッファ１６で調整された後に符号が出
力される。

【００２４】一方、量子化器１３の出力係数は逆量子化
器１７、IDCT器１８で局部復号された後に前記予測画像
ブロックが加算器２０によって画素毎に加算され、ブロ
ック毎にフレームメモリ２１に貯えられる。

【００２５】各ピクチャについて、マクロブロック毎の
量子化スケールが平均量子化スケール検出器２２に送ら
れ、そこで1フレーム毎に量子化スケールが加算され、1
フレームの平均量子化スケールが算出される。一方、バ
ッファ１６において発生符号量が監視され、値が発生符
号量検出器２３に送られる。ここにおいて、発生符号量
がフレーム単位に加算され、1フレームの発生符号量が
検出される。

【００２６】これと共に、発生符号量検出器２３で、各
フレームの発生符号量が順次加算されて、動画像シーケ
ンスの先頭から現在までに符号化した画像の実際の総発
生符号量が計算される。各フレームの平均量子化スケー
ル、発生符号量、及び現在までの総発生符号量は符号量
制御器１４に送られる。

【００２７】平均レート設定器３３では、平均目標ビッ
トレートRaveが設定され、符号量制御器１４に送られ
る。平均目標ビットレートRaveの設定値は、例えば記録
媒体３５の場合、動画像データが記録可能な容量と、そ
れに記録する動画像シーケンスの記録時間から決定され
る。すなわち、固定ビットレート制御で符号化した場合
の平均ビットレートに相当する。

【００２８】最小量子化スケール設定器３４では、平均
レート設定器３３で設定した平均レートに応じて、量子
化スケールの最小値を設定する。一般的に量子化スケー
ルは、ある一定値以上になると復号画像の画質に劣化が
知覚する。

【００２９】逆に言うと、ある一定値よりも量子化スケ
ールを下げても復号画像の画質はほとんど変わらないの
で、量子化スケールを一定値でリミッタをかけてそれ以
上は量子化スケールが下がらないようにすることによ
り、リミッタのかかった部分で発生符号量を平均レート
より少なくして、復号画像の画質を保持しつつ、発生符
号量の削減を図るものである。平均レートに応じて最小
量子化スケールを変更することにより、平均レートに見
合った画質を選択することが出来る。

【００３０】マージン設定器３２では、符号量の余裕分
であるマージンの値が所定の周期毎に設定される。マー
ジンの設定方法には、(1) ビットレートに対するマージ
ンと(2) 一定区間内の発生符号量の総量に対するマージ
ンとの２つの方法がある。記録時間や記録媒体３５の容
量といったパラメータの設定等によって適宜適切な方を
選択して、マージンの設定を行う。

【００３１】(1) ビットレートに対するマージンについ
て（図２） 図２にマージンの配分方法と符号量推移の一実施例を示
す。マージンは、平均目標ビットレートRaveに対して与
えられ、例えばRaveが4Mbpsの時、10％のマージンを与
えるとき、マージンを10％または0.4Mbpsと表す。

【００３２】動画像シーケンスの総記録時間が設定され
ている場合、記録時間検出器３１で検出される記録経過
時間より残り記録時間が得られるので、符号化の開始時
点ではマージンが最大で、符号化の終了時点でマージン
が０になるよう、残り記録時間に比例したマージンの量
を決定する関数を設定する。前記所定の周期毎に、記録
時間検出器３１で得られる残り記録時間から前記関数に
より符号量マージンが決定される。

【００３３】但し、これだけではシーケンスが後ろにな
るにつれてマージンが少なくなってしまうので、現在ま
でに符号化した画像の実際の総発生符号量と、この区間
を平均目標ビットレートRaveで符号化した場合の発生符
号量の差を計算し、この差の一定割合を前記マージンに
加算することにより、シーケンスの後半でも十分なマー
ジンが確保される。

【００３４】(2) 一定区間内の発生符号量の総量に対す
るマージンについて（図３） 図３にマージンの配分方法と符号量推移の他の実施例を
示す。これは記録媒体３５における形式的な記録容量の
表示が実際の最大容量より小さく設定される場合で、例
えば記録媒体３５の容量表示が1.0 Gbitで、実際の最大
容量が1.2Gbitの時、マージンは20％または0.2Gbitと表
す。

【００３５】動画像シーケンスの総記録時間、あるいは
記録媒体の目安の記録時間が表示されている場合は、そ
の目安の記録時間を所定の区間長に分割する。なお、分
割される各区間の長さは等間隔でもよいし、そうでなく
てもよい。

【００３６】分割された各区間に対し、前記記録媒体３
５の容量のマージンを所定の方法によって配分する。マ
ージンの配分方法は、例えば分割各区間の長さに比例し
て、すなわち各区間が等間隔ならば配分するマージンも
等しく配分してもよいが、シーケンスの最初の方は相対
的に多く、後半になるにつれて次第に少なく設定し、前
半で余ったマージンは順次後半に繰り越すことにより、
無駄の少ないマージンの割当を実現している。

【００３７】なお、分割各区間に配分するマージンの量
は、記録媒体３５の実際の最大容量と表示記録容量の差
を限度としてもよいし、それを若干越えたマージンの量
を設定してもよい。

【００３８】容量の差を限度とした場合は、実際の総発
生符号量が記録媒体３５の実際の最大容量以下になるこ
とが保証され、容量の差を若干越えた量を設定した場合
は、実際の総発生符号量が記録媒体３５の実際の最大容
量以下になる保証はなくなるが、その分符号化の難しい
部分における画質改善の幅がより大きくなる。なお、マ
ージンの値を符号量制御器１４に送る場合は、(1)の場
合と同様に平均目標ビットレートRaveに対するマージン
に換算する。

【００３９】符号量制御器１４では、平均量子化スケー
ル検出器２２から送られてきた各フレームの平均量子化
スケール、発生符号量検出器から送られてきた発生符号
量と現在までの総発生符号量、平均レート設定器３３か
ら送られてきた平均目標ビットレート、最小量子化スケ
ール設定器３４から送られてきた最小量子化スケール、
及びマージン設定器３２から送られてきたマージンか
ら、MPEG2 Test Model 5または別の符号量配分の方法
(各画像に対する符号量割当方法)を用いて符号量制御が
行われ、各画像の目標割当符号量が決定される。

【００４０】一実施例としてMPEG2 Test Model 5を用い
た目標割当符号量の決定方法を以下に説明する。固定ビ
ットレート制御におけるビットレートをBitRate、1秒当
りのフレーム数をPictureRate、1つの符号化単位である
1GOP(通常はＩピクチャの間隔)のフレーム数をＮとする
と、1GOPの平均割当符号量Raveは次式(1)で与えられ
る。

【００４１】 Rave＝ (BitRate／PictureRate)・Ｎ (1)

【００４２】符号量制御器１４において割当てられる1G
OPの割当符号量Rcは、Raveと1GOP当りのマージンmargin
を用いて、次式(2)で設定される。

【００４３】 Rc＝ Rave ＋ margin (2)

【００４４】すなわち、Rcの値は固定ビットレート制御
の場合よりもマージン分だけ高いビットレートで制御す
ることになる。そうするとマージン分だけ符号量が不足
することになるが、後述するように、最小量子化スケー
ルによる量子化スケールのリミッタがかかるため、リミ
ッタのかかった部分における発生符号量の削減をマージ
ンによる符号量増加に充当して、所定の平均目標ビット
レートに収めることが可能である。

【００４５】割当符号量Rcを1GOPの各ピクチャに適切に
割り振ることにより、これから符号化する各画像の目標
符号量を算出する。1GOPに含まれるＰ、Ｂピクチャのフ
レーム数をNp、Nb、Ｉピクチャに対するＰ、Ｂピクチャ
の量子化スケールの設定比率をKp、Kb、直前に符号化し
た同じピクチャタイプのピクチャの画面複雑度（発生符
号量と平均量子化スケールとの積）をXi, Xp, Xbとす
る。この時、各ピクチャタイプの目標割当符号量Ti, T
p, Tbは次式(3) (4) (5)で与えられる。なお、MAX[A,
B]はAとBのいずれか大きい方を選択する動作を示す。

【００４６】 (Ｉピクチャ) Ti= MAX[ A , B ] A= Rc / ( 1+Np・Xp/(Xi・Kp)+Nb・Xb/(Xi・Kb) ) B= BitRate /（8・PictureRate） (3)

【００４７】 (Ｐピクチャ) Tp= MAX[ C ,D ] C= Rc / ( Np+Nb・Kp・Xb / (Kb・Xp) ) D= BitRate /（8・PictureRate） (4)

【００４８】 (Ｂピクチャ) Tb= MAX[E , F ] E= Rc /( Np+Np・Kb・Xp/(Kp・Kb) ) F= BitRate /（8・PictureRate） (5)

【００４９】さらに、決定した各画像の目標割当符号量
とバッファ１６で検出される各マクロブロックの発生符
号量をもとに、MPEG2 Test Model 5または別の符号量配
分の方法(各マクロブロックに対する符号量割当方法)を
用いて各マクロブロックの量子化スケールを決定する。

【００５０】なお、画像特性検出器２５において各マク
ロブロックの原画像アクティビティが検出され、この値
が符号量制御器１４へ送られる。このアクティビティの
値はMPEG2 Test Model 5における各マクロブロックの量
子化スケールを変更する適応量子化制御に使用される
が、この適応量子化制御は行わなくてもよい。または別
の方法により適応量子化制御を行ってもよい。

【００５１】このようにして決定した各マクロブロック
の量子化スケールに対し、最小量子化スケール設定器３
４によって設定される最小量子化スケールによるリミッ
タがかけられる。すなわち、各マクロブロックの量子化
スケールが最小量子化スケールよりも小さい場合は最小
量子化スケールに置き換えて、それ以外の場合は前記決
定した値をそのまま各マクロブロックの量子化スケール
として最終的に決定し、この値が符号量制御器１４から
出力される。

【００５２】符号量制御器１４から出力される各マクロ
ブロックの量子化スケールが量子化器１３に送られ、現
在の画像(DCT後の分割された原画像または動き補償予測
の誤差画像ブロック)がこの量子化スケールで量子化さ
れる。更に量子化器１３の出力は、可変長符号化器１５
で可変長符号化されて、バッファ１６で調整された後に
符号が出力される。

【００５３】マクロブロック毎の量子化スケール、バッ
ファ１６で監視される発生符号量がそれぞれ、平均量子
化スケール検出器２２、発生符号量検出器２３に送ら
れ、次のピクチャの符号量制御に使用される。なお、発
生符号量検出器２３では現在までに符号化した画像につ
いて発生符号量を加算して、実際の総符号量を求め、こ
の値をマージン設定器３２に送っている。

【００５４】また、符号量制御器１４では、記録時間と
平均目標ビットレートRaveから求まる、固定のRaveで符
号化した場合の目標発生符号量（前記マージンの設定方
法(2)では現在までに割当てられたマージンの総量も含
む。）と、発生符号量検出器２３で求めた実際の総発生
符号量との差を計算し、この発生符号量の目標と実際の
差に対して一定比率を乗算して、これをマージン設定器
３２で設定したマージンに加算することにより、初期設
定において、シーケンスの後半ではマージンが小さくな
るように設定した場合でも、後半部分のマージンを十分
に確保することが可能になる。

【００５５】本発明の動画像符号化装置及びその方法の
第２の実施例について、以下に図４と共に説明する。第
２の実施例では第１の実施例に比べ、レート比較器３７
と残量検出器３６が追加され、マージン設定器３２Ａの
動作が変更になっているが、それ以外の部分は第１の実
施例と同一なので、変更になった部分についてのみ説明
する。

【００５６】レート比較器３７では、発生符号量検出器
２３で検出された各画像の発生符号量を所定期間につい
て加算して、この期間の実転送レートを計算した値と、
平均レート設定器３３から出力される目標転送レート、
最大転送レートとをマージン設定器３２に送る。

【００５７】残量検出器３６では、記録媒体３５に予め
設定された最大容量と記録媒体３５に内蔵された符号量
カウンタで検出された記録済み符号量の差、もしくは記
録済み領域の位置情報を検出して、それを残り記録容量
に変換することにより、記録媒体３５の残り容量を検出
し、それをマージン設定器３２に送る。

【００５８ 】マージン設定器３２Ａでは、記録時間検
出器３１から送られた動画像シーケンスの記録済み時間
または残り記録時間、発生符号量検出器２３から送られ
た記録済みの発生符号量、残量検出器３６から送られた
記録媒体３５に対する残り容量、レート比較器３７から
送られた目標転送レート、最大転送レート及び所定時間
における実転送レートのうちのいくつかを因数とする関
数を設定し、この関数によってマージンの設定を行うこ
とにより、一層適切な符号量制御を行うことが可能にな
る。

【００５９】本発明の動画像符号化装置及びその方法の
第３の実施例について、以下に図５と共に説明する。第
３の実施例では第２の実施例に比べ、画面複雑度算出器
２４が追加され、符号量制御器１４の動作が変更になっ
ているが、それ以外の部分は第２の実施例と同一なの
で、変更になった部分についてのみ説明する。

【００６0】画面複雑度算出器２４へは、平均量子化ス
ケール検出器２２から１フレームの平均量子化スケール
が、発生符号量検出器２３からは１フレームの発生符号
量が各画像毎に入力され、平均量子化スケールと発生符
号量とが乗算された後に乗算結果に所定の変換が施され
て、各フレームの画面複雑度として求められる。

【００６1】画面複雑度算出器２４で求められる画面複
雑度は符号化ピクチャタイプ別に一定期間内の値が加算
された後にその期間内の同じピクチャタイプのフレーム
数で除算されて、各ピクチャタイプの平均画面複雑度 X
i-ave, Xp-ave, Xb-ave が算出される。各ピクチャタイ
プの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveと、直前
に符号化した同じピクチャタイプの画像の画面複雑度 X
i, Xp, Xb は符号量制御器１４に送られる。

【００６２】この画面複雑度算出器２４から送られてき
た各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave,
Xb-aveと直前に符号化した同じピクチャタイプの画像
の画面複雑度 Xi, Xp, Xb、平均量子化スケール検出器
２２から送られてきた各フレームの平均量子化スケー
ル、発生符号量検出器２３から送られてきた発生符号量
と現在までの総発生符号量、平均レート設定器３３から
送られてきた平均目標ビットレート、最小量子化スケー
ル設定器３４から送られてきた最小量子化スケール、マ
ージン設定器３２Ａから送られてきたマージンから、MP
EG2 Test Model 5、または別の符号量配分の方法(各画
像に対する符号量割当方法)を用いて、符号量制御器１
４において符号量制御が行われる。

【００６３】MPEG2 Test Model 5を用いて目標割当符号
量を決定する場合、第１の実施例における式(１)のRcを
求める式が次の(6)のように変わるが、その他の部分は
第１の実施例と同じである。

【００６４】 Rc＝Rave・(Xk/Xk-ave)＋ margin (但しk＝i,p,b ) (6)

【００６５】第２の実施例と同様に、MPEG2 Test Model
5等において設定するビットレートの値を、平均目標ビ
ットレートにマージンを加えることにより、固定ビット
レート制御の場合よりもマージン分だけ高いビットレー
トで制御して各画像の目標割当符号量が決定した後、当
該ピクチャタイプについて、直前に符号化した画像の画
面複雑度を平均画面複雑度で割った値を、得られた各画
像の目標割当符号量に乗算することにより、画面複雑度
を考慮した符号量割当が行われる。

【００６６】そして決定した各画像の目標割当符号量と
バッファ１６で検出される各マクロブロッの発生符号量
をもとに、第１、第２の実施例と同様にして、各マクロ
ブロックの量子化スケールを決定する。

【００６７】なお、以上の第３の実施例では、第２の実
施例で得られる各画像の目標割当符号量に対し画面複雑
度を考慮した符号量割当を行っているが、これを第１の
実施例に適用してもよい。

【００６８】

【発明の効果】以上のように本発明によると、可変ビッ
トレート制御で動画像を符号化する際に、各画像の発生
符号量、量子化スケールと、目標平均符号量、符号量の
マージンから前記一定区間の割当符号量を決定し、それ
を所定の方法で一定区間内の各画像に配分する。符号量
のマージンの設定値は、例えば動画像シーケンスの記録
済み時間または残り記録時間で変化させ、シーケンスの
最初では最大で、時間の経過と共に一定の割合で減少さ
せ、シーケンスの最後では０となるように設定すること
により、記録媒体の実容量を超えることなく、途中の区
間では一定のビットレートを超える符号量割当が可能に
なる。

【００６９】あるいは、記録媒体の実容量に対しマージ
ンを設ける場合は、記録媒体の容量のマージンを動画像
シーケンスの所定の区間長に区切った各区間に配分す
る。マージンの配分をシーケンスの最初では多目に、後
半になるにつれて次第に少な目に設定し、前半で余った
マージンは順次後半に繰り越すことにより、無駄の少な
いマージンの割当が可能となる。

【００７０】また、動画像シーケンスの記録済み時間、
残り記録時間、記録済みの発生符号量、記録媒体に対す
る残り容量、目標転送レート、最大転送レート及び所定
時間における実転送レートのうちのいくつかを因数とす
る関数によってマージンを設定することにより、一層適
正な符号量制御を行うことが可能になる。

【００７１】また、以上のような方法で配分された各画
像の割当符号量に対し、各フレームの平均量子化スケー
ルと発生符号量を乗算して所定の変換を施して、各フレ
ームの画面複雑度を求め、この値を一定期間内のピクチ
ャタイプ別平均画面複雑度で割った値を前記各画像の割
当符号量に乗算することにより、画面複雑度を考慮した
符号量割当を行って、１パス方式の可変ビットレート制
御による動画像符号化においても、より画像の特性に応
じた符号量制御が可能になる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置及びその方法の第１
の実施例を示したブロック構成図である。

【図２】本発明の動画像符号化装置及びその方法の符号
量推移の一実施例を示した図である。

【図３】本発明の動画像符号化装置及びその方法の符号
量推移の他の実施例を示した図である。

【図４】本発明の動画像符号化装置及びその方法の第２
の実施例を示したブロック構成図である。

【図５】本発明の動画像符号化装置及びその方法の第３
の実施例を示したブロック構成図である。

【図６】符号化ピクチャ構造の一例を示した図である。

【図７】従来の一般的な動画像符号化装置の一構成例を
示した図である。

【符号の説明】

１１ 減算器 １２ DCT器 １３ 量子化器 １４ 符号量制御器 １５ 可変長符号化器 １６ バッファ １７ 逆量子化器 １８ IDCT器 １９ 動き補償予測器 ２０ 加算器 ２１ フレームメモリ ２２ 平均量子化スケール検出器 ２３ 発生符号量検出器 ２４ 画面複雑度算出器 ２５ 画像特性検出器 ３１ 記録時間検出器 ３２，３２Ａ マージン設定器 ３３ 平均レート設定器 ３４ 最小量子化スケール設定器 ３６ 残量検出器 ３７ レート比較器 Xi, Xp, Xb 現在の画像の画面複雑度 Xi-ave, Xp-ave, Xb-ave 平均画面複雑度

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK22 MA00 MA23 MC11 MC38 ME01 PP04 SS11 TA60 TB08 TC06 TC10 TC15 TC20 TC38 TD05 TD06 UA02 5J064 AA02 BA09 BA13 BA16 BC01 BC02 BC08 BC16 BC21 BD03

Claims (10)

【特許請求の範囲】
1. 【請求項１】入力動画像を、動き補償予測手段、直交変
   換手段、量子化手段、及び可変長符号化手段を有して符
   号化を行う動画像符号化装置において、 前記入力動画像の各画像の発生符号量を検出する手段
   と、 前記入力動画像の各画像の平均量子化スケールを検出す
   る手段と、 前記入力動画像の各画像の目標平均符号量を設定する手
   段と、 前記発生符号量の余裕分(マ−ジン)を設定する手段と、 前記目標平均符号量と前記各画像の発生符号量との差を
   検出し、前記発生符号量の余裕分を更新する手段と、 前記目標平均符号量と前記発生符号量の余裕分とを加算
   して、所定区間の割当符号量を決定する手段と、 最小量子化スケールを設定する手段と、 前記割当符号量に対応した量子化スケールにより次に符
   号化する画像の量子化スケールを決定し、前記割当符号
   量に対応した量子化スケールが前記最小量子化スケール
   より小さい場合には、前記最小量子化スケールにより前
   記次に符号化する画像の量子化スケールを決定する手段
   とを備えたことを特徴とする動画像符号化装置。
2. 【請求項２】請求項１に記載された動画像符号化装置に
   おいて、 前記発生符号量の余裕分を設定する手段は、 所定時間毎に発生符号量余裕分の設定値を変更すること
   を特徴とする動画像符号化装置。
3. 【請求項３】請求項２に記載された動画像符号化装置に
   おいて、 前記所定時間毎に変更する符号量余裕分の設定値は、 符号化動画像全体に対する発生符号量余裕分を前記所定
   時間毎に所定の割合で配分することを特徴とする動画像
   符号化装置。
4. 【請求項４】請求項１に記載された動画像符号化装置に
   おいて、 前記発生符号量の余裕分を設定する手段は、 符号化動画像の記録済み時間または残り記録時間によっ
   て発生符号量余裕分の設定値を決定することを特徴とす
   る動画像符号化装置。
5. 【請求項５】請求項１に記載された動画像符号化装置に
   おいて、 前記発生符号量の余裕分を設定する手段は、 観測時刻における符号化動画像の記録済み時間、残り記
   録時間、記録済みの発生符号量、記録媒体に対する残り
   容量、目標転送レート、最大転送レート及び所定時間に
   おける実転送レートのうちのいくつかを因数とする関数
   により、符号量余裕分の設定値を決定することを特徴と
   する動画像符号化装置。
6. 【請求項６】請求項２乃至請求項５のいずれかに記載さ
   れた動画像符号化装置において、 発生符号量検出手段で得られた各画像の発生符号量、平
   均量子化スケール検出手段で得られた各画像の平均量子
   化スケールから各画像の画面複雑度を検出する手段と、
   前記画面複雑度の一定期間における平均値を求める手段
   を有し、 前記所定区間の割当符号量を決定する手段は、前記目標
   平均符号量に対し前記画面複雑度の平均値に対する符号
   化画像の前記画面複雑度の割合を乗算することによって
   割当符号量を決定し、前記割当符号量から前記次に符号
   化する画像の量子化スケールを決定するようにしたこと
   を特徴とする動画像符号化装置。
7. 【請求項７】入力動画像を、動き補償予測ステップ、直
   交変換ステップ、量子化ステップ、及び可変長符号化ス
   テップを有して符号化を行う動画像符号化方法におい
   て、 前記入力動画像の各画像の発生符号量を検出するステッ
   プと、 前記入力動画像の各画像の平均量子化スケールを検出す
   るステップと、 前記入力動画像の各画像の目標平均符号量を設定するス
   テップと、 前記発生符号量の余裕分(マ−ジン)を設定するステップ
   と、 前記目標平均符号量と前記各画像の発生符号量との差を
   検出し、前記発生符号量の余裕分を更新するステップ
   と、 前記目標平均符号量と前記発生符号量の余裕分とを加算
   して、所定区間の割当符号量を決定するステップと、 最小量子化スケールを設定するステップと、 前記割当符号量に対応した量子化スケールにより次に符
   号化する画像の量子化スケールを決定し、前記割当符号
   量に対応した量子化スケールが前記最小量子化スケール
   より小さい場合には、前記最小量子化スケールにより前
   記次に符号化する画像の量子化スケールを決定するステ
   ップとを備えたことを特徴とする動画像符号化方法。
8. 【請求項８】請求項７に記載された動画像符号化方法に
   おいて、 前記発生符号量の余裕分を設定するステップは、所定時
   間毎に発生符号量余裕分の設定値を変更することを特徴
   とする動画像符号化方法。
9. 【請求項９】請求項８に記載された動画像符号化方法に
   おいて、 前記所定時間毎に変更する符号量余裕分の設定値は、 符号化動画像全体に対する発生符号量余裕分を前記所定
   時間毎に所定の割合で配分することを特徴とする動画像
   符号化方法。
10. 【請求項１０】請求項８及び請求項９のいずれかに記載
    された動画像符号化方法において、 発生符号量検出ステップで得られた各画像の発生符号
    量、平均量子化スケール検出ステップで得られた各画像
    の平均量子化スケールから各画像の画面複雑度を検出す
    るステップと、前記画面複雑度の一定期間における平均
    値を求めるステップを有し、 前記所定区間の割当符号量を決定するステップは、前記
    目標平均符号量に対し、前記画面複雑度の平均値に対す
    る符号化画像の前記画面複雑度の割合を乗算することに
    よって割当符号量を決定し、前記割当符号量から前記次
    に符号化する画像の量子化スケールを決定するようにし
    たことを特徴とする動画像符号化方法。