JP2000358247A - レート制御装置、レート制御方法及び符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画データの符号化ビットレートを画質劣化
少なく制御するレート制御装置の提供。 【解決手段】 動画データを符号化する符号化装置内部
のバッファをシミュレートした仮想バッファの占有量に
基づいてマクロブロック毎の符号化の量子化スケールを
算出し、算出された量子化スケールを符号化装置にフィ
ードバックすることにより符号化のビットレートを制御
するレート制御装置であって、仮想バッファ占有量保持
部２１９が仮想バッファ占有量を保持し、平均量子化ス
ケール計算部２１５がピクチャ単位の符号化毎に目標ビ
ット量に応じた目標量子化スケールを算出し、前記仮想
バッファ初期化部２１８が仮想バッファ占有量保持部２
１９の仮想バッファ占有量を前記目標量子化スケールに
応じて初期化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画データの符号
化装置の符号化ビットレートを制御するレート制御装
置、レート制御方法及びレート制御の機構を備えた符号
化装置に関する。

【０００２】

【従来の技術】動画データをMPEG-２規格の符号化方式
により符号化する符号化装置は、動画データをピクチャ
毎の符号化の順に並び替え、ピクチャを構成するマクロ
ブロック単位に動き補償予測、DCT（離散コサイン変
換）、量子化及び可変長符号化を行ってビット列をバッ
ファに出力する。

【０００３】ここにおいて量子化は、DCT後の１６×１
６要素のDCT係数（DCTブロック）の、量子化テーブルの
対応する要素による除算である。量子化テーブルは、量
子化マトリックスと量子化スケールとの積で表される。
量子化マトリックスはDCTブロック内の相対的な量子化
精度を設定するためのマトリックスである。量子化スケ
ールは、１〜３１の範囲でマクロブロック単位に設定可
能な値であり、この量子化スケールの増減により量子化
テーブルの大きさを変更することができる。

【０００４】可変長符号化においては、出現頻度の高い
データに短いコードが割り当てられる。したがって可変
長符号化後のビット列の発生ビット量は可変となる。そ
のため発生符号量を一定のビットレートに維持するには
何らかの制御が必要となる。一般的には、バッファの占
有量をチェックし、占有量に応じて量子化スケールを増
減させることにより、発生ビット量が目標のビットレー
トのビット量と等しくなるよう制御する。この制御をレ
ート制御と呼ぶ。

【０００５】より具体的にはレート制御装置が符号化装
置のレート制御を行う。レート制御装置は、符号化装置
の符号化による発生ビット量を監視するための仮想バッ
ファの占有量に基づいて量子化スケールを算出し、算出
された量子化スケールを符号化装置の量子化にフィード
バックする処理を行う。図８は、レート制御装置におけ
るレート制御の処理手順を示すフローチャートである。

【０００６】なお同図のレート制御は、文献（ＩＳＯ／
ＩＥＣ ＪＴＣ／ＳＣ２９／ＷＧ１１：”Ｔｅｓｔ Ｍ
ｏｄｅｌ５”，１９９３）に詳しく記載されているの
で、ここでは詳細な説明を省いて簡単に説明することと
する。同図においてレート制御装置は、動画データの符
号化における階層構造、つまり上位層から順にシーケン
ス層、GOP（Grouｐ Of Picture）層、ピクチャ（Pict
ure）層、マクロブロック層からなる階層毎の符号化に
即してレート制御を行う。ただしレート制御にはスライ
ス層に対応する処理はないので同図中省略している。

【０００７】レート制御装置は、動画データの符号化開
始、すなわちシーケンス層の符号化開始に先立って仮想
バッファ占有量ｄｉ、ｄｐ、ｄｂと、複雑度Ｘｉ、Ｘ
ｐ、Ｘｂの初期値設定を行う（S601）。ここにおいてレ
ート制御装置は、Ｉ、Ｂ、Ｐピクチャに対応する３種類
の独立した仮想バッファ占有量ｄｉ、ｄｐ、ｄｂを用い
る。複雑度Ｘｉ、Ｘｐ、Ｘｂはそれぞれ、Ｉ、Ｐ、Ｂピ
クチャタイプ別のピクチャの複雑さを示すパラメータで
あり、同ピクチャタイプにおける平均量子化スケールコ
ードと発生符号量との積で表される。 ＜ＧＯＰ単位のループ＞Ｓ６０２からＳ６１４のＧＯＰ
単位のループにおいて、レート制御装置は、ＧＯＰの符
号化に先立って当該ＧＯＰに対する割り当てビット量Ｒ
を算出する（Ｓ６０３）。同図において左辺のＲは求め
る割り当てビット量Ｒ、ＮはＧＯＰ内の未符号化ピクチ
ャ総数、右辺のＲは１つ前のＧＯＰの符号化における割
り当てビット量Ｒの残量である。 ＜ピクチャ単位のループ＞Ｓ６０４からＳ６１３のピク
チャ単位のループにおいて、レート制御装置は、割り当
てビット量Ｒをピクチャの符号化順に割り当てる操作を
繰り返す。ここでＳ６０５においてＴｉ、Ｔｐ、Ｔｂ
は、ピクチャタイプ別の各ピクチャの割り当てビット
量、Ｎｐ、ＮｂはＧＯＰ内で未符号のＢ，Ｐピクチャの
枚数、Ｋｂ（＝１．４）は画質最適化係数である。

【０００８】レート制御装置は、ピクチャの符号化毎
に、Ｓ６０５の３式のうちのピクチャタイプに応じた１
つを実行する。各式の右辺の分母は、ＧＯＰ内の未符号
のＩ、Ｐ、Ｂピクチャ全体を符号化することにより発生
すると推定されるビット量が、割り当て対象ピクチャの
何枚分のビット量に相当するかを表す。Ｓ６０６〜Ｓ６
１０において、符号化対象のピクチャの符号化がなされ
た後、レート制御装置は、複雑度Ｘｉ、Ｘｐ、Ｘｂを更
新する（Ｓ６１１）。Ｓ６１１においてＳｉ，ｐ，ｂ
は、ピクチャタイプ別の各ピクチャの符号化による発生
ビット量、Ｑｉ，ｐ，ｂは、ピクチャタイプ別の各ピク
チャの平均量子化スケールであり、マクロブロック単位
のループにおいてマクロブロック毎に算出された量子化
スケールの算術平均である。

【０００９】更新されたＸｉ、Ｘｐ、Ｘｂはそれぞれ、
次の同ピクチャタイプのピクチャの符号化に先立ってＳ
６０４で用いられる。レート制御装置は、符号化対象の
ピクチャの符号化がなされた後、割り当てビット量Ｒか
ら符号化対象ピクチャの符号化による発生ビット量を減
算することにより割り当てビット量Ｒを更新する。 ＜マクロブロック単位のループ＞Ｓ６０６からＳ６１０
におけるマクロブロック単位のループにおいてレート制
御装置は、マクロブロックに対する割り当てビット量と
マクロブロックの符号化による発生ビット量との差を、
ピクチャタイプ別に累計することにより３種類の仮想バ
ッファ占有量をそれぞれ更新しつつ、それら仮想バッフ
ァ占有量に基づいてマクロブロックの量子化スケールを
算出し、符号化装置の量子化を制御する。

【００１０】詳しくはＳ６０７においてレート制御装置
は、符号化対象のマクロブロックの量子化スケールコー
ドを算出する。Ｓ６０７においてＱは符号化対象のマク
ロブロックの量子化スケール、ｄｉ，ｐ，ｂは符号化対
象のマクロブロックと同一のピクチャタイプの仮想バッ
ファ占有量、ｒは仮想バッファサイズ（仮想バッファ占
有量の最大値）である。

【００１１】レート制御装置は、Ｓ６０７で算出された
量子化スケールで符号化装置に量子化を行わせる（Ｓ６
０８）。つづいてＳ６０９においてレート制御装置は、
ピクチャタイプ別の仮想バッファ占有量を更新する。こ
こで右辺のｄｉ，ｐ，ｂは前回のマクロブロック単位ル
ープにおけるピクチャタイプ別の仮想バッファ占有量、
ＭＢｇｅｎｂｉｔはＳ６０８におけるマクロブロック符
号化による発生ビット量、ＭＢｃｎｔはピクチャ内のマ
クロブロック数である。

【００１２】以上のようにレート制御装置は、ピクチャ
単位にＧＯＰ内の未符号化ピクチャに割り当てられる割
り当てビット量Ｒをピクチャの符号化順に配分し、ピク
チャタイプ別の仮想バッファ占有量に基づいて各ピクチ
ャタイプで独立に同ピクチャタイプの量子化スケールを
算出し、符号化装置の量子化にフィードバックすること
により符号化装置のレート制御を行っている。

【００１３】

【発明が解決しようとする課題】ところで上記従来技術
のレート制御装置においては、画像の複雑さが変化する
と、発生符号量が変化し、発生符号量の変化に応じて仮
想バッファ占有量が変化し、仮想バッファ占有量に応じ
て量子化スケール変化する、というように画像の複雑さ
の変化が段階を踏んで間接的に量子化スケールの変化に
伝達される。このため画質の複雑さの変化速度に対して
量子化スケールの変化速度は遅い。例えば図９に示すよ
うに、フレーム時刻ｔにおいてピクチャが画像内の輝度
変化の大きい複雑な画像から輝度変化の小さい簡単な画
像へと急に変化した場合、縦軸に示す量子化スケールの
値は画像の複雑さの急変に比して緩やかに小さくなる方
向へと変化する。同図の７０１及び７０３の期間におい
て量子化スケールは画像の複雑さに対して適当な値をと
っているが、７０２の期間、すなわち量子化スケールが
平坦な画像に適した値に達するまでの期間においては、
量子化スケールは不適当な値となり、その期間の画質が
低下するという問題があった。

【００１４】また従来技術のレート制御装置は、図１０
に示すように、ＧＯＰの割り当てビット量Ｒから割り当
て済みのビット量を引いた残りの割り当てビット量Ｒ１
を、未符号化ピクチャに分配する。このようにＧＯＰ毎
に割り当てビット量Ｒが制限されているため、例えばＧ
ＯＰの末尾に近づくにつれて画像の複雑さが増大したと
すると、末尾につれて多くの割り当てビット量が必要と
なるのに反して、実際に割り当てられるビット量は少な
くなり、ＧＯＰの末尾の画質が低下するという問題があ
った。

【００１５】よって本発明は上記問題による画質低下を
解消したレート制御装置及びレート制御方法及び符号化
装置の提供を目的とする。

【００１６】

【課題を解決するための手段】上記問題を解決するた
め、本発明のレート制御装置は、仮想バッファの占有量
に基づいてマクロブロック毎の符号化の量子化スケール
を算出し、算出された量子化スケールを符号化装置にフ
ィードバックすることにより符号化のビットレートを制
御するレート制御装置であって、仮想バッファ占有量を
保持する保持手段と、ピクチャ単位の符号化毎に目標ビ
ット量に応じた目標量子化スケールを算出し、前記保持
手段の仮想バッファ占有量を前記目標量子化スケールに
応じて初期化する初期化手段とを備える。

【００１７】この構成によればレート制御装置は、目標
量子化スケールに基づいて仮想バッファ占有量の初期化
を行うが、この目標量子化スケールは画像の複雑さに基
づいて算出されるため、初期化された仮想バッファ占有
量は画像の複雑さの変化を反映した値となる。このため
本発明のレート制御装置は、仮想バッファ占有量が画像
の複雑さの短時間の変化に追従する速度が従来のレート
制御装置より早くなるという効果がある。

【００１８】

【発明の実施の形態】（第１実施形態）以下に第１実施
形態におけるレート制御装置について説明する。図１は
レート制御装置１０とレート制御装置１０がレート制御
する符号化装置１１の構成を示す機能ブロック図であ
る。

【００１９】まず符号化装置１１について簡単に説明
し、続いてレート制御装置１０について説明する。 ＜符号化装置１１＞同図において符号化装置１１は、フ
レームメモリ１２、動きベクトル検出部１３、動き予測
部１４、加算部１５、ＤＣＴ部１６、量子化部１７、逆
量子化部１８、逆ＤＣＴ部１９、加算部２０、可変長符
号部２２、バッファ２３より構成される。

【００２０】フレームメモリ１２は、符号化前の動画デ
ータを、図示しない制御部によってピクチャの符号化順
に並べ替えられた状態で記憶する。動きベクトル検出部
１３は、フレームメモリ１２に記憶された動画データに
ついてマクロブロック単位に動き補償予測による動きベ
クトルを検出し、動き予測部１４及び可変長符号部２２
に出力する。

【００２１】動き予測部１４は、動きベクトルに基づい
て予測メモリ２１からマクロブロックの参照用のブロッ
クを読み出し、加算部１５に出力する。加算部１５は、
フレームメモリ１２より出力されるマクロブロックと動
き予測部１４からの参照用ブロックとの予測誤差を算出
してＤＣＴ部１６に出力する。ＤＣＴ部１６は、加算部
１５からの予測誤差又はフレームメモリ１２のマクロブ
ロックについてＤＣＴ（離散コサイン変換）を行って１
６×１６要素のＤＣＴ係数からなるＤＣＴブロックを量
子化部１７に出力する。

【００２２】量子化部１７は、予め記憶している量子化
テーブルを用いてＤＣＴブロックを量子化し、１６×１
６要素の量子化ＤＣＴ係数からなる量子化ブロックを可
変長符号部２２に出力する。ここにおいて量子化部１７
は、ＤＣＴブロックの各ＤＣＴ係数を量子化テーブルの
対応する要素で除算することにより量子化を行う。量子
化テーブルは、量子化マトリックスと量子化スケールと
の積で表される。量子化マトリックスはDCTブロック内
の相対的な量子化精度を設定するためのマトリックスで
あり、ＤＣＴブロック内の高周波成分が低周波成分より
も粗い量子化精度で量子化されるよう値が配列されてい
る。符号化装置は数種類の量子化マトリックスを記憶し
ており、図示しない制御部の指示により、ピクチャに応
じて数種類の量子化マトリックスを使い分けている。量
子化スケールは、１〜３１の範囲でマクロブロック単位
に設定可能な値であり、レート制御装置１０により量子
化部１７の量子化に用いる値が設定される。量子化スケ
ールの増減によりマクロブロック単位に量子化テーブル
の大きさを変更することが可能となる。

【００２３】逆量子化部１８、逆ＤＣＴ部１９及び加算
部２０は、動き予測部１４による動き予測に用いるため
に量子化部１７より出力される量子化ブロックに逆量子
化及び逆ＤＣＴ（逆離散コサイン変換）を行って予測誤
差を加算することによりマクロブロックを再生し、予測
メモリ２１に出力して記憶させる。可変長符号部２２
は、量子化部１７より出力される量子化ブロックをジグ
ザグスキャン順に走査して可変長符号化を行い、ビット
列をバッファ２３に出力する。 ＜レート制御装置１０＞レート制御装置１０は、符号化
装置１１のバッファ２３をシミュレートした概念的な仮
想バッファを有し、その仮想バッファの占有量に基づい
てマクロブロック毎の量子化スケールを算出し、算出さ
れた量子化スケールを符号化装置１１にフィードバック
することにより符号化のビットレートを制御する。この
ようなマクロブロック単位のレート制御に加えて、レー
ト制御装置１０は、ピクチャ毎に平均量子化スケールを
算出し、算出された平均量子化スケールに応じて仮想バ
ッファの占有量を初期化する処理を行っている。

【００２４】図２は、レート制御装置１０の詳細な構成
を示す機能ブロック図である。同図においてレート制御
装置１０は、ピクチャ平均ビット量計算部２１１、ピク
チャ出現確率計算部２１２、ピクチャ平均複雑度計算部
２１３、ピクチャ複雑度計算部２１４、平均量子化スケ
ール計算部２１５、ピクチャ目標ビット量計算部２１
６、マクロブロック目標ビット量計算部２１７、仮想バ
ッファ初期化部２１８、仮想バッファ占有量保持部２１
９、量子化スケール計算部２２０、仮想バッファ占有量
更新部２２１、符号化制御部２２２から構成される。 ＜仮想バッファ占有量保持部２１９、量子化スケール計
算部２２０、符号化制御部２２１、仮想バッファ占有量
更新部２２１の構成＞仮想バッファ占有量保持部２１
９、量子化スケール計算部２２０、仮想バッファ占有量
更新部２２１、符号化制御部２２２から構成される部分
は、符号化装置１１における符号化のマクロブロック単
位に仮想バッファ占有量を計算し、仮想バッファ占有量
に基づいて量子化スケールを増減するマクロブロック毎
のフィードバックにより符号化装置１１のビットレート
を制御する。

【００２５】仮想バッファ占有量保持部２１９は、マク
ロブロック単位に仮想バッファ占有量更新部２２１によ
り更新される仮想バッファ占有量を記憶する。量子化ス
ケール計算部２２０は、符号化装置１１の量子化部１７
によるマクロブロックの量子化に先だって、仮想バッフ
ァ占有量保持部２１９に記憶される仮想バッファ占有量
から量子化の対象となっているマクロブロックに対する
量子化スケールを次式により算出し、符号化制御部２２
２に出力する。マクロブロックの量子化スケールはマク
ロブロックのピクチャタイプ別に次式により算出され
る。 （式１） ｍｑｕａｎｔ_ｉ，ｐ＝Ｂ×３１／ｒ ｍｑｕａｎｔ_ｂ＝Ｂ×３１／ｒ×Ｋｂ ｒ＝４×ビットレート／ピクチャレート Ｋｂ＝１．４ ここでｍｑｕａｎｔはそれぞれピクチャタイプ別のマク
ロブロックの量子化スケール、Ｂは仮想バッファ占有量
保持部２１９に記憶される仮想バッファ占有量、ｒは仮
想バッファサイズ（仮想バッファ占有量の最大値）、Ｋ
ｂは画質の最適化係数である。量子化スケール算出部２
２０は、符号化対象のマクロブロックのピクチャタイプ
に応じてｍｑｕａｎｔ_ｉ、ｍｑｕａｎｔ_ｐ、ｍｑｕａ
ｎｔ_ｂのいずれかにより当該マクロブロックの量子化
スケールを計算する。

【００２６】符号化制御部２２２は、マクロブロック毎
に、量子化スケール計算部２２０より出力される量子化
スケールを量子化部１７に出力して、量子化部１７にそ
の量子化スケールによる量子化を行わせる。また符号化
制御部２２２は、可変長符号部２２からバッファ２３に
出力されるビット列より、そのマクロブロック単位の発
生ビット量を取得して仮想バッファ占有量更新部２２１
に出力する。

【００２７】仮想バッファ占有量更新部２２１は、符号
化制御２２２より出力されるマクロブロック単位の発生
ビット量と、マクロブロック目標ビット量計算部２１７
より出力されるマクロブロック単位の目標ビット量との
差を算出し、その差を仮想バッファ占有量保持部２１９
に記憶される仮想バッファ占有量に累計することによ
り、マクロブロック毎に仮想バッファ占有量保持部２１
９の仮想バッファ占有量を更新する。仮想バッファ占有
量の更新の式を次式に示す。 （式２） Ｂ＝Ｂ＋ＭＢｇｅｎｂｉｔ−Ｔｍｂ Ｔｍｂ＝Ｔｉ，ｐ，ｂ／ＭＢｃｎｔ ここで左辺のＢは、更新後の仮想バッファ占有量、右辺
のＢは更新前の仮想バッファ占有量、ＭＢｇｅｎｂｉｔ
はマクロブロックの発生ビット量、Ｔｍｂはマクロブロ
ックの目標ビット量、Ｔｉ，ｐ，ｂはそれぞれ、ピクチ
ャタイプ別のピクチャの目標ビット量、ＭＢｃｎｔはピ
クチャ内のマクロブロックの総数である。Ｔｍｂは符号
化対象のマクロブロックのピクチャタイプに応じて、ピ
クチャの目標ビット量Ｔｉ、Ｔｐ、Ｔｂのうちのいずれ
かを、ピクチャ内のマクロブロック総数で割ることによ
り得られる。 ＜仮想バッファ初期化部２１８＞仮想バッファ初期化部
２１８は、符号化装置１１によるピクチャの符号化毎
に、ピクチャの符号化に先だって仮想バッファ占有量保
持部２１９に記憶される仮想バッファ占有量を仮想バッ
ファ初期値に初期化する。仮想バッファ初期化部２１８
は、平均量子化スケール計算部２１５より出力される１
ピクチャあたりの平均量子化スケールに基づいて次式に
より仮想バッファ初期値を計算する。 （式３） Ｂ＝Ｑpic_avg×ｒ／３１ ｒ＝４×ビットレート／ピクチャレート ここでＢは仮想バッファ初期値、Ｑpic_avgは１ピクチ
ャあたりの平均量子化スケール、ｒは仮想バッファサイ
ズ（仮想バッファ占有量の最大値）である。

【００２８】量子化スケールと仮想バッファ占有量とは
図６に示すように一次関数で対応しており、量子化スケ
ールの最大値に対する平均量子化スケールの割合と、仮
想バッファ占有量の最大値（仮想バッファサイズ）との
積から符号化に適した仮想バッファ占有量を算出するこ
とができる。このようにレート制御装置１０においては
仮想バッファ初期化部２１８が仮想バッファ占有量保持
部２１９に記憶される仮想バッファ占有量をピクチャの
符号化毎に初期化する。この初期化により仮想バッファ
占有量保持部２１９は、ピクチャ毎に、平均量子化スケ
ールに対応する適当な仮想バッファ占有量を記憶するこ
ととなり、マクロブロック単位の符号化においては適当
な量子化スケールで量子化されることとなる。

【００２９】従来のレート制御装置は、常にマクロブロ
ック毎の発生ビット量と目標ビット量との差を累計して
仮想バッファ占有量を算出するため、シーンチェンジ等
により画像の複雑さが短時間に変化した場合であっても
仮想バッファ占有量の変化速度は複雑さの変化速度より
遅く、仮想バッファ占有量が画像の複雑さの変化に対応
する適当な値に達するまでは不適当な量子化スケールで
レート制御を行う。

【００３０】これに対し本実施形態のレート制御装置
は、ピクチャの符号化毎にピクチャの平均量子化スケー
ルに対応する値に仮想バッファ占有量を初期化する。仮
想バッファ初期値の基となっているピクチャの平均量子
化スケールは画像の複雑さに基づいて計算されているた
め、仮想バッファ初期値は画像の複雑さの変化を反映し
た値となる。このため本実施形態のレート制御装置は、
仮想バッファ占有量が画像の複雑さの短時間の変化に追
従するのが従来より早くなる。例えば画像が複雑なシー
ンから単純なシーンに短時間で変化する場合、従来のレ
ート制御装置であれば単純なシーンの最初の部分を大き
な量子化スケールで符号化するため画質が低下するとい
う問題があったが、本実施形態のレート制御装置であれ
ば量子化スケールが単純なシーンに適当な小さな値に変
化する速度が従来のレート制御装置よりもはやいので最
初の部分を大きな量子化スケールで符号化する期間が従
来より短くなり画質低下を低減できるという効果があ
る。 ＜ピクチャ平均ビット量計算部２１１、ピクチャ出現確
率計算部２１２、ピクチャ平均複雑度計算部２１３、ピ
クチャ複雑度計算部２１４、平均量子化スケール計算部
２１５＞ピクチャ平均ビット量計算部２１１、ピクチャ
出現確率計算部２１２、ピクチャ平均複雑度計算部２１
３、ピクチャ複雑度計算部２１４、平均量子化スケール
計算部２１５からなる部分は、ピクチャタイプ別の各ピ
クチャの複雑度とピクチャタイプ別の出現確率とから１
ピクチャあたりの平均量子化スケールを算出し、仮想バ
ッファ初期化部２１８に出力する。

【００３１】ピクチャ平均ビット量計算部２１１は、符
号化のビットレートをピクチャレートで除算することに
よりピクチャの平均ビット量Ｔpic_avgを算出し、平均
量子化スケール算出部２１５に出力する。なお符号化の
ビットレート及びピクチャレートが固定の場合は、予め
算出したピクチャ平均ビット量を平均量子化スケール計
算部２１５に記憶させておくことによりピクチャ平均ビ
ット量計算部２１１を省略してもよい。

【００３２】ピクチャ出現確率計算部２１２は、符号化
装置１１におけるピクチャの符号化毎に符号化装置１１
の図示しない制御部より符号化対象ピクチャのピクチャ
タイプが入力され、ピクチャタイプ毎にピクチャ枚数を
計上することによりピクチャタイプ毎の出現確率を算出
し、ピクチャ平均複雑度計算部２１３に出力する。ここ
でピクチャ出現確率計算部２１２は、ピクチャタイプ別
のピクチャ枚数の計上を動画データの符号化開始時から
継続して行うようにしてもよいし、所定期間にわたって
行うようにしてもよい。

【００３３】GOP構造が固定の場合には次式により算出
してもよい。 （式４） Ｐｉ＝１／Ｎ Ｐｐ＝１／Ｍ−１／Ｎ Ｐｂ＝１−１／Ｍ ここでＰｉ，ｐ，ｂはそれぞれピクチャタイプＩ、Ｐ、
Ｂの出現確率、ＮはＧＯＰ中のピクチャ総数、ＭはＰフ
レーム間の距離である。

【００３４】またGOP構造が固定の場合には、（式４）
によらなくともGOP構造により出現確率を計算すること
ができるので、ピクチャ出現確率をピクチャ平均複雑度
計算部２１３に予め記憶させておくことによりピクチャ
確率計算部２１２を省略することができる。ピクチャ複
雑度計算部２１４は、１ピクチャの発生ビット量と１ピ
クチャの平均量子化スケールとからピクチャタイプ別に
ピクチャの複雑度を計算してピクチャ平均複雑度計算部
２１３に出力する。ピクチャタイプ別のピクチャの複雑
度は次式により表される。 （式５） Ｘｉ＝Ｓｉ×Ｑｉ Ｘｐ＝Ｓｐ×Ｑｐ Ｘｂ＝Ｓｂ×Ｑｂ／Ｋｂ ここでＸｉ，ｐ，ｂはそれぞれピクチャタイプＩ、Ｐ、
Ｂ別のピクチャの複雑度、Ｓｉ，ｐ，ｂはピクチャタイ
プＩ、Ｐ、Ｂ別のピクチャの発生ビット量、Ｑｉ，ｐ，
ｂはピクチャタイプＩ、Ｐ、Ｂ別のピクチャの平均量子
化スケールである。ピクチャ複雑度計算部２１４は、ピ
クチャタイプ毎にマクロブロック毎の量子化に用いられ
た量子化スケールの１ピクチャ分の算術平均を計算して
いる。なお、ピクチャ複雑度計算部２１４は、符号化制
御部２２２より出力されるマクロブロックの発生ビット
量を累計することにより１ピクチャの発生ビット量Ｓ
ｉ，ｐ，ｂを算出し、符号化制御部２２２より出力され
るマクロブロックの量子化スケールの１ピクチャ分を平
均することによりピクチャの平均量子化スケールＱｉ，
ｐ，ｂを算出する。またシーケンスの符号化開始時にお
ける複雑度の初期値は、次式とする。 （式６） Ｘｉ＝１６０×ビットレート／１１５ Ｘｐ＝６０×ビットレート／１１５ Ｘｂ＝４２×ビットレート／１１５／Ｋｂ Ｋｂ＝１．４ ここでＸｉ，ｐ，ｂはそれぞれピクチャタイプ別の複雑
度初期値、Ｋは画質最適化計数である。

【００３５】ピクチャ平均複雑度計算部２１３は、ピク
チャ出現確率計算部２１２からの出現確率と、ピクチャ
複雑度計算部２１４からのピクチャの複雑度とから次式
によりピクチャの平均複雑度を算出して平均量子化スケ
ール計算部２１５に出力する。 （式７） Ｘpic_avg＝Ｐｉ×Ｘｉ＋Ｐｐ×Ｘｐ＋Ｐｂ×Ｘｂ ここでＸpic_avgはピクチャの平均複雑度、Ｐｉ，ｐ，
ｂはピクチャタイプ別の出現確率、Ｘｉ，ｐ，ｂはピク
チャタイプ別の複雑度である。

【００３６】量子化スケール計算部２１５は、ピクチャ
の符号化毎に符号化に先だって、ピクチャ平均ビット量
計算部２１１からのピクチャ平均ビット量と、ピクチャ
平均複雑度計算部２１３からのピクチャ平均複雑度とか
ら次式により平均量子化スケールを計算してピクチャ目
標ビット量計算部２１６及び仮想バッファ初期化部２１
８に出力する。 （式８） Ｑpic_avg＝Ｘpic_avg／Ｔpic_avg ここでＱpic_avgは平均量子化スケール、Ｘpic_avgはピ
クチャ平均複雑度、Ｔpic_avgはピクチャ目標ビット量
である。 ＜ピクチャ目標ビット量計算部２１６、マクロブロック
目標ビット量計算部２１７＞ピクチャ目標ビット量計算
部２１６は、ピクチャ複雑度計算部２１４からのピクチ
ャタイプ別のピクチャ複雑度と、平均量子化スケール計
算部２１５からの平均量子化スケールとが出力される
と、次式によりピクチャの目標ビット量をピクチャタイ
プ別に算出し、マクロブロック目標ビット量計算部２１
７に出力する。 （式９） Ｔｉ＝Ｘｉ／Ｑpic_avg Ｔｐ＝Ｘｐ／Ｑpic_avg Ｔｂ＝Ｘｂ／Ｑpic_avg ここでＴｉ，ｐ，ｂは、ピクチャタイプ別のピクチャの
目標ビット量、Ｘｉ，ｐ，ｂはピクチャタイプ別のピク
チャ複雑度、Ｑpic_avgは平均量子化スケールである。

【００３７】マクロブロック目標ビット量計算部２１７
は、ピクチャ目標ビット量計算部２１６より出力される
ピクチャの目標ビット量Ｘｉ，ｐ，ｂから、次式により
マクロブロックの目標ビット量を換算して仮想バッファ
占有量更新部２２１に出力する。 （式１０） Ｔｍｂ_i＝Ｔｉ／ＭＢcnt Ｔｍｂ_p＝Ｔｐ／ＭＢcnt Ｔｍｂ_b＝Ｔｂ／ＭＢcnt ここでＴｍｂ_i,p,bはピクチャタイプ別のマクロブロッ
クの目標ビット量、Ｔｉ，ｐ，ｂはピクチャタイプ別の
ピクチャタイプの目標ビット量、ＭＢcntはピクチャ内
のマクロブロック総数である。 ＜レート制御装置１０の動作説明＞以上のように構成さ
れたレート制御装置１０について以下にその動作を説明
する。

【００３８】図３はレート制御装置１０のレート制御の
概略の処理手順を示すフローチャートである。同図に示
すようにレート制御装置１０は、符号化装置１１のピク
チャ単位及びマクロブロック単位の符号化処理に同期し
てレート制御を行う。レート制御装置１０は、符号化装
置１１による符号化開始に先だって初期設定を行う（Ｓ
３０１）。この初期設定においてレート制御装置１０
は、複雑度Ｘi,p,bの初期値を計算する。

【００３９】Ｓ３０２〜Ｓ３１０のピクチャ単位のルー
プにおいてレート制御装置１０は、まず符号化装置１１
のピクチャ符号化に先だって、ピクチャの平均量子化ス
ケールＱpic_avg、ピクチャの割り当てビット量Ｔｉ，
ｐ，ｂの算出と、仮想バッファ占有量Ｂの初期化とを行
い（Ｓ３０３）、ピクチャ符号化後にピクチャの複雑度
Ｘｉ，ｐ，ｂの更新を行う。

【００４０】Ｓ３０４〜Ｓ３０８のマクロブロック単位
のループにおいてレート制御装置１０は、マクロブロッ
クの符号化に先だってマクロブロックの量子化スケール
を算出し（Ｓ３０５）、符号化装置１１の量子化部１７
に算出された量子化スケールによる量子化を行わせ（Ｓ
３０６）、マクロブロックの符号化後に仮想バッファ占
有量を更新する（Ｓ３０７）。

【００４１】図４は、Ｓ３０２〜Ｓ３１０におけるピク
チャ単位のループにおけるレート制御装置１０の処理手
順を詳細に示すフローチャートである。同図においてレ
ート制御装置１０は、ピクチャタイプ別の出現確率Ｐ
ｉ，ｐ，ｂを算出する（Ｓ４０１）。次にレート制御装
置１０は、ピクチャタイプ別の複雑度とピクチャタイプ
別の出現確率とからピクチャの平均複雑度Ｘpic_avgを
算出する。

【００４２】つづいてレート制御装置１０は、平均量子
化スケールＱpic_avgを算出し（Ｓ４０３）、平均量子
化スケールＱpic_avgとピクチャタイプ別の複雑度Ｘi,
p,bとからピクチャタイプ別に割り当てビット量Ｔi,p,b
を算出する（Ｓ４０４）。レート制御装置１０は平均量
子化スケールＱpic_avgに基づいて仮想バッファ占有量
Ｂを初期化する（Ｓ４０５）。

【００４３】Ｓ３０４〜Ｓ３０８のマクロブロック単位
のループにおいては、Ｓ４０１〜Ｓ４０５において算出
されたピクチャの割り当てビット量Ｔｉ，ｐ，ｂ及び初
期化された仮想バッファ占有量Ｂに基づいて、マクロブ
ロック毎のレート制御がなされる。レート制御装置１０
は、マクロブロック単位の符号化時のマクロブロック毎
の発生ビット量と量子化スケールとから、ピクチャ毎の
発生ビット量とピクチャの平均量子化スケールとを算出
し、それらを用いてピクチャタイプ別に複雑度Ｘi,p,b
を更新する（Ｓ３０９）。

【００４４】図５は、Ｓ３０４〜Ｓ３０８におけるマク
ロブロック単位のループにおけるレート制御装置１０の
処理手順を詳細に示すフローチャートである。同図にお
いてレート制御装置１０は、仮想バッファ占有量に基づ
いて符号化対象のマクロブロックの量子化スケールを算
出し（Ｓ３０４）、算出した量子化スケールにより量子
化部１７に量子化を行わせ（Ｓ３０６）、当該符号化対
象マクロブロックの符号化後の発生ビット量と、マクロ
ブロックの目標ビット量との差を仮想バッファ占有量に
累計することにより仮想バッファ占有量を更新する（Ｓ
３０７）。

【００４５】このようにレート制御装置１０は、ピクチ
ャ単位及びマクロブロック単位にレート制御の処理を繰
り返し行う。ここで従来のレート制御装置のレート制御
の手順を示す図８のフローチャートと、図３〜５のフロ
ーチャートとを比較して大きく異なる点は次の２点であ
る。１つは、図８のフローチャートにおいてＧＯＰ単位
に行われる割り当てビット量Ｒの算出が図３のフローチ
ャートにおいて省略されている点である。

【００４６】従来のレート制御装置はＧＯＰ内の残りの
割り当てビット量ＲをＧＯＰ内の未符号化ピクチャに配
分するので、残りの割り当てビット量ＲがＧＯＰ境界に
より制限される。このためＧＯＰの最後の方でピクチャ
の複雑度が増大した場合、ＧＯＰの最後の方で各ピクチ
ャに割り当てられるビット量が不足気味になり画質が低
下するという問題が起こっていた。これに対し、本実施
形態のレート制御装置は、割り当てビット量Ｒをピクチ
ャの符号化順に割り当てていくという処理を行わず、ピ
クチャの出現確率に基づいてピクチャのビット割り当て
量を決定するので、ＧＯＰ境界の制約をうけないものと
なり上記の問題が発生しない。

【００４７】他の１つは、本実施形態のレート制御装置
はＳ４０５において、ピクチャタイプ単位に仮想バッフ
ァ占有量Ｂの初期化を行っている点である。これにより
仮想バッファ占有量が画像の複雑さの変化に対する仮想
バッファ占有量の変化の応答速度が従来よりも速くなる
ので、不適当な量子化スケールで量子化される期間が短
くなり画質低下を低減できるという効果がある。なお、
本実施形態において、量子化スケール計算部２２０は、
仮想バッファ占有量から一次関数により量子化スケール
を算出するが一次関数以外の関数を用いてもよい。

【００４８】また本実施形態においてはフレーム構造ピ
クチャの場合について説明しているが、計算式の中のフ
レームレートをフィールドレートに代えることにより、
フィールド構造ピクチャについても同様に実施可能であ
る。 （第２実施形態）以下に第２実施形態におけるレート制
御装置について説明する。

【００４９】本実施形態におけるレート制御装置２０
は、レート制御装置１０と同様の図３〜図５に示すフロ
ーチャートの処理に加えて、デコーダのバッファのオー
バフローあるいはアンダーフローを防ぐための処理を行
う。以下、異なる点を中心に説明する。仮想バッファ占
有量保持部２１９は、第１実施形態と同様の機能に加え
て、動画データの最初のピクチャが符号化装置１１によ
り符号化される直前のＶＢＶ（Video Buffering Berifi
er）バッファ占有量（ＶＢＶバッファ初期値）を予め記
憶する。この値はＭＰＥＧ規格のvbv delayから求める
ことができる。vbv delayは、符号化装置１１の図示し
ない制御部によりピクチャヘッダにおいて定義される。

【００５０】ここでＶＢＶは、符号化装置１１の出力に
接続される概念的な仮想デコーダモデルである。ＶＢＶ
については公知であるので詳しい説明は省略する。仮想
バッファ占有量更新部２２１は、第１実施形態と同様の
機能に加えて、Ｉピクチャが出現するごとに、当該Ｉピ
クチャが符号化される直前のＶＢＶバッファ占有量と仮
想バッファ占有量保持部２１９に保持されるＶＢＶバッ
ファ初期値との差ＶＢＶ_diffを算出する。

【００５１】ピクチャ平均ビット量計算部２１１は、第
１実施形態と同様の機能に加えて、Iピクチャの符号化
毎にその符号化に先立って、次式によりピクチャ平均ビ
ット量Tpic_avgを修正する。 （式１１） Tpic_avg = Tpic_avg + VBV_diff / ピクチャーレート ピクチャ目標ビット量計算部２１６は、符号化対象ピク
チャの符号化が開始される前に、算出したピクチャ目標
ビット量Ｔi,p,bとVBVバッファ占有量とを比較し、ピク
チャ目標ビット量Ｔi,p,bの方が大きい場合にはアンダ
ーフローさせないためにピクチャ目標ビット量Ｔi,p,b
を減らす。またピクチャ目標ビット量計算部２１６は、
ピクチャ目標ビット量Ｔi,p,bに基づいて符号化がなさ
れた場合にオーバーフローするか否かをシミュレート
し、オーバフローする場合はオーバフローしないように
ピクチャ目標ビット量Ｔi,p,bを増やす。さらにピクチ
ャ目標ビット量計算部２１６は、ピクチャをエンコード
した後、オーバフローするかどうか調べ、オーバフロー
する場合はスタッフィングビットを入れる。ここで入れ
たスタッフィングビットは複雑度の計算には含めない。 （第３実施形態）以下に第３実施形態の符号化装置につ
いて説明する。

【００５２】本実施形態の符号化装置３０は、図２の構
成に加えてシーンチェンジ処理部を備え、シーンチェン
ジ処理部が図３、図４、図５のフローチャートに示す処
理に加えて、シーンチェンジ直後の画質の低下を改善す
るための処理をピクチャ単位のループ中において実行す
る。シーンチェンジ処理部は、図４のＳ４０１より先に
ピクチャのシーンチェンジを検出する。これは入力画像
の連続するフレーム間の輝度の差分の絶対値の総和を閾
値と比較するなどの方法で検出することができる。シー
ンチェンジ処理部は、シーンチェンジを検出した場合、
符号化対象ピクチャのピクチャタイプがＰピクチャであ
る場合には、以下の処理を行う。

【００５３】ここにおいてシーンチェンジ直後の符号化
対象のピクチャはＩピクチャ又はＰピクチャであって、
符号化順序の規制によりＢピクチャが符号化対象となる
ことはない。シーンチェンジの直後のＰピクチャの複雑
度を求める。複雑度を求める方法はいくつか考えられ
る。例えば、リアルタイムで符号化する必要がないので
あれば、予め符号化して発生ビット量と平均量子化パラ
メタから複雑度を求めることができる。リアルタイムで
符号化する必要がある場合は、２台の符号化装置を用い
て、第２の符号化装置の前にバッファを設けて入力画像
を遅延させ、第１の符号化装置で符号化したときの複雑
度の値を第２の符号化装置に送り、第２の符号化装置は
第１の符号化装置から受けとった信号によって符号化す
る前に複雑度を知ることができる。

【００５４】シーンチェンジの直後のＰピクチャは参照
する他のＰピクチャまたはＩピクチャとは別のシーンな
ので動き予測に相関性がない。そのため、シーンチェン
ジの直後のＰピクチャの複雑度は予測の効果がないので
Ｉピクチャとして符号化したときの値に近いものにな
る。経験的にＩ、Ｐ、Ｂピクチャの複雑度の比は大体
４：２：1/Kb（ここでＫｂ＝１．４）となることが知ら
れている。そこで、シーンチェンジの直後のＰピクチャ
の求められた複雑度を Xp として、次式により複雑度を
推定する。 （式１２） Xi' = Xp Xp' = Xi'/2 Xb' = (Xp'/2)/Kb Ｓ４０２移行の処理において符号化装置３０は、Ｘi,p,
bの代わりに、Ｘi',p',b'を用いる。

【００５５】Ｓ４０４においてピクチャタイプ別の割り
当てビット量を求めた後で、Ｐピクチャの割り当てビッ
ト量 Tp を1.5倍する。これはシーンチェンジの直後の
Ｐピクチャが予測効果が低いので、画質の低下を防ぐた
めに通常よりもビットを多く配分するのである。一方、
Ｓ４０３においては算出したピクチャの平均量子化スケ
ールＱpic_avgを１．５で割る。ピクチャ別の割り当て
ビット量を１．５倍するので、それに対応させて量子化
スケールを小さくするためである。

【００５６】これ以降は、実施の形態１と同様の処理を
行う。Xpic_avgは画像の複雑さを表す尺度であるが、シ
ーンチェンジ前後の画像の複雑さが異なる場合はシーン
チェンジの前と後で Xpic_avg の値が大きく異なる。複
雑度が大きく異なる結果、量子化ステップもシーンチェ
ンジの前後で大きく異なる。従来の方法では仮想バッフ
ァ占有量は連続的に変化するので、シーンチェンジ後に
仮想バッファ占有量が適当な値に達するまでは不適当な
量子化ステップで符号化してしう。

【００５７】一方、本発明の方法によれば、ステップ１
２で適当な量子化ステップに対応する仮想バッファ占有
量に直接変化させるので、シーンチェンジ後のピクチャ
の先頭から適当な量子化ステップで符号化することがで
きる。これにより特に効果があるのが複雑なシーン（Xp
ic_avgが大きく、Qpic_avgが大きい）から単純なシーン
（Xpic_avgが小さく、Qpic_avgが小さい）に変化する場
合である。従来の方法では量子化ステップが連続的にし
か変化しないので、単純なシーンの最初の部分を大きな
量子化ステップで符号化してしまい、画質が低下する
が、本実施形態では単純なシーンの先頭から小さな量子
化ステップで符号化するので画質が低下しない。特に単
純なシーンでは視覚的にノイズが目立ちやすいので、単
純なシーンに変化したときに画質が低下しないことは重
要である。 （第４実施形態）図７は、符号化装置４０の構成図であ
る。

【００５８】同図において符号化装置４０は、入力され
る動画データをピクチャの符号化順に並び替えて記憶す
るフレームメモリ７１１、フレームメモリ７１１に記憶
される動画データのマクロブロック単位に動きベクトル
を検出する動きベクトル探索部７０１、フレームメモリ
７１１に記憶される動画データをマクロブロック単位に
符号化部７０に出力するスキャン変換部７０３、レート
制御を行いつつ各マクロブロックについてDCT、量子
化、可変長符号化を行う符号化部７０から構成される。

【００５９】符号化部７０は、ＤＣＴ及び動き補償予測
のための逆ＤＣＴを行うＤＣＴ／ＩＤＣＴ部７０６、量
子化とレート制御とを行うＤＳＰ（ディジタルシグナル
プロセッサ）７０５、可変長符号化を行うＶＬＣ（可変
長符号）部７０７、ＤＳＰ７０５のレート制御により一
定のビットレートで符号化されたビット列を出力するレ
ートバッファ７０８、動き予測のために逆ＤＣＴ及び逆
量子化等により再生された再生フレームを記憶するフレ
ームメモリ７０９から構成される。

【００６０】ＤＳＰ７０５は、７０６によりＤＣＴされ
たＤＣＴブロックを量子化スケールに応じて量子化し、
量子化ブロックをＶＬＣ部７０７に出力する。ＤＳＰ７
０５は、図３〜図５のフローチャートに示す処理を実装
したマイクロコードを記憶し、そのマイクロコードを実
行することによりレート制御を行う。詳細な処理につい
ては図３〜図５と同様であるので説明を省略する。 （第５実施形態）本実施の形態ではシーンチェンジ後に
画質の低下を防ぐために、シーンチェンジ検出（シーン
チェンジがあったことの通知）と複雑度情報（シーンチ
ェンジ後の画像の複雑度）を用いる。本実施の形態では
シーンチェンジを検出し、複雑度を求めて、それ以降は
第３実施形態と同様に進める。シーンチェンジ検出と複
雑度推定を行った後の手順は第３実施形態と同様なので
省略し、シーンチェンジの検出方法と複雑度の推定方法
について説明する。

【００６１】まず、シーンチェンジ検出の方法について
説明する。シーンチェンジの検出方法としてフレーム間
の差分を用いる方法が広く知られているが、本実施の形
態ではフレームあるいはフィールドの輝度の平均の変化
を用いて行う。この方法は前フレームを保存するメモリ
を持つ必要がないのでハードウェアのコストを小さくす
ることができる。具体的には、｜フレームnの輝度の平
均−フレーム(n-1)の輝度の平均｜＞しきい値のときに
ｎフレームでシーンチェンジが発生したと判定する。整
数演算しかできない場合は、平均の計算による精度の低
下を防ぐために｜フレームnの輝度の合計−フレーム(n-
1)の輝度の合計｜＞しきい値×画素数により判定する。

【００６２】式で書くと、フレームサイズが横720×縦4
80のときフレームの合計で判定する場合は、nフレーム
の第１フィールドのiライン、j画素の輝度をYij(n)と書
くことにすると （式１３） のときにnフレームでシーンチェンジが発生したと判定
する。

【００６３】フレームサイズが横720×縦480のときフィ
ールドの合計で判定する場合は、nフレームの第１フィ
ールドのiライン、j画素の輝度をYij(n)と書くことにす
ると (式１４) のときにnフレームでシーンチェンジが発生したと判定
する。

【００６４】この方法は単純ではあるが、実験の結果、
十分な精度で検出できることが明らかとなっている。通
常の画像はこの方法でシーンチェンジ誤検出（シーンチ
ェンジでないのにシーンチェンジと判定する）は起きな
いが、外乱による輝度の変化が強い環境で撮影した画像
では誤検出のおそれがある。誤検出が短い間隔で連続し
て起きるとシーンチェンジ処理が連続して実行されてし
まうので好ましくない。そのため、一旦シーンチェンジ
を検出したらその後一定期間（数秒程度）はシーンチェ
ンジを検出しないか検出してもシーンチェンジ処理を行
わないようにする。

【００６５】なお、撮影環境によっては外乱によりシー
ンチェンジがなくても輝度の変化が大きくなることがあ
るので、撮影環境に応じて前記と異なるしきい値を用い
ても同様に実施可能である。なお、シーンチェンジ検出
方法と後述の複雑度推定方法は不可分のものではないの
で、一方により精度の高い別の方法があれば、他方に影
響を与えずに精度の高い別の方法に置き換えることがで
きる。

【００６６】次に、複雑度の推定方法について説明す
る。シーンチェンジの後の画質改善は前記実施の形態２
で説明したように、シーンチェンジ後の最初のＰピクチ
ャのビット量を増やすことによって実現する（シーンチ
ェンジがＢピクチャで起きても、その後のＰピクチャを
先に符号化するので、シーンチェンジは常にＰピクチャ
で起きると考えてよい）。このＰピクチャのビット割り
当てを求めるのに複雑度を用いるので、該Ｐピクチャを
符号化する前に複雑度を知る必要がある。シーンチェン
ジ直後のＰピクチャは動き補償の効果が小さいので、Ｐ
ピクチャとして符号化してもＩピクチャとして符号化し
ても複雑度は同じである。

【００６７】フレームの複雑度の推定は、推定対象のフ
レーム全体のデータから推定する方法や、一方のフィー
ルドのデータだけで推定する方法が考えられる。ＮＴＳ
Ｃはインターレース画像なので、第１フィールドのデー
タだけで推定する方法を用いれば、第２フィールドの先
頭が入力されたときに推定値を用いて該フレームのエン
コードを開始できるので、符号化処理による遅延を小さ
くする上で有利である。

【００６８】以下に複雑度推定のアルゴリズムを説明す
る。第１フィールドの縦８×横８のブロックの分散の対
数から以下の手順によって複雑度を推定する。ブロック
内の画素数を Nとし（この場合は64）、輝度を Yi (i=
1,,,N) とする。次に、フィールドの縦８×横８のブロ
ックの輝度の分散を求める。輝度の２乗の平均 meanSQY
を求める。 （式１５） 輝度の平均の２乗 SQmeanYを求める。 （式１６） SQmeanY = meanY×meanY 分散 VARを求める。

【００６９】VAR = meanSQY - SQmeanY 次に、前記の分散 VARに対する log2(VAR)を求める（lo
g2は２を底とする対数であるが、特に x<1に対しては l
og2(x)=0とする。）。ハードウェアを単純にするために
以下のようにして近似する。非負の整数 xが16 ビット
で表されているとする。

【００７０】最上位ビットが 1ならば log2(x)=15 とす
る。最上位ビットが 0ならば、１ビット左にシフトして
最上位ビットを調べ、1 ならば log2(x)=14 とする。以
下同様に進めていき、n ビットシフトしたときに最上位
ビットが初めて 1となったら log2(x) = 15 - n とする。15ビットまでシフトしても 1がない場合は log
2(x)=0とする。

【００７１】ステップ８３。このステップでは、分散の
log2 の値をフィールド全体で合計する。各ブロックに
対して前述のようにして求めた log2(VAR)の値を LYij
とし、第１フィールド全体（ブロックは合計３０×９０
個ある）の合計値 sumLYを求める。 （式１７） フレームサイズが横７２０×縦４８０と異なる場合やブ
ロックのサイズが縦８×横８と異なる場合は、その画素
数とブロックサイズに対応したブロック個数とする。

【００７２】次に前記 sumLYから複雑度の推定値 Xを求
める。sumLY < 12800 のとき X = sumLY×70 + 550000 とし、それ以外で sumLY < 17600のとき X = sumLY×230 - 1500000 とし、それ以外のとき X = sumLY×440 - 5200000 とする。

【００７３】フィールドの縦８×横８のブロックを基に
して推定する方法を上に示したが、ライン単位の処理で
可能な方法ならばハードウェアを単純にすることができ
るので、次に、フィールドの縦１×横１６のブロックを
基にして推定する方法を説明する。前記ステップ８１か
らステップ８３までは同じであり、前記ステップ８４の
代わりに以下のステップ８４ａを実行する。

【００７４】ステップ８４ａ。分散の log2 の合計値 s
umLYから複雑度の推定値 Xを求める。sumLY < 48300 の
とき X = sumLY×30 + 350000 とし、それ以外のとき X = sumLY×90 - 2550000 とする。

【００７５】なお、本実施の形態は２を底とする対数を
用いたが、他の値を底とする対数を用いても対数の値が
定数倍になるだけなので、同様に実施可能である。な
お、統計量を求める単位とするブロックのサイズは本実
施例ではフィールドの縦８×横８のブロックとフィール
ドの縦１×横１６のブロックであったが、他のサイズの
ブロックを用いても実施可能である。例えば、フィール
ドの縦４×横８のブロック、フィールドの縦１×横８の
ブロック、フレームの縦１６×横１６のブロック、フレ
ームの縦８×横８のブロックを基にしても複雑度を推定
することができる。

【００７６】また施例では輝度の分散の対数から複雑度
を推定したが、他の統計量から複雑度を推定することも
可能である。なお、本実施の形態ではフィールドのデー
タから複雑度を推定する場合、フィールドを構成する全
てのブロックのデータを用いたが、全てのブロックを用
いずに一部のブロックの統計情報から複雑度を推定する
こともできる。

【００７７】なお、本実施の形態はフィールドのデータ
を用いる場合、第１フィールドのデータから複雑度を推
定したが、第２フィールドのデータから推定しても同様
に実施可能である。第１フィールドの統計量と第２フィ
ールドの統計量の両方を用いても実施可能である。ま
た、フレームのデータから求めても同様に実施可能であ
る。

【００７８】

【発明の効果】本発明のレート制御装置は、動画データ
の符号化による符号量を監視するための仮想バッファの
占有量に基づいてマクロブロック毎の符号化の量子化ス
ケールを算出し、算出された量子化スケールを符号化装
置にフィードバックすることにより符号化のビットレー
トを制御するレート制御装置であって、仮想バッファ占
有量を保持する保持手段と、ピクチャ単位の符号化毎に
目標ビット量に応じた目標量子化スケールを算出し、前
記保持手段の仮想バッファ占有量を前記目標量子化スケ
ールに応じて初期化する初期化手段とを備える。

【００７９】この構成によれ本発明のレート制御装置は
従来のレート制御装置と比較して以下のような効果があ
る。従来のレート制御装置は、常にマクロブロック毎の
発生ビット量と目標ビット量との差を累計して仮想バッ
ファ占有量を算出するため、シーンチェンジ等により画
像の複雑さが短時間に変化した場合であっても仮想バッ
ファ占有量の変化速度は複雑さの変化速度より遅く、仮
想バッファ占有量が画像の複雑さの変化に対応する適当
な値に達するまでは不適当な量子化スケールでレート制
御を行う。

【００８０】これに対し本実施形態のレート制御装置
は、ピクチャの符号化毎にピクチャの平均量子化スケー
ルに対応する値に仮想バッファ占有量を初期化する。仮
想バッファ初期値の基となっているピクチャの平均量子
化スケールは画像の複雑さに基づいて計算されているた
め、仮想バッファ初期値は画像の複雑さの変化を反映し
た値となる。このため本実施形態のレート制御装置は、
仮想バッファ占有量が画像の複雑さの短時間の変化に追
従するのが従来より早くなるという効果がある。

【００８１】例えば画像が複雑なシーンから単純なシー
ンに短時間で変化する場合、従来のレート制御装置であ
れば単純なシーンの最初の部分を大きな量子化スケール
で符号化するため画質が低下するという問題があった
が、本実施形態のレート制御装置であれば量子化スケー
ルが単純なシーンに適当な小さな値に変化する速度が従
来のレート制御装置よりもはやいので最初の部分を大き
な量子化スケールで符号化する期間が従来より短くなり
画質低下を低減できるという効果がある。

【００８２】また前記初期化手段は、ピクチャタイプ別
のピクチャの複雑度と出現確率との積和により平均複雑
度を算出する第１算出手段と、前記平均複雑度を１ピク
チャあたりの平均の目標ビット量で除算することにより
目標量子化スケールを算出する第２算出手段と、量子化
スケールの最大値に対する前記目標量子化スケールの割
合と、最大仮想バッファサイズとの比から初期占有量を
算出する第３算出手段とを備え、前記初期占有量により
前記保持手段の仮想バッファ占有量を初期化するよう構
成される。

【００８３】前記レート制御装置は、前記保持手段が保
持する仮想バッファ占有量をマクロブロック毎に更新す
る更新手段を備え、前記更新手段は、前記目標量子化ス
ケールに対する複雑度の割合に基づいてマクロブロック
の目標ビット量を算出するビット量算出手段と、前記目
標ビット量とマクロブロック符号化による発生ビット量
との差を仮想バッファ占有量に累計する累計手段とを備
える。

【００８４】この構成によれば本発明のレート制御装置
において、仮想バッファ占有量の更新の基となるマクロ
ブロックの目標ビット量は、平均量子化スケールと複雑
度の割合に基づいて算出され、これらのうち平均量子化
スケールは、平均複雑度と平均目標ビット量とから算出
され、これらのうち平均量子化スケールは、平均複雑度
と平均目標ビット量とから算出され、平均複雑度はピク
チャタイプ別の複雑度と出現確率とから算出される。つ
まりマクロブロックの目標ビット量は、複雑度と出現確
率とに基づいて算出される。より正確には複雑度と出現
確率とに基づいてピクチャの目標ビット量が算出され、
ピクチャの目標ビット量からマクロブロックの目標ビッ
ト量が換算される。このため従来のようにGOPに予め割
り当てられたビット量を各ピクチャに配分することこと
によりピクチャの目標ビット量及びマクロブロックの目
標ビット量を算出しているのではないので、目標ビット
量の割り当ては従来のようにGOP内に予め割り当てられ
た割り当てビット量Rによる制限をうけることがない。
よってGOPの後方で画像の複雑さが増大した場合であっ
ても複雑さが増大した画像に適当なビット量が割り当て
られることとなり画質低下が減少するという効果があ
る。

【図面の簡単な説明】

【図１】レート制御装置１０とレート制御装置１０がレ
ート制御する符号化装置１１の構成を示す機能ブロック
図である。

【図２】レート制御装置１０の詳細な構成を示す機能ブ
ロック図である。

【図３】レート制御装置１０のレート制御の概略の処理
手順を示すフローチャートである。

【図４】Ｓ３０２〜Ｓ３１０におけるピクチャ単位のル
ープにおけるレート制御装置１０の処理手順を詳細に示
すフローチャートである

【図５】Ｓ３０４〜Ｓ３０８におけるマクロブロック単
位のループにおけるレート制御装置１０の処理手順を詳
細に示すフローチャートである。

【図６】量子化スケールと仮想バッファ占有量との対応
を示す。

【図７】符号化装置４０の構成図である。

【図８】レート制御装置におけるレート制御の処理手順
を示すフローチャートである。

【図９】画像が複雑な画像から簡単な画像に短時間で変
化した場合の、量子化スケールの変化を示す。

【図１０】ＧＯＰ内の割り当てビット量ＲをＧＯＰの未
符号化ピクチャに割り当てる様子を示す。

【符号の説明】

１０ レート制御装置 １１ 符号化装置 １２ フレームメモリ １３ 動きベクトル検出部 １４ 動き予測部 １５ 加算部 １６ ＤＣＴ部 １７ 量子化部 １８ 逆量子化部 １９ 逆ＤＣＴ部 ２０ 加算部 ２２ 可変長符号部 ２３ バッファ ２１１ ピクチャ平均ビット量計算部 ２１２ ピクチャ出現確率計算部 ２１３ ピクチャ平均複雑度計算部 ２１４ ピクチャ複雑度計算部 ２１５ 平均量子化スケール計算部 ２１６ ピクチャ目標ビット量計算部 ２１７ マクロブロック目標ビット量計算部 ２１８ 仮想バッファ初期化部 ２１９ 仮想バッファ占有量保持部 ２２０ 量子化スケール計算部 ２２１ 仮想バッファ占有量更新部 ２２２ 符号化制御部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 動画データの符号化による符号量を監視
   するための仮想バッファの占有量に基づいてマクロブロ
   ック毎の符号化の量子化スケールを算出し、算出された
   量子化スケールを符号化装置にフィードバックすること
   により符号化のビットレートを制御するレート制御装置
   であって、 仮想バッファ占有量を保持する保持手段と、 ピクチャ単位の符号化毎に目標ビット量に応じた目標量
   子化スケールを算出し、前記保持手段の仮想バッファ占
   有量を前記目標量子化スケールに応じて初期化する初期
   化手段とを備えることを特徴とするレート制御装置。
2. 【請求項２】 前記初期化手段は、 ピクチャタイプ別のピクチャの複雑度と出現確率との積
   和により平均複雑度を算出する第１算出手段と、 前記平均複雑度を１ピクチャあたりの平均の目標ビット
   量で除算することにより目標量子化スケールを算出する
   第２算出手段と、 量子化スケールの最大値に対する前記目標量子化スケー
   ルの割合と、最大仮想バッファサイズとの比から初期占
   有量を算出する第３算出手段とを備え、 前記初期占有量により前記保持手段の仮想バッファ占有
   量を初期化することを特徴とする請求項１記載のレート
   制御装置。
3. 【請求項３】 前記レート制御装置は、 前記保持手段が保持する仮想バッファ占有量をマクロブ
   ロック毎に更新する更新手段を備え、 前記更新手段は、前記目標量子化スケールに対する複雑
   度の割合に基づいてマクロブロックの目標ビット量を算
   出するビット量算出手段と、 前記目標ビット量とマクロブロック符号化による発生ビ
   ット量との差を仮想バッファ占有量に累計する累計手段
   とを備えることを特徴とする請求項２記載のレート制御
   装置。
4. 【請求項４】 動画データの符号化による符号量を監視
   するための仮想バッファの占有量に基づいてマクロブロ
   ック毎の符号化の量子化スケールを算出し、算出された
   量子化スケールに応じて量子化を行うことにより符号化
   ビットレートを制御しつつ、動画データの符号化を行う
   符号化装置であって、 仮想バッファ占有量を保持する保持手段と、 ピクチャ単位の符号化毎に目標ビット量に応じた目標量
   子化スケールを算出し、前記保持手段の仮想バッファ占
   有量を前記目標量子化スケールに応じて初期化する初期
   化手段とを備えることを特徴とする符号化装置。
5. 【請求項５】 動画データの符号化による符号量を監視
   するための仮想バッファ占有量に基づいてマクロブロッ
   ク毎の符号化の量子化スケールを算出し、算出された量
   子化スケールを符号化装置にフィードバックすることに
   より符号化のビットレートを制御するレート制御方法で
   あって、 仮想バッファ占有量をメモリに保持させる保持ステップ
   と、 ピクチャ単位の符号化毎に目標ビット量に応じた目標量
   子化スケールを算出し、前記保持手段の仮想バッファ占
   有量を前記目標量子化スケールに応じて初期化する初期
   化ステップとを備えることを特徴とするレート制御方
   法。