JP2001008215A - 動画像符号化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像の高能率符号化に係り、特に、リアル
タイムで可変ビットレート符号化を行う際に好適な符号
量制御装置に関する。 【解決手段】 動画像符号化装置において、各画像の発
生符号量を検出する手段２３と、各画像の平均量子化ス
ケールを検出する手段２２と、符号化画像特性を検出す
る手段２５と、前記発生符号量、平均量子化スケールか
ら過去の画像及び現在の画像の画面複雑度を算出する手
段２４と、所定区間の目標符号量Rpを決定する手段２７
と、前記発生符号量と前記画面複雑度と前記目標符号量
Rpから次に符号化する画像の割当符号量を決定し、前記
割当符号量から前記次に符号化する画像の量子化スケー
ルを決定する手段１４とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の高能率符
号化に係り、特に、リアルタイムで可変ビットレート符
号化を行う際に好適な符号量制御装置及びその方法に関
する。

【０００２】

【従来の技術】TV信号などの動画像を高能率に符号化す
る技術の国際標準として既にMPEG2が規定されている。M
PEG2は、動画像を構成する「フレーム」画像を「マクロブ
ロック」と呼ばれる16×16画素のブロックに分割し、各
マクロブロック単位に、時間的に前または後に所定の数
フレーム離れた参照画像と符号化画像の間で「動きベク
トル」と呼ばれる動き量を求め、この動き量を基に参照
画像から符号化画像を構成する「動き補償予測」技術
と、動き補償予測の誤差信号または符号化画像そのもの
に対して、直交変換の一種であるＤＣＴ(離散コサイン
変換)を用いて情報量を圧縮する「変換符号化」技術の2
つの画像符号化の要素技術をベースに規定されている。

【０００３】従来のMPEG2の動画像符号化装置の一構成
例を図８に示す。また、符号化ピクチャ構造の一例を図
７に示す。動き補償予測では、図７に示した符号化ピク
チャ構造のように、 Iピクチャ(フレーム内符号化)、Ｐ
ピクチャ(順方向予測符号化)、Ｂピクチャ(双方向予測
符号化)と呼ばれる、予測方法の異なる３種類のピクチ
ャの組合せによって構成される。図８に示されるよう
に、変換符号化では、Ｉピクチャでは符号化画像そのも
のに対し、Ｐ,Ｂピクチャでは動き補償器７７による動
き補償予測の誤差信号である減算器７１の出力に対し
て、ＤＣＴがＤＣＴ器７２で施される。

【０００４】このＤＣＴ器７２で得られたＤＣＴ係数に
対して量子化が、符号量制御部９０の出力により制御し
て量子化器７３によってなされた後に、動きベクトル等
のその他の付帯情報と共に可変長符号化が可変長符号化
器７５でなされ、符号列が「ビットストリーム」として
バッファ７６に記憶された後に出力される。この際、バ
ッファ７６の充足度に応じて符号量制御部９０で量子化
スケールが制御される。一方、量子化器７３の出力係数
は、逆量子化器７７、ＩＤＣＴ器７８に供給さて、局部
復号されてブロック毎にフレームメモリ８１に貯えられ
る。

【０００５】MPEG2は可変長符号化であるため、単位時
間当りの発生符号量(ビットレート)は一定ではない。そ
こで、量子化器７３での量子化の際の量子化スケールを
マクロブロック単位に適宜変更することにより、所要の
ビットレートに制御することが可能になっている。MPEG
2 Test Model 5では、GOP単位で発生符号量を一定にす
る固定ビットレート制御方法が提案されている。

【０００６】このTest Model 5における固定ビットレー
ト制御方法は、一定の転送レートが要求される用途に対
しては有効な方法である。しかし、動画像シーケンスの
どの部分に対してもほぼ同じ符号量が割り当てられるた
め、情報量を多く含む複雑なシーンに対しては十分な符
号量が与えられずに画質劣化が生じてしまう。これに対
して、情報量が少ない単純なシーンの場合には符号量が
余剰になって無駄が生じ、DVD-Videoのように可変転送
レートが可能な用途に対しては、適切なレート制御方法
とは言えなかった。

【０００７】以上のような問題を解決するレート制御方
法が可変ビットレート制御方法である。特開平6−１４
１２９８号公報には、可変ビットレート制御による符号
化装置が開示されている。この装置では、最初に、入力
動画像に対して固定量子化スケールによって仮符号化を
行い、単位時間毎に発生符号量がカウントされる。つぎ
に、入力動画像全体の発生符号量が所要値になるよう
に、仮符号化時の発生符号量に基づいて各部分の目標転
送レートを設定する。そしてこの目標転送レートに合致
するように制御を行いながら、入力動画像に対して２回
目の符号化、言い換えると実符号化が行われる。

【０００８】しかし、上記従来例では、出力ビットスト
リームを得るためには少なくとも２回の符号化を行わな
ければならず、リアルタイム性を要求されるような用途
ではこの装置のような２パス方式の可変ビットレート制
御は使用出来ない。

【０００９】これに対し、動画像をほぼリアルタイムで
符号化するための可変ビットレート制御方法、すなわち
１パス方式の可変ビットレート制御方法も存在する。特
開平１０−１６４５７７号公報には、１パス方式の可変
ビットレート制御方法による符号化装置が前記公報の図
６等に開示されている。

【００１０】この従来例における動画像符号化装置の一
構成例を図９に示す。なお、図８と同一構成部材に対し
ては同一符号を付してその説明は省略する。この従来例
の装置では、バッファ７６に記憶した符号量を発生符号
量検出器８３に供給し、この発生符号量検出器８３によ
る発生符号量と、量子化器７３からの量子化スケールを
平均量子化スケール検出器８２に供給し、この平均量子
化スケール検出器８２による画面内の量子化スケールの
平均値との積を「画面複雑度」として画面複雑度算出器
８４で求め、過去の画面複雑度の平均値に対する現在の
画面複雑度の割合を基に、画面の目標発生符号量または
目標量子化スケールを決定することにより、可変ビット
レート制御を符号量制御器７４で実現している。

【００１１】

【発明が解決しようとする課題】しかしながら１パス方
式の可変ビットレート制御では２パス方式とは異なり、
入力される動画像シーケンスがどのような画面複雑度の
時間変化で構成されているかは予めわからない状態でビ
ットレート制御を行わなければならない。そこで、上記
従来例では画面複雑度の大局的時間変化が一般的な画像
における平均画面複雑度に近いことを仮定して符号化す
るため、動画像シーケンスの前半で符号化の易しいシー
ンが続き、後半で次第に難しくなって画面複雑度が単調
増加していく場合では、後半部分で各画像に割当てる符
号量が常に目標符号量を上回ってしまう。そのため、前
半の易しい部分における割当符号量の余剰分(目標符号
量と発生符号量の差の総和)を使い果たしてしまうと割
当符号量が急速に減少して復号時の画質が悪くなり、劣
化の目立ち易い後半部分でかえって固定ビットレート制
御の符号化よりも画質劣化が目立つという問題があっ
た。

【００１２】逆にシーケンスの最初だけ非常に難しく、
他は平均的な画面複雑度のシーンが続いた場合、最初の
難しい部分の画面複雑度を基準にしてその後の部分の符
号量割当を行うため、平均的シーンにおいて符号量割当
が過剰に押さえられて画質が不十分になるばかりでな
く、結果としてシーケンス全体の発生符号量が目標符号
量より過小になってビットストリームを記録するディス
ク等の容量が無駄になるという問題があった。

【００１３】本発明は以上の問題を解決して、画面複雑
度が単調増加していくシーンが続いても、固定ビットレ
ート制御の符号化よりも画質が悪くならず、しかもより
適切な符号量割当を行うことが出来る１パス方式の可変
ビットレート制御方法を実現することを目的とする。

【００１４】

【課題を解決するための手段】そこで本発明では、MPEG
２等の動き補償予測、直交変換、量子化、可変長符号化
の各手段を備えた可変ビットレート制御による動画像符
号化装置において、各画像の発生符号量と平均量子化ス
ケールを検出し、各画像の発生符号量と平均量子化スケ
ールの積に対して所定の操作を施して画面複雑度として
求め、符号化の終了した直後のピクチャから所定時間内
の画像について、符号化ピクチャタイプ別に画面複雑度
が加算され、各ピクチャタイプの平均画面複雑度が算出
される。そして、現在の画像における画面複雑度と一定
区間内の平均画面複雑度(符号化ピクチャタイプ別また
はそれを平均したもの)の割合を、所定の方法で決定さ
れた目標符号量Rpによる符号量割当に反映させることに
より、これから符号化する現在の画像の符号量割当を行
う。

【００１５】ここで目標符号量Rpの決定方法は、例えば
記録メディアの場合、動画像データが記録可能な容量
と、それに記録する動画像シーケンスの記録時間から定
められる、固定ビットレート制御で符号化した場合の平
均ビットレートに相当する平均目標ビットレートRaveを
初期値とする。所定の一定期間における実際の平均発生
符号量Rreal、既に符号化の終わった部分の総発生符号
量Srealを検出し、RaveとRrealの差、Rrealとその前に
検出されたRrealの比から求められるRrealの増減、及び
Raveで符号化した場合の総発生符号量SaveとSrealとの
差のうちいくつかを因数とする関数により、Rpを更新す
ることにより、より適切な符号量割当を行うことが出来
る１パス方式の可変ビットレート制御が可能となる。

【００１６】さらに、上記現在の画像における画面複雑
度の算出に関しては、入力画像のアクティビティ、動き
補償予測における誤差画像または動きベクトル検出にお
ける被符号化画像と参照画像との差分画像における絶対
値または２乗誤差、及び動きベクトルのばらつき具合を
検出して、これらの検出結果のいくつかを因数とする関
数により符号化画像特性を決定し、現在の画像における
画面複雑度を、同じピクチャタイプの直前の画像の画面
複雑度に、その画像における符号化画像特性に対する、
これから符号化される画像の符号化画像特性の割合を乗
算することによって推定し、この推定画面複雑度と一定
区間内の平均画面複雑度の割合を前記所定の方法で設定
された目標符号量による符号量割当に反映させることに
より、遅延の増大を招くことなく、しかも一層画像の変
化に対応した符号量割当を行う制御が可能になる。

【００１７】また、所定の方法によりシーンチェンジを
検出して、それによって前記Rrealの検出区間をリセッ
トして、シーンチェンジの直前区間のRrealによって目
標符号量Rpを計算し、シーンチェンジ点において目標符
号量の更新を行うことにより、Rpの変動による画質の差
を目立たなくして、より適正な符号量制御を行うことが
可能になる。

【００１８】

【発明の実施の形態】本発明の動画像符号化装置の第1
の実施例について、図１と共に以下に説明する。原動画
像は画像ブロック分割器（図示せず。）によって、予め
マクロブロック単位に分割されているものとする。

【００１９】分割された原動画像は、Ｉピクチャについ
ては動き補償予測が行われず、原動画像ブロックそのも
のが減算器１１を介してＤＣＴ器１２に送られ、ＤＣＴ
された後に量子化器１３で符号量制御器１４から送られ
る量子化スケールによって量子化される。その量子化さ
れた信号は、可変長符号化器１５で符号に変換されて、
つぎのバッファ１６で調整された後に符号が出力され
る。一方、量子化器１３の出力係数は、逆量子化器１
７、ＩＤＣＴ器１８で局部復号されて、動き補償予測器
１９の出力が加算器２０で加算されることなく、ブロッ
ク毎にフレームメモリ２１に貯えられる。

【００２０】Ｐ及びＢピクチャについては、分割された
原動画像とフレームメモリ２１に貯えられた所定の局部
復号画像ブロックが動き補償予測器１９に供給され、こ
こで動きベクトル検出及び動き補償が行われて、予測画
像ブロックが減算器１１で原画像ブロックとの間で画素
間差分が取られ、差分値である誤差画像ブロックがＤＣ
Ｔ器１２に送られる。

【００２１】この後はＩピクチャと同様にして、ＤＣＴ
器１２で差分値がＤＣＴされ、量子化器１３で符号量制
御器１４から送られる量子化スケールによって量子化さ
れた後に、可変長符号化器１５で符号に変換されて、つ
ぎのバッファ１６で調整された後に符号が出力される。

【００２２】一方、量子化器１３の出力係数は、逆量子
化器１７とＩＤＣＴ器１８とで局部復号された後に、動
き補償予測器１９からの前記予測画像ブロックが加算器
２０によって画素毎に加算され、ブロック毎にフレーム
メモリ２１に貯えられる。また、各ピクチャについて、
量子化器１３からマクロブロック毎の量子化スケールが
平均量子化スケール検出器２２に送られ、そこで1フレ
ーム分の量子化スケールが加算され、1フレームの平均
量子化スケールが算出される。

【００２３】一方、バッファ１６においては、発生符号
量が監視され、その値が発生符号量検出器２３に送られ
る。この発生符号量検出器２３において、発生符号量が
フレーム単位に加算され、1フレームの発生符号量が検
出される。フレーム毎について検出された平均量子化ス
ケール、及び発生符号量は夫々画面複雑度算出器２４に
フレーム毎に送られる。それと同時に、検出された1フ
レーム毎の発生符号量は符号量推移観測器２６に送られ
る。

【００２４】符号量推移観測器２６では、発生符号量検
出器２３で検出された各フレームの発生符号量を順次加
算することによって、動画像シーケンスの先頭から現在
までに符号化した、フレーム数FrameSumの画像の(実際
の)発生総符号量Srealを計算すると共に、現在符号化し
ている画像から所定の一定期間さかのぼった画像を起点
とし、そこから現在までに符号化した画像の発生符号量
の和を一定期間に含まれる画像フレーム数で除算するこ
とによって得られる、一定期間の(実際の)平均ビットレ
ートRrealの計算を行う。Rrealの計算では、第１の実施
例では図２のRreal1、Rreal2、Rreal3の計算期間で示さ
れるように、一定区間に含まれるフレーム数は常に一定
になるよう、起点となる画像を符号化の進展に伴ってス
ライドしていく。そしてこの計算を第１の実施例におい
ては定期的に行い、Rrealの１つ前に観測されたRrealを
Rreal-oldとする。

【００２５】そしてRrealが求まると同時に、符号化に
先立って定められる平均目標ビットレートRaveとRreal
との差を示すRdiff、Rrealの増減を示すRinc-ratio、動
画像シーケンスの先頭から現在までの目標発生総符号量
Rave×FrameSumとSrealとの差を示すSdiffを次式(１)
(2)(3)で定義して計算し、得られたこれらの値を目標符
号量更新器２７に送る。

【００２６】 Rdiff＝ Rave − Rreal (１)

【００２７】 Rinc-ratio ＝ Rreal／ Rreal-old (２)

【００２８】 Sdiff＝ Rave×FrameSum− Sreal (３)

【００２９】なお、平均目標ビットレートRaveの設定
は、例えば記録メディアの場合、動画像データが記録可
能な容量と、それに記録する動画像シーケンスの記録時
間から決定される。すなわち、固定ビットレート制御で
符号化した場合の平均ビットレートに相当する。放送や
通信メディアの場合はピークレート(最大転送レート)に
よる制約が主で、平均ビットレートの制約は必須ではな
いが、確保される平均伝送帯域が設定される場合は、そ
の値からRaveが決定される。

【００３０】目標符号量更新器２７では、符号化開始時
点では目標符号量Rpは、予め設定されている前記平均目
標ビットレートRaveより定める。符号量推移観測器２７
から送られるRdiff、Rinc-ratio、Sdiffのうちのいくつ
かと、前記Raveを因数とする関数が設定されており、符
号化の進展に伴ってRreal、Rdiff等が符号量推移観測器
２６から送られてくると、この関数の演算結果より、Rp
の更新が行われる。

【００３１】図２はフレーム毎の発生符号量の推移にお
ける、Rrealの計算期間とRpの設定(更新)周期の関係の
一実施例を示している。Rpを決定する関数は、例えば次
のようなものが考えられる。

【００３２】 <関数1> Rdiff ＜ R1 (＜０) かつ Sdiff＜ S1 の場合 (発生符号量が過剰の場合) Rp＝ Rave ＋ａ× Rdiff (ａは定数) (４) Rdiff ＞ R2 (＞０) かつ Sdiff＞S2の場合 (発生符号量が過少の場合) Rp＝ Rave ＋ｂ× Rdiff (ｂは定数) (５)

【００３３】 ＜関数2＞ Sdiff ＋ margin ＜０かつ Rinc-ratio ＞１の場合 (発生符号量が過剰で符号量変化が単調増加している場合) Rp ＝ Rp-old ×ｃ／ Rinc-ratio (ｃは定数) (６)

【００３４】なお、R1、R2及びS1、S2はRpを更新するか
否かを決定するRdiff及びSdiffの境界点の値、marginは
レート制御時に目標値からの超過を認める符号量の設定
許容値、Rp-oldは更新前のRpの値を示す。目標符号量更
新器２７で更新された目標符号量Rpは符号量制御器１４
に送られる。

【００３５】一方、画面複雑度算出器２４では平均量子
化スケール検出器２２から供給された各フレームの平均
量子化スケールと発生符号量検出器２３から供給された
発生符号量が乗算された後に乗算結果に所定の変換が施
されて、各フレームの画面複雑度として求められる。画
面複雑度は符号化ピクチャタイプ別に一定期間内の値が
加算された後にその期間内の同じピクチャタイプのフレ
ーム数で除算されて、各ピクチャタイプの平均画面複雑
度 Xi-ave, Xp-ave, Xb-ave が算出される。但し、ｉ，
ｐ，ｂはＩピクチャ，Ｐピクチャ，Ｂピクチャと対応し
ている。

【００３６】ここで言う一定期間内は、符号化の終了し
たばかりの画像から時間的に前に予め定めるフレーム
数、例えば15フレームとか、300フレームといった一定
のフレーム数の場合もあり、符号化開始フレームから符
号化の終了したばかりの画像までのように、順次フレー
ム数が増加する場合もある。なお、前者の一定フレーム
数の場合でも、符号化したフレーム数が定めた一定期間
を満たさない場合は後者と同様に順次フレーム数が増加
していくことになる。

【００３７】なお、現在の画像の画面複雑度 Xi, Xp, X
bは、第１の実施例においては、各ピクチャタイプにつ
いて、最後に符号化された画像の画面複雑度を現在の画
像の画面複雑度とする。各ピクチャタイプの平均画面複
雑度 Xi-ave, Xp-ave, Xb-aveと、前記現在の画像の画
面複雑度 Xi, Xp, Xb は符号量制御器１４に送られ、こ
こで目標符号量更新器２７から送られた目標符号量Rpと
共に、可変ビットレート制御のための量子化スケールの
設定が行われる。

【００３８】1秒当りのフレーム数をPictureRate、1つ
の符号化単位である1GOP(通常はIピクチャの間隔)のフ
レーム数をNとすると、目標符号量(ビットレート)がRp
の時の1GOP当りの目標符号量Rgopは次式(７)で与えられ
る。

【００３９】 Rgop ＝ ( Rp ／ PictureRate )× N (７)

【００４０】上式のRgopは平均画面複雑度の時の1GOPの
必要割当符号量とすると、これから符号化する現在の画
像を含む1GOPの画像が一様に前記画面複雑度算出器２４
で求めた現在の画像の画面複雑度に等しいと仮定する
と、画質を一定に保つ場合に必要な1GOPの必要割当符号
量Rcは次式(８)(9)(10)で与えられる。

【００４１】 （Iピクチャ） Rc＝Rgop・(Xi/Xi-ave) (８)

【００４２】 （Pピクチャ） Rc＝Rgop・(Xp/Xp-ave) (９)

【００４３】 （Bピクチャ） Rc＝Rgop・(Xb/Xb-ave) (10)

【００４４】これら上式のRcを1GOPの各ピクチャに適切
に割り振ることにより、これから符号化する現在の画像
の目標符号量を算出する。例としてMPEG2 Test Model 5
の目標符号量割当方法を以下に挙げるが、これ以外の方
法を用いても良い。

【００４５】1GOPに含まれるP、Bピクチャのフレーム数
をNp、Nb、Iピクチャに対するP、Bピクチャの量子化ス
ケールの設定比率をKp、Kbとする。この時、各ピクチャ
タイプの目標割当符号量Ti, Tp, Tbは次式(11)(12)(13)
で与えられる。なお、MAX[A,B]はAとBのいずれか大きい
方を、同様にMAX[C, D]、 MAX[E, F]もいずれか大きい
方を選択する動作を示す。

【００４６】 (Ｉピクチャ) Ti= MAX[ A , B ] A= Rc / ( 1+Np・Xp/(Xi・Kp)+Nb・Xb/(Xi・Kb) ) B= BitRate /（8・PictureRate） (11)

【００４７】 (Ｐピクチャ) Tp= MAX[ C ,D ] C= Rc / ( Np+Nb・Kp・Xb / (Kb・Xp) ) D= BitRate /（8・PictureRate） (12)

【００４８】 (Ｂピクチャ) Tb= MAX[E , F ] E= Rc /( Np+Np・Kb・Xp/(Kp・Kb) ) F= BitRate /（8・PictureRate） (13)

【００４９】上式で決定した目標割当符号量と、バッフ
ァで検出される各マクロブロックの発生符号量をもと
に、MPEG2 Test Model 5の方法を用いて各マクロブロッ
クの量子化スケールを決定する。なお、入力した動画像
の画像特性を検出するため画像特性検出器２５において
各マクロブロックのアクティビティが検出され、この値
が符号量制御器１４へ送られる。この際、画像特性検出
器２５による画像特性の検出は、実際の符号化動作に先
行して行なわれている。

【００５０】このアクティビティの値はMPEG2 Test Mod
el 5における各マクロブロックの量子化スケールを変更
する適応量子化制御に使用されるが、この適応量子化制
御は行わなくても良い。またこれとは全く異なる方法で
各マクロブロックの量子化スケールを決定してもよい。

【００５１】符号量制御器１４から出力される各マクロ
ブロックの量子化スケールが量子化器１３に送られ、現
在の画像（DCT後の分割された原画像または動き補償予
測の誤差画像ブロック）がこの量子化スケールで量子化
され、可変長符号化されてバッファで調整された後に符
号が出力される。マクロブロック毎の量子化スケール、
バッファ１６で監視される発生符号量がそれぞれ、平均
量子化スケール検出器２２、発生符号量検出器２３に送
られ、次のピクチャの符号量制御に使用される。

【００５２】つぎに、本発明の動画像符号化装置の第2
の実施例について、図３と共に以下に説明する。第１の
実施例では現在の画像の画面複雑度は、同じピクチャタ
イプの最後に符号化された画像の画面複雑度、すなわち
過去の画像の画面複雑度を使用していたが、第２の実施
例ではこの過去の画像の画面複雑度に対し、これから符
号化する現在の画像のアクティビティによって現在の画
像の画面複雑度を推定する部分が異なる。従って、現在
の画像の画面複雑度を推定する部分を中心に説明する。

【００５３】Ｉ、P、B各ピクチャの基本的な符号化動
作、及び発生符号量検出器２３による発生符号量の検
出、符号量推移観測器２６によるRreal等の計算、目標
符号量更新器２７による目標符号量Rpの更新は第１の実
施例と同じである。

【００５４】また、画面複雑度算出器２４による画面複
雑度の算出についても、符号化の終了した各フレームの
画面複雑度、各ピクチャタイプの平均画面複雑度Xi-av
e, Xp-ave, Xb-aveの算出は第１の実施例と同じであ
る。一方、図４に示す画像特性検出器２５の動作と、こ
れから符号化する現在の画像の画面複雑度を決定する部
分が第１の実施例とは大きく異なる点である。

【００５５】画像特性検出器２５にはマクロブロック単
位に分割された原画像と、P及びBピクチャの場合はこの
他に動き補償予測器１９から、マクロブロック単位の動
き補償予測における誤差画像または動きベクトル検出に
おける符号化画像と参照画像との差分画像と、動き補償
予測で使用した動きベクトルが入力される。

【００５６】原画像の各フレームについてマクロブロッ
ク単位に画像特性を示すパラメータ、すなわちアクティ
ビティACTcurがACTcur検出器２５Ａで検出される。原画
像の画像特性を示すパラメータとしては輝度値の分散、
画素間差分値などが考えられるが、画像特性を示すもの
であればその他のパラメータでもよい。

【００５７】Iピクチャの場合は動き補償予測が行われ
ないため、ACTcurが１フレーム分加算されてIピクチャ
のアクティビティACTiとして画面複雑度算出器２４に送
られる。一方、P及びBピクチャの場合はACTcurの他に、
マクロブロック単位の動き補償予測における誤差画像ま
たは動きベクトル検出における符号化画像と参照画像と
の差分画像に対し、絶対値和または２乗誤差和がとら
れ、予測アクティビティACTpredとしてACTpred検出器２
５Ｂで検出される。それと共に、動き補償予測で使用し
た動きベクトルから、隣接マクロブロックとの間で各成
分毎に差分の絶対値がとられ、ACTmvとしてACTmv検出器
２５Ｃで検出される。

【００５８】そして、各マクロブロック毎に次式(数14)
の演算により、算出器ピクチャアクティビティ算出器２
５ＤでACTmbが算出され、それが１フレーム分加算され
て、P及びBピクチャのアクティビティACTp及びACTbとし
て画面複雑度算出器２４に送られる。

【００５９】 ACTmb＝ａ・ACTcur＋ｂ・ACTpred ＋ｃ・ACTmv (14)

【００６０】なお、ａ、ｂ、ｃの値はピクチャ別、マク
ロブロックの予測モード別(イントラか片方向予測か双
方向予測か)などで変化させる。例えばイントラの場合
はIピクチャと同様に予測を行わないので、ｂ＝ｃ＝０
となり、予測を行うブロックに比較して発生符号量が多
くなると考えられるので、ａの値を大きくする。

【００６１】なお、第２の実施例においても、画像特性
検出器２５で検出した各マクロブロックの原画像アクテ
ィビティを符号量制御器１４に送って適応量子化制御に
使用しても良い。

【００６２】画面複雑度算出器２４による画面複雑度の
算出では、符号化の終了した各フレームの画面複雑度に
対し、画像特性検出器２５から送られた、これから符号
化する現在の画像のアクティビティによって現在の画像
の画面複雑度を推定する部分が第1の実施例とは異な
る。

【００６３】すなわち、これから符号化する現在の画像
の画面複雑度 Xi, Xp, Xb は、現在の画像のアクティビ
ティをACTi, ACTp, ACTb、直前に符号化した同じピクチ
ャタイプの画像の画面複雑度 Xi-p, Xp-p, Xb-p、アク
ティビティACTi-p, ACTp-p, ACTb-pより下記の式(15)(1
6)(17)で推定出来る。

【００６４】 （Ｉピクチャ） Xi＝Xi-p・ (ACTi/ACTi-p) (15)

【００６５】 （Pピクチャ） Xp＝Xp-p・ (ACTp/ACTp-p) (16)

【００６６】 （Bピクチャ） Xb＝Xb-p・ (ACTb/ACTb-p) (17)

【００６７】なお、初期状態において、同じピクチャタ
イプの符号化の終了したフレームが存在しない場合は予
めいくつかの画像で各ピクチャタイプの画像の画面複雑
度とアクティビティを求めておき、それを平均的な動画
像の発生頻度に合わせて統計的に平均してそれを初期値
とすればよい。各ピクチャタイプの平均画面複雑度 Xi-
ave, Xp-ave, Xb-aveと、これから符号化する現在の画
像の推定画面複雑度 Xi, Xp, Xb は符号量制御器１４に
送られる。符号量制御器１４における動作は第１の実施
例と同一である。

【００６８】つぎに、本発明の動画像符号化装置の第３
の実施例について、図５と共に以下に説明する。第３の
実施例においては、第２の実施例に比べ、シーンチェン
ジ検出器２８が追加され、画像特性検出部２５〜シーン
チェンジ検出器２８〜符号量推移観測器２６の動作のみ
が異なるので、それ以外の部分についての説明は省略す
る。

【００６９】画像特性検出部２５からシーンチェンジ検
出情報が送られたシーンチェンジ検出器２８は、その情
報を基にシーンチェンジの検出を行い、シーンチェンジ
が発生したと判定すると、そのフレーム位置の情報を符
号量推移観測器２６に送る。シーンチェンジ検出情報と
しては、例えば原画像アクティビティの変化、1フレー
ム当りのイントラマクロブロック発生数の変化などが考
えられる。これらの変化が予め定めた一定値を超えた
時、そのフレームでシーンチェンジが起こったと判定す
る。

【００７０】シーンチェンジ検出器２８でシーンチェン
ジが検出されると、符号量推移観測器２６における一定
期間の(実際の)平均ビットレートRrealの計算は、シー
ンチェンジの直前のフレームで打ち切られ、シーンチェ
ンジのフレームから新たにRrealの計算のための一定期
間が設定される。

【００７１】ここで、シーンチェンジの直前の区間のRr
ealの計算が行われるが、その場合のRrealを求める区間
は、所定の一定期間より短いRreal区間について求める
か、もしくはその前の区間のRrealであるRreal-oldをRr
ealとするか、あるいはシーンチェンジの直前のフレー
ムから所定の一定期間さかのぼって、新たに区間を定め
てRrealを求めるかのいずれかを予め選択しておく。

【００７２】同時に、第1の実施例で述べた、符号化に
先立って定められる平均目標ビットレートRaveとRreal
との差を示すRdiff、Rrealの増減を示すRinc-ratio、及
び目標発生総符号量とSrealとの差を示すSdiffも合わせ
て求めて、これらの値を目標符号量更新器２７に送る。
目標符号量更新器２７における目標符号量Rpの更新は、
第３の実施例では主にシーンチェンジ毎に行う。

【００７３】目標符号量更新点における目標符号量の差
が大きくなると、更新点の前後で画質の差が知覚されや
すくなるが、これをシーンチェンジの点で行うことによ
り、更新点の前後における画質の差を知覚されにくくす
る。具体的には、シーンチェンジの間隔が予め定めた一
定期間より小さい場合は、Rpの更新はシーンチェンジ点
で行う。

【００７４】一定期間新たなシーンチェンジが発生しな
い場合は、目標符号量と実際の発生符号量との差が無視
出来なくなる可能性があるので、所定の一定間隔でRpの
更新を行うが、Rpの更新を極力シーンチェンジの点で行
うことにより、シーンチェンジとは無関係に一定周期で
目標符号量を更新する場合よりも、目標符号量更新点に
おける画質の差が目立ちにくくなる。

【００７５】図６は第３の実施例における符号量推移図
を示したものである。図６はシーンチェンジ点を基準と
して、新たにRrealの計算期間を定めた場合の、フレー
ム毎の発生符号量の推移の上でのRrealとRpの設定(更
新)周期の関係の一実施例を示したものである。

【００７６】

【発明の効果】以上のように本発明では、可変ビットレ
ート制御で動画像を符号化する際に、符号化の終了した
一定区間の画像の発生符号量と平均量子化スケールを検
出し、発生符号量と平均量子化スケールの積に対して所
定の操作を施すことによって得られる値を画面複雑度と
して求めた上で、現在の画像における画面複雑度と一定
区間内の平均画面複雑度の割合を、所定の方法で設定さ
れた目標符号量Rpによる符号量割当に反映させることに
より、これから符号化する現在の画像の符号量割当を行
う。

【００７７】ここで目標符号量Rpの設定方法は、平均目
標ビットレートRavｅを初期値とし、一定期間における
実際の平均発生符号量Rreal、符号化の終了した区間の
総発生符号量Srealを検出し、これらの関係によってRp
を更新することにより、より適切な符号量割当を行うこ
とが出来る１パス方式の可変ビットレート制御が可能と
なる。

【００７８】さらに、上記現在の画像における画面複雑
度の算出に関しては、入力画像のアクティビティ、動き
補償予測における誤差画像または動きベクトル検出にお
ける被符号化画像と参照画像との差分画像における絶対
値または２乗誤差、及び動きベクトルのばらつき具合を
検出して、これらの検出結果のいくつかを因数とする関
数により符号化画像特性を決定し、現在の画像における
画面複雑度を、同じピクチャタイプの直前の画像の画面
複雑度に、その画像における符号化画像特性に対する、
これから符号化される画像の符号化画像特性の割合を乗
算することによって推定し、この推定画面複雑度と一定
区間内の平均画面複雑度の割合を前記所定の方法で設定
された目標符号量による符号量割当に反映させることに
より、遅延の増大を招くこと無く、しかも一層画像の変
化に対応した符号量割当を行う制御が可能になる。

【００７９】また、シーンチェンジを検出して、それに
よって前記Rrealの検出区間をリセットし、目標符号量R
pの更新を主にシーンチェンジ点において行うことによ
り、目標符号量Rpの変動による画質の差を目立たなくし
て、より適正な符号量制御を行うことが可能になる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置及びその方法の第１
の実施例を示した図を示したものである。

【図２】本発明の動画像符号化装置及びその方法の第１
の実施例における符号量推移図を示したものである。

【図３】本発明の動画像符号化装置及びその方法の第２
の実施例を示した図である。

【図４】本発明の第２の実施例における画像特性検出器
の一実施例を示した図である。

【図５】本発明の動画像符号化装置及びその方法の第３
の実施例を示した図である。

【図６】本発明の動画像符号化装置及びその方法の第３
の実施例における符号量推移図を示したものである。

【図７】符号化ピクチャ構造の一例を示した図である。

【図８】一般的な動画像符号化装置の一構成例を示した
図である。

【図９】従来における動画像符号化装置の一構成例を示
した図である。

【符号の説明】

１１ 減算器 １２ DCT器 １３ 量子化器 １４ 符号量制御器 １５ 可変長符号化器 １６ バッファ １７逆量子化器 １８ IDCT器 １９動き補償予測器 ２０ 加算器 ２１ フレームメモリ ２２ 平均量子化スケール検出器 ２３ 発生符号量検出器 ２４ 画面複雑度算出器 ２５ 画像特性検出器 ２５Ａ ACTcur検出器 ２５Ｂ ACTpred検出器 ２５Ｃ ACTmv検出器 ２５Ｄ ピクチヤアクティビティ算出器 ２６ 符号量推移観測器 ２７ 目標符号量更新器 ２８ シーンチェンジ検出器 ACTcur 原画像アクティビティ ACTi, ACTp, ACTb 現在の画像のアクティビティ ACTi-p, ACTp-p, ACTb-p 直前に符号化した同じピクチ
ャタイプの画像のアクティビティ ACTmv 動きベクトル特性 ACTpred 誤差画像アクティビティ Rave 平均割当符号量（平均目標ビットレート） Rc 画像の割当符号量 Rp 目標符号量 Rreal 一定期間の(実際の)平均発生符号量（平均ビッ
トレート） Xi, Xp, Xb 現在の画像の画面複雑度 Xi-ave, Xp-ave, Xb-ave 平均画面複雑度

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK35 MA05 MA23 MC11 MC38 ME01 NN43 PP05 PP06 PP07 SS02 SS06 SS11 TA06 TA46 TA60 TB04 TC03 TC10 TC14 TC18 TC24 TC38 TC41 TD03 TD05 TD16 UA02 5J064 AA02 BA09 BA16 BB03 BB05 BC01 BC08 BC16 BC21

Claims (11)

【特許請求の範囲】
1. 【請求項１】入力動画像を、動き補償予測手段、直交変
   換手段、量子化手段、及び可変長符号化手段を有して符
   号化する動画像符号化装置において、 前記入力動画像の各画像の発生符号量を検出する手段
   と、 前記入力動画像の各画像の平均量子化スケールを検出す
   る手段と、 前記入力動画像及び前記動き補償予測手段によって生成
   される動き補償予測画像のうち少なくとも前記入力動画
   像の符号化画像特性を検出する手段と、 前記発生符号量を検出する手段によって検出された発生
   符号量及び前記平均量子化スケールを検出する手段によ
   って検出された平均量子化スケールから過去の画像及び
   現在の画像の画面複雑度を算出する手段と、 所定区間の目標符号量Rpを決定する手段と、 前記符号量を検出する手段によって検出された発生符号
   量と前記画面の複雑度を算出する手段によって算出され
   た画面複雑度と前記目標符号量を決定する手段で決定さ
   れた目標符号量Rpから、次に符号化する画像の割当符号
   量を決定し、前記割当符号量から前記次に符号化する画
   像の量子化スケールを決定する手段とを備えたことを特
   徴とする動画像符号化装置。
2. 【請求項２】請求項1に記載された動画像符号化装置に
   おいて、 前記目標符号量を決定する手段における目標符号量Rpの
   決定方法は、予め定めた平均目標符号量Raveを初期値と
   し、所定の一定期間における実際の平均発生符号量Rrea
   l、符号化の終わった部分の総発生符号量Srealを検出
   し、 前記予め定めた平均目標符号量Raveと前記実際の平均発
   生符号量Rrealとの差、前記実際の平均発生符号量Rreal
   とその前に検出されたRrealの比から求められるRrealの
   増減、及び前記平均目標符号量Raveで符号化した場合の
   目標総発生符号量Saveと総発生符号量Srealとの差のう
   ちいくつかを因数とする関数により、前記目標符号量Rp
   を決定することを特徴とする動画像符号化装置。
3. 【請求項３】請求項２に記載された動画像符号化装置に
   おいて、 前記発生符号量と前記画面複雑度から次に符号化する画
   像の割当符号量を決定する手段は、前記過去の画面複雑
   度の一定期間における平均値に対する前記算出された現
   在の画面複雑度の割合を、前記目標符号量を決定する手
   段で決定された目標符号量に乗ずることによって前記割
   当符号量を決定することを特徴とする動画像符号化装
   置。
4. 【請求項４】請求項３に記載された動画像符号化装置に
   おいて、 前記過去の画面複雑度の一定期間における平均値は、ピ
   クチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別
   に求め、 前記次に符号化する画像と同じピクチャタイプの前記平
   均値に対する前記現在の画面複雑度の割合を、前記目標
   符号量決定手段で決定された目標符号量に乗ずることに
   よって前記割当符号量を決定することを特徴とする動画
   像符号化装置。
5. 【請求項５】請求項４に記載された動画像符号化装置に
   おいて、 前記入力画像または動き補償予測画像の符号化画像特性
   を検出する手段は、前記入力画像の画像特性を検出する
   手段、動き補償予測画像の誤差画像の画像特性を検出す
   る手段、及び動き補償予測における動きベクトル特性を
   検出する手段によって構成され、前記各検出する手段に
   よる検出は、実際の符号化動作に先行して行なわれ、 ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)
   別及び予測モード別の定数を、前記検出した入力画像の
   画像特性、動き補償予測画像の誤差画像の画像特性、及
   び動き補償予測における動きベクトル特性の前記各特性
   値に対し乗じた上に加算することによって前記符号化画
   像特性を決定することを特徴とする動画像符号化装置。
6. 【請求項６】請求項５に記載された動画像符号化装置に
   おいて、 前記画面の複雑度を算出する手段は、前記検出された発
   生符号量と前記平均量子化スケールとの積を基準として
   得られる過去の画面複雑度を、ピクチャタイプ(Ｉピク
   チャ、Ｐピクチャ、Ｂピクチャ)別に求め、 前記次に符号化する画像と同じピクチャタイプの最新の
   過去の画像の画面複雑度に対し、 前記過去の画面複雑度を算出した画像における符号化画
   像特性に対する前記次に符号化する画像の符号化画像特
   性の割合を乗ずることによって現在の画面複雑度を得る
   ことを特徴とする動画像符号化装置。
7. 【請求項７】請求項２乃至請求項６のいずれかに記載さ
   れた動画像符号化装置において、 前記実際の平均発生符号量Rrealを求める一定区間、前
   記目標符号量決定手段における目標符号量Rpの設定間隔
   は、 シーンチェンジ検出手段によるシーンチェンジの検出に
   よって変更することを特徴とする動画像符号化装置。
8. 【請求項８】入力動画像を、動き補償予測ステップ、直
   交変換ステップ、量子化ステップ、及び可変長符号化ス
   テップを有して符号化する動画像符号化方法において、 前記入力動画像の各画像の発生符号量を検出するステッ
   プと、 前記入力動画像の各画像の平均量子化スケールを検出す
   るステップと、 前記入力動画像及び前記動き補償予測ステップによって
   生成される動き補償予測画像のうち少なくとも前記入力
   動画像の符号化画像特性を検出するステップと、 前記符号量検出ステップによって検出された発生符号
   量、前記量子化スケール検出ステップによって検出され
   た平均量子化スケールから過去の画像及び現在の画像の
   画面複雑度を算出するステップと、 所定区間の目標符号量Rpを決定するステップと、 前記符号量を検出するステップによって検出された発生
   符号量と前記画面の複雑度を算出するステップによって
   算出された画面複雑度と前記目標符号量Rpを決定するス
   テップで決定された目標符号量Rpから次に符号化する画
   像の割当符号量を決定し、前記割当符号量から前記次に
   符号化する画像の量子化スケールを決定するステップと
   を備えたことを特徴とする動画像符号化方法。
9. 【請求項９】請求項８に記載された動画像符号化方法に
   おいて、 前記目標符号量を決定するステップにおける目標符号量
   Rpの決定方法は、予め定めた平均目標符号量Raveを初期
   値とし、所定の一定期間における実際の平均発生符号量
   Rreal、符号化の終わった部分の総発生符号量Srealを検
   出し、 前記予め定めた平均目標符号量Raveと前記実際の平均発
   生符号量Rrealとの差、前記実際の平均発生符号量Rreal
   とその前に検出されたRrealの比から求められるRrealの
   増減、及び前記平均目標符号量Raveで符号化した場合の
   目標総発生符号量Saveと総発生符号量Srealとの差のう
   ちいくつかを因数とする関数により、前記目標符号量Rp
   を決定することを特徴とする動画像符号化方法。
10. 【請求項１０】請求項９に記載された動画像符号化方法
    において、 前記発生符号量と画面複雑度から次に符号化する画像の
    割当符号量を決定するステップは、前記過去の画面複雑
    度の一定期間における平均値に対する、前記現在の画面
    複雑度の割合を前記目標符号量を決定する手段で決定さ
    れた目標符号量に乗ずることによって前記割当符号量を
    決定することを特徴とする動画像符号化方法。
11. 【請求項１１】請求項８乃至請求項１０のいずれかに記
    載された動画像符号化方法において、 前記実際の平均発生符号量Rrealを求める一定区間、前
    記目標符号量決定ステップにおける目標符号量Rpの設定
    間隔は、 シーンチェンジ検出ステップによるシーンチェンジの検
    出によって変更することを特徴とする動画像符号化方
    法。