JP2000308047A

JP2000308047A - 画像符号化方法、画像符号化装置、及びデータ記憶媒体

Info

Publication number: JP2000308047A
Application number: JP11133099A
Authority: JP
Inventors: Takahiro Nishi; 孝啓西
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-04-19
Filing date: 1999-04-19
Publication date: 2000-11-02

Abstract

(57)【要約】【課題】各フレームに対する画像信号の符号化処理
を、符号化処理済のフレームに対する発生符号量に基づ
いて制御する画像符号化装置１０において、複雑さに応
じて対象フレームにビット数を割当てることができ、こ
れによりビット資源の有効利用により、画質を改善す
る。【解決手段】上記符号化処理済のフレームに対する発
生符号量に基づいて、上記対象フレームに対して目標符
号量を設定する目標符号量設定手段１１０と、上記対象
フレームに対応する画像信号の複雑さを示す画像複雑さ
指標に応じて、上記対象フレームに対する目標符号量を
補正する目標符号量補正回路１０ａを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法，
画像符号化装置，及びデータ記録媒体に関し、特に画像
データの符号化処理を発生符号量が目標の符号量になる
よう制御する処理に関するものである。

【０００２】

【従来の技術】画像データを符号化して得られる画像符
号化データを伝送あるいは蓄積する場合、伝送レートあ
るいは蓄積容量が限られているため、レート制御，つま
り画像データの符号化処理の際に発生する符号量（発生
符号量）を伝送レートあるいは蓄積容量に応じて調節す
る必要がある。従来の画像符号化方式の１つであるＭＰ
ＥＧ（Moving Picture Expert Group）方式には、上記
のようなレート制御を行う方法の１つとして、ＭＰＥＧ
２ＴｅｓｔＭｏｄｅｌ５（ＴＭ５レート制御方
法）がある。

【０００３】ＭＰＥＧ方式の符号化処理では、処理対象
となるフレーム（対象フレーム）に対応する画像信号に
対して、空間領域の画像信号を周波数領域の画像データ
（周波数変換係数）に変換するＤＣＴ（Discrete Cosin
e Transform）処理，該周波数変換係数を所定の量子化
幅でもって量子化値に変換する量子化処理，及び量子化
値を可変長符号に変換する可変長符号化処理が順次、上
記対象フレームを構成するマクロブロック毎に施され
る。また、この符号化処理の際には、上記ＴＭ５レート
制御方法により発生符号量が制御される。

【０００４】すなわち、ＴＭ５レート制御方法では、対
象フレームに割り当てられるフレーム目標符号量が所定
の方法により予測され、このフレーム目標符号量と、対
象フレームにおけるマクロブロックに対する符号化処理
の際に実際に発生した符号量との比較に基づいて、上記
量子化処理における量子化幅がマクロブロック毎に設定
される。

【０００５】以下上記ＴＭ５レート制御方法の概念を具
体的に説明する。図７は、符号化処理が施される画像シ
ーケンス，つまりフレームの配列を示しており、図７
(a)は、該フレームの配列として表示順の配列が示され
ており、図７(b)は、上記フレームの配列として、符号
化処理順の配列が示されている。

【０００６】ここでは、上記画像シーケンスは、Ｉフレ
ーム，Ｐフレーム，Ｂフレームを含むものであり、Ｉフ
レーム，つまり画面内予測符号化処理が施されるフレー
ムは、上記画像シーケンス中に６フレーム毎に繰り返し
配列され、Ｐフレーム，つまり順方向画面間予測符号化
が施されるフレームは、上記画像シーケンス中に２フレ
ーム毎に、Ｂフレーム，つまり双方向画面間予測符号化
が施されるフレームも、上記画像シーケンス中に２フレ
ーム毎に繰り返し配列されている。従って、ここでは、
上記画像シーケンス中では、Ｉフレームの間隔ＮはＮ＝
６であり、Ｐフレーム及びＢフレームの間隔ＭはＭ＝２
となっている。

【０００７】また、上記ＴＭ５レート制御方法では、Ｉ
フレームの間隔を１つのレート制御の単位（セグメン
ト）とする。上記ＴＭ５レート制御では、まず、セグメ
ントの長さ（時間）と伝送レート（単位時間当たりに伝
送される符号量）から、各セグメントに対して使用可能
な符号量が導出される。そして、各セグメント内のフレ
ームに対する符号化処理の際に発生する符号量（フレー
ム発生符号量）がフィードバック制御により調節され
る。これにより、各セグメント内の全てのフレームに対
して発生する符号量が、各セグメントに対する使用可能
な符号量に近づくこととなる。このようにして、伝送レ
ートに応じた符号量が各セグメントに対して発生するよ
う、レート制御が行われる。

【０００８】図８は、ＴＭ５レート制御方法を採用した
従来の画像符号化装置を説明するためのブロック図であ
る。この画像符号化装置２００は、符号化処理の対象と
なる対象フレーム毎に目標ビット数を設定し、該対象フ
レームを区分する小領域（マクロブロック）毎に発生符
号量をフィードバック制御により調節しながら画像信号
に対する符号化処理を行う構成となっている。

【０００９】すなわち、この画像符号化装置２００は、
画像信号２０１をＤＣＴなどの直交変換処理により周波
数変換係数２０６に変換する周波数変換器１０５と、該
周波数変換係数２０６に対して、量子化の粗さを示す量
子化係数２０８に基づいて量子化処理を施して、周波数
変換係数２０６を量子化値１１２に変換する量子化器１
０８と、該量子化値２１１に可変長符号化処理を施し
て、該量子化値２１１をビット列（可変長符号）２１６
に変換する可変長変換器１２２とを有し、該ビット列２
１６を上記画像信号２０１に対する画像符号化信号とし
て出力する構成となっている。

【００１０】また、上記画像符号化装置２００は、ビッ
ト列２１６に基づいて、各フレーム毎に発生するビット
数（フレームビット数）２１０、及び各マクロブロック
毎に発生するビット数（ブロックビット数）２１７を検
出する符号量検出手段１１５と、上記各マクロブロック
に対応する量子化係数２０８を格納するメモリ２１８
と、該メモリ２１８に格納された各マクロブロックに対
応する量子化係数２０８を各フレーム毎に平均化して、
各フレームにおける全てのマクロブロックに対応する量
子化係数の平均値２１９を算出する平均化手段１１７と
を有している。

【００１１】さらに、上記画像符号化装置２００は、上
記量子化係数の平均値２１９とフレームビット数２１０
に基づいて、フレーム毎に画像信号の複雑さを検出し、
各フレームに対する複雑さを示す指標（フレーム複雑さ
指標）２１５を出力する複雑さ検出手段１１４と、該フ
レーム複雑さ指標２１５を格納するメモリ１１３とを有
している。ここで、上記フレーム複雑さ指標２１５に
は、各フレームに対する量子化係数の平均値２１９と、
各フレームに対応する発生ビット数２１０の積算値が用
いられている。例えば、この積算値が大きい場合，言い
換えると、あるフレームに対しては、平均的に大きな量
子化係数でもって量子化処理が行われたにも拘わらず、
このフレームに対して発生したビット数２１０が多いと
いった場合は、このフレームは、その画像信号の複雑さ
が大きいものであるといえる。一方、この積算値が小さ
い場合，言い換えると、あるフレームに対しては、平均
的に小さな量子化係数でもって量子化処理が行われたに
も拘わらず、このフレームに対して発生したビット数２
１０が少ないといった場合は、このフレームは、その画
像信号の複雑さが小さいものであるといえる。

【００１２】また、上記画像符号化装置２００は、上記
フレームビット数２１０に基づいて、各セグメントで使
用可能なビット数（使用可能ビット数）２１３を導出す
るパラメータ更新手段１１１と、上記メモリ１１３に蓄
えられている複数のフレームの複雑さの指標から、最近
に符号化処理が施された各予測タイプのフレームの複雑
さの指標を１つづつ読みだして、各予測タイプのフレー
ムの複雑さの指標２１４とセグメントに対する使用可能
ビット数２１３に基づいて、対象フレームに対する符号
化処理にて使用する目標ビット数２０９を設定する目標
ビット数設定手段１１０とを有している。

【００１３】また、上記画像符号化装置２００は、対象
フレームに対する目標ビット数２０９と、上記対象フレ
ームにおける処理済マクロブロックに対して発生したビ
ット数２１７とに基づいて、被処理マクロブロックに対
する量子化係数２０８を設定する量子化係数設定手段１
０７を有し、この量子化係数２０８に基づいて、上記量
子化器１０８にて周波数領域変換係数２０６に対して量
子化処理を施す構成となっている。

【００１４】次に動作について説明する。この画像符号
化装置２００に、符号化処理の対象となる対象フレーム
に対応する画像信号２０１が入力されると、周波数変換
器１０５では、該画像信号２０１に対して、対象フレー
ムを区分する小領域であるマクロブロック毎に周波数変
換処理が施され、各マクロブロックに対応する周波数変
換係数２０６が順次出力される。

【００１５】すると、上記量子化器１０８では、各マク
ロブロック毎に設定された量子化の粗さを示す量子化係
数２０８に基づいて、各マクロブロックに対応する周波
数変換係数２０６が量子化されて、量子化値２１１に変
換される。そして、各マクロブロックに対応する量子化
値２１１は、可変長符号化器１１２にて可変長符号化処
理が施されて可変長符号に変換され、この可変長符号が
ビット列２１６として出力される。

【００１６】上記のような符号化処理が行われていると
き、符号量検出手段１１５では、上記可変長符号化器１
１２から出力されるビット列２１６に基づいて、各フレ
ーム毎に発生するビット数（フレームビット数）２１０
と、各マクロブロック毎に発生するビット数（ブロック
ビット数）２１７が検出される。また平均化手段１１７
では、メモリ１１６に蓄えられた対象フレーム内のすべ
てのマクロブロックに対応する量子化係数２１８の平均
値２１９が算出される。すると、複雑さ検出手段１１４
では、対象フレーム内の全マクロブロックに対する量子
化係数の平均値２１９と、対象フレームの符号化処理の
際に発生したフレームビット数２１０に基づいて、量子
化係数の平均値２１９とフレームビット数２１０の積算
値がフレーム毎に画像信号の複雑さとして検出され、こ
の複雑さを示す指標２１５が所定のフレーム分だけメモ
リ１１３に格納される。

【００１７】また、パラメータ更新手段１１１では、上
記符号量検出手段１１５からのフレームビット数２１０
に基づいて、対象フレームが含まれるセグメントで使用
可能なビット数（使用可能ビット数）２１３が導出され
る。さらに、目標ビット数設定手段１１０では、上記メ
モリ１１３に蓄えられていた最近に符号化された各予測
タイプのフレーム（最近符号化されたＩフレーム，Ｐフ
レーム，及びＢフレーム）の複雑さの指標２１４と、対
象フレームが含まれるセグメントの使用可能ビット数２
１３とに基づいて、対象フレームに対する目標ビット数
２０９が設定さる。そして、量子化係数設定手段１０７
では、対象フレームの目標ビット数２０９と、処理済の
各マクロブロックに対応する発生ビット数２１７とに基
づいて、被処理マクロブロックに対応する量子化係数２
０８が設定され、この量子化係数２０８は上記量子化器
２０８に出力されるとともに、上記メモリ１１６に格納
される。

【００１８】以下、特に上記目標ビット数設定手段１１
０及びパラメータ更新手段１１１の動作について詳しく
説明する。図９は、上記対象フレームに対する目標ビッ
ト数の設定処理及びセグメントでの使用可能ビット数の
設定処理のフローを示している。上記画像符号化装置２
００における符号化処理が開始されると、パラメータ更
新手段１１１ではセグメントに割り当てられるビット数
（初期値）Ｇが出力され、目標ビット数設定手段１１０
では、上記セグメントに対する使用可能ビット数Ｒが初
期化されてＲ＝Ｇ×（１−Ｍ）Ｎとされ、１セグメント
当たりのＩフレームの残り枚数Ｎｉ，１セグメント当た
りのＰフレームの残り枚数Ｎｐ，１セグメント当たりの
Ｂフレームの残り枚数Ｎｂが初期化されて、それぞれＮ
ｉ＝０，Ｎｐ＝０，Ｎｂ＝１−Ｍとなる（ステップＳ３
０１ｂ）。ここで、上記セグメントに割り当てられるビ
ット数Ｇは、伝送レート（１秒間に伝送されるビット
数）をＢＲ、フレームレート（１秒間に表示されるフレ
ームの数）をＦＲとすると、Ｇ＝Ｎ×ＢＲ／ＦＲで表さ
れる。

【００１９】例えば、図７(b)に示すように、符号化順
で示す画像シーケンスの最初のセグメント以外のセグメ
ントが６フレームから構成されている場合は、フレーム
レートを１／６秒とすると、２番目以降のセグメントに
対する割り当てビット数Ｇは、Ｇ＝Ｎ×ＢＲ／ＦＲ＝６
×ＢＲ／６＝ＢＲとなる。また、図７(b)に示すよう
に、各セグメントにおけるＩフレームの間隔が６フレー
ム，Ｐフレーム及びＢフレームの間隔Ｍが２フレームで
ある場合、上記ステップＳ３０１ｂでは、１セグメント
当たりの各フレームの残り枚数Ｎｉ，Ｎｐ，Ｎｂは、そ
れぞれＮｉ＝０，Ｎｐ＝０，Ｎｂ＝−１に設定される。

【００２０】次に、上記目標ビット数設定手段１１０で
は、符号化処理の対象となる対象フレームがＩフレーム
であるか否かが判定され（ステップＳ３０２）、対象フ
レームがＩフレームであれば、上記セグメントに対する
使用可能ビット数Ｒに１セグメント当たりの割り当てビ
ット数Ｇだけ加算する処理が行われ、各予測タイプのフ
レームの、１セグメント当たりの残り枚数Ｎｉ，Ｎｐ，
Ｎｂに、それぞれセグメント当たりの最大枚数「１」，
「Ｎ／Ｍ−１」，「Ｎ−Ｎ／Ｍ」が加算される（ステッ
プＳ３０３）。例えば、図７(b)に示す画像シーケンス
では、このステップＳ３０３では、１セグメント当たり
の残り枚数Ｎｉ，Ｎｐ，Ｎｂに、それぞれセグメント当
たりの最大枚数「１」，「２」，「３」だけ加算され
る。この結果、最初のセグメントに対しては、１セグメ
ント当たりの残り枚数Ｎｉ，Ｎｐ，Ｎｂはそれぞれ、
「０＋１」，「０＋２」，「−１＋３」となる。

【００２１】なお、図９に示すフロー中の表記「Ｒ＋＝
Ｇ」は「ＲをＧだけ増加させる」処理を表するものであ
る。次に、上記目標ビット数設定手段１１０では、メモ
リ１１３からの複雑さ指標２１４に基づいて、対象フレ
ームであるＩフレームの目標ビット数Ｔｉが設定され
（ステップＳ３０４）、１フレームの１セグメント当た
りの残り枚数Ｎｉが更新される（ステップＳ３０５）。
なお、図９に示すフロー中の表記「Ｎｉ−＝１」は「Ｎ
ｉを１だけ減少させる」処理を表すものである。

【００２２】ここで、上記Ｉフレームの目標ビット数Ｔ
ｉは、次式（１）により求められる。Ｔｉ＝Ｒ×Ｗｉ／（ＮｉＷｉ＋ＮｐＷｐ＋ＮｂＷｂ）・・・（１）この（１）式では、Ｗｓ＝Ｘｓ／Ｋｓ（ｓ＝ｉ，ｐ，
ｂ）あり、Ｘｓは、上記メモリ１１３から読みだされた
複雑さ指標２１４であり、Ｋｓは定数である。具体的に
は、対象フレームがＩフレームである場合は、上記複雑
さ指標としては、このＩフレーム以前の最近に符号化処
理が施された各予測タイプのフレームに対する複雑さ指
標２１４が用いられる。ただし、符号化処理の初期に
は、Ｉフレーム以前の最近に符号化された各予測タイプ
のフレームが存在しないので、この場合は、目標ビット
数設定手段１１０では予め設定されている、各予測タイ
プのフレームの複雑さ指標の初期値Ｘｓ０（ｓ＝ｉ，
ｐ，ｂ）が用いられる。

【００２３】次に、量子化係数設定手段１０７では、上
記対象フレームの目標ビット数Ｎｉを示す情報２０９及
びブロックビット数の情報２１７に基づいてこの対象フ
レームにおける各マクロブロック毎に量子化係数が設定
され、さらに、入力されたＩフレームの画像信号に対し
て、周波数変換器１０５でのＤＣＴ処理、量子化器１０
８での量子化処理、及び可変長符号化器１１２での可変
長符号化処理が順次行われる（ステップＳ３１１）。そ
して、目標ビット数設定手段１１０では、セグメントの
使用可能ビット数Ｒから、Ｉフレームの符号化処理の際
に発生したビット数Ｓを減算する処理が行われる（ステ
ップＳ３１２）。

【００２４】その後、対象フレームが例えば画像シーケ
ンスの最終フレームであるか否かなどの、符号化処理を
終了すべきか否かの判定が行われ（ステップＳ３１
３）、符号化処理を終了しない場合は、上記目標ビット
数設定手段１１０にて、対象フレームがＩフレームであ
るか否かを判定する処理が行われる（ステップＳ３０
２）。上記ステップＳ３０２での判定の結果、対象フレ
ームがＩフレームでないと判定された場合、目標ビット
数設定手段１１０では、さらに対象フレームがＰフレー
ムであるか否かが判定される（ステップＳ３０６）。

【００２５】この判定の結果、対象フレームがＰフレー
ムであると判定された場合には、上記目標ビット数設定
手段１１０では、対象フレームであるＰフレームの目標
ビット数Ｔｐが設定され（ステップＳ３０７）、Ｐフレ
ームの１セグメント当たりの残り枚数Ｎｐが更新される
（ステップＳ３０８）。ここで、上記Ｐフレームの目標
ビット数Ｔｐは、次式（２）により求められる。Ｔｐ＝Ｒ×Ｗｐ／（ＮｉＷｉ＋ＮｐＷｐ＋ＮｂＷｂ）・・・（２）この（２）式では、Ｘｓ，Ｋｓは上記（１）式における
ものと同様、それぞれ上記メモリ１１３から読みだされ
た複雑さ指標２１４，及び定数である。

【００２６】上記複雑さ指標としては、このＰフレーム
以前の最近に符号化処理が施された各予測タイプのフレ
ームに対する複雑さ指標２１４が用いられる。ただし、
符号化処理の初期には、Ｐフレーム以前の最近に符号化
されたＰ，Ｂフレームが存在しないので、この場合は、
目標ビット数設定手段１１０では予め設定されている、
各予測タイプのフレームの複雑さ指標の初期値Ｘｓ０
（ｓ＝ｐ，ｂ）が用いられる。

【００２７】次に、量子化係数設定手段１０７では、上
記対象フレームの目標ビット数Ｎｐを示す情報２０９及
びブロックビット数の情報２１７に基づいてこの対象フ
レームにおける各マクロブロック毎に量子化係数が設定
され、さらに、入力されたＰフレームの画像信号に対し
て、周波数変換器１０５でのＤＣＴ処理、量子化器１０
８での量子化処理、及び可変長符号化器１１２での可変
長符号化処理が順次行われる（ステップＳ３１１）。そ
して、目標ビット数設定手段１１０では、セグメントの
使用可能ビット数Ｒから、Ｐフレームの符号化処理の際
に発生したビット数Ｓを減算する処理が行われる（ステ
ップＳ３１２）。

【００２８】その後、対象フレームが例えば画像シーケ
ンスの最終フレームであるか否かなどの、符号化処理を
終了すべきか否かの判定が行われ（ステップＳ３１
３）、符号化処理を終了しない場合は、上記目標ビット
数設定手段１１０にて、対象フレームがＩフレームであ
るか否かを判定する処理が行われる（ステップＳ３０
２）。

【００２９】上記ステップＳ３０２での判定の結果、対
象フレームがＩフレームでないと判定され、さらに上記
ステップＳ３０６での判定の結果、対象フレームがＰフ
レームでないと判定された場合は、上記目標ビット数設
定手段１１０では、対象フレームであるＢフレームの目
標ビット数Ｔｂが設定され（ステップＳ３０９）、Ｂフ
レームの１セグメント当たりの残り枚数Ｎｂが更新され
る（ステップＳ３１０）。ここで、上記Ｂフレームの目
標ビット数Ｔｂは、次式（３）により求められる。Ｔｂ＝Ｒ×Ｗｂ／（ＮｉＷｉ＋ＮｐＷｐ＋ＮｂＷｂ）・・・（３）この（３）式では、Ｘｓ，Ｋｓは上記（１）式における
ものと同様、それぞれ上記メモリ１１３から読みだされ
た複雑さ指標２１４，及び定数である。

【００３０】上記複雑さ指標としては、このＢフレーム
以前の最近に符号化処理が施された各予測タイプのフレ
ームに対する複雑さ指標２１４が用いられる。ただし、
符号化処理の初期には、Ｂフレーム以前の最近に符号化
されたＢフレームが存在しないので、この場合は、目標
ビット数設定手段１１０では予め設定されている、Ｂフ
レームの複雑さ指標の初期値Ｘｓ０（ｓ＝ｂ）が用いら
れる。

【００３１】次に、量子化係数設定手段１０７では、上
記対象フレームの目標ビット数Ｎｂを示す情報２０９及
びブロックビット数の情報２１７に基づいてこの対象フ
レームにおける各マクロブロック毎に量子化係数が設定
され、さらに、入力されたＢフレームの画像信号に対し
て、周波数変換器１０５でのＤＣＴ処理、量子化器１０
８での量子化処理、及び可変長符号化器１１２での可変
長符号化処理が順次行われる（ステップＳ３１１）。そ
して、目標ビット数設定手段１１０では、セグメントの
使用可能ビット数Ｒから、Ｂフレームの符号化処理の際
に発生したビット数Ｓを減算する処理が行われる（ステ
ップＳ３１２）。

【００３２】その後、対象フレームが例えば画像シーケ
ンスの最終フレームであるか否かなどの、符号化処理を
終了すべきか否かの判定が行われ（ステップＳ３１
３）、符号化処理を終了しない場合は、上記目標ビット
数設定手段１１０にて、対象フレームがＩフレームであ
るか否かを判定する処理が行われる（ステップＳ３０
２）。

【００３３】このようにして、順次セグメント毎に割り
当てられたビット数に応じて、各セグメント内の各予測
タイプのフレームに対して、最近に符号化処理がされた
各予測タイプのフレームの複雑さを示す指標に応じた目
標ビット数が設定され、この目標ビット数及び対象フレ
ームのブロックビット数に基づいて、対象フレームの画
像信号の符号化処理が、対象フレームのマクロブロック
に応じた量子化係数でもって行われる。

【００３４】なお、上記画像符号化装置２００の目標ビ
ット数設定手段１１０，パラメータ設定手段１１１，及
び複雑さ検出手段１１４では、対象フレームの予測タイ
プの識別（つまりＩフレーム，Ｐフレーム，Ｂフレーム
の識別）は、各予測タイプのフレームが画像シーケンス
中に周期的に配列されていることから、処理したフレー
ムの数をカウンタなどによりカウントすることにより、
このカウント値と各予測タイプのフレームの周期との比
較に基づいて行っている。

【００３５】

【発明が解決しようとする課題】しかしながら、従来の
画像符号化装置で行われているレート制御処理では、対
象フレームと同一の予測タイプのフレームに対して統計
的に決定される画像複雑さに基づいて、対象フレームに
ビット数を割当てた場合、ビット資源が有効に利用でき
ず、一時的に発生する複雑なフレームに多くのビットが
割当てられないことから、画質が劣化してしまう場合が
生じるという問題点があった。

【００３６】つまり、従来のレート制御処理では、符号
化処理の対象となる個々のフレームの複雑さを考慮せず
に、対象フレームの符号化処理は、予測タイプに応じ
た、画像シーケンスにおける符号化処理済のフレームの
統計的な画像複雑さに基づいて行われることとなるの
で、同じ予測タイプのフレームであっても、フレーム毎
に複雑さが大きく異なる場合には、多くのビット数を必
要としないフレームには余分にビットが割当てられ、多
くのビット数が必要となる複雑なフレームにビットが割
当てられないといったことが生ずる。この結果、画質の
劣化を招いてしまう場合がある。

【００３７】また、従来の画像符号化装置で行われてい
るレート制御処理では、対象フレームに対する目標ビッ
ト数を、対象フレームに最も近い各予測タイプのフレー
ムのみの複雑さを利用して設定する場合、目標ビット数
に揺らぎが生じて画質が不安定になる場合が生じるとい
う問題点があった。

【００３８】つまり、従来の符号化の際のレート制御処
理では、対象フレームに対する目標ビット数の設定は、
対象フレームに最も近い、該対象フレームと同一予測タ
イプを有する１つのフレームの複雑さに基づいて行われ
るため、隣接する同じ予測タイプのフレーム間でも微妙
に画像複雑さは変化することから、動きの少ない画像に
ついても、同じ予測タイプのフレーム間で目標ビット数
に揺らぎが生じてしまい、画質が不安定になる場合があ
る。

【００３９】さらに、レート制御を所定数のフレームか
らなるセグメントを単位として周期的に行う場合、セグ
メント終盤での対象フレームに対する目標ビット数の不
足分が蓄積し、画質が劣化してしまったり、周期的に画
質が変化してしまう場合が生じるという問題点があっ
た。

【００４０】つまり、レート制御が所定数のフレームか
らなるセグメントを単位として周期的に行われるため、
セグメントに割り当てられるビット数と、セグメントの
処理済フレームに対する発生ビット数との差、特に個々
の対象フレームに対して割り当てられる目標ビット数の
不足分が、セグメントの終盤になるにしたがって蓄積す
ることがあり、対象セグメントの終盤、すなわち次のセ
グメントにおけるＩフレームの直前の、対象セグメント
におけるフレームでは、割り当てられる目標ビット数が
小さくなり、画質が劣化してしまう場合がある。また、
前のセグメント終盤で劣化した画質がその次のセグメン
トで回復されるといった現象が繰り返し発生するため
に、周期的に画質が変化する場合がある。

【００４１】この発明は上記のような問題点を解消する
ためになされたもので、特定のフレームの画質劣化や周
期的な画質の変化を抑制あるいは回避することができ、
画像信号を符号化して得られる画像符号化信号を、高画
質な画像を再生可能なものとすることができる画像符号
化方法，画像符号化装置、及び上記画像符号化方法によ
る画像符号化処理をコンピュータにより行うためのプロ
グラムを格納したデータ記憶媒体を得ることを目的とす
る。

【００４２】

【課題を解決するための手段】この発明（請求項１）に
係る画像符号化装置は、入力された画像信号に対して符
号化処理を行いつつ、各フレームに対する符号化処理
を、その対象となる対象フレームに対して発生する実質
符号量と、該対象フレームに対して設定される目標符号
量との差が小さくなるよう、符号化処理済のフレームに
対する発生符号量に基づいて制御する画像符号化装置で
あって、上記画像信号を、符号化パラメータが所定値に
設定された符号化処理により圧縮する圧縮符号化手段
と、上記符号化処理済のフレームに対する発生符号量に
基づいて、上記対象フレームに対して目標符号量を設定
する目標符号量設定手段と、上記対象フレームに対応す
る画像信号の特性分析により、その符号化処理に要する
符号量の多さに応じた、該画像信号の複雑さを示す画像
複雑さ指標を検出する画像複雑さ検出手段と、上記対象
フレームに対する画像複雑さ指標に応じて、上記対象フ
レームに対する目標符号量を補正する目標符号量補正手
段と、上記対象フレームに対する補正された目標符号量
に基づいて上記符号化パラメータの値を設定する符号化
条件設定手段とを備えたものである。

【００４３】この発明（請求項２）は、請求項１記載の
画像符号化装置において、上記画総複雑さ検出手段を、
上記対象フレームに対応する画像信号の特性分析によ
り、上記画像複雑さ指標として、該対象フレームを構成
する画素の画素値の分散を検出するよう構成したもので
ある。

【００４４】この発明（請求項３）は、請求項１記載の
画像符号化装置において、上記圧縮符号化手段を、上記
符号化処理として、フレーム内の画素値相関を利用した
画面内予測符号化処理、及びフレーム間の画素値相関を
利用した画面間予測符号化処理の一方を適宜選択して、
上記対象フレームに対して画面内予測符号化処理あるい
は画面間予測符号化処理を施すよう構成し、上記画像複
雑さ検出手段を、上記対象フレームが画面内予測符号化
処理が施される画面内予測フレームであるとき、上記画
像複雑さ指標として、該対象フレームを構成する画素の
画素値の分散を検出し、上記対象フレームが画面間予測
符号化処理が施される画面間予測フレームであるとき、
上記画像複雑さ指標として、該対象フレームを構成する
画素の画素値の絶対値和を検出するよう構成したもので
ある。

【００４５】この発明（請求項４）は、請求項１記載の
画像符号化装置において、上記画像複雑さ検出手段を、
上記対象フレームに対する画像複雑さ指標を、処理済フ
レームに対する画像複雑さ指標の平均値で割り算して得
られる値を、上記対象フレームに対する補正係数として
出力する補正係数生成手段を有する構成としたものであ
る。

【００４６】この発明（請求項５）は、請求項４記載の
画像符号化装置において、上記目標符号量補正手段を、
上記対象フレームに対する補正係数を、上記対象フレー
ムに対する目標符号量に乗算して得られる積算値を、補
正された目標符号量として出力する構成としたものであ
る。

【００４７】この発明（請求項６）は請求項１記載の画
像符号化装置において、上記符号化処理の制御を、基準
フレームとこれに続く複数の後続フレームとからなるセ
グメントを単位として行い、上記符号化処理の制御の対
象となるセグメントを、該セグメント内の特定フレーム
に対する符号化処理が終了した時点で更新し、更新後の
セグメントを、更新前のセグメントにおける特定フレー
ムの次の後続フレームを更新後の基準フレームとし、こ
の更新後の基準フレームに続く複数のフレームを更新後
の後続フレームとするセグメントとするものである。

【００４８】この発明（請求項７）に係る画像符号化装
置は、入力された画像信号に対して所定の符号化条件で
もって符号化処理を行いつつ、各フレームに対する符号
化処理を、その対象となる対象フレームに対して発生す
る実質符号量と、該対象フレームに対して設定される目
標符号量との差が小さくなるよう、符号化処理済のフレ
ームに対する発生符号量に基づいて制御する画像符号化
装置であって、上記画像信号を、符号化パラメータが所
定値に設定された符号化処理により圧縮する圧縮符号化
手段と、上記符号化処理済のフレームに対する発生符号
量に基づいて、上記対象フレームに対して目標符号量を
設定する目標符号量設定手段とを備え、上記目標符号量
設定手段を、上記符号化条件及び上記符号化処理済のフ
レームに対する発生符号量に基づいて、各フレームに対
する画像の複雑さを示す指標を検出する画像複雑さ検出
手段と、複数の符号化処理済のフレームに対する画像複
雑さを平均して平均化画像複雑さ指標を生成する平均化
手段とを有し、上記対象フレームに対する平均化画像複
雑さ指標に基づいて上記対象フレームに対する目標ビッ
ト数を設定する構成としたものである。

【００４９】この発明（請求項８）は、請求項７記載の
画像符号化装置において、上記符号化処理の制御を、基
準フレームとこれに続く複数の後続フレームとからなる
セグメントを単位として行い、上記符号化処理の制御の
対象となるセグメントを、該セグメント内の特定フレー
ムに対する符号化処理が終了した時点で更新し、更新後
のセグメントを、更新前のセグメントにおける特定フレ
ームの次の後続フレームを更新後の基準フレームとし、
この更新後の基準フレームに続く複数のフレームを更新
後の後続フレームとするセグメントとするものである。

【００５０】この発明（請求項９）に係る画像符号化方
法は、画像信号に対して符号化処理を行いつつ、各フレ
ームに対する符号化処理を、その対象となる対象フレー
ムに対して発生する実質符号量と、該対象フレームに対
して設定される目標符号量との差が小さくなるよう、制
御する画像符号化方法であって、上記符号化処理済のフ
レームに対する発生符号量に基づいて、上記画像信号の
符号化処理を制御するための、対象フレームに対するフ
ィードバック制御量を生成する制御量検出処理と、上記
対象フレームに対応する画像信号の特性分析により、そ
の符号化処理に要する符号量の多さに応じた、該画像信
号の複雑さを示す画像複雑さ指標を検出する画像複雑さ
検出処理と、上記フィードバック制御量を、上記対象フ
レームに対する画像複雑さ指標によって補正する制御量
補正処理とを含み、上記画像信号に対して符号化処理
を、上記補正されたフィードバック制御量に基づいて制
御するものである。

【００５１】この発明（請求項１０）は、請求項９記載
の画像符号化方法において、上記画像複雑さ検出処理で
は、上記画像複雑さ指標として、上記対象フレームを構
成する画素の画素値の分散を検出するものである。

【００５２】この発明（請求項１１）は、請求項９記載
の符号量制御方法であって、上記画像信号に対する符号
化処理として、フレーム内の画素値相関を利用した画面
内予測符号化処理、及びフレーム間の画素値相関を利用
した画面間予測符号化処理を含み、上記複雑さ検出処理
では、上記対象フレームが画面内予測符号化処理が施さ
れる画面内予測フレームに対する画像複雑さ指標とし
て、該対象フレームを構成する画素の画素値の分散を検
出し、上記対象フレームが画面間予測符号化処理が施さ
れる画面間予測フレームに対する画像複雑さ指標とし
て、該対象フレームを構成する画素の画素値の絶対値和
を検出するものである。

【００５３】この発明（請求項１２）は、請求項９記載
の画像符号化方法において、上記画像複雑さ検出処理で
は、上記対象フレームに対する画像複雑さ指標を、処理
済フレームに対する画像複雑さ指標の平均値で割り算し
て得られる値を、上記対象フレームに対するフィードバ
ック制御量の補正係数として導出するものである。

【００５４】この発明（請求項１３）は、請求項１２記
載の符号量制御方法であって、上記フィードバック制御
量に、その補正係数を乗算して得られる値を、補正され
たフィードバック制御量とするものである。

【００５５】この発明（請求項１４）に係る画像符号化
方法は、画像信号に対して所定の符号化条件でもって符
号化処理を行いつつ、各フレームに対する符号化処理
を、その対象となる対象フレームに対して発生する実質
符号量と、該対象フレームに対して設定される目標符号
量との差が小さくなるよう、制御する画像符号化方法で
あって、上記符号化処理済のフレームに対する発生符号
量に基づいて、上記対象フレームに対して目標符号量を
設定する目標符号量設定処理を含み、上記目標符号量設
定処理では、上記符号化条件及び上記符号化処理済のフ
レームに対する発生符号量に基づいて、各フレームに対
する画像の複雑さを示す指標を検出し、複数の符号化処
理済のフレームに対する画像複雑さを平均して平均化画
像複雑さ指標を生成し、上記対象フレームに対する平均
化画像複雑さ指標に基づいて上記対象フレームに対する
目標ビット数を設定するものである。

【００５６】この発明（請求項１５）に係る画像符号化
方法は、画像信号に対して符号化処理を行いつつ、各フ
レームに対する符号化処理を、その対象となる対象フレ
ームに対して発生する実質符号量と、該対象フレームに
対して設定される目標符号量との差が小さくなるよう、
制御する画像符号化方法であって、上記符号化処理の制
御を、基準フレームとこれに続く複数の後続フレームと
からなるセグメントを単位として行い、上記符号化処理
の制御の対象となるセグメントを、該セグメント内の特
定フレームに対する符号化処理が終了した時点で更新
し、更新後のセグメントを、更新前のセグメントにおけ
る特定フレームの次の後続フレームを更新後の基準フレ
ームとし、この更新後の基準フレームに続く複数のフレ
ームを更新後の後続フレームとするセグメントとするも
のである。

【００５７】この発明（請求項１６）に係るデータ記憶
媒体は、画像処理プログラムとして、請求項９ないし１
５のいずれかに記載の画像符号化方法による画像符号化
処理を、コンピュータにより行うための画像符号化プロ
グラムを格納したものである。

【００５８】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。実施の形態１．図１は本発明の実施の形態１による画像
符号化装置を説明するためのブロック図である。この実
施の形態１の画像符号化装置１０は、図６に示す従来の
画像符号化装置２００の構成に加えて、符号化処理の対
象となる対象フレームの画像の複雑さに応じて、目標ビ
ット数設定手段１１０からの対象フレームに対する目標
ビット数２０９を補正する目標ビット数補正回路１０ａ
を備え、さらに、各予測タイプのフレームに対応する複
雑さの指標を格納するメモリ１１３から出力される、過
去のフレームの複雑さの指標２１４を平均化する平均化
手段１０９を備えている。そして、この画像符号化装置
１０のその他の構成は、従来の画像符号化装置２００と
同一である。

【００５９】また、本実施の形態１の画像符号化装置１
０により符号化処理が施される画像のシーケンスも、図
７に示すように従来の画像符号化装置２００により符号
化処理が施される画像のシーケンスと同様、Ｉフレー
ム，Ｐフレーム，Ｂフレームを含むものであり、Ｉフレ
ーム，つまり画面内予測符号化処理が施されるフレーム
は、上記画像シーケンス中に６フレーム毎に繰り返し配
列され、Ｐフレーム，つまり順方向画面間予測符号化が
施されるフレームは、上記画像シーケンス中に２フレー
ム毎に、Ｂフレーム，つまり双方向画面間予測符号化が
施されるフレームも、上記画像シーケンス中に２フレー
ム毎に繰り返し配列されている。

【００６０】以下、本実施の形態１の画像符号化装置１
０の、従来の画像符号化装置２００との相違部分につい
て詳述する。上記目標ビット数補正回路１０ａは、符号
化処理の対象となる対象フレームに対する画像信号２０
１の複雑さを検出し、各フレーム毎に対応する複雑さの
指標２０２を出力する複雑さ検出手段１０２と、各フレ
ームに対応する複雑さの指標２０２を記憶するメモリ１
０１と、メモリ１０１に蓄えられた過去の同じ予測タイ
プのフレーム毎の複雑さの指標２０３の平均値２０４を
出力する平均化手段１０３とを有している。ここで、上
記各フレームに対応する画像の複雑さの指標２０２は、
具体的には各フレームを構成する画素の画素値の分散で
ある。また、各予測タイプに対応するフレームの複雑さ
の指標の平均値２０４は、具体的には、対象フレームと
予測タイプが同じである２つの既処理フレームに対する
複雑さの指標を平均して得られる値である。

【００６１】また、上記目標ビット数補正回路１０ａ
は、対象フレームの複雑さの指標２０２と、対象フレー
ムと同じ予測タイプの既処理フレームの複雑さの指標の
平均値２０４に基づいて、補正係数２０５を出力する補
正係数設定手段１０４と、目標ビット数設定手段１１０
により設定された対象フレームの目標ビット数２０９を
補正係数２０５に基づいて補正処理し、対象フレームの
補正目標ビット数２０７として量子化係数設定手段１０
７に出力する補正手段１０６とを有している。ここで、
補正係数２０５は、具体的には、対象フレームの複雑さ
の指標２０２を、該対象フレームと同じ予測タイプを有
する既処理フレームの複雑さ指標２０３の平均値２０４
で割り算して得られる値である。また、上記補正手段１
０６における補正処理は、目標ビット数２０９と補正係
数２０５を乗算する処理であり、この乗算結果が上記補
正目標ビット数２０７となる。

【００６２】さらに、上記画像符号化装置１０を構成す
る平均化手段１０９は、メモリ１１３に蓄えられた複数
フレーム、具体的には、対象フレームに最も近い２フレ
ームの複雑さの指標２１４の平均値２１２を、過去の各
予測タイプ毎に別々に、目標ビット数設定手段１１０に
出力する構成となっている。

【００６３】なお、この実施の形態１においても、従来
の画像符号化装置２００と同様、上記画像符号化装置１
０における目標ビット数設定手段１１０，パラメータ設
定手段１１１，及び複雑さ検出手段１１４では、対象フ
レームの予測タイプの識別（つまりＩフレーム，Ｐフレ
ーム，Ｂフレームの識別）は、各予測タイプのフレーム
が画像シーケンス中に周期的に配列されていることか
ら、処理したフレームの数をカウンタなどによりカウン
トすることにより、このカウント値と各予測タイプのフ
レームの周期との比較に基づいて行っている。

【００６４】次に作用効果について説明する。本実施の
形態１の画像符号化装置１０の動作は、メモリ１１３に
格納されている各フレームの複雑さの指標２１４を平均
化して目標ビット数設定手段１１０に供給する点、及び
目標ビット数設定手段１１０から出力される目標ビット
数２０９を補正して量子化係数設定手段１０７に供給す
る点のみ、従来の画像符号化装置２００の動作と異なっ
ており、その他の動作は従来の画像符号化装置２００と
全く同一である。

【００６５】すなわち、この画像符号化装置１０に、符
号化処理の対象となる対象フレームに対応する画像信号
２０１が入力されると、従来の画像符号化装置２００と
同様、該画像信号２０１に対して、周波数変換器１０５
による周波数変換処理、量子化器１０８による量子化処
理，及び可変長符号化器１１２による可変長符号化処理
が施される。

【００６６】この際、上記従来の画像符号化装置２００
と同様、符号量検出手段１１５にて、各フレーム毎に発
生するビット数（フレームビット数）２１０、及び各マ
クロブロック毎に発生するビット数（ブロックビット
数）２１７が検出され、複雑さ検出手段１１４では、平
均化手段１１７からの各マクロブロックに対する量子化
係数の平均値２１９、及び上記符号量検出手段１１５か
らのフレームビット数２１０に基づいて、フレーム毎に
画像信号の複雑さを示す指標（複雑さ指標）２１５が検
出され、この複雑さ指標が各フレーム毎にメモリ１１３
に格納される。また、パラメータ更新手段１１１では、
対象処理の対象となる対象セグメントで使用可能なビッ
ト数（使用可能ビット数）２１３が導出される。

【００６７】そして、本実施の形態１では、メモリ１１
３に蓄えられた過去の各予測タイプの複数フレーム、具
体的には２フレームの複雑さ指標２１４が平均化手段１
０９にて平均化されて、該複雑さ指標の平均値２１２が
目標ビット数設定手段１１０に出力される。該目標ビッ
ト数設定手段１１０では、上記対象フレームに対応する
複雑さの指標の平均値１１５と対象セグメントの使用可
能ビット数２１３とに基づいて、対象フレームに対する
目標ビット数２０９が設定される。さらに、本実施の形
態１では、目標ビット補正回路１０ａにて、上記対象フ
レームに対する目標ビット数２０９の補正が行われる。
以下、目標ビット補正回路１０ａの動作について説明す
る。

【００６８】上記目標ビット数補正回路１０ａでは、複
雑さ検出手段１０２により、各フレーム毎に画像信号２
０１の複雑さが検出され、各フレームに対応する複雑さ
の指標２０２がメモリ１０１に格納される。ここで、検
出されるフレーム毎の複雑さの指標２０２は、具体的に
は各フレームを構成する画素の画素値の分散である。

【００６９】また、上記平均化手段１０３にて、上記メ
モリ１０１に蓄えられた過去の同じ予測タイプのフレー
ムの複雑さ指標に基づいて、各予測タイプ毎にフレーム
の複雑さ指標２０３の平均値２０４が算出される。この
複雑さ指標の平均値２０４は、具体的には、過去の同じ
予測タイプのフレーム２枚の複雑さの指標の平均値であ
る。

【００７０】さらに、補正係数設定手段１０４にて、対
象フレームの複雑さ指標２０２と、この対象フレームと
同じ予測タイプを有する処理済フレームの複雑さ指標の
平均値２０４に基づいて、補正係数２０５が出力され
る。すると、補正手段１０６にて、目標ビット数設定手
段１１０からの対象フレームの目標ビット数２０９に対
して補正係数２０５に基づいて補正処理が施されて、対
象フレームに対する補正目標ビット数２０７が量子化係
数設定手段１０７に出力される。

【００７１】ここで、補正係数設定手段１０４では、具
体的には、対象フレームに対する複雑さ指標２０２を、
対応する予測タイプの処理済フレームの複雑さ指標２０
３の平均値２０４で割り算する処理が行われ、その割り
算の結果が上記補正係数２０５として出力される。ま
た、上記補正手段１０６では、具体的には、対象フレー
ムの目標ビット数２０９と補正係数２０５の乗算処理が
行われ、この乗算結果が上記対象フレームの補正目標ビ
ット数２０７として出力される。

【００７２】そして、量子化係数設定手段１０７では、
対象フレームに対する補正目標ビット数２０７と、処理
済の各マクロブロックに対応する発生ビット数２１７と
に基づいて、被処理マクロブロックに対応する量子化係
数２０８が設定され、この量子化係数２０６は上記量子
化器１０８に出力されるとともに、上記メモリ１１６に
格納される。

【００７３】このように本実施の形態１では、対象フレ
ームに対する目標ビット数２０９を、該対象フレームと
同一予測タイプを有する処理済フレームに対する統計的
な複雑さに基づいて設定し、この目標ビット数２０９
を、対象フレームの画像の複雑さに応じて補正するの
で、対象フレームにはその画像複雑さに応じてビット数
を割当てることができ、ビット資源の有効利用により画
質を改善することができる。

【００７４】また、上記実施の形態１では、対象フレー
ムと同一予測タイプを有する処理済フレームに対する統
計的な複雑さを平均化し、具体的には過去の２つの処理
済フレームの複雑さ指標２１４の平均値２１２を、目標
ビット数設定手段１１０に出力する平均化手段１０９を
備えたので、画像複雑さに大きな差がないフレーム間で
目標ビット数に揺らぎが発生するのを抑制でき、画質を
安定させることができる。

【００７５】なお、上記実施の形態１では、フレーム毎
の複雑さの指標２０２は画像信号２０１の分散（各フレ
ームを構成する画素の画素値の分散）としたが、必ずし
も全てのフレームの複雑さの指標を上記分散とする必要
はなく、例えば、Ｉフレームについては上記複雑さの指
標として上記分散を用い、Ｐフレーム及びＢフレームに
ついては上記複雑さの指標として、各フレームを構成す
る画素の画素値の絶対値和を用いてもよい。この場合、
上記複雑さ検出手段１０２における演算処理量を軽減す
ることができる。

【００７６】また、上記実施の形態１では、上記補正係
数２０５は、対象フレームに対する複雑さの指標２０２
（これをｓとする）を、該対象フレームと同じ予測タイ
プを有する過去の処理済フレームに対する複雑さの指標
２０３の平均値２０４（これとｔとする）で割り算して
得られた値としたが、上記補正係数２０５は、この値
（ｓ／ｔ）に限るものではなく、例えば、（ｓ×ｃ＋
ｔ）／（ｓ＋ｃ×ｔ）などｓ、ｔの関数で与えられる値
としてもよい。ここで、ｃは定数である。この場合に
は、処理済フレームに対する複雑さの指標の平均値２０
４に対する対象フレームに対する複雑さの指標２０２の
比率が、極端に大きくなった（ｓ／ｔ→無限大）ときで
も、補正係数２０５の値が定数ｃを超えることはなく、
また、処理済フレームに対する複雑さの指標の平均値２
０４に対する対象フレームに対する複雑さの指標２０２
の比率が、極端に小さくなった（ｓ／ｔ→０）ときで
も、補正係数２０５の値が定数１／ｃより小さくなるこ
とはない。

【００７７】このように、補正係数２０５の下限値は１
／ｃ、その上限値はｃとなるので、簡単に目標ビット数
の補正処理に制限を与えることができる。つまり、補正
係数の大きさが定数ｃによって制限されることとなり、
補正された目標ビット数が極端に大きくなったり小さく
なったりするのが回避され、画質よりも発生符号量の安
定性を優先する場合には有効である。

【００７８】また、上記実施の形態１では、平均値２０
４および平均値２１２を求める際、過去の２枚のフレー
ムの情報を平均化するとしたが、平均化の対象とするフ
レームの数は、必ずしも２枚である必要はなく、５枚な
ど２枚以上の枚数や、各予測タイプ毎に異なる平均化枚
数、例えばＩフレームの周期内に含まれる各予測タイプ
のフレーム枚数などを設定してもよい。

【００７９】実施の形態２．

【００８０】図２は本発明の実施の形態２による画像符
号化装置における符号量制御方法を説明するための図で
あり、符号化処理が施される画像シーケンス，つまりフ
レームの配列を示している。つまり、図２(a)は、該フ
レームの配列として表示順の配列を示しており、図２
(b)は、上記フレームの配列として、符号化処理順の配
列を示している。

【００８１】ここでは、上記画像シーケンスは、Ｉフレ
ーム，Ｐフレーム，Ｂフレームを含むものであり、Ｉフ
レーム，つまり画面内符号化処理が施されるフレーム
は、上記画像シーケンス中に６フレーム毎に繰り返し配
列され、Ｐフレーム，つまり順方向画面間予測符号化が
施されるフレームは、上記画像シーケンス中に２フレー
ム毎に、Ｂフレーム，つまり双方向画面間予測符号化が
施されるフレームも、上記画像シーケンス中に２フレー
ム毎に繰り返し配列されている。従って、ここでは、上
記画像シーケンス中では、Ｉフレームの間隔ＮはＮ＝６
であり、Ｐフレーム及びＢフレームの間隔ＭはＭ＝２と
なっている。そして、本実施の形態２のレート制御方法
では、Ｉフレームの間隔の２倍を１つのレート制御の単
位（セグメント）としている。

【００８２】つまり、従来の画像符号化装置では、符号
化処理におけるレート制御は、図７に示すようにＩフレ
ーム毎に区切って行っているが、本実施の形態２におい
ては、図２に示すように、Ｉフレームの間隔の２倍をレ
ート制御の単位（セグメント）とし、前後のセグメント
（Ｉフレームの間隔の２倍）が従来のレート制御におけ
る１セグメント分（Ｉフレームの間隔）だけ重なるよう
レート制御を行うようにしている。

【００８３】この例においては、レート制御の単位を、
従来のレート制御の単位であるＩフレームの間隔の２倍
に相当する間隔として、各パラメータの初期化及び目標
ビット数の設定を行い、セグメントに対する使用可能ビ
ット数Ｒの更新は従来と同様でＩフレーム毎に行うよう
にしている。本実施の形態２のレート制御方法を採用し
た画像符号化装置は、図６に示す画像符号化装置２００
における目標ビット数設定手段１１０の構成を変更する
ことにより簡単に実現することができる。

【００８４】図３は本発明の実施の形態２による画像符
号化装置を説明するためのブロック図である。本実施の
形態２の画像符号化装置２０は、従来の画像符号化装置
２００における目標ビット数設定手段１１０に代えて、
これとは構成の異なる目標ビット数設定手段１１０ａを
備えたものである。

【００８５】この目標ビット数設定手段１１０ａは、セ
グメントに対する使用可能ビット数Ｒの初期化の際、該
使用可能ビット数ＲはＲ＝ｍ×Ｇ＋Ｇ×（１−Ｍ）とさ
れ、１セグメント当たりのＩフレームの残り枚数Ｎｉ，
１セグメント当たりのＰフレームの残り枚数Ｎｐ，１セ
グメント当たりのＢフレームの残り枚数Ｎｂが、それぞ
れＮｉ＝ｍ，Ｎｐ＝ｍ×（Ｎ／Ｍ−１），Ｎｂ＝ｍ×
（Ｎ−Ｎ／Ｍ−Ｍ＋１）とされるよう構成されている。

【００８６】ここで、上記Ｉフレームの間隔に割り当て
られるビット数Ｇは、伝送レート（１秒間に伝送される
ビット数）をＢＲ、フレームレート（１秒間に表示され
るフレームの数）をＦＲとすると、Ｇ＝Ｎ×ＢＲ／ＦＲ
で表され、図６に示す従来のレート制御におけるものと
同一である。また、ｍは、Ｉ−フレームの周期を１単位
とする、上記セグメントの重複部分の長さを表し、図２
に示す例では、ｍ＝１である。

【００８７】次に、本実施の形態２の画像符号化装置の
動作について説明する。ただし、この実施の形態２の画
像符号化装置の動作は、上記目標ビット数設定手段１１
０の動作以外は従来の画像符号化装置２００と同一であ
るので、以下では、主として、目標ビット数設定手段１
１０ａの動作について説明する。

【００８８】図４は、上記対象フレームに対する目標ビ
ット数の設定処理及びセグメント似対する使用可能ビッ
ト数の設定処理のフローを示している。上記画像符号化
装置２０における符号化処理が開始されると、パラメー
タ更新手段１１１ではセグメントに割り当てられるビッ
ト数（初期値）Ｇが出力され、目標ビット数設定手段１
１０ａでは、上記セグメントに対する使用可能ビット数
Ｒが初期化されてＲ＝ｍ×Ｇ＋Ｇ×（１−Ｍ）Ｎとさ
れ、１セグメント当たりのＩフレームの残り枚数Ｎｉ，
１セグメント当たりのＰフレームの残り枚数Ｎｐ，１セ
グメント当たりのＢフレームの残り枚数Ｎｂが初期化さ
れて、それぞれＮｉ＝ｍ，Ｎｐ＝ｍ×（Ｎ／Ｍ−１），
Ｎｂ＝ｍ×（Ｎ−Ｎ／Ｍ−Ｍ＋１）となる（ステップＳ
３０１ａ）。ここで、上記セグメントに割り当てられる
ビット数Ｇは、伝送レート（１秒間に伝送されるビット
数）をＢＲ、フレームレート（１秒間に表示されるフレ
ームの数）をＦＲとすると、Ｇ＝Ｎ×ＢＲ／ＦＲで表さ
れる。

【００８９】例えば、図２に示すように、画像シーケン
スの最初のセグメント以外のセグメントが６フレームか
ら構成されている場合は、フレームレートを１／６秒と
すると、２番目以降のセグメントに対する割り当てビッ
ト数Ｇは、Ｇ＝Ｎ×ＢＲ／ＦＲ＝６×ＢＲ／６＝ＢＲと
なる。また、図２に示すように、各セグメントにおける
Ｉフレームの間隔が６フレーム，Ｐフレーム及びＢフレ
ームの間隔Ｍが２フレームである場合、上記ステップＳ
３０１ａでは、１セグメント当たりの各フレームの残り
枚数Ｎｉ，Ｎｐ，Ｎｂは、それぞれＮｉ＝１，Ｎｐ＝
２，Ｎｂ＝２に設定される。

【００９０】次に、上記目標ビット数設定手段１１０ａ
では、符号化処理の対象となる対象フレームがＩフレー
ムであるか否かが判定され（ステップＳ３０２）、対象
フレームがＩフレームであれば、上記セグメントに対す
る使用可能ビット数Ｒにセグメント重複部分に相当する
割り当てビット数Ｇだけ加算する処理が行われ、各予測
タイプのフレームの、１セグメント当たりの残り枚数Ｎ
ｉ，Ｎｐ，Ｎｂに、それぞれセグメント重複部分に相当
する枚数「１」，「Ｎ／Ｍ−１」，「Ｎ−Ｎ／Ｍ」だけ
加算される（ステップＳ３０３）。例えば、図２に示す
画像シーケンスでは、このステップＳ３０３では、１セ
グメント当たりの残り枚数Ｎｉ，Ｎｐ，Ｎｂに、それぞ
れセグメント重複部分当たりの枚数「１」，「２」，
「３」だけ加算される。この結果、１セグメント当たり
の残り枚数Ｎｉ，Ｎｐ，Ｎｂはそれぞれ、「１＋１」，
「２＋２」，「２＋３」となる。なお、図２のフロー中
の表記「Ｒ＋＝Ｇ」は「ＲをＧだけ増加させる」処理を
表するものである。

【００９１】次に、上記目標ビット数設定手段１１０ａ
では、メモリ１１３からの複雑さ指標２１４に基づい
て、対象フレームであるＩフレームの目標ビット数Ｔｉ
が設定され（ステップＳ３０４）、１フレームの１セグ
メント当たりの残り枚数Ｎｉが更新される（ステップＳ
３０５）。なお、図２のフロー中の表記「Ｎｉ−＝１」
は「Ｎｉを１だけ減少させる」処理を表すものである。
ここで、上記Ｉフレームの目標ビット数Ｔｉは、従来の
画像符号化装置２００と同様、上記（１）式により求め
られる。

【００９２】次に、量子化係数設定手段１０７では、上
記対象フレームの目標ビット数Ｎｉを示す情報２０９及
びブロックビット数の情報２１７に基づいて、この対象
フレームにおける各マクロブロック毎に量子化係数が設
定され、さらに、入力されたＩフレームの画像信号に対
して、周波数変換器１０５でのＤＣＴ処理、量子化器１
０８での量子化処理、及び可変長符号化器１１２での可
変長符号化処理が順次行われる（ステップＳ３１１）。
そして、目標ビット数設定手段１１０ａでは、セグメン
トの使用可能ビット数Ｒから、Ｉフレームの符号化処理
の際に発生したビット数Ｓを減算する処理が行われる
（ステップＳ３１２）。

【００９３】その後、対象フレームが例えば画像シーケ
ンスの最終フレームであるか否かなどの、符号化処理を
終了すべきか否かの判定が行われ（ステップＳ３１
３）、符号化処理を終了しない場合は、上記目標ビット
数設定手段１１０ａにて、対象フレームがＩフレームで
あるか否かを判定する処理が行われる（ステップＳ３０
２）。

【００９４】一方、上記ステップＳ３０２での判定の結
果、対象フレームがＩフレームでないと判定された場
合、目標ビット数設定手段１１０ａでは、さらに対象フ
レームがＰフレームであるか否かが判定される（ステッ
プＳ３０６）。

【００９５】この判定の結果、対象フレームがＰフレー
ムであると判定された場合には、上記目標ビット数設定
手段１１０ａでは、対象フレームであるＰフレームの目
標ビット数Ｔｐが設定され（ステップＳ３０７）、Ｐフ
レームの１セグメント当たりの残り枚数Ｎｐが更新され
る（ステップＳ３０８）。ここで、上記Ｐフレームの目
標ビット数Ｔｐは、従来の画像符号化装置２００と同
様、上記式（２）により求められる。

【００９６】次に、量子化係数設定手段１０７では、上
記対象フレームの目標ビット数Ｎｐを示す情報２０９及
びブロックビット数の情報２１７に基づいて、この対象
フレームにおける各マクロブロック毎に量子化係数が設
定され、さらに、入力されたＰフレームの画像信号に対
して、周波数変換器１０５でのＤＣＴ処理、量子化器１
０８での量子化処理、及び可変長符号化器１１２での可
変長符号化処理が順次行われる（ステップＳ３１１）。
そして、目標ビット数設定手段１１０ａでは、セグメン
トの使用可能ビット数Ｒから、Ｐフレームの符号化処理
の際に発生したビット数Ｓを減算する処理が行われる
（ステップＳ３１２）。

【００９７】その後、対象フレームが例えば画像シーケ
ンスの最終フレームであるか否かなどの、符号化処理を
終了すべきか否かの判定が行われ（ステップＳ３１
３）、符号化処理を終了しない場合は、上記目標ビット
数設定手段１１０ａにて、対象フレームがＩフレームで
あるか否かを判定する処理が行われる（ステップＳ３０
２）。

【００９８】また、上記ステップＳ３０６での判定の結
果、対象フレームがＰフレームでないと判定された場合
は、上記目標ビット数設定手段１１０ａでは、対象フレ
ームであるＢフレームの目標ビット数Ｔｂが設定され
（ステップＳ３０９）、Ｂフレームの１セグメント当た
りの残り枚数Ｎｂが更新される（ステップＳ３１０）。
ここで、上記Ｂフレームの目標ビット数Ｔｂは、従来の
画像符号化装置２００と同様、上記式（３）により求め
られる。

【００９９】次に、量子化係数設定手段１０７では、上
記対象フレームの目標ビット数Ｎｂを示す情報２０９及
びブロックビット数の情報２１７に基づいてこの対象フ
レームにおける各マクロブロック毎に量子化係数が設定
され、さらに、入力されたＢフレームの画像信号に対し
て、周波数変換器１０５でのＤＣＴ処理、量子化器１０
８での量子化処理、及び可変長符号化器１１２での可変
長符号化処理が順次行われる（ステップＳ３１１）。そ
して、目標ビット数設定手段１１０では、セグメントの
使用可能ビット数Ｒから、Ｂフレームの符号化処理の際
に発生したビット数Ｓを減算する処理が行われる（ステ
ップＳ３１２）。

【０１００】その後、対象フレームが例えば画像シーケ
ンスの最終フレームであるか否かなどの、符号化処理を
終了すべきか否かの判定が行われ（ステップＳ３１
３）、符号化処理を終了しない場合は、上記目標ビット
数設定手段１１０ａにて、対象フレームがＩフレームで
あるか否かを判定する処理が行われる（ステップＳ３０
２）。

【０１０１】このようにして、順次セグメント毎に割り
当てられたビット数に応じて、各セグメント内の各予測
タイプのフレームに対して、最近に符号化処理がされた
各予測タイプのフレームの複雑さを示す指標に応じた目
標ビット数が設定され、この目標ビット数及び対象フレ
ームのブロックビット数に基づいて、対象フレームの画
像信号の符号化処理が、対象フレームのマクロブロック
に応じた量子化係数でもって行われる。

【０１０２】このように本実施の形態２では、レート制
御の単位（セグメント）の長さをＩフレームの間隔の２
倍の長さとし、１セグメントの使用可能ビット数の初期
値として、Ｉフレームの間隔の２倍の長さに相当するビ
ット数（ｍ×Ｇ＋Ｇ×（１−Ｍ）／Ｎ）を与えるととも
に、レート制御の単位（セグメント）におけるＩ，Ｐ，
Ｂフレームの残りフレーム数として、Ｉフレームの間隔
の２倍の長さに相当する区間に含まれるフレーム数を与
え、Ｉフレームの間隔毎に、１セグメントの使用可能ビ
ット数、及び各予測タイプのフレームに対する残りフレ
ーム数を更新するようにしたので、レート制御の単位で
あるセグメントが、実質的に、隣接するものの間で１／
２づつ重なることとなる。これにより１つのセグメント
におけるビットの過不足分が次のセグメントに割り当て
られるビット数によって吸収されることとなり、Ｉフレ
ームの直前のフレームに割り当てる目標ビット数と発生
ビット数の差、特に不足分が蓄積することがなくなる。
この結果、画質の劣化を防ぐことができ、また周期的な
画質の変化も抑制することができる。

【０１０３】なお、実施の形態２では、隣接するセグメ
ントの重なり部分の長さをＩフレームの間隔により示す
値ｍが１である場合について説明したが、必ずしもこの
値ｍは１である必要はなく、２以上の値でもよい。ま
た、本実施の形態２では、Ｉフレームの間隔ＮがＮ＝
６、Ｐフレーム及びＢフレームの間隔ＭがＭ＝２である
場合について説明したが、必ずしもＩフレームやＰ，Ｂ
フレームの間隔は上記値をとる必要はなく、ＭがＮの約
数となるような値であればよい。例えば、全てのフレー
ムをＩフレームとして符号化してもよい。この場合はＮ
＝０、Ｍ＝０である。また、全てのフレームをＩ，Ｐ−
フレームとして符号化してもよい。この場合はＮ≠０、
Ｍ＝０、であり、画像シーケンス中にＢフレームとして
符号化されるフレームがない。

【０１０４】さらに、上記実施の形態１及び２の画像符
号化装置では、複雑さ検出手段１１４，目標ビット数検
出手段１１０，パラメータ更新手段１１１を、Ｉフレー
ム，Ｐフレーム及びＢフレームの検出を、画像シーケン
スにおけるこれらのフレームの周期と、処理済フレーム
の枚数とに基づいて検出する構成としたものを示した
が、画像符号化装置における各予測タイプのフレームを
検出する構成はこれに限るものではない。

【０１０５】例えば、画像符号化装置の内部信号に基づ
いて各フレームの予測タイプを検出する予測タイプ検出
手段を備え、該検出手段からの予測タイプ情報を上記複
雑さ検出手段１１４，目標ビット数検出手段１１０，及
びパラメータ更新手段１１１に供給するようにしてもよ
い。

【０１０６】また、上記実施の形態２では、上記画像符
号化装置として、従来の画像符号化装置２００における
目標ビット数設定手段１１０を、上記符号化処理の制御
の単位であるセグメントが、隣接するものの間で部分的
に重複するよう、目標ビット数設定処理を行う目標ビッ
ト数設定手段１１０ａを備えたものを示したが、上記画
像符号化装置は、実施の形態１の画像符号化装置１０に
おける目標ビット数設定手段１１０に代えて、上記目標
ビット数設定手段１１０ａを備えたものでもよい。

【０１０７】実施の形態３．図５は本発明の実施の形態
３による画像符号化装置を説明するためのブロック図で
ある。この実施の形態３の画像符号化装置３０は、実施
の形態１の画像符号化装置１０における上記複雑さ検出
手段１１４，目標ビット数検出手段１１０，及びパラメ
ータ更新手段１１１を、外部からの予測タイプ情報１１
８ａに基づいてＩフレーム，Ｐフレーム，Ｂフレームの
検出を行う構成とし、さらに、画像符号化装置３０へ入
力される画像信号２０１、及び可変長符号化器１１２か
ら出力されるビット列２１６に基づいて対象フレームの
予測タイプを検出し、上記予測タイプ情報１１８ａを出
力する予測タイプ決定手段１１８を備えたものである。
また図５には示していないが、この画像符号化装置３０
は、上記予測タイプ情報１１８ａが示す予測タイプの検
出結果に基づいて、上記入力される画像信号２０８をそ
のまま、あるいは画像信号２０８と対応する予測信号と
の差分信号を画像信号２０８に代えて周波数変換既１０
５へ入力する構成となっている。そして、この実施の形
態３の画像符号化装置３０のその他の構成は、上記実施
の形態１の画像符号化装置１０と同一である。

【０１０８】このような構成の画像符号化装置３０で
は、画像符号化装置３０の可変長符号化器１１２から出
力されるビット列２１６に基づいて各フレームの予測タ
イプを検出して予測タイプ情報１１８ａ出力する予測タ
イプ検出手段１１８を備え、上記複雑さ検出手段１１
４，目標ビット数検出手段１１０，及びパラメータ更新
手段１１１では、上記予測タイプ情報１１８ａに基づい
てＩフレーム，Ｐフレーム，Ｂフレームの判定を行うよ
うにしたので、画像シーケンスにおける各予測タイプの
フレームが周期的に配列されていない画像信号であって
も、上記実施の形態１の画像符号化装置１０と同様なレ
ート制御を行うことができる効果がある。

【０１０９】なお、上記各実施の形態で示した画像符号
化装置による画像符号化処理を実現するための符号化プ
ログラムを、フロッピーディスク等のデータ記憶媒体に
記録するようにすることにより、上記各実施の形態で示
した処理を、独立したコンピュータシステムにおいて簡
単に実施することが可能となる。

【０１１０】図６は、上記実施の形態１及び実施の形態
２の画像符号化処理を、上記符号化プログラムを格納し
たフロッピーディスクを用いて、コンピュータシステム
により実施する場合の説明図である。

【０１１１】図６(a)は、フロッピーディスクの正面か
らみた外観、断面構造、及びフロッピーディスク本体を
示し、図６(b)は、該フロッピーディスク本体の物理フ
ォーマットの例を示している。

【０１１２】上記フロッピーディスクＦＤは、上記フロ
ッピーディスク本体ＤをフロッピーディスクケースＦＣ
内に収容した構造となっており、該フロッピーディスク
本体Ｄの表面には、同心円状に外周からは内周に向かっ
て複数のトラックＴｒが形成され、各トラックＴｒは角
度方向に１６のセクタＳｅに分割されている。従って、
上記プログラムを格納したフロッピーディスクＦＤで
は、上記フロッピーディスク本体Ｄは、その上に割り当
てられた領域（セクタ）Ｓｅに、上記プログラムとして
のデータが記録されたものとなっている。

【０１１３】また、図６(c)は、フロッピーディスクＦ
Ｄに対する上記プログラムの記録、及びフロッピーディ
スクＦＤに格納したプログラムを用いたソフトウエアに
よる画像処理を行うための構成を示している。

【０１１４】上記プログラムをフロッピーディスクＦＤ
に記録する場合は、コンピュータシステムＣｓから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブＦDDを介してフロッピーディスクＦＤに書き込む。
また、フロッピーディスクＦＤに記録されたプログラム
により、上記画像符号化装置をコンピュータシステムＣ
ｓ中に構築する場合は、フロッピーディスクドライブＦ
DDによりプログラムをフロッピーディスクＦＤから読み
出し、コンピュータシステムＣｓにロードする。

【０１１５】なお、上記説明では、データ記憶媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理を行うことができる。

【０１１６】また、データ記憶媒体は上記光ディスクや
フロッピーディスクに限るものではなく、ＩＣカード、
ＲＯＭカセット等、プログラムを記録できるものであれ
ばどのようなものでもよく、これらのデータ記録媒体を
用いる場合でも、上記フロッピーディスク等を用いる場
合と同様にソフトウェアによる符号化処理を実施するこ
とができる。

【０１１７】

【発明の効果】以上のように、本発明（請求項１，９，
１６）によれば、処理済フレームの発生符号化量に基づ
いて決定される対象フレームの目標ビット数を、対象フ
レームの画像複雑さに応じて補正し、補正された対象フ
レームの目標ビット数に基づいて発生符号量の制御を行
うようにしたので、ビット資源を有効に利用することが
でき、符号化処理により得られる再生画像の画質を向上
させることができるという効果がある。

【０１１８】本発明（請求項２，１０，１６）によれ
ば、上記画像複雑さ指標として、フレームに対応する画
素値の分散を用いるので、対象フレームの発生符号量を
正確に予測することができ、符号化処理により得られる
再生画像の画質をさらに向上させることができるという
効果がある。

【０１１９】本発明（請求項３，１１，１６）によれ
ば、上記画像複雑さ指標として、Ｉフレームに対しては
画素値の分散を用い、Ｐ，Ｂフレームに対しては画素値
の絶対値和を用いるので、対象フレームの複雑さ指標の
検出処理を簡単化でき、符号化処理量を軽減させること
ができるという効果がある。

【０１２０】本発明（請求項４，１２，１６）によれ
ば、対象フレームに対する目標ビット数を補正する補正
係数として、上記対象フレームに対する画像複雑さ指標
を処理済フレームに対する画像複雑さ指標の平均値で割
り算して得られる値としたので、対象フレームに対する
目標ビット数の補正係数を簡単に導出することができる
という効果がある。

【０１２１】本発明（請求項５，１３，１６）によれ
ば、上記対象フレームに対する補正係数を上記対象フレ
ームに対する目標符号量に乗算して得られる積算値を、
補正された目標符号量とするので、対象フレームに対す
る目標ビット数の補正処理を簡単に行うことができると
いう効果がある。

【０１２２】本発明（請求項６，８，１５，１６）によ
れば、符号化処理の制御の単位であるセグメントを、隣
接するものの間で部分的に重複するようにしたので、特
定のフレームに、発生符号量と目標ビット数の差、特に
不足分が蓄積することがなくなり、画質の劣化や周期的
な画質の変化を抑制することができる効果がある。

【０１２３】本発明（請求項７，１４，１６）によれ
ば、複数の符号化処理済のフレームに対する画像複雑さ
を平均して得られる平均化画像複雑さ指標に基づいて、
対象フレームの発生符号量を制御するようにしたので、
画像複雑さに大きな差がない隣接するフレーム間で目標
ビット数に揺らぎが発生するのを抑制でき、画質を安定
させることができるという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像符号化装置を
説明するための示すブロック図である。

【図２】本発明の実施の形態２による画像符号化装置に
おけるレート制御方法を概念的に示す図であり、画像シ
ーケンスにおけるフレームを表示順（図(a)）及び符号
化順（図(b)）に示している。

【図３】本発明の実施の形態２による画像符号化装置を
説明するための示すブロック図である。

【図４】上記実施の形態２の画像符号化装置における目
標ビット数設定処理のフローを示す図である。

【図５】本発明の実施の形態３による画像符号化装置を
説明するための示すブロック図である。

【図６】上記各実施の形態の符号化処理をコンピュータ
システムにより行うためのプログラムを格納したデータ
記憶媒体（図(a)，(b)）、及び上記コンピュータシステ
ム（図(c)）を説明するための図である。

【図７】従来の画像符号化装置におけるレート制御方法
を概念的に示す図であり、画像シーケンスにおけるフレ
ームを表示順（図(a)）及び符号化順（図(b)）に示して
いる。

【図８】従来の画像符号化装置を説明するためのブロッ
ク図である。

【図９】従来の画像符号化装置における目標ビット数設
定処理のフローを示す図である。

【符号の説明】１０，２０，３０画像符号化装置１０ａ目標ビット数補正回路１０１，１１３，１１６メモリ１０２，１１４複雑さ検出手段１０３，１０９，１１７平均化手段１０４補正係数設定手段１０５周波数変換器１０６目標ビット数補正手段１０７量子化係数設定手段１０８量子化器１１０，１１０ａ目標ビット数設定手段１１１パラメータ更新手段１１２可変長符号化器１１５符号量検出手段１１８予測タイプ決定手段１１８ａ予測タイプ情報２０１入力画像信号２０２、２０３複雑さの指標２０４複雑さの指標の平均値２０５補正係数２０６周波数変換係数２０７、２０９目標ビット数２０８、２１８量子化係数２１０フレームビット数２１１量子化値２１２複雑さ指標の平均値２１４、２１５複雑さ指標２１３セグメントの使用可能ビット数２１６ビット列２１７マクロブロックビット数２１９量子化係数の平均値ＣｓコンピュータシステムＤフロッピディスク本体ＦＣフロッピディスクケースＦＤフロッピディスクＦDD フロッピディスクドライブＳｅセクタＴｒトラック

Claims

【特許請求の範囲】

【請求項１】入力された画像信号に対して符号化処理
を行いつつ、各フレームに対する符号化処理を、その対
象となる対象フレームに対して発生する実質符号量と、
該対象フレームに対して設定される目標符号量との差が
小さくなるよう、符号化処理済のフレームに対する発生
符号量に基づいて制御する画像符号化装置であって、上記画像信号を、符号化パラメータが所定値に設定され
た符号化処理により圧縮する圧縮符号化手段と、上記符号化処理済のフレームに対する発生符号量に基づ
いて、上記対象フレームに対して目標符号量を設定する
目標符号量設定手段と、上記対象フレームに対応する画像信号の特性分析によ
り、その符号化処理に要する符号量の多さに応じた、該
画像信号の複雑さを示す画像複雑さ指標を検出する画像
複雑さ検出手段と、上記対象フレームに対する画像複雑さ指標に応じて、上
記対象フレームに対する目標符号量を補正する目標符号
量補正手段と、上記対象フレームに対する補正された目標符号量に基づ
いて上記符号化パラメータの値を設定する符号化条件設
定手段とを備えたことを特徴とする画像符号化装置。
【請求項２】請求項１記載の画像符号化装置におい
て、上記画像複雑さ検出手段は、上記対象フレームに対応す
る画像信号の特性分析により、上記画像複雑さ指標とし
て、該対象フレームを構成する画素の画素値の分散を検
出するよう構成されていることを特徴とする画像符号化
装置。
【請求項３】請求項１記載の画像符号化装置におい
て、上記圧縮符号化手段は、上記符号化処理として、フレー
ム内の画素値相関を利用した画面内予測符号化処理、及
びフレーム間の画素値相関を利用した画面間予測符号化
処理の一方を適宜選択して、上記対象フレームに対して
画面内予測符号化処理あるいは画面間予測符号化処理を
施すよう構成されており、上記画像複雑さ検出手段は、上記対象フレームが画面内
予測符号化処理が施される画面内予測フレームであると
き、上記画像複雑さ指標として、該対象フレームを構成
する画素の画素値の分散を検出し、上記対象フレームが
画面間予測符号化処理が施される画面間予測フレームで
あるとき、上記画像複雑さ指標として、該対象フレーム
を構成する画素の画素値の絶対値和を検出するよう構成
されていることを特徴とする画像符号化装置。
【請求項４】請求項１記載の画像符号化装置におい
て、上記画像複雑さ検出手段は、上記対象フレームに対する
画像複雑さ指標を、処理済フレームに対する画像複雑さ
指標の平均値で割り算して得られる値を、上記対象フレ
ームに対する補正係数として出力する補正係数生成手段
を有するものであることを特徴とする画像符号化装置。
【請求項５】請求項４記載の画像符号化装置におい
て、上記目標符号量補正手段は、上記対象フレームに対する
補正係数を、上記対象フレームに対する目標符号量に乗
算して得られる積算値を、補正された目標符号量として
出力する構成となっていることを特徴とする画像符号化
装置。
【請求項６】請求項１記載の画像符号化装置におい
て、上記符号化処理の制御は、基準フレームとこれに続く複
数の後続フレームとからなるセグメントを単位として行
われ、上記符号化処理の制御の対象となるセグメントは、該セ
グメント内の特定フレームに対する符号化処理が終了し
た時点で更新され、更新後のセグメントは、更新前のセ
グメントにおける特定フレームの次の後続フレームを更
新後の基準フレームとし、この更新後の基準フレームに
続く複数のフレームを更新後の後続フレームとするセグ
メントとなることを特徴とする画像符号化装置。
【請求項７】入力された画像信号に対して所定の符号
化条件でもって符号化処理を行いつつ、各フレームに対
する符号化処理を、その対象となる対象フレームに対し
て発生する実質符号量と、該対象フレームに対して設定
される目標符号量との差が小さくなるよう、符号化処理
済のフレームに対する発生符号量に基づいて制御する画
像符号化装置であって、上記画像信号を、符号化パラメータが所定値に設定され
た符号化処理により圧縮する圧縮符号化手段と、上記符号化処理済のフレームに対する発生符号量に基づ
いて、上記対象フレームに対して目標符号量を設定する
目標符号量設定手段とを備え、上記目標符号量設定手段は、上記符号化条件及び上記符号化処理済のフレームに対す
る発生符号量に基づいて、各フレームに対する画像の複
雑さを示す指標を検出する画像複雑さ検出手段と、複数の符号化処理済のフレームに対する画像複雑さを平
均して平均化画像複雑さ指標を生成する平均化手段とを
有し、上記対象フレームに対する平均化画像複雑さ指標に基づ
いて上記対象フレームに対する目標ビット数を設定する
構成となっていることを特徴とする画像符号化装置。
【請求項８】請求項７記載の画像符号化装置におい
て、上記符号化処理の制御は、基準フレームとこれに続く複
数の後続フレームとからなるセグメントを単位として行
われ、上記符号化処理の制御の対象となるセグメントは、該セ
グメント内の特定フレームに対する符号化処理が終了し
た時点で更新され、更新後のセグメントは、更新前のセ
グメントにおける特定フレームの次の後続フレームを更
新後の基準フレームとし、この更新後の基準フレームに
続く複数のフレームを更新後の後続フレームとするセグ
メントとなることを特徴とする画像符号化装置。
【請求項９】画像信号に対して符号化処理を行いつ
つ、各フレームに対する符号化処理を、その対象となる
対象フレームに対して発生する実質符号量と、該対象フ
レームに対して設定される目標符号量との差が小さくな
るよう、制御する画像符号化方法であって、上記符号化処理済のフレームに対する発生符号量に基づ
いて、上記画像信号の符号化処理を制御するための、対
象フレームに対するフィードバック制御量を生成する制
御量検出処理と、上記対象フレームに対応する画像信号の特性分析によ
り、その符号化処理に要する符号量の多さに応じた、該
画像信号の複雑さを示す画像複雑さ指標を検出する画像
複雑さ検出処理と、上記フィードバック制御量を、上記対象フレームに対す
る画像複雑さ指標によって補正する制御量補正処理とを
含み、上記画像信号に対して符号化処理を、上記補正されたフ
ィードバック制御量に基づいて制御することを特徴とす
る画像符号化方法。
【請求項１０】請求項９記載の画像符号化方法におい
て、上記画像複雑さ検出処理では、上記画像複雑さ指標とし
て、上記対象フレームを構成する画素の画素値の分散を
検出することを特徴とする画像符号化方法。
【請求項１１】請求項９記載の符号量制御方法であっ
て、上記画像信号に対する符号化処理として、フレーム内の
画素値相関を利用した画面内予測符号化処理、及びフレ
ーム間の画素値相関を利用した画面間予測符号化処理を
含み、上記複雑さ検出処理では、上記対象フレームが画面内予測符号化処理が施される画
面内予測フレームに対する画像複雑さ指標として、該対
象フレームを構成する画素の画素値の分散を検出し、上記対象フレームが画面間予測符号化処理が施される画
面間予測フレームに対する画像複雑さ指標として、該対
象フレームを構成する画素の画素値の絶対値和を検出す
ることを特徴とする画像符号化方法。
【請求項１２】請求項９記載の画像符号化方法におい
て、上記画像複雑さ検出処理では、上記対象フレームに対す
る画像複雑さ指標を、処理済フレームに対する画像複雑
さ指標の平均値で割り算して得られる値を、上記対象フ
レームに対するフィードバック制御量の補正係数として
導出することを特徴とする画像符号化装置。
【請求項１３】請求項１２記載の符号量制御方法であ
って、上記フィードバック制御量に、その補正係数を乗算して
得られる値を、補正されたフィードバック制御量とする
ことを特徴とする画像符号化方法。
【請求項１４】画像信号に対して所定の符号化条件で
もって符号化処理を行いつつ、各フレームに対する符号
化処理を、その対象となる対象フレームに対して発生す
る実質符号量と、該対象フレームに対して設定される目
標符号量との差が小さくなるよう、制御する画像符号化
方法であって、上記符号化処理済のフレームに対する発生符号量に基づ
いて、上記対象フレームに対して目標符号量を設定する
目標符号量設定処理を含み、上記目標符号量設定処理は、上記符号化条件及び上記符号化処理済のフレームに対す
る発生符号量に基づいて、各フレームに対する画像の複
雑さを示す指標を検出し、複数の符号化処理済のフレームに対する画像複雑さを平
均して平均化画像複雑さ指標を生成し、上記対象フレームに対する平均化画像複雑さ指標に基づ
いて上記対象フレームに対する目標ビット数を設定する
ことを特徴とする画像符号化方法。
【請求項１５】画像信号に対して符号化処理を行いつ
つ、各フレームに対する符号化処理を、その対象となる
対象フレームに対して発生する実質符号量と、該対象フ
レームに対して設定される目標符号量との差が小さくな
るよう、制御する画像符号化方法であって、上記符号化処理の制御は、基準フレームとこれに続く複
数の後続フレームとからなるセグメントを単位として行
われ、上記符号化処理の制御の対象となるセグメントは、該セ
グメント内の特定フレームに対する符号化処理が終了し
た時点で更新され、更新後のセグメントは、更新前のセ
グメントにおける特定フレームの次の後続フレームを更
新後の基準フレームとし、この更新後の基準フレームに
続く複数のフレームを更新後の後続フレームとするセグ
メントとなることを特徴とする画像符号化方法。
【請求項１６】画像処理プログラムを格納したデータ
記憶媒体であって、上記画像処理プログラムは、請求項９ないし１５のいず
れかに記載の画像符号化方法による画像符号化処理を、
コンピュータにより行うための画像符号化プログラムで
あることを特徴とするデータ記憶媒体。