JP4273385B2 - 符号化装置および符号化方法、プログラム、並びに記録媒体 - Google Patents
符号化装置および符号化方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4273385B2 JP4273385B2 JP2002104314A JP2002104314A JP4273385B2 JP 4273385 B2 JP4273385 B2 JP 4273385B2 JP 2002104314 A JP2002104314 A JP 2002104314A JP 2002104314 A JP2002104314 A JP 2002104314A JP 4273385 B2 JP4273385 B2 JP 4273385B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- value
- bit
- gop
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、プログラム、並びに記録媒体に関し、特に、フィードバック型レート制御において、ビット補給レート制御を行う場合に用いて好適な、符号化装置および符号化方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、映像データおよび音声データを圧縮して情報量を減らす方法として、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Moving Picture Experts Group Phase 2）がある。
【０００３】
このような画像圧縮方式において、良好なエンコード画質を得る方法として、ＴＭ５（Test Model 5）がある。ＴＭ５のステップ１においては、ピクチャ単位に与えるターゲットビットの算出を行う。ターゲットビットの算出においては、ピクチャタイプ別のＧＣ（Global Complexity）のそれぞれの比率に応じて、そのＧＯＰ（Group of Picture）内の残りのピクチャに割り当てることができるビット量Ｒを比例配分して、各ピクチャに割り当てるビット量を算出する。
【０００４】
ＴＭ５は、ＧＯＰあたりの発生ビット量をほぼ一定にするために優れた方法であるが、固定レート符号化を行う場合には、必ずしも、ＧＯＰの発生ビット量を一定にする必要はない。固定レート符号化においては、ＶＢＶ（Video Buffering Verifier）バッファの占有量が、規定値をオーバーフロー、あるいはアンダーフローしないようにしなければならない。
【０００５】
ＴＭ５においては、ＧＯＰあたりの発生ビット量がほぼ一定であるから、ＶＢＶバッファがオーバーフローあるいはアンダーフローすることはない。しかしながら、ＴＭ５においては、低いビットレートで符号化した場合に、バッファ容量を有効利用することができない。例えば、ＭＰＥＧのＭＰ＠ＰＬにおいて、ＴＭ５を適用した場合、ＶＢＶバッファ容量は約１．８Ｍｂｉｔであるのに対して、バッファから引き抜かれる１枚あたりのピクチャのビット量が少ないため、約１．８Ｍｂｉｔを有効に利用することができない。
【０００６】
このように、入力される絵柄に関わらず、一定量のビット量を割り当ててしまうことにより、符号化難易度が高い絵柄については、符号化歪みが顕著に発生してしまい、一方、符号化難易度が低い絵柄は、符号化歪みが少ないため、全体として、むらの多い不安定な画像になってしまう。
【０００７】
このような問題を解決するために、符号化難易度が高い絵柄には、バッファがアンダーフローしない範囲で、より多くのビット量を配分し、一方、符号化難易度が低い絵柄には、バッファがオーバーフローしない範囲で、絵柄に適した少ないビット量を配分する必要がある。
【０００８】
そこで、本出願人は、特開平１０−７５４４３において、映像データの部分毎の絵柄の複雑さに応じて発生ビット量を調節し、全体として、圧縮後の映像の品質を向上させることができるようにした、映像データ圧縮装置およびその方法について開示している。
【０００９】
ＴＭ５において、ＧＯＰの残りのピクチャに割り当てることができる使用可能ビット量Ｒは、レートコントロールで重要なパラメータである。例えば、ＧＯＰの前半において、複雑な絵柄の画像が続いたために、たくさんのビット量を割り当ててしまうと、ＧＯＰの後半で、ビット量Ｒが、極端に少なくなってしまったり、あるいは、負の数になってしまう。
【００１０】
これに対して、本出願人が特開平１０−７５４４３において開示したビット補給レート制御とは、これからエンコードしようとする複数枚のピクチャに対して割り当てられている使用可能ビット量Ｒに、そのエンコード対象の画像難易度やＶＢＶバッファ占有量に応じて、ビット量を加える、あるいは減じる（以下、加えられる、あるいは減じられるビットをsupplementと称する）ことを特徴とするレート制御方式である。
【００１１】
【発明が解決しようとする課題】
以前提案されたビット補給レート制御は、これからエンコードしようとする複数枚のピクチャ画像難易度等の情報が全て既知である場合、すなわちエンコード情報を先読みしたフィードフォワード（Feed Forward）型レート制御に適用されていたもので、例えば、ＧＯＰの１５枚のデータを蓄積した後、その画像符号化難易度を判断していたので、その情報蓄積に一定の遅延を生じてしまうものである。しかしながら、エンコーダシステムに対する昨今の低遅延要求により、そのような遅延を生じないレート制御が要求されているため、先読み情報を得ることができないフィードバック（Feed Back）型レート制御にビット補給レート制御を適用する必要が出てきた。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、フィードバック型レート制御において、ビット補給レート制御を行うことができるようにするものである。
【００１３】
【課題を解決するための手段】
本発明の符号化装置は、非圧縮データの符号化難易度を検出する第１の検出手段と、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化手段と、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、第１の検出手段により検出された、符号化手段により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出手段と、第１の算出手段により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出手段と、第２の算出手段により算出されたターゲットビットを基に、符号化手段による符号化の量子化インデックスを決定する決定手段とを備えることを特徴とする。
【００１４】
第１の算出手段により算出されたＧＯＰ毎のビット補給量の合計を算出する第３の算出手段を更に備えさせるようにすることができ、第１の算出手段には、第３の算出手段により算出されるビット補給量の合計が、仮想バッファの容量に応じて決定される所定の基準値より小さくなるような、ビット補給量を算出させるようにすることができる。
【００１５】
第１の検出手段には、非圧縮データの符号化難易度と相関性を有する統計量である非圧縮データの複雑さを用いて、符号化難易度を示す指標を算出させるようにすることができ、第１の算出手段には、第１の検出手段により検出された指標が第１の閾値より大きい場合、正の値のビット補給量を算出させるようにすることができ、指標が第１の閾値よりも小さな第２の閾値より小さい場合、負の値のビット補給量を算出させるようにすることができ、指標が第１の閾値と第２の閾値との間の数値である場合、ビット補給量を０とさせるようにすることができる。
【００１６】
第１の検出手段が算出する指標は、符号化手段により過去に符号化された１ＧＯＰの平均の難易度を示す指標であるものとすることができる。
【００１７】
シーンチェンジの発生を検出する第２の検出手段と、シーンチェンジの前後の、Ｉピクチャの符号化難易度の増減を検出する第３の検出手段とを更に備えさせるようにすることができ、第１の算出手段には、第２の検出手段によりシーンチェンジが検出されなかった場合、第１の検出手段により検出された、符号化手段により過去に符号化された非圧縮データの符号化難易度を基に、ビット補給量を算出させ、第２の検出手段によりシーンチェンジが検出され、かつ、シーンチェンジの前よりシーンチェンジの後のほうの符号化難易度が高い場合、正の値のビット補給量を算出させ、それ以外のとき、ビット補給量を０とさせるようにすることができる。
【００１９】
第２の算出手段には、第１の算出手段により算出された一番新しいビット補給量が負の値であり、かつ、ＧＯＰ内で所定の値以上符号化難易度が所定の値以上高くなった場合、第１の算出手段により算出された一番新しい負の値のビット補給量を０として、ターゲットビットを算出させるようにすることができる。
【００２０】
本発明の符号化方法は、非圧縮データの符号化難易度を検出する検出ステップと、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、検出ステップの処理により検出された、符号化ステップの処理により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、第１の算出ステップの処理により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、第２の算出ステップの処理により算出されたターゲットビットを基に、符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップとを含むことを特徴とする。
【００２１】
本発明の記録媒体に記録されているプログラムは、非圧縮データの符号化難易度を検出する検出ステップと、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、検出ステップの処理により検出された、符号化ステップの処理により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、第１の算出ステップの処理により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、第２の算出ステップの処理により算出されたターゲットビットを基に、符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、非圧縮データの符号化難易度を検出する検出ステップと、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、検出ステップの処理により検出された、符号化ステップの処理により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、第１の算出ステップの処理により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、第２の算出ステップの処理により算出されたターゲットビットを基に、符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップとを含むことを特徴とする。
【００２３】
本発明の符号化装置および符号化方法、並びにプログラムにおいては、非圧縮データの符号化難易度が検出され、非圧縮データがＧＯＰを基準として圧縮符号化され、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量が、過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出され、算出されたビット補給量を、使用可能ビット量に加えた値を基に、ターゲットビットが算出され、算出されたターゲットビットを基に、量子化インデックスが決定される。
【００２４】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明を適応したエンコーダ１の構成を示すブロック図である。
【００２６】
画像並び替え部１２は、入力された非圧縮映像データを符号化順に並べ替える。走査変換・マクロブロック化部１３は、ピクチャ・フィールド変換を行い、例えば、非圧縮映像データが映画の映像データである場合、３：２プルダウン処理等を行う。イントラＡＣ算出部１４は、画像並び替え部１２および走査変換・マクロブロック化部１３により処理され、Ｉピクチャに圧縮符号化されるピクチャから、イントラＡＣ（intra ＡＣ）を算出する。
【００２７】
Ｉピクチャについては、他のピクチャの参照なしに圧縮符号化されるため、後述するＭＥ残差を求めることができない。従って、Ｉピクチャの符号化難易度を求めるために、ＭＥ残差に代わるパラメータとして、イントラＡＣが用いられる。イントラＡＣは、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として定義されるパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。すなわち、イントラＡＣとは、ＤＣＴブロック単位で、それぞれの画素の画素値から、ブロック毎の画素値の平均値を引いたものの絶対値和の、画面内における総和である。イントラＡＣは、次の式（１）で示される。
【００２８】
【数１】
・・・（１）
【００２９】
また、式（1）において、式（２）が成り立つ。
【数２】
・・・・（２）
【００３０】
イントラＡＣ算出部１４は、算出されたイントラＡＣの値を、レートコントロール部１５の難易度算出部３２に出力する。
【００３１】
演算処理部１６は、動き補償部２５から供給される動き補償情報を基に、供給された映像データに対して動き補償を行い、ＤＣＴ部１８に対して出力する。ＤＣＴ部１８は、演算処理部１６から入力された映像データに対して、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理を施し、時間領域のデータから周波数領域のデータに変換して、量子化部１９に対して出力する。
【００３２】
量子化部１９は、ＤＣＴ部１８から入力された周波数領域のデータを、レートコントロール部１５の量子化インデックス決定部３５から供給される量子化インデックスＱで量子化し、量子化データとしてＶＬＣ（Variable Length Code；可変長符号化）部２０および逆量子化部２２に対して出力する。
【００３３】
ＶＬＣ部２０は、量子化部１９から入力された量子化データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ２１に出力する。
【００３４】
バッファ２１は、入力された符号化データをバッファリングし、符号化ビットストリームとして、順次、出力する。
【００３５】
逆量子化部２２は、量子化部１９から入力された量子化データを、量子化部１９が実行した量子化の量子化ステップで逆量子化し、逆量子化データとして逆ＤＣＴ部２３に対して出力する。
【００３６】
逆ＤＣＴ部２３は、逆量子化部２２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、演算処理部２４に対して出力する。
【００３７】
演算処理部２４は、動き補償部２５の出力データ、および逆ＤＣＴ部２３の出力データを加算し、動き補償部２５に対して出力する。動き検出部１７は、圧縮対象となるピクチャ（入力ピクチャ）の注目マクロブロックと、参照されるピクチャ（参照ピクチャ）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求めて、動き補償部２５に出力する。動き補償部２５は、演算処理部２４の出力データに対して、動き検出部１７から入力される動きベクトルに基づいて動き補償処理を行い、演算処理部２４、および演算処理部１６に対して出力する。
【００３８】
レートコントロール部１５は、ＭＥ残差算出部３１、難易度算出部３２、genbit検出部３３、ターゲットビット決定部３４、および量子化インデックス決定部３５で構成され、ターゲットビットおよび量子化インデックスを決定する。
【００３９】
ＭＥ残差算出部３１は、画像の符号化難易度と強い相関があるパラメータであるＭＥ残差を算出する。動き予測によって、参照フレームから入力フレームへの差分値の絶対値和などが少なくなるような動きベクトルを求めることができるが、その場合における差分値の絶対値和、あるいは自乗和などで求められる誤差成分のパワーがＭＥ残差である。Ｐピクチャ、およびＢピクチャにおいては、ＭＥ残差と画像の符号化難易度とは、ほぼ単純な比例関係を有している。
【００４０】
難易度算出部３２は、ＭＥ残差算出部３１から入力されるＭＥ残差による近似により、式（３）、および、式（４）を用いて、ＰピクチャおよびＢピクチャの符号化難易度Ｄjを算出する。
【数３】
・・・（３）
【数４】
・・・（４）
【００４１】
ここで、ＭＥｊは、ｊ番目のピクチャにおけるＭＥ残差であり、ａP、ａB、ｂP、ｂBは、それぞれ、１次式で近似した場合の傾きと補正値である。
【００４２】
また、難易度算出部３２はイントラＡＣ算出部１４から入力されるイントラＡＣによる近似により、同様にＩピクチャの符号化難易度Ｄjを算出し、ターゲットビット決定部３４に出力する。
【００４３】
そして、難易度算出部３２は、それそれのピクチャで算出された符号化難易度Ｄjから、ＧＯＰ毎の難易度平均avgDを算出する。
【００４４】
genbit検出部３３は、バッファ２１にバッファリングされている符号化データから、直近に符号化されたＩピクチャの発生ビット量genbitを検出し、その値を、ターゲットビット決定部３４に出力する。
【００４５】
ターゲットビット決定部３４は、難易度算出部３２から入力された符号化難易度Ｄj、および、genbit検出部３３から入力されたＩピクチャの発生ビット量genbitに基づいて、各ピクチャタイプのピクチャそれぞれのターゲットビットを算出して、レート制御を行う。
【００４６】
すなわち、ターゲットビット決定部３４は、後述する処理により、エンコードを終了した過去の画像における難易度などを基に、これからエンコードしようとする複数枚のピクチャに対して割り当てられている使用可能ビット量Ｒに加えられるsupplementの値（supplementは、正の値である場合、負の値である場合、０である場合がある）を決定する。
【００４７】
ビット補給量supplementは、正負どちらの値も取り得るので、supplementの積算値sum_supplement（以下、sum_supと称する）の最大値と最小値を、使用するＶＢＶバッファサイズに応じて決定しておくことで、ＶＢＶ制約の範囲内でのsupplement調整を行うことができる。ターゲットビット決定部３４は、この使用可能ビット量Ｒ＋supplementを基に、ターゲットビットの値を求め、量子化インデックス決定部３５に出力する。
【００４８】
量子化インデックス決定部３５は、ターゲットビット決定部３４から入力されたターゲットビットの値に基づいて、量子化インデックスＱを生成し、量子化部１９に対して出力する。
【００４９】
次に、図２のフローチャートを参照して、エンコードを終了した過去の画像における難易度を基に、Ｒに加えるsupplementを決定する、ビット補給レート制御処理１について説明する。
【００５０】
ステップＳ１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ１において、ＧＯＰの先頭ではないと判断された場合、ＧＯＰの先頭であると判断されるまで、ステップＳ１の処理が繰り返される。
【００５１】
ステップＳ１において、ＧＯＰの先頭であると判断された場合、ステップＳ２において、ターゲットビット決定部３４は、難易度算出部３２より、前のＧＯＰにおける難易度平均avgDを取得する。
【００５２】
ステップＳ３において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して加えられたsupplementの値の合計であるsum_supの上限値であるmax_sum_supの値を取得する。
【００５３】
ステップＳ４において、ターゲットビット決定部３４は、avgD > 0x2000かつsum_sup < max_sum_supであるか否かを判断する。ここで、難易度平均avgDと比較されている0x2000は、予め定められた閾値であり、画質を検討しながら要求される画質を得るために設定可能な値である。
【００５４】
ステップＳ４において、avgD > 0x2000かつsum_sup < max_sum_supであると判断された場合、ステップＳ５において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、正の値のsupplementを加える。すなわち、ターゲットビット決定部３４は、前のＧＯＰは、ある一定以上の難易度を有していたため、これからエンコードするＧＯＰの難易度を、前のＧＯＰと同程度であると予測して、使用可能ビット量Ｒに対して、正の値のsupplementを加える。
【００５５】
ステップＳ４において、avgD > 0x2000かつsum_sup < max_sum_supではないと判断された場合、ステップＳ６において、ターゲットビット決定部３４は、avgD < 0x1000、かつsum_sup > min_sum_supであるか否かを判断する。ここで、難易度平均avgDと比較されている0x１000は、予め定められた閾値であり、上述した 0x2000より小さな値（画像難易度が低いことを示す値）であり、画質を検討しながら要求される画質を得るために設定可能な値である。
【００５６】
ステップＳ６において、avgD < 0x1000、かつsum_sup > min_sum_supであると判断された場合、ステップＳ７において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、負の値のsupplementを加える。すなわち、ターゲットビット決定部３４は、前のＧＯＰは、ある一定以下の難易度であった（すなわち、簡単な画像であった）ため、これからエンコードするＧＯＰの難易度を、前のＧＯＰと同程度であると予測して、使用可能ビット量Ｒに対して、負の値のsupplementを加える。
【００５７】
ステップＳ６において、avgD < 0x1000、かつsum_sup > min_sum_supではなかったと判断された場合、ステップＳ８において、ターゲットビット決定部３４は、supplement = 0とする。すなわち、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、supplementの増減を行わない。
【００５８】
ステップＳ５、ステップＳ７、もしくはステップＳ８の処理の終了後、ステップＳ９において、ターゲットビット決定部３４は、ステップＳ５、ステップＳ７、もしくはステップＳ８の処理において用いられたsupplementの値を用いて、sum_sup = sum_sup + supplementとし、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００５９】
図２を用いて説明した処理により、エンコードを終了した過去の画像における難易度を基に、使用可能ビット量Ｒに加える、あるいは、減少されるsupplementの値が決定される。例えば、ＧＯＰ単位で、Ｒ＋supplemet（supplementは、正の値であるか、負の値であるか、もしくは０である）が決定される場合、前のＧＯＰの画像難易度（イントラＡＣ、あるいは、ＭＥ残差等）の平均値を基に、これからエンコードするＧＯＰの難易度が前のＧＯＰの難易度と同程度であると予測して、使用可能ビット量Ｒに対して、その難易度に応じたsupplementが加えられる。これにより、フィードバック型レート制御にビット補給レート制御を適用することができる。
【００６０】
ここでは、画像難易度をイントラＡＣ、あるいは、ＭＥ残差を用いて算出するものとして説明したが、画像難易度は、それ以外のパラメータを用いて算出するようにしても良い。
【００６１】
また、supplementの具体的な値の算出方法は、例えば、特開平１０−７５４４３に開示されている方法でも良いし、それ以外の方法で、要求される画質を得ることができるsupplementの値を用いるようにしても良い。
【００６２】
また、ここでは、前の１ＧＯＰにおける難易度平均avgＤを用いるものとして説明したが、難易度算出部３２は、１ＧＯＰにおける難易度平均avgＤに代わって、例えば、複数のＧＯＰ、もしくは、ＧＯＰの一部における難易度平均を求めるようにしても良いし、更に、単純な難易度平均ではなく、必要に応じて、重み付け和や重み付け平均を算出するようにしても良い。
【００６３】
しかしながら、図２を用いて説明したビット補給レート制御処理１では、シーンチェンジなどにより画像難易度の傾向が急激に変化した場合に、かえって画質に悪影響を与えてしまうことがある。例えば、ＧＯＰ単位で、Ｒ＋supplementを決定している場合、簡単な画像から難しい画像にシーンチェンジが起きたときに、前のＧＯＰの画像難易度が低いために、supplementは負の値となってしまい、難しい画像のＧＯＰに対して少ない使用可能ビット量Ｒでエンコードしてしまうことになる。
【００６４】
そこでシーンチェンジが起きたＧＯＰをエンコードする際には、その先頭のＩピクチャと、一つ前のＧＯＰのＩピクチャとの画像難易度の比較によりsupplementを決定するようにしても良い。これにより、シーンチェンジが起きたときに、難しい画像のＧＯＰに少ないビット量を割り当てるようなことがなくなり、画質を向上させることができる。
【００６５】
次に、図３のフローチャートを参照して、シーンチェンジにおいては、過去の同ピクチャタイプの画像難易度と、シーンチェンジの起きた現ピクチャの画像難易度の比較によって、使用可能ビット量Ｒに加えられるsupplementの値を決定する、ビット補給レート制御処理２について説明する。
【００６６】
ステップＳ２１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ２１において、ＧＯＰの先頭ではないと判断された場合、ＧＯＰの先頭であると判断されるまで、ステップＳ２１の処理が繰り返される。
【００６７】
ステップＳ２１において、ＧＯＰの先頭であると判断された場合、ターゲットビット決定部３４は、ステップＳ２２において、難易度算出部３２より、Ｉピクチャの画像符号化難易度Diを取得し、ステップＳ２３において、使用可能ビット量Ｒに対して加えられたsupplementの値の合計であるsum_supの上限値であるmax_sum_supの値を取得する。
【００６８】
ステップＳ２４において、ターゲットビット決定部３４は、シーンチェンジであるか否かを判断する。シーンチェンジであるか否かの判断は、例えば、ＭＥ残差算出部３１により算出されるＭＥ残差の値を基にして判断するようにしても良いし、それ以外のいかなる方法によって判断するようにしても良い。
【００６９】
ステップＳ２４において、シーンチェンジであると判断された場合、ステップＳ２５において、ターゲットビット決定部３４は、Ｉピクチャの画像符号化難易度Diと、一つ前のＧＯＰのＩピクチャの画像符号化難易度prevDiを比較し、更に、現在のsum_sup の値と、ステップＳ２３において取得したmax_sum_supの値を比較して、Di > prevDiかつsum_sup < max_sum_supであるか否かを判断する。
【００７０】
ステップＳ２５において、Di > prevDiかつsum_sup < max_sum_supであると判断された場合、ステップＳ２６において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、正の値のsupplementを加える。すなわち、ターゲットビット決定部３４は、シーンチェンジ前の画像より、シーンチェンジ後の画像のほうが難易度が高いものであることを検出するので、使用可能ビット量Ｒに対して、正の値のsupplementを加える。
【００７１】
ステップＳ２５において、Di > prevDiかつsum_sup < max_sum_supではないと判断された場合、ステップＳ２７において、ターゲットビット決定部３４は、supplement = 0とする。すなわち、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、supplementの増減を行わない。
【００７２】
ステップＳ２４において、シーンチェンジではないと判断された場合、ステップＳ２８において、ターゲットビット決定部３４は、難易度算出部３２より、前のＧＯＰにおける難易度平均avgDを取得する。
【００７３】
そして、ターゲットビット決定部３４は、ステップＳ２９乃至ステップＳ３３において、図２のステップＳ４乃至ステップＳ８において実行した処理と同様の処理を実行する。
【００７４】
すなわち、ターゲットビット決定部３４は、ステップＳ２９において、avgD > 0x2000かつsum_sup < max_sum_supであるか否かを判断し、avgD > 0x2000かつsum_sup < max_sum_supであると判断された場合、ステップＳ３０において、使用可能ビット量Ｒに対して、正の値のsupplementを加える。
【００７５】
ステップＳ２９において、avgD > 0x2000かつsum_sup < max_sum_supではないと判断された場合、ターゲットビット決定部３４は、ステップＳ３１において、avgD < 0x1000、かつsum_sup > min_sum_supであるか否かを判断し、avgD < 0x1000、かつsum_sup > min_sum_supであると判断された場合、ステップＳ３２において、使用可能ビット量Rに対して、負の値のsupplementを加え、avgD < 0x1000、かつsum_sup > min_sum_supではなかったと判断された場合、ステップＳ３３において、supplement = 0とする。
【００７６】
ステップＳ２６、ステップＳ２７、ステップＳ３０、ステップＳ３２、もしくはステップＳ３３の処理の終了後、ステップＳ３４において、ターゲットビット決定部３４は、ステップＳ２２において取得したＩピクチャの画像符号化難易度Diを、次のＧＯＰの処理に用いるために、prevDi = Diとする。
【００７７】
ステップＳ３５において、ターゲットビット決定部３４は、ステップＳ２６、ステップＳ２７、ステップＳ３０、ステップＳ３２、もしくはステップＳ３３の処理において用いられたsupplementの値を用いて、sum_sup = sum_sup ＋ supplementとし、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００７８】
図３を用いて説明した処理により、シーンチェンジにおいては、過去の同ピクチャタイプ（ここではＩピクチャ）の難易度と、シーンチェンジの起きた現ピクチャ（ここではＩピクチャ）の難易度の比較によってsupplementを決定するようにすることができる。
【００７９】
これにより、例えば、ＧＯＰ単位にＲ＋supplementを決定している場合、簡単な画像から難しい画像にシーンチェンジが起きたとしても、難しい画像のＧＯＰに対して少ないＲでエンコードしてしまう、すなわち、難しい画像のＧＯＰに少ないビット量を割り当てるようなことがなくなり、画質を向上させることができる。
【００８０】
しかしながら、図２および図３を用いて説明したビット補給レート制御処理１およびビット補給レート制御処理２においては、一度決定したＲ＋supplementの値を、エンコード途中で見直すことを行わないために、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうことがある。
【００８１】
図２および図３を用いて説明したビット補給レート制御処理１およびビット補給レート制御処理２においては、ＧＯＰ単位でＲ＋supplementを決定しているので、例えば、前のＧＯＰが簡単な画像で、かつシーンチェンジが起きていないときには、使用可能ビット量Ｒに対して加えられるsupplementが負の値となり、使用可能ビット量が小さくなる。その状態でエンコードを開始したＧＯＰが、オーバーラップ画像のようにゆっくりと難しくなると、ＧＯＰの最後でビット量が足りなくなり、画質が悪くなってしまう。
【００８２】
このような問題を解決するために、使用可能ビット量Ｒに対して加えられるsupplementが負の値である場合には、エンコード対象ピクチャの画像難易度と、直前の同ピクチャタイプの画像難易度とを比較して、その差がある程度大きい場合には、残りのＲに対して加えられた負の値のsupplementに対応する分を元に戻す処理、換言すれば、差し引かれたsupplementに対応する分を元に戻す処理を導入する。
【００８３】
図４のフローチャートを参照して、図２を用いて説明したビット補給レート制御処理１にエンコード途中でsupplementを見直す機構を導入したビット補給レート制御処理３について説明する。
【００８４】
ステップＳ５１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ５１において、ＧＯＰの先頭ではないと判断された場合、ステップＳ５２において、図５を用いて後述するビット量見直し処理が実行され、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００８５】
ステップＳ５１において、ＧＯＰの先頭であると判断された場合、ステップＳ５３乃至ステップＳ６０において、図２のステップＳ２乃至ステップＳ９と同様の処理が実行される。
【００８６】
そして、ステップＳ６０の処理の終了後、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００８７】
次に、図５のフローチャートを参照して、図４のステップＳ５２において実行されるビット量見直し処理について説明する。
【００８８】
ステップＳ８１において、ターゲットビット決定部３４は、一つ前の処理のsupplementの値であるprev_sup、並びに、今のピクチャ（Ｂピクチャ、もしくはＰピクチャ）の難易度の値Ｄ（Ｂ，Ｐ）、および、同一ピクチャタイプの一つ前のピクチャの難易度の値prev_Ｄ（Ｂ，Ｐ）を取得し、prev_sup < 0、かつ、Ｄ（Ｂ，Ｐ）>４×prev_Ｄ（Ｂ，Ｐ）であるか否かを判断する。
【００８９】
ステップＳ８１において、prev_sup < 0、かつ、Ｄ（Ｂ，Ｐ）>４×prev_Ｄ（Ｂ，Ｐ）ではないと判断された場合、一つ前の処理のsupplementの値が負ではないか、あるいは、エンコード対象ピクチャの画像難易度と、直前の同ピクチャタイプの画像難易度との差がそれほど大きくないので、処理は、図４のステップＳ５１に戻る。
【００９０】
なお、ここでは、難易度の値Ｄ（Ｂ，Ｐ）と、難易度の値prev_Ｄ（Ｂ，Ｐ）の４倍とを比較しているが、ここでprev_Ｄ（Ｂ，Ｐ）に乗算される係数は、画質を検討しながら設定される性質の値であることは言うまでもない。
【００９１】
ステップＳ８１において、prev_sup < 0、かつ、Ｄ（Ｂ，Ｐ）>４×prev_Ｄ（Ｂ，Ｐ）であると判断された場合、一つ前の処理のsupplementの値が負であり、かつ、エンコード対象ピクチャの画像難易度と、直前の同ピクチャタイプの画像難易度との差がある程度大きいので、ステップＳ８２において、ターゲットビット決定部３４は、R = R−prev_supとする。すなわち、この処理は、一つ前の処理で算出されたsupplementの値を０として、それ以降の処理を実行するのと同義であり、ここでは、prev_sup < 0なので、実際には、Ｒの値は増加する。
【００９２】
そして、ステップＳ８２において、ターゲットビット決定部３４は、ステップＳ８３において、sum_sup = sum_sup−prev_supとし、ステップＳ８３において、prev_sup = 0として、処理は、図４のステップＳ５１に戻る。ステップＳ８３でも、同様に、prev_sup < 0であるから、sum_sup の値は増加する。
【００９３】
図４および図５のフローチャートを用いて説明した処理により、一度決定したＲ＋supplementをエンコード途中で見直すため、例えば、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうようなことを未然に防ぐことができる。
【００９４】
また、図３を用いて説明したビット補給レート制御処理２にも、同様にして、エンコード途中でsupplementを見直す処理を導入することができる。
【００９５】
図６のフローチャートを参照して、図３を用いて説明したビット補給レート制御処理２にエンコード途中でsupplementを見直す機構を導入したビット補給レート制御処理４について説明する。
【００９６】
ステップＳ１０１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ１０１において、ＧＯＰの先頭ではないと判断された場合、ステップＳ１０２において、図５を用いて説明したビット量見直し処理が実行され、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００９７】
ステップＳ１０１において、ＧＯＰの先頭であると判断された場合、ステップＳ１０３乃至ステップＳ１１６において、図３のステップＳ２２乃至ステップＳ３５と同様の処理が実行される。
【００９８】
そして、ステップＳ１１６の処理の終了後、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００９９】
図６を用いて説明した処理により、図３を用いて説明したビット補給レート制御処理２にも、同様にして、エンコード途中でsupplementを見直す機構を導入することができるので、例えば、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうようなことを未然に防ぐことができる。
【０１００】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、エンコーダ１は、図７に示されるようなパーソナルコンピュータ１０１により構成される。
【０１０１】
図７において、CPU１１１は、ROM１１２に記憶されているプログラム、または記憶部１１８からRAM１１３にロードされたプログラムに従って、各種の処理を実行する。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０２】
CPU１１１、ROM１１２、およびRAM１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インタフェース１１５も接続されている。
【０１０３】
入出力インタフェース１１５には、キーボード、マウスなどよりなる入力部１１６、ディスプレイやスピーカなどよりなる出力部１１７、ハードディスクなどより構成される記憶部１１８、モデム、ターミナルアダプタなどより構成される通信部１１９が接続されている。通信部１１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１０４】
入出力インタフェース１１５にはまた、必要に応じてドライブ１２０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、あるいは、半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１１８にインストールされる。
【０１０５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１０６】
この記録媒体は、図７に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク１３１（フロッピディスクを含む）、光ディスク１３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているROM１１２や、記憶部１１８に含まれるハードディスクなどで構成される。
【０１０７】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０８】
【発明の効果】
本発明によれば、画像データをエンコードすることができる。
また、本発明によれば、エンコードを終了した過去の画像における難易度を基に使用可能ビット量Ｒに加えるsupplementを決定することができるので、フィードバック型レート制御にビット補給レート制御を適用することができる。
【０１０９】
また、シーンチェンジが起きたＧＯＰをエンコードする際には、シーンチェンジ前後の同一のピクチャタイプの画像難易度の比較により、使用可能ビット量Ｒに加えるsupplementを決定するようにしたので、これにより難しい画像のＧＯＰに少ないビット量を割り当てるようなことがなくなり、画質を向上させることが可能となる。
更に、一度決定したＲ＋supplementをエンコード途中で見直すことができるようにしたので、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうのを防ぐことができる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダの構成を示すブロック図である。
【図２】ビット補給レート制御処理１について説明するフローチャートである。
【図３】ビット補給レート制御処理２について説明するフローチャートである。
【図４】ビット補給レート制御処理３について説明するフローチャートである。
【図５】ビット見直し処理について説明するフローチャートである。
【図６】ビット補給レート制御処理４について説明するフローチャートである。
【図７】パーソナルコンピュータの構成について説明する図である。
【符号の説明】
１ エンコーダ， １２ 画像並び替え部， １３ 走査変換・マクロブロック化部， １４ イントラＡＣ算出部， １５ レートコントロール部， １６演算処理部， １７ 動き検出部， １８ ＤＣＴ部， １９ 量子化部， ２０ ＶＬＣ部， ２１ バッファ， ２２ 逆量子化部， ２３ 逆ＤＣＴ部， ２４ 演算処理部， ２５ 動き補償部， ３１ ＭＥ残差算出部， ３２難易度算出部， ３３ genbit検出部， ３４ ターゲットビット決定部， ３５ 量子化インデックス決定部
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、プログラム、並びに記録媒体に関し、特に、フィードバック型レート制御において、ビット補給レート制御を行う場合に用いて好適な、符号化装置および符号化方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、映像データおよび音声データを圧縮して情報量を減らす方法として、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Moving Picture Experts Group Phase 2）がある。
【０００３】
このような画像圧縮方式において、良好なエンコード画質を得る方法として、ＴＭ５（Test Model 5）がある。ＴＭ５のステップ１においては、ピクチャ単位に与えるターゲットビットの算出を行う。ターゲットビットの算出においては、ピクチャタイプ別のＧＣ（Global Complexity）のそれぞれの比率に応じて、そのＧＯＰ（Group of Picture）内の残りのピクチャに割り当てることができるビット量Ｒを比例配分して、各ピクチャに割り当てるビット量を算出する。
【０００４】
ＴＭ５は、ＧＯＰあたりの発生ビット量をほぼ一定にするために優れた方法であるが、固定レート符号化を行う場合には、必ずしも、ＧＯＰの発生ビット量を一定にする必要はない。固定レート符号化においては、ＶＢＶ（Video Buffering Verifier）バッファの占有量が、規定値をオーバーフロー、あるいはアンダーフローしないようにしなければならない。
【０００５】
ＴＭ５においては、ＧＯＰあたりの発生ビット量がほぼ一定であるから、ＶＢＶバッファがオーバーフローあるいはアンダーフローすることはない。しかしながら、ＴＭ５においては、低いビットレートで符号化した場合に、バッファ容量を有効利用することができない。例えば、ＭＰＥＧのＭＰ＠ＰＬにおいて、ＴＭ５を適用した場合、ＶＢＶバッファ容量は約１．８Ｍｂｉｔであるのに対して、バッファから引き抜かれる１枚あたりのピクチャのビット量が少ないため、約１．８Ｍｂｉｔを有効に利用することができない。
【０００６】
このように、入力される絵柄に関わらず、一定量のビット量を割り当ててしまうことにより、符号化難易度が高い絵柄については、符号化歪みが顕著に発生してしまい、一方、符号化難易度が低い絵柄は、符号化歪みが少ないため、全体として、むらの多い不安定な画像になってしまう。
【０００７】
このような問題を解決するために、符号化難易度が高い絵柄には、バッファがアンダーフローしない範囲で、より多くのビット量を配分し、一方、符号化難易度が低い絵柄には、バッファがオーバーフローしない範囲で、絵柄に適した少ないビット量を配分する必要がある。
【０００８】
そこで、本出願人は、特開平１０−７５４４３において、映像データの部分毎の絵柄の複雑さに応じて発生ビット量を調節し、全体として、圧縮後の映像の品質を向上させることができるようにした、映像データ圧縮装置およびその方法について開示している。
【０００９】
ＴＭ５において、ＧＯＰの残りのピクチャに割り当てることができる使用可能ビット量Ｒは、レートコントロールで重要なパラメータである。例えば、ＧＯＰの前半において、複雑な絵柄の画像が続いたために、たくさんのビット量を割り当ててしまうと、ＧＯＰの後半で、ビット量Ｒが、極端に少なくなってしまったり、あるいは、負の数になってしまう。
【００１０】
これに対して、本出願人が特開平１０−７５４４３において開示したビット補給レート制御とは、これからエンコードしようとする複数枚のピクチャに対して割り当てられている使用可能ビット量Ｒに、そのエンコード対象の画像難易度やＶＢＶバッファ占有量に応じて、ビット量を加える、あるいは減じる（以下、加えられる、あるいは減じられるビットをsupplementと称する）ことを特徴とするレート制御方式である。
【００１１】
【発明が解決しようとする課題】
以前提案されたビット補給レート制御は、これからエンコードしようとする複数枚のピクチャ画像難易度等の情報が全て既知である場合、すなわちエンコード情報を先読みしたフィードフォワード（Feed Forward）型レート制御に適用されていたもので、例えば、ＧＯＰの１５枚のデータを蓄積した後、その画像符号化難易度を判断していたので、その情報蓄積に一定の遅延を生じてしまうものである。しかしながら、エンコーダシステムに対する昨今の低遅延要求により、そのような遅延を生じないレート制御が要求されているため、先読み情報を得ることができないフィードバック（Feed Back）型レート制御にビット補給レート制御を適用する必要が出てきた。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、フィードバック型レート制御において、ビット補給レート制御を行うことができるようにするものである。
【００１３】
【課題を解決するための手段】
本発明の符号化装置は、非圧縮データの符号化難易度を検出する第１の検出手段と、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化手段と、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、第１の検出手段により検出された、符号化手段により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出手段と、第１の算出手段により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出手段と、第２の算出手段により算出されたターゲットビットを基に、符号化手段による符号化の量子化インデックスを決定する決定手段とを備えることを特徴とする。
【００１４】
第１の算出手段により算出されたＧＯＰ毎のビット補給量の合計を算出する第３の算出手段を更に備えさせるようにすることができ、第１の算出手段には、第３の算出手段により算出されるビット補給量の合計が、仮想バッファの容量に応じて決定される所定の基準値より小さくなるような、ビット補給量を算出させるようにすることができる。
【００１５】
第１の検出手段には、非圧縮データの符号化難易度と相関性を有する統計量である非圧縮データの複雑さを用いて、符号化難易度を示す指標を算出させるようにすることができ、第１の算出手段には、第１の検出手段により検出された指標が第１の閾値より大きい場合、正の値のビット補給量を算出させるようにすることができ、指標が第１の閾値よりも小さな第２の閾値より小さい場合、負の値のビット補給量を算出させるようにすることができ、指標が第１の閾値と第２の閾値との間の数値である場合、ビット補給量を０とさせるようにすることができる。
【００１６】
第１の検出手段が算出する指標は、符号化手段により過去に符号化された１ＧＯＰの平均の難易度を示す指標であるものとすることができる。
【００１７】
シーンチェンジの発生を検出する第２の検出手段と、シーンチェンジの前後の、Ｉピクチャの符号化難易度の増減を検出する第３の検出手段とを更に備えさせるようにすることができ、第１の算出手段には、第２の検出手段によりシーンチェンジが検出されなかった場合、第１の検出手段により検出された、符号化手段により過去に符号化された非圧縮データの符号化難易度を基に、ビット補給量を算出させ、第２の検出手段によりシーンチェンジが検出され、かつ、シーンチェンジの前よりシーンチェンジの後のほうの符号化難易度が高い場合、正の値のビット補給量を算出させ、それ以外のとき、ビット補給量を０とさせるようにすることができる。
【００１９】
第２の算出手段には、第１の算出手段により算出された一番新しいビット補給量が負の値であり、かつ、ＧＯＰ内で所定の値以上符号化難易度が所定の値以上高くなった場合、第１の算出手段により算出された一番新しい負の値のビット補給量を０として、ターゲットビットを算出させるようにすることができる。
【００２０】
本発明の符号化方法は、非圧縮データの符号化難易度を検出する検出ステップと、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、検出ステップの処理により検出された、符号化ステップの処理により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、第１の算出ステップの処理により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、第２の算出ステップの処理により算出されたターゲットビットを基に、符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップとを含むことを特徴とする。
【００２１】
本発明の記録媒体に記録されているプログラムは、非圧縮データの符号化難易度を検出する検出ステップと、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、検出ステップの処理により検出された、符号化ステップの処理により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、第１の算出ステップの処理により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、第２の算出ステップの処理により算出されたターゲットビットを基に、符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、非圧縮データの符号化難易度を検出する検出ステップと、非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、検出ステップの処理により検出された、符号化ステップの処理により過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、第１の算出ステップの処理により算出されたビット補給量を、使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、第２の算出ステップの処理により算出されたターゲットビットを基に、符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップとを含むことを特徴とする。
【００２３】
本発明の符号化装置および符号化方法、並びにプログラムにおいては、非圧縮データの符号化難易度が検出され、非圧縮データがＧＯＰを基準として圧縮符号化され、符号化中のＧＯＰに含まれる非圧縮データに対して割り当てられる、非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量が、過去に符号化されたＧＯＰに含まれる非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、符号化難易度が第１の値よりも低い第２の値より低い場合、負の値となるように、符号化難易度が第１の値と第２の値との間となる場合、０となるように、ＧＯＰの符号化処理において、ＧＯＰの先頭を処理するタイミングで算出され、算出されたビット補給量を、使用可能ビット量に加えた値を基に、ターゲットビットが算出され、算出されたターゲットビットを基に、量子化インデックスが決定される。
【００２４】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明を適応したエンコーダ１の構成を示すブロック図である。
【００２６】
画像並び替え部１２は、入力された非圧縮映像データを符号化順に並べ替える。走査変換・マクロブロック化部１３は、ピクチャ・フィールド変換を行い、例えば、非圧縮映像データが映画の映像データである場合、３：２プルダウン処理等を行う。イントラＡＣ算出部１４は、画像並び替え部１２および走査変換・マクロブロック化部１３により処理され、Ｉピクチャに圧縮符号化されるピクチャから、イントラＡＣ（intra ＡＣ）を算出する。
【００２７】
Ｉピクチャについては、他のピクチャの参照なしに圧縮符号化されるため、後述するＭＥ残差を求めることができない。従って、Ｉピクチャの符号化難易度を求めるために、ＭＥ残差に代わるパラメータとして、イントラＡＣが用いられる。イントラＡＣは、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として定義されるパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。すなわち、イントラＡＣとは、ＤＣＴブロック単位で、それぞれの画素の画素値から、ブロック毎の画素値の平均値を引いたものの絶対値和の、画面内における総和である。イントラＡＣは、次の式（１）で示される。
【００２８】
【数１】
【００２９】
また、式（1）において、式（２）が成り立つ。
【数２】
【００３０】
イントラＡＣ算出部１４は、算出されたイントラＡＣの値を、レートコントロール部１５の難易度算出部３２に出力する。
【００３１】
演算処理部１６は、動き補償部２５から供給される動き補償情報を基に、供給された映像データに対して動き補償を行い、ＤＣＴ部１８に対して出力する。ＤＣＴ部１８は、演算処理部１６から入力された映像データに対して、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理を施し、時間領域のデータから周波数領域のデータに変換して、量子化部１９に対して出力する。
【００３２】
量子化部１９は、ＤＣＴ部１８から入力された周波数領域のデータを、レートコントロール部１５の量子化インデックス決定部３５から供給される量子化インデックスＱで量子化し、量子化データとしてＶＬＣ（Variable Length Code；可変長符号化）部２０および逆量子化部２２に対して出力する。
【００３３】
ＶＬＣ部２０は、量子化部１９から入力された量子化データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ２１に出力する。
【００３４】
バッファ２１は、入力された符号化データをバッファリングし、符号化ビットストリームとして、順次、出力する。
【００３５】
逆量子化部２２は、量子化部１９から入力された量子化データを、量子化部１９が実行した量子化の量子化ステップで逆量子化し、逆量子化データとして逆ＤＣＴ部２３に対して出力する。
【００３６】
逆ＤＣＴ部２３は、逆量子化部２２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、演算処理部２４に対して出力する。
【００３７】
演算処理部２４は、動き補償部２５の出力データ、および逆ＤＣＴ部２３の出力データを加算し、動き補償部２５に対して出力する。動き検出部１７は、圧縮対象となるピクチャ（入力ピクチャ）の注目マクロブロックと、参照されるピクチャ（参照ピクチャ）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求めて、動き補償部２５に出力する。動き補償部２５は、演算処理部２４の出力データに対して、動き検出部１７から入力される動きベクトルに基づいて動き補償処理を行い、演算処理部２４、および演算処理部１６に対して出力する。
【００３８】
レートコントロール部１５は、ＭＥ残差算出部３１、難易度算出部３２、genbit検出部３３、ターゲットビット決定部３４、および量子化インデックス決定部３５で構成され、ターゲットビットおよび量子化インデックスを決定する。
【００３９】
ＭＥ残差算出部３１は、画像の符号化難易度と強い相関があるパラメータであるＭＥ残差を算出する。動き予測によって、参照フレームから入力フレームへの差分値の絶対値和などが少なくなるような動きベクトルを求めることができるが、その場合における差分値の絶対値和、あるいは自乗和などで求められる誤差成分のパワーがＭＥ残差である。Ｐピクチャ、およびＢピクチャにおいては、ＭＥ残差と画像の符号化難易度とは、ほぼ単純な比例関係を有している。
【００４０】
難易度算出部３２は、ＭＥ残差算出部３１から入力されるＭＥ残差による近似により、式（３）、および、式（４）を用いて、ＰピクチャおよびＢピクチャの符号化難易度Ｄjを算出する。
【数３】
【数４】
【００４１】
ここで、ＭＥｊは、ｊ番目のピクチャにおけるＭＥ残差であり、ａP、ａB、ｂP、ｂBは、それぞれ、１次式で近似した場合の傾きと補正値である。
【００４２】
また、難易度算出部３２はイントラＡＣ算出部１４から入力されるイントラＡＣによる近似により、同様にＩピクチャの符号化難易度Ｄjを算出し、ターゲットビット決定部３４に出力する。
【００４３】
そして、難易度算出部３２は、それそれのピクチャで算出された符号化難易度Ｄjから、ＧＯＰ毎の難易度平均avgDを算出する。
【００４４】
genbit検出部３３は、バッファ２１にバッファリングされている符号化データから、直近に符号化されたＩピクチャの発生ビット量genbitを検出し、その値を、ターゲットビット決定部３４に出力する。
【００４５】
ターゲットビット決定部３４は、難易度算出部３２から入力された符号化難易度Ｄj、および、genbit検出部３３から入力されたＩピクチャの発生ビット量genbitに基づいて、各ピクチャタイプのピクチャそれぞれのターゲットビットを算出して、レート制御を行う。
【００４６】
すなわち、ターゲットビット決定部３４は、後述する処理により、エンコードを終了した過去の画像における難易度などを基に、これからエンコードしようとする複数枚のピクチャに対して割り当てられている使用可能ビット量Ｒに加えられるsupplementの値（supplementは、正の値である場合、負の値である場合、０である場合がある）を決定する。
【００４７】
ビット補給量supplementは、正負どちらの値も取り得るので、supplementの積算値sum_supplement（以下、sum_supと称する）の最大値と最小値を、使用するＶＢＶバッファサイズに応じて決定しておくことで、ＶＢＶ制約の範囲内でのsupplement調整を行うことができる。ターゲットビット決定部３４は、この使用可能ビット量Ｒ＋supplementを基に、ターゲットビットの値を求め、量子化インデックス決定部３５に出力する。
【００４８】
量子化インデックス決定部３５は、ターゲットビット決定部３４から入力されたターゲットビットの値に基づいて、量子化インデックスＱを生成し、量子化部１９に対して出力する。
【００４９】
次に、図２のフローチャートを参照して、エンコードを終了した過去の画像における難易度を基に、Ｒに加えるsupplementを決定する、ビット補給レート制御処理１について説明する。
【００５０】
ステップＳ１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ１において、ＧＯＰの先頭ではないと判断された場合、ＧＯＰの先頭であると判断されるまで、ステップＳ１の処理が繰り返される。
【００５１】
ステップＳ１において、ＧＯＰの先頭であると判断された場合、ステップＳ２において、ターゲットビット決定部３４は、難易度算出部３２より、前のＧＯＰにおける難易度平均avgDを取得する。
【００５２】
ステップＳ３において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して加えられたsupplementの値の合計であるsum_supの上限値であるmax_sum_supの値を取得する。
【００５３】
ステップＳ４において、ターゲットビット決定部３４は、avgD > 0x2000かつsum_sup < max_sum_supであるか否かを判断する。ここで、難易度平均avgDと比較されている0x2000は、予め定められた閾値であり、画質を検討しながら要求される画質を得るために設定可能な値である。
【００５４】
ステップＳ４において、avgD > 0x2000かつsum_sup < max_sum_supであると判断された場合、ステップＳ５において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、正の値のsupplementを加える。すなわち、ターゲットビット決定部３４は、前のＧＯＰは、ある一定以上の難易度を有していたため、これからエンコードするＧＯＰの難易度を、前のＧＯＰと同程度であると予測して、使用可能ビット量Ｒに対して、正の値のsupplementを加える。
【００５５】
ステップＳ４において、avgD > 0x2000かつsum_sup < max_sum_supではないと判断された場合、ステップＳ６において、ターゲットビット決定部３４は、avgD < 0x1000、かつsum_sup > min_sum_supであるか否かを判断する。ここで、難易度平均avgDと比較されている0x１000は、予め定められた閾値であり、上述した 0x2000より小さな値（画像難易度が低いことを示す値）であり、画質を検討しながら要求される画質を得るために設定可能な値である。
【００５６】
ステップＳ６において、avgD < 0x1000、かつsum_sup > min_sum_supであると判断された場合、ステップＳ７において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、負の値のsupplementを加える。すなわち、ターゲットビット決定部３４は、前のＧＯＰは、ある一定以下の難易度であった（すなわち、簡単な画像であった）ため、これからエンコードするＧＯＰの難易度を、前のＧＯＰと同程度であると予測して、使用可能ビット量Ｒに対して、負の値のsupplementを加える。
【００５７】
ステップＳ６において、avgD < 0x1000、かつsum_sup > min_sum_supではなかったと判断された場合、ステップＳ８において、ターゲットビット決定部３４は、supplement = 0とする。すなわち、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、supplementの増減を行わない。
【００５８】
ステップＳ５、ステップＳ７、もしくはステップＳ８の処理の終了後、ステップＳ９において、ターゲットビット決定部３４は、ステップＳ５、ステップＳ７、もしくはステップＳ８の処理において用いられたsupplementの値を用いて、sum_sup = sum_sup + supplementとし、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００５９】
図２を用いて説明した処理により、エンコードを終了した過去の画像における難易度を基に、使用可能ビット量Ｒに加える、あるいは、減少されるsupplementの値が決定される。例えば、ＧＯＰ単位で、Ｒ＋supplemet（supplementは、正の値であるか、負の値であるか、もしくは０である）が決定される場合、前のＧＯＰの画像難易度（イントラＡＣ、あるいは、ＭＥ残差等）の平均値を基に、これからエンコードするＧＯＰの難易度が前のＧＯＰの難易度と同程度であると予測して、使用可能ビット量Ｒに対して、その難易度に応じたsupplementが加えられる。これにより、フィードバック型レート制御にビット補給レート制御を適用することができる。
【００６０】
ここでは、画像難易度をイントラＡＣ、あるいは、ＭＥ残差を用いて算出するものとして説明したが、画像難易度は、それ以外のパラメータを用いて算出するようにしても良い。
【００６１】
また、supplementの具体的な値の算出方法は、例えば、特開平１０−７５４４３に開示されている方法でも良いし、それ以外の方法で、要求される画質を得ることができるsupplementの値を用いるようにしても良い。
【００６２】
また、ここでは、前の１ＧＯＰにおける難易度平均avgＤを用いるものとして説明したが、難易度算出部３２は、１ＧＯＰにおける難易度平均avgＤに代わって、例えば、複数のＧＯＰ、もしくは、ＧＯＰの一部における難易度平均を求めるようにしても良いし、更に、単純な難易度平均ではなく、必要に応じて、重み付け和や重み付け平均を算出するようにしても良い。
【００６３】
しかしながら、図２を用いて説明したビット補給レート制御処理１では、シーンチェンジなどにより画像難易度の傾向が急激に変化した場合に、かえって画質に悪影響を与えてしまうことがある。例えば、ＧＯＰ単位で、Ｒ＋supplementを決定している場合、簡単な画像から難しい画像にシーンチェンジが起きたときに、前のＧＯＰの画像難易度が低いために、supplementは負の値となってしまい、難しい画像のＧＯＰに対して少ない使用可能ビット量Ｒでエンコードしてしまうことになる。
【００６４】
そこでシーンチェンジが起きたＧＯＰをエンコードする際には、その先頭のＩピクチャと、一つ前のＧＯＰのＩピクチャとの画像難易度の比較によりsupplementを決定するようにしても良い。これにより、シーンチェンジが起きたときに、難しい画像のＧＯＰに少ないビット量を割り当てるようなことがなくなり、画質を向上させることができる。
【００６５】
次に、図３のフローチャートを参照して、シーンチェンジにおいては、過去の同ピクチャタイプの画像難易度と、シーンチェンジの起きた現ピクチャの画像難易度の比較によって、使用可能ビット量Ｒに加えられるsupplementの値を決定する、ビット補給レート制御処理２について説明する。
【００６６】
ステップＳ２１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ２１において、ＧＯＰの先頭ではないと判断された場合、ＧＯＰの先頭であると判断されるまで、ステップＳ２１の処理が繰り返される。
【００６７】
ステップＳ２１において、ＧＯＰの先頭であると判断された場合、ターゲットビット決定部３４は、ステップＳ２２において、難易度算出部３２より、Ｉピクチャの画像符号化難易度Diを取得し、ステップＳ２３において、使用可能ビット量Ｒに対して加えられたsupplementの値の合計であるsum_supの上限値であるmax_sum_supの値を取得する。
【００６８】
ステップＳ２４において、ターゲットビット決定部３４は、シーンチェンジであるか否かを判断する。シーンチェンジであるか否かの判断は、例えば、ＭＥ残差算出部３１により算出されるＭＥ残差の値を基にして判断するようにしても良いし、それ以外のいかなる方法によって判断するようにしても良い。
【００６９】
ステップＳ２４において、シーンチェンジであると判断された場合、ステップＳ２５において、ターゲットビット決定部３４は、Ｉピクチャの画像符号化難易度Diと、一つ前のＧＯＰのＩピクチャの画像符号化難易度prevDiを比較し、更に、現在のsum_sup の値と、ステップＳ２３において取得したmax_sum_supの値を比較して、Di > prevDiかつsum_sup < max_sum_supであるか否かを判断する。
【００７０】
ステップＳ２５において、Di > prevDiかつsum_sup < max_sum_supであると判断された場合、ステップＳ２６において、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、正の値のsupplementを加える。すなわち、ターゲットビット決定部３４は、シーンチェンジ前の画像より、シーンチェンジ後の画像のほうが難易度が高いものであることを検出するので、使用可能ビット量Ｒに対して、正の値のsupplementを加える。
【００７１】
ステップＳ２５において、Di > prevDiかつsum_sup < max_sum_supではないと判断された場合、ステップＳ２７において、ターゲットビット決定部３４は、supplement = 0とする。すなわち、ターゲットビット決定部３４は、使用可能ビット量Ｒに対して、supplementの増減を行わない。
【００７２】
ステップＳ２４において、シーンチェンジではないと判断された場合、ステップＳ２８において、ターゲットビット決定部３４は、難易度算出部３２より、前のＧＯＰにおける難易度平均avgDを取得する。
【００７３】
そして、ターゲットビット決定部３４は、ステップＳ２９乃至ステップＳ３３において、図２のステップＳ４乃至ステップＳ８において実行した処理と同様の処理を実行する。
【００７４】
すなわち、ターゲットビット決定部３４は、ステップＳ２９において、avgD > 0x2000かつsum_sup < max_sum_supであるか否かを判断し、avgD > 0x2000かつsum_sup < max_sum_supであると判断された場合、ステップＳ３０において、使用可能ビット量Ｒに対して、正の値のsupplementを加える。
【００７５】
ステップＳ２９において、avgD > 0x2000かつsum_sup < max_sum_supではないと判断された場合、ターゲットビット決定部３４は、ステップＳ３１において、avgD < 0x1000、かつsum_sup > min_sum_supであるか否かを判断し、avgD < 0x1000、かつsum_sup > min_sum_supであると判断された場合、ステップＳ３２において、使用可能ビット量Rに対して、負の値のsupplementを加え、avgD < 0x1000、かつsum_sup > min_sum_supではなかったと判断された場合、ステップＳ３３において、supplement = 0とする。
【００７６】
ステップＳ２６、ステップＳ２７、ステップＳ３０、ステップＳ３２、もしくはステップＳ３３の処理の終了後、ステップＳ３４において、ターゲットビット決定部３４は、ステップＳ２２において取得したＩピクチャの画像符号化難易度Diを、次のＧＯＰの処理に用いるために、prevDi = Diとする。
【００７７】
ステップＳ３５において、ターゲットビット決定部３４は、ステップＳ２６、ステップＳ２７、ステップＳ３０、ステップＳ３２、もしくはステップＳ３３の処理において用いられたsupplementの値を用いて、sum_sup = sum_sup ＋ supplementとし、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００７８】
図３を用いて説明した処理により、シーンチェンジにおいては、過去の同ピクチャタイプ（ここではＩピクチャ）の難易度と、シーンチェンジの起きた現ピクチャ（ここではＩピクチャ）の難易度の比較によってsupplementを決定するようにすることができる。
【００７９】
これにより、例えば、ＧＯＰ単位にＲ＋supplementを決定している場合、簡単な画像から難しい画像にシーンチェンジが起きたとしても、難しい画像のＧＯＰに対して少ないＲでエンコードしてしまう、すなわち、難しい画像のＧＯＰに少ないビット量を割り当てるようなことがなくなり、画質を向上させることができる。
【００８０】
しかしながら、図２および図３を用いて説明したビット補給レート制御処理１およびビット補給レート制御処理２においては、一度決定したＲ＋supplementの値を、エンコード途中で見直すことを行わないために、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうことがある。
【００８１】
図２および図３を用いて説明したビット補給レート制御処理１およびビット補給レート制御処理２においては、ＧＯＰ単位でＲ＋supplementを決定しているので、例えば、前のＧＯＰが簡単な画像で、かつシーンチェンジが起きていないときには、使用可能ビット量Ｒに対して加えられるsupplementが負の値となり、使用可能ビット量が小さくなる。その状態でエンコードを開始したＧＯＰが、オーバーラップ画像のようにゆっくりと難しくなると、ＧＯＰの最後でビット量が足りなくなり、画質が悪くなってしまう。
【００８２】
このような問題を解決するために、使用可能ビット量Ｒに対して加えられるsupplementが負の値である場合には、エンコード対象ピクチャの画像難易度と、直前の同ピクチャタイプの画像難易度とを比較して、その差がある程度大きい場合には、残りのＲに対して加えられた負の値のsupplementに対応する分を元に戻す処理、換言すれば、差し引かれたsupplementに対応する分を元に戻す処理を導入する。
【００８３】
図４のフローチャートを参照して、図２を用いて説明したビット補給レート制御処理１にエンコード途中でsupplementを見直す機構を導入したビット補給レート制御処理３について説明する。
【００８４】
ステップＳ５１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ５１において、ＧＯＰの先頭ではないと判断された場合、ステップＳ５２において、図５を用いて後述するビット量見直し処理が実行され、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００８５】
ステップＳ５１において、ＧＯＰの先頭であると判断された場合、ステップＳ５３乃至ステップＳ６０において、図２のステップＳ２乃至ステップＳ９と同様の処理が実行される。
【００８６】
そして、ステップＳ６０の処理の終了後、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００８７】
次に、図５のフローチャートを参照して、図４のステップＳ５２において実行されるビット量見直し処理について説明する。
【００８８】
ステップＳ８１において、ターゲットビット決定部３４は、一つ前の処理のsupplementの値であるprev_sup、並びに、今のピクチャ（Ｂピクチャ、もしくはＰピクチャ）の難易度の値Ｄ（Ｂ，Ｐ）、および、同一ピクチャタイプの一つ前のピクチャの難易度の値prev_Ｄ（Ｂ，Ｐ）を取得し、prev_sup < 0、かつ、Ｄ（Ｂ，Ｐ）>４×prev_Ｄ（Ｂ，Ｐ）であるか否かを判断する。
【００８９】
ステップＳ８１において、prev_sup < 0、かつ、Ｄ（Ｂ，Ｐ）>４×prev_Ｄ（Ｂ，Ｐ）ではないと判断された場合、一つ前の処理のsupplementの値が負ではないか、あるいは、エンコード対象ピクチャの画像難易度と、直前の同ピクチャタイプの画像難易度との差がそれほど大きくないので、処理は、図４のステップＳ５１に戻る。
【００９０】
なお、ここでは、難易度の値Ｄ（Ｂ，Ｐ）と、難易度の値prev_Ｄ（Ｂ，Ｐ）の４倍とを比較しているが、ここでprev_Ｄ（Ｂ，Ｐ）に乗算される係数は、画質を検討しながら設定される性質の値であることは言うまでもない。
【００９１】
ステップＳ８１において、prev_sup < 0、かつ、Ｄ（Ｂ，Ｐ）>４×prev_Ｄ（Ｂ，Ｐ）であると判断された場合、一つ前の処理のsupplementの値が負であり、かつ、エンコード対象ピクチャの画像難易度と、直前の同ピクチャタイプの画像難易度との差がある程度大きいので、ステップＳ８２において、ターゲットビット決定部３４は、R = R−prev_supとする。すなわち、この処理は、一つ前の処理で算出されたsupplementの値を０として、それ以降の処理を実行するのと同義であり、ここでは、prev_sup < 0なので、実際には、Ｒの値は増加する。
【００９２】
そして、ステップＳ８２において、ターゲットビット決定部３４は、ステップＳ８３において、sum_sup = sum_sup−prev_supとし、ステップＳ８３において、prev_sup = 0として、処理は、図４のステップＳ５１に戻る。ステップＳ８３でも、同様に、prev_sup < 0であるから、sum_sup の値は増加する。
【００９３】
図４および図５のフローチャートを用いて説明した処理により、一度決定したＲ＋supplementをエンコード途中で見直すため、例えば、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうようなことを未然に防ぐことができる。
【００９４】
また、図３を用いて説明したビット補給レート制御処理２にも、同様にして、エンコード途中でsupplementを見直す処理を導入することができる。
【００９５】
図６のフローチャートを参照して、図３を用いて説明したビット補給レート制御処理２にエンコード途中でsupplementを見直す機構を導入したビット補給レート制御処理４について説明する。
【００９６】
ステップＳ１０１において、ターゲットビット決定部３４は、現在処理中のピクチャは、ＧＯＰの先頭であるか否かを判断する。ステップＳ１０１において、ＧＯＰの先頭ではないと判断された場合、ステップＳ１０２において、図５を用いて説明したビット量見直し処理が実行され、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００９７】
ステップＳ１０１において、ＧＯＰの先頭であると判断された場合、ステップＳ１０３乃至ステップＳ１１６において、図３のステップＳ２２乃至ステップＳ３５と同様の処理が実行される。
【００９８】
そして、ステップＳ１１６の処理の終了後、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【００９９】
図６を用いて説明した処理により、図３を用いて説明したビット補給レート制御処理２にも、同様にして、エンコード途中でsupplementを見直す機構を導入することができるので、例えば、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうようなことを未然に防ぐことができる。
【０１００】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、エンコーダ１は、図７に示されるようなパーソナルコンピュータ１０１により構成される。
【０１０１】
図７において、CPU１１１は、ROM１１２に記憶されているプログラム、または記憶部１１８からRAM１１３にロードされたプログラムに従って、各種の処理を実行する。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０２】
CPU１１１、ROM１１２、およびRAM１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インタフェース１１５も接続されている。
【０１０３】
入出力インタフェース１１５には、キーボード、マウスなどよりなる入力部１１６、ディスプレイやスピーカなどよりなる出力部１１７、ハードディスクなどより構成される記憶部１１８、モデム、ターミナルアダプタなどより構成される通信部１１９が接続されている。通信部１１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１０４】
入出力インタフェース１１５にはまた、必要に応じてドライブ１２０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、あるいは、半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１１８にインストールされる。
【０１０５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１０６】
この記録媒体は、図７に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク１３１（フロッピディスクを含む）、光ディスク１３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているROM１１２や、記憶部１１８に含まれるハードディスクなどで構成される。
【０１０７】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０８】
【発明の効果】
本発明によれば、画像データをエンコードすることができる。
また、本発明によれば、エンコードを終了した過去の画像における難易度を基に使用可能ビット量Ｒに加えるsupplementを決定することができるので、フィードバック型レート制御にビット補給レート制御を適用することができる。
【０１０９】
また、シーンチェンジが起きたＧＯＰをエンコードする際には、シーンチェンジ前後の同一のピクチャタイプの画像難易度の比較により、使用可能ビット量Ｒに加えるsupplementを決定するようにしたので、これにより難しい画像のＧＯＰに少ないビット量を割り当てるようなことがなくなり、画質を向上させることが可能となる。
更に、一度決定したＲ＋supplementをエンコード途中で見直すことができるようにしたので、エンコード中の複数画像の難易度傾向がゆっくりと変化していくような場合において、画質に悪影響を与えてしまうのを防ぐことができる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダの構成を示すブロック図である。
【図２】ビット補給レート制御処理１について説明するフローチャートである。
【図３】ビット補給レート制御処理２について説明するフローチャートである。
【図４】ビット補給レート制御処理３について説明するフローチャートである。
【図５】ビット見直し処理について説明するフローチャートである。
【図６】ビット補給レート制御処理４について説明するフローチャートである。
【図７】パーソナルコンピュータの構成について説明する図である。
【符号の説明】
１ エンコーダ， １２ 画像並び替え部， １３ 走査変換・マクロブロック化部， １４ イントラＡＣ算出部， １５ レートコントロール部， １６演算処理部， １７ 動き検出部， １８ ＤＣＴ部， １９ 量子化部， ２０ ＶＬＣ部， ２１ バッファ， ２２ 逆量子化部， ２３ 逆ＤＣＴ部， ２４ 演算処理部， ２５ 動き補償部， ３１ ＭＥ残差算出部， ３２難易度算出部， ３３ genbit検出部， ３４ ターゲットビット決定部， ３５ 量子化インデックス決定部
Claims (9)
- 非圧縮データの符号化を行う符号化装置において、
前記非圧縮データの符号化難易度を検出する第１の検出手段と、
前記非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化手段と、
符号化中のＧＯＰに含まれる前記非圧縮データに対して割り当てられる、前記非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、前記第１の検出手段により検出された、前記符号化手段により過去に符号化されたＧＯＰに含まれる前記非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、前記符号化難易度が前記第１の値よりも低い第２の値より低い場合、負の値となるように、前記符号化難易度が前記第１の値と前記第２の値との間となる場合、０となるように、前記ＧＯＰの符号化処理において、前記ＧＯＰの先頭を処理するタイミングで算出する第１の算出手段と、
前記第１の算出手段により算出された前記ビット補給量を、前記使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出手段と、
前記第２の算出手段により算出された前記ターゲットビットを基に、前記符号化手段による符号化の量子化インデックスを決定する決定手段と
を備えることを特徴とする符号化装置。 - 前記第１の算出手段により算出されたＧＯＰ毎の前記ビット補給量の合計を算出する第３の算出手段を更に備え、
前記第１の算出手段は、前記第３の算出手段により算出される前記ビット補給量の合計が、前記仮想バッファの容量に応じて決定される所定の基準値より小さくなるような、前記ビット補給量を算出する
ことを特徴とする請求項１に記載の符号化装置。 - 前記第１の検出手段は、前記非圧縮データの符号化難易度と相関性を有する統計量である前記非圧縮データの複雑さを用いて、符号化難易度を示す指標を算出し、
前記第１の算出手段は、前記第１の検出手段により検出された前記指標が第１の閾値より大きい場合、正の値の前記ビット補給量を算出し、前記指標が前記第１の閾値よりも小さな第２の閾値より小さい場合、負の値の前記ビット補給量を算出し、前記指標が前記第１の閾値と前記第２の閾値との間の数値である場合、前記ビット補給量を０とする
ことを特徴とする請求項１に記載の符号化装置。 - 前記第１の検出手段が算出する前記指標は、前記符号化手段により過去に符号化された１ＧＯＰの平均の難易度を示す指標である
ことを特徴とする請求項３に記載の符号化装置。 - シーンチェンジの発生を検出する第２の検出手段と、
前記シーンチェンジの前後の、Ｉピクチャの符号化難易度の増減を検出する第３の検出手段と
を更に備え、
前記第１の算出手段は、前記第２の検出手段により前記シーンチェンジが検出されなかった場合、前記第１の検出手段により検出された、前記符号化手段により過去に符号化された前記非圧縮データの符号化難易度を基に、前記ビット補給量を算出し、前記第２の検出手段により前記シーンチェンジが検出され、かつ、前記シーンチェンジの前より前記シーンチェンジの後のほうの符号化難易度が高い場合、正の値の前記ビット補給量を算出し、それ以外のとき、前記ビット補給量を０とする
ことを特徴とする請求項１に記載の符号化装置。 - 前記第２の算出手段は、前記第１の算出手段により算出された一番新しい前記ビット補給量が負の値であり、かつ、前記ＧＯＰ内で所定の値以上符号化難易度が高くなった場合、前記第１の算出手段により算出された一番新しい前記負の値のビット補給量を０として、ターゲットビットを算出する
ことを特徴とする請求項１に記載の符号化装置。 - 非圧縮データの符号化を行う符号化装置の符号化方法において、
前記非圧縮データの符号化難易度を検出する検出ステップと、
前記非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、
符号化中のＧＯＰに含まれる前記非圧縮データに対して割り当てられる、前記非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、前記検出ステップの処理により検出された、前記符号化ステップの処理により過去に符号化されたＧＯＰに含まれる前記非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、前記符号化難易度が前記第１の値よりも低い第２の値より低い場合、負の値となるように、前記符号化難易度が前記第１の値と前記第２の値との間となる場合、０となるように、前記ＧＯＰの符号化処理において、前記ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、
前記第１の算出ステップの処理により算出された前記ビット補給量を、前記使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、
前記第２の算出ステップの処理により算出された前記ターゲットビットを基に、前記符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップと
を含むことを特徴とする符号化方法。 - 非圧縮データの符号化を行う処理をコンピュータに実行させるプログラムであって、
前記非圧縮データの符号化難易度を検出する検出ステップと、
前記非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、
符号化中のＧＯＰに含まれる前記非圧縮データに対して割り当てられる、前記非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、前記検出ステップの処理により検出された、前記符号化ステップの処理により過去に符号化されたＧＯＰに含まれる前記非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、前記符号化難易度が前記第１の値よりも低い第２の値より低い場合、負の値となるように、前記符号化難易度が前記第１の値と前記第２の値との間となる場合、０となるように、前記ＧＯＰの符号化処理において、前記ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、
前記第１の算出ステップの処理により算出された前記ビット補給量を、前記使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、
前記第２の算出ステップの処理により算出された前記ターゲットビットを基に、前記符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 非圧縮データの符号化を行う処理をコンピュータに実行させるプログラムであって、
前記非圧縮データの符号化難易度を検出する検出ステップと、
前記非圧縮データを、ＧＯＰを基準として圧縮符号化する符号化ステップと、
符号化中のＧＯＰに含まれる前記非圧縮データに対して割り当てられる、前記非圧縮データが符号化された符号化ストリームをデコードするデコーダの入力バッファに対応する仮想バッファのバッファ容量のうち、ＧＯＰ内でまだ符号化されていない残りのピクチャに割り当てられる使用可能ビット量に加えられるビット補給量を、前記検出ステップの処理により検出された、前記符号化ステップの処理により過去に符号化されたＧＯＰに含まれる前記非圧縮データの符号化難易度が第１の値より高い場合、正の値となるように、前記符号化難易度が前記第１の値よりも低い第２の値より低い場合、負の値となるように、前記符号化難易度が前記第１の値と前記第２の値との間となる場合、０となるように、前記ＧＯＰの符号化処理において、前記ＧＯＰの先頭を処理するタイミングで算出する第１の算出ステップと、
前記第１の算出ステップの処理により算出された前記ビット補給量を、前記使用可能ビット量に加えた値を基に、符号化されるピクチャにおけるターゲットビットを算出する第２の算出ステップと、
前記第２の算出ステップの処理により算出された前記ターゲットビットを基に、前記符号化ステップの処理による符号化の量子化インデックスを決定する決定ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002104314A JP4273385B2 (ja) | 2002-04-05 | 2002-04-05 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002104314A JP4273385B2 (ja) | 2002-04-05 | 2002-04-05 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299080A JP2003299080A (ja) | 2003-10-17 |
| JP4273385B2 true JP4273385B2 (ja) | 2009-06-03 |
Family
ID=29389638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002104314A Expired - Fee Related JP4273385B2 (ja) | 2002-04-05 | 2002-04-05 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4273385B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213585B (zh) * | 2018-10-31 | 2022-10-28 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、计算机可读存储介质和计算机设备 |
-
2002
- 2002-04-05 JP JP2002104314A patent/JP4273385B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299080A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4256574B2 (ja) | 画像信号符号化方法および画像信号符号化装置 | |
| US6654417B1 (en) | One-pass variable bit rate moving pictures encoding | |
| KR100610520B1 (ko) | 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체 | |
| JP2963416B2 (ja) | 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置 | |
| JP3960451B2 (ja) | シーン特性検出型動画像符号化装置 | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| KR20040011100A (ko) | 개선된 비트율 제어 방법과 그 장치 | |
| JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
| JP2003018603A (ja) | 動画像符号化方法及び装置 | |
| US20120002724A1 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
| JP3907875B2 (ja) | 符号化レート制御装置及び情報符号化装置 | |
| US8081679B2 (en) | Image processing apparatus | |
| JP4179917B2 (ja) | 動画像符号化装置及び方法 | |
| JP4273385B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4586340B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JP4273386B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4186543B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP3149673B2 (ja) | 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク | |
| JP4264535B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4228739B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| JP4239734B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JP4747109B2 (ja) | 演算量調整装置 | |
| JP4186544B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090205 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090218 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |