JP2011029955A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】発生符号量の予測を精度よく行うことができるようにする。
【解決手段】プレエンコード部２０は、固定の量子化パラメータで画像データの符号化を行い発生符号量を算出する。イントラプレエンコード部３０は、画像データをＩピクチャの画像データとして複数の異なる量子化パラメータで符号化を行い発生符号量が算出する。符号量制御部４０は、プレエンコード部２０からの発生符号量に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測して、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正する。さらに、補正した発生符号量が目標発生符号量を実現するように量子化パラメータを決定する。本エンコード部６０は、決定された量子化パラメータを用いて画像データの符号化を行う。
【選択図】 図１

Description

この発明は、画像符号化装置および画像符号化方法に関する。詳しくは、画像の符号化を行うとき、発生符号量の予測を精度よく行うことができるようにする。

従来、ＭＰＥＧ(Moving Picture Experts Group)２等の画像符号化方式において、符号量を理想的に配分することは、主観的な画質を維持するための大きな課題である。

例えば、静止画における理想的な符号量配分とは、歪を均一とした状態(固定的な量子化スケール)で符号化した状態である。この歪が大きくなるような符号量になると、高周波成分や複雑部に歪を偏らせることと併せて、主観的な画質を高めることができる。

ここで、例えば特許文献１では、いわゆるフィードフォワード方式の符号量制御を採用し画質信号の局所的性質に適応した制御を可能とすることによって、復号画像の画質を向上できる画質信号の符号化方法が開示されている。フィードフォワード方式とは、等長化単位において発生する符号量を、複数の量子化スケールについて予め計算し、発生符号量が目標発生符号量を超えない範囲で、適切な量子化スケールを決定するものである。

一方、ＭＰＥＧ２でテストモデルとして提案されているＴＭ５等の符号量制御では、仮想バッファの残量と以前エンコードした際の量子化インデックスと発生符号量の関係を用いてフィードバック制御することによって、符号量制御を行っている。

国際公開第ＷＯ９６／２８９３７号公報

ところで、静止画に係る上記従来技術では、目標発生符号量に近い画面全体で均一となる平均的な量子化スケールを見つけるためには、複数回、異なる量子化スケールで符号量を計算して予測する必要があり、演算するための回路に係るコストは大きくなる。

また、上記ＴＭ５に代表されるフィードバック型の符号量制御では、異なるシーケンスに切り替わるたびに適切な発生量をもたらす量子化スケールを付与することができない。このため、画面下部が上部よりも歪が大きくなり視覚的に目立ち易くなり、シーケンス突入時に符号量を発生しすぎてしまい、符号量を抑える必要が生じ、画質の劣化が目立ってしまう。

このような問題は、事前にある値で量子化したときの発生量を知ることで解決することができる場合がある。例えばＭＰＥＧ２、特にＭＰＥＧ２イントラの場合、ＤＣＴ係数の低周波から高周波に向かうにつれて値が小さくなる。自然画の場合、常にこれが成り立つ。よって、マクロブロックの符号量と係数分布の相関が強く、符号量だけで予測が可能である。

しかしながら、Ｈ２６４．ＡＶＣでは、イントラマクロブロックでも画面内予測(入力画から予測画を引いた画、つまり差分画)などがあり、それが成り立たない場合はＭＰＥＧ２でのＤＣＴ係数の分布と同じ分布にならない。ゆえに、ＭＰＥＧ２の対応と同じ方法を採用しても精度のよい発生符号量の見積りができない場合がある。

そこで、本発明は、発生符号量の予測を精度よく行うことができる画像符号化装置と画像符号化方法を提供する。

この発明の第１の側面は、固定の量子化パラメータを用いて画像データの符号化を行い発生符号量を算出する第１の符号化部と、複数の異なる量子化パラメータを用いて、前記画像データをイントラピクチャの画像データとして前記量子化パラメータ毎に符号化を行い発生符号量を算出する第２の符号化部と、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと該量子化パラメータを用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第２の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が前記目標発生符号量を実現するように量子化パラメータを決定する符号量制御部と、前記符号量制御部で決定された量子化パラメータを用いて前記画像データの符号化を行う第３の符号化部とを備える画像符号化装置にある。

この発明においては、第１の符号化部によって、固定の量子化パラメータを用いて画像データのプレエンコード処理が行われて発生符号量が算出される。また、第２の符号化部によって、画像データをイントラピクチャ（Ｉピクチャ）の画像データとして複数の異なる量子化パラメータを用いてプレエンコード処理が行われて発生符号量が算出される。符号量制御部は、第１の符号化部でプレエンコード処理を行うことにより算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータとこの量子化パラメータを用いたときの発生符号量の予測を行い、予測した発生符号量が、第２の符号化部でプレエンコード処理を行うことにより算出された発生符号量に基づいて補正される。例えば、第１の符号化部でＩピクチャを符号化したとき、第２の符号化部で算出された発生符号量から、予測した量子化パラメータでの発生符号量を算出して、この算出した発生符号量が第１の符号化部で符号化したＩピクチャの発生符号量とされる。また、第１の符号化部でＩピクチャとは異なるピクチャを符号化したとき、第２の符号化部で算出された発生符号量から高域成分コストを算出して、Ｉピクチャの高域成分コストに対する割合に応じて、予測した発生符号量が補正されて、この補正後の発生符号量がＩピクチャとは異なるピクチャの発生符号量とされる。さらに、符号量制御部では、このようにして予測した１ＧＯＰ（Group of Picture）分の発生符号量が目標発生符号量を実現するように量子化パラメータが決定される。また、高域成分コストに基づき画像データにおける高域成分が少なくないと判別したとき、第２の符号化部で算出された発生符号量に応じて補正を行うようにしたときは、ＧＯＰ内において、第２の符号化部で算出された発生符号量に応じて補正するか否かの切り換えが行われたとき、切り換え後の動作がＧＯＰの最後のピクチャまで継続される。第３の符号化部では、プレエンコード処理によって決定された量子化パラメータを用いて画像データのエンコードが行われる。

この発明の第２の側面は、第１の符号化部で、固定の量子化パラメータを用いて画像データの符号化を行い発生符号量を算出するステップと、第２の符号化部で、複数の異なる量子化パラメータを用いて、前記画像データをイントラピクチャの画像データとして前記量子化パラメータ毎に符号化を行い発生符号量を算出するステップと、符号量制御部で、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと該量子化パラメータを用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第２の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が前記目標発生符号量を実現するように量子化パラメータを決定するステップと、第２の符号化部で、前記符号量制御部で決定された量子化パラメータを用いて前記画像データの符号化を行うステップとを有する画像符号化方法にある。

この発明によれば、第１の符号化部によって、画像データを固定の量子化パラメータを用いて符号化を行ったときの発生符号量が算出される。また、第２の符号化部によって、複数の異なる量子化パラメータを用いて、量子化パラメータ毎に画像データをイントラピクチャの画像データとして符号化したときの発生符号量が算出される。符号量制御部では、第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータとこの量子化パラメータを用いたときの発生符号量の予測が行われて、この予測した発生符号量が第２の符号化部で算出された発生符号量に応じて補正される。さらに、補正後の発生符号量が目標発生符号量を実現するように量子化パラメータが決定される。また、第３の符号化部では、符号量制御部で決定された量子化パラメータを用いて画像データの符号化が行われる。

このため、第３の符号化部で画像データの符号化を行う前に、発生符号量の予測が精度よく行われて目標発生符号量を実現する量子化パラメータが決定されるので、第３の符号化部では、発生符号量が目標発生符号量以下であって画像の劣化の少ない符号化処理を行うことができる。

画像符号化装置の構成を示す図である。 量子化マトリクスを示す図である。 画像符号化装置の動作を示すフローチャートである。 基本量子化パラメータの決定処理を示すフローチャートである。 量子化パラメータと発生符号量の算出処理を説明するための図（その１）である。 量子化パラメータと発生符号量の算出処理を説明するための図（その２）である。 １ＧＯＰ分の発生符号量の算出処理を示すフローチャートである。 予測した量子化パラメータを用いたときのＩピクチャの発生符号量算出処理を示すフローチャートである。 第２の発生符号量の検出処理を示すフローチャートである。 高域成分コスト演算の動作を示すフローチャートである。 イントラプレエンコード処理の処理結果を示す図である。 予測した量子化パラメータを用いたときの非Ｉピクチャの発生符号量算出処理を示すフローチャートである。

以下、発明を実施するための形態について説明する。この発明では、第１の符号化部であるプレエンコード部によって、固定の量子化パラメータを用いて画像データのプレエンコード処理を行い発生符号量を算出する。また、第２の符号化部であるイントラプレエンコード部によって、画像データをイントラピクチャ（Ｉピクチャ）の画像データとして複数の異なる量子化パラメータを用いてプレエンコードを行い発生符号量を算出する。符号量制御部は、プレエンコード部でプレエンコード処理を行うことにより算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。また、符号量制御部は、予測した発生符号量をイントラプレエンコード部で算出された発生符号量に応じて補正することで、発生符号量の予測を精度よく行うことができるようにする。さらに、符号量制御部は、補正後の発生符号量が目標発生符号量を実現するように量子化パラメータを決定する。第３の符号化部である本エンコード部は、決定された量子化パラメータを用いて画像データのエンコードを行うことで、発生符号量が目標発生符号量以下であって画像の劣化の少ない符号化処理を行うことができるようにする。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作

＜１．符号化装置の構成＞
図１は、本発明の画像符号化装置の構成を示している。画像符号化装置１０は、画像並べ替え処理部１１、プレエンコード部２０とイントラプレエンコード部３０、符号量制御部４０、ディレイバッファ５０、本エンコード部６０を備えている。

プレエンコード部２０は、予測モード決定部２１、ＤＣＴ（Discrete Cosine Transform)部２２、量子化部２３、逆量子化部２４、ＩＤＣＴ（Inverse Discrete Cosine Transform)部２５、予測画生成部２６、符号長計算部２７を備えている。

イントラプレエンコード部３０は、画面内予測処理部３１、ＤＣＴ部３２、量子化部３３、逆量子化部３４、ＩＤＣＴ部３５、イントラ予測画生成部３６、符号長計算部３７を備えている。また、量子化部３３は複数段の量子化部３３-1〜３３-nで構成されており、符号長計算部３７は複数段の符号長計算部３７-1〜３７-nで構成されている。

本エンコード部６０は、予測処理部６１、ＤＣＴ部６２、量子化部６３、逆量子化部６４、ＩＤＣＴ部６５、予測画生成部６６、可変長符号化部６７を備えている。

このような構成において、画像並べ替え処理部１１は、例えばＧＯＰ（Group of Picture）構造にしたがって、入力画像の画像データを表示順から符号化順にピクチャの順序を並べ替える。そして、画像並べ替え処理部１１は、符号化順に並べ替えた画像データを、プレエンコード部２０とイントラプレエンコード部３０とディレイバッファ５０に出力する。

プレエンコード部２０は、画像データを固定の量子化パラメータを用いて符号化を行ったときの発生符号量の算出を行い、算出した発生符号量を符号量制御部４０に出力する。プレエンコード部２０の予測モード決定部２１は、入力画像の画像データと後述する予測画生成部２６で生成された予測画像データを用いてマクロブロック毎に予測モードを決定する。また、予測モード決定部２１は、決定した予測モードの予測画像データを用いて、入力画像の画像データとの誤差を示す差分画像データをＤＣＴ部２２に出力する。

ＤＣＴ部２２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部２３に出力する。

量子化部２３は、固定されている量子化パラメータＱＰ(p)を用いてＤＣＴ係数の量子化を行い、生成した量子化データを逆量子化部２４と符号長計算部２７に出力する。

逆量子化部２４は量子化データに対して逆量子化を行い、ＤＣＴ係数を生成してＩＤＣＴ部２５に出力する。

ＩＤＣＴ部２５は、逆量子化部２４から供給されたＤＣＴ係数の逆離散コサイン変換を行い、差分画像データを生成して予測画生成部２６に出力する。

予測画生成部２６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、予測画生成部２６は、入力画像の画像データを用いてマクロブロック単位で現フレームと時間的に隣接する次フレームとの動き推定を行う。さらに 予測画生成部２６は、動き推定結果に基づいてローカルデコード画像の動き補償を行い、ローカルデコード画像の画像データから予測画像データを生成して予測モード決定部２１に出力する。

符号長計算部２７は、量子化データに対してコンテキスト適応型可変長符号化方式（CAVLC；Context-Adaptive Variable Length Coding)またはコンテキスト適応型２値算術符号化方式（CABAC；Context-Adaptive Binary Arithmetic Coding)のいずれかで符号化を行い、マクロブロック毎に発生符号量を算出して符号量制御部４０に出力する。

ＣＡＶＬＣ符号化方式は、ＣＡＢＡＣ方式よりも処理が簡単な方式であり、ＣＡＢＡＣ符号化方式は、ＣＡＶＬＣ方式よりもデータ量を少なくできる方式である。ここで、プレエンコード部２０では処理を簡単とするために可変長符号化方式を用い、本エンコード部６０ではデータ量を少なくするため算術符号化方式を用いる場合について説明する。可変長符号化はある特定の領域の情報を効率よく符号化しており、算術符号化は領域を特定することなく効率よく符号化できる。このため、可変長符号化から算術符号化の符号量を予測すると大きく誤差がでる場合がある。しかし、ＣＡＶＬＣはコンテキストを適用的に変更することにより、一般的な可変長符号化に比べて、あまり領域を特定せずに効率よく符号化することができる。このため、誤差が少なくなり、ＣＡＢＡＣ方式を用いたときの発生符号量をＣＡＶＬＣ方式の符号化によって推測することが可能となる。したがって、符号長計算部２７でＣＡＶＬＣ方式を用いても、ＣＡＢＡＣ方式を用いる本エンコード部６０における発生符号量を推測できる。なお、符号長計算部２７は、ＣＡＶＬＣ方式を用いることで回路規模を抑えることも可能となる。

イントラプレエンコード部３０は、画像データを全てＩピクチャとして、複数の異なる量子化パラメータを用いて符号化を行い、量子化パラメータ毎に発生符号量を算出して符号量制御部４０に出力する。イントラプレエンコード部３０の画面内予測処理部３１は、入力画像の画像データと後述するイントラ予測画生成部３６で生成された予測画像データとの誤差を示す差分画像データを生成してＤＣＴ部３２に出力する。

ＤＣＴ部３２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部３３に出力する。

量子化部３３は、複数段例えば９段の量子化部３３-1〜３３-9で構成されている。量子化部３３-1〜３３-9は、異なる３つの量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)と異なる３つの量子化マトリクスＱＭF，ＱＭN，ＱＭSを組み合わせて、９つの条件で量子化を行う。量子化部３３-1〜３３-9は、ＤＣＴ係数の量子化を行って得られた量子化データを符号長計算部３７に出力する。また、量子化部３３は量子化部３３-1〜３３-9で生成された量子化データの１つを選択して逆量子化部３４に出力する。

図２は、量子化マトリクスＱＭF，ＱＭN，ＱＭSを例示している。図２の（Ａ）は量子化マトリクスＱＭFを示している。量子化マトリクスＱＭFはマトリクス値が全て等しい値とされている。すなわち、量子化マトリクスＱＭFは、フラットな特性の量子化マトリクスである。図２の（Ｂ）は量子化マトリクスＱＭNを示している。量子化マトリクスＱＭNは高域成分のマトリクス値が低域成分のマトリクス値よりも大きくされている。すなわち、量子化マトリクスＱＭNは、高域成分の削減が行われる一般的な特性の量子化マトリクスである。図２の（Ｃ）は量子化マトリクスＱＭSを示している。量子化マトリクスＱＭSは、量子化マトリクスＱＭNに比べて高域成分のマトリクス値がさらに大きな値とされている。すなわち、量子化マトリクスＱＭSは、量子化マトリクスＱＭNに比べて高域成分の削減をさらに大きくした量子化マトリクスである。

逆量子化部３４は、量子化部３３から供給された量子化データに対して逆量子化を行い、ＤＣＴ係数データを生成してＩＤＣＴ部３５に出力する。

ＩＤＣＴ部３５は、逆量子化部３４から供給されたＤＣＴ係数データの逆離散コサイン変換を行い、ローカルデコード画像の画像データを生成してイントラ予測画生成部３６に出力する。

イントラ予測画生成部３６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、イントラ予測画生成部３６は、ローカルデコード画像の画像データを予測画像データとして画面内予測処理部３１に出力する。

符号長計算部３７は、量子化部３３と対応させて複数段例えば９段の符号長計算部３７-1〜３７-9で構成されている。符号長計算部３７-1〜３７-9は、プレエンコード部２０の符号長計算部２７と等しい方式を用いて符号化を行い、マクロブロック毎に発生符号量を算出して符号量制御部４０に出力する。

符号量制御部４０は、ビットレートとＧＯＰ構造の関係から、１ＧＯＰに割り当てられる目標発生符号量を決定する。また、符号量制御部４０は、プレエンコード部２０で算出された発生符号量の１ＧＯＰ分に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。すなわち、符号量制御部４０は、１ＧＯＰの発生符号量が目標発生符号量以下で最も目標発生符号量に近くなる量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。また、符号量制御部４０は、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正する。さらに、符号量制御部４０は、補正後の発生符号量から目標発生符号量を実現する量子化パラメータを決定して本エンコード部６０に出力する。なお、以下の説明では、目標発生符号量を実現する量子化パラメータを基本量子化パラメータという。

ディレイバッファ５０は、符号量制御部４０で基本量子化パラメータを決定する処理に要する時間だけ入力画像の画像データを遅延させて、遅延後の画像データを本エンコード部６０に出力する。

本エンコード部６０は、符号量制御部４０で決定された基本量子化パラメータを用いて画像データの符号化を行う。本エンコード部６０の予測処理部６１は、プレエンコード部２０の予測モード決定部２１で決定されたピクチャタイプに応じて予測画像データの選択を行う。また、予測処理部６１は、選択した予測画像データとディレイバッファ５０で遅延された入力画像の画像データとの誤差を示す差分画像を生成してＤＣＴ部６２に出力する。

ＤＣＴ部６２は、差分画像に対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部６３に出力する。

量子化部６３は、符号量制御部４０で決定された量子化パラメータを用いてＤＣＴ係数の量子化を行い、量子化データを逆量子化部６４と可変長符号化部６７に出力する。

逆量子化部６４は、量子化データに対して逆量子化を行い、ＤＣＴ係数を生成してＩＤＣＴ部６５に出力する。

ＩＤＣＴ部６５は、逆量子化部６４から供給されたＤＣＴ係数の逆離散コサイン変換を行い、差分画像データを生成して予測画生成部６６に出力する。

予測画生成部６６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、予測画生成部６６は、ディレイバッファ５０からの画像データを用いてマクロブロック単位で現フレームと時間的に隣接する次フレームとの動き推定を行う。さらに 予測画生成部６６は、動き推定結果に基づいてローカルデコード画像の動き補償を行い、予測画像を生成して予測処理部６１に出力する。

可変長符号化部６７は、量子化データに対してＣＡＶＬＣ方式またはＣＡＢＡＣ方式で符号化を行い、符号化ストリームを生成して出力する。可変長符号化部６７は、例えばデータ量が少なくなるようにＣＡＢＡＣ方式を用いて量子化データの符号化を行い、符号化ストリームを生成する。

＜２．画像符号化装置の動作＞
次に、画像符号化装置の動作について説明する。図３は、画像符号化装置の動作を示すフローチャートである。

ステップＳＴ１で画像符号化装置１０は、ピクチャタイプの決定と画像並べ替えを行う。画像符号化装置１０は、例えばＧＯＰ（Group of Picture）構造にしたがって、入力画像に対してピクチャタイプを決定する。また、画像符号化装置１０は、入力画像の画像データを表示順から符号化順のピクチャ順序に画像並べ替え処理部１１で並べ替えてステップＳＴ２に進む。

ステップＳＴ２で画像符号化装置１０は、プレエンコード処理を行う。画像符号化装置１０は、決定されたピクチャタイプで入力画像の画像データをプレエンコード部２０で符号化して発生符号量の算出を行いステップＳＴ３に進む。

ステップＳＴ３で画像符号化装置１０は、発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０は、プレエンコード部２０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ６に進む。また、画像符号化装置１０は、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ２に戻る。

ステップＳＴ４で画像符号化装置１０は、イントラプレエンコード処理を行う。画像符号化装置１０は、Ｉピクチャとして入力画像の画像データをイントラプレエンコード部３０で符号化して発生符号量の算出を行いステップＳＴ５に進む。また、画像符号化装置１０は、イントラプレエンコード処理において、複数の異なる量子化パラメータや複数の異なる量子化マトリクスで符号化を並列に行って発生符号量を算出する。

ステップＳＴ５で画像符号化装置１０は、発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０は、イントラプレエンコード部３０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ６に進む。また、画像符号化装置１０は、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ４に戻る。

ステップＳＴ６で画像符号化装置１０は、本エンコード処理で用いる基本量子化パラメータの決定処理を行う。画像符号化装置１０は、プレエンコード処理を行うことにより得られた発生符号量と、イントラプレエンコード処理を行うことにより得られた発生符号量から、本エンコード処理で用いる基本量子化パラメータを符号量制御部４０で決定する。

ステップＳＴ７で画像符号化装置１０は、本エンコード処理を行う。画像符号化装置１０は、ステップＳＴ６で決定された基本量子化パラメータを用いて入力画像の画像データを本エンコード部６０で符号化する。

次に、本エンコード処理で用いる基本量子化パラメータの決定処理について説明する。基本量子化パラメータの決定処理では、プレエンコード部２０で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータとこの量子化パラメータを用いたときの発生符号量を予測する。また、この予測した発生符号量を、イントラプレエンコード部３０で算出された発生符号量に応じて補正する。補正した発生符号量の１ＧＯＰ分が、目標発生符号量を実現できないときは、予測した量子化パラメータのパラメータ値を変更して新たに発生符号量の予測や補正を行う。補正した発生符号量の１ＧＯＰ分が目標発生符号量を実現できるときは、このときの量子化パラメータを基本量子化パラメータとする。

図４は、本エンコード処理で用いる基本量子化パラメータの決定処理を示すフローチャートを例示している。ステップＳＴ１１で符号量制御部４０は、量子化パラメータの予測を行う。符号量制御部４０は、プレエンコード部２０で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータを予測してステップＳＴ１２に進む。
図５，６は量子化パラメータと後述する発生符号量の算出処理を説明するための図である。符号量制御部４０は、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、図５に示すように、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線例えば予測曲線ＣＢを選択する。さらに、図６に示すように、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータを予測する。

ステップＳＴ１２で符号量制御部４０は、１ＧＯＰ分の発生符号量の算出を行う。符号量制御部４０は、ステップＳＴ１１で予測した発生符号量を、イントラプレエンコード部３０で算出された発生符号量に応じて補正して、補正した発生符号量の１ＧＯＰ分を算出してステップＳＴ１３に進む。

ステップＳＴ１３で符号量制御部４０は、１ＧＯＰ分の発生符号量が目標発生符号量より大きいか否か判別する。符号量制御部４０は、発生符号量が目標発生符号量より大きくないときステップＳＴ１４に進み、発生符号量が目標発生符号量より大きいときステップＳＴ１５に進む。

ステップＳＴ１４で符号量制御部４０は、予測した量子化パラメータから基本量子化パラメータを決定する。符号量制御部４０は、発生符号量と目標発生符号量との差が小さいとき、例えば予測した量子化パラメータの値を「１」減少させたときの発生符号量の増加分よりも小さいとき、予測した量子化パラメータを基本量子化パラメータとして処理を終了する。また、符号量制御部４０は、発生符号量と目標発生符号量との差が大きいとき、差が小さくなるように予測した量子化パラメータの値を減少させて、基本量子化パラメータとする。

ステップＳＴ１５で符号量制御部４０は、予測した量子化パラメータの値を増加させる。符号量制御部４０は、発生符号量と目標発生符号量との差に応じて増加量を決定して、予測した量子化パラメータの値を増加させてステップＳＴ１６に進む。

ステップＳＴ１６で符号量制御部４０は、１ＧＯＰ分の発生符号量の算出を行う。符号量制御部４０は、ステップＳＴ１５で更新された量子化パラメータを用いて、ステップＳＴ１２と同様に１ＧＯＰ分の発生符号量の算出を行ってステップＳＴ１７に進む。

ステップＳＴ１７で符号量制御部４０は、目標発生符号量を実現できるか否か判別する。符号量制御部４０は、目標発生符号量を実現できるか否か判別する。符号量制御部４０は、目標発生符号量を実現できないと判別したときステップＳＴ１３に戻り、目標発生符号量を実現できると判別したとき、ステップＳＴ１５で更新した量子化パラメータを基本量子化パラメータとして処理を終了する。例えば、ステップＳＴ１５で更新した量子化パラメータを用いたときの発生符号量が目標発生符号量以下であり、ステップＳＴ１５で更新した量子化パラメータよりも「１」だけ小さい量子化パラメータを用いたときの発生符号量が目標発生符号量を超えるとき、符号量制御部４０は、目標発生符号量を実現できると判別して、更新した量子化パラメータを基本量子化パラメータとする。

このようにすれば、目標発生符号量を実現できる基本量子化パラメータを決定できる。なお、基本量子化パラメータの決定処理は、図４のフローチャートに示す処理に限られるものではない。例えば、発生符号量と目標発生符号量との差に応じて量子化パラメータの増加量や減少量を設定して再度発生符号量の算出を行う。また、発生符号量と目標発生符号量との差が少なくなったときは、量子化パラメータを「１」ずつ増加または減少させて、目標発生符号量を実現できる量子化パラメータを検索するようにしてもよい。

図７は、１ＧＯＰ分の発生符号量の算出処理を例示したフローチャートである。ステップＳＴ２１で符号量制御部４０は、予測した量子化パラメータを用いてＩピクチャの発生符号量を算出してステップＳＴ２２に進む。

ステップＳＴ２２で符号量制御部４０は、次のピクチャがＩピクチャであるか否か判別する。符号量制御部４０は、次のピクチャがＩピクチャでないときステップＳＴ２３に進み、次のピクチャがＩピクチャであるとき、１ＧＯＰ分の発生符号量の算出処理を終了する。

ステップＳＴ２３で符号量制御部４０は、予測した量子化パラメータを用いて非Ｉピクチャ、すなわちＰピクチャまたはＢピクチャの発生符号量を算出してステップＳＴ２２に戻る。

次に、予測した量子化パラメータを用いてＩピクチャの発生符号量と非Ｉピクチャの発生符号量を予測する処理について説明する。

予測した量子化パラメータを用いてＩピクチャの発生符号量を予測する場合、符号量制御部４０は、プレエンコード処理の発生符号量に基づいて、予測した量子化パラメータを用いたときの発生符号量を予測する。この予測した発生符号量を第１の発生符号量という。また、符号量制御部４０は、イントラプレエンコード処理で得られた発生符号量から、予測した量子化パラメータを用いたときの発生符号量を算出する。この算出した発生符号量を第２の発生符号量という。符号量制御部４０は、第１の発生符号量と第２の発生符号量から補正係数を算出する。さらに、符号量制御部４０は、算出した補正係数で第１の発生符号量を補正して、補正後の第１の発生符号量を、予測した量子化パラメータを用いたときのＩピクチャの発生符号量とする。また、符号量制御部４０は、Ｉピクチャにおける高域成分の状態を示す高域成分コストを算出して、算出した高域成分コストを用いて第１の発生符号量の補正を行う。

予測した量子化パラメータを用いて非Ｉピクチャの発生符号量を予測する場合、符号量制御部４０は、プレエンコード処理の発生符号量に基づいて、予測した量子化パラメータを用いたときの発生符号量を予測する。この予測した発生符号量を第３の発生符号量とする。また、符号量制御部４０は、非Ｉピクチャにおける補正係数を算出して、この補正係数を用いて第３の発生符号量の補正を行い、補正後の第３の発生符号量を予測した量子化パラメータを用いたときの非Ｉピクチャの発生符号量とする。

図８は、予測した量子化パラメータを用いたときのＩピクチャの発生符号量算出処理を示すフローチャートである。

ステップＳＴ４１で符号量制御部４０は、第１の発生符号量を予測する。符号量制御部４０は、予測した量子化パラメータを用いたときの発生符号量を予測して第１の発生符号量としてステップＳＴ４４に進む。たとえば、図６に示すように、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータが予測されて、この予測された量子化パラメータを用いたときの発生符号量を予測する。すなわち、予測した量子化パラメータＱＰ(t)における発生符号量ＢＴ(pt)を第１の発生符号量としてステップＳＴ４４に進む。なお、量子化パラメータＱＰ(p)は、量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量が、目標発生符号量よりも大きくなるように予め小さな値に設定しておく。このように量子化パラメータＱＰ(p)を設定すれば、発生符号量を小さくして目標発生符号量以下で最も符号量が近くなる基本量子化パラメータを設定することができるようになる。

ステップＳＴ４４で符号量制御部４０は、第２の発生符号量を検出する。符号量制御部４０は、イントラプレエンコード部３０で量子化パラメータＱＰ(i0)〜ＱＰ(i2)を用いて符号化を行ったときの発生符号量ＢＴ(i0)，ＢＴ(i1)，ＢＴ(i2)から、量子化パラメータＱＰ(t)における発生符号量ＢＴ(it)を検出して第２の発生符号量とする。

図９は、第２の発生符号量の検出処理を示すフローチャートである。ステップＳＴ８１で符号量制御部４０は、イントラプレエンコーダ処理で用いられている量子化パラメータから、予測した量子化パラメータと一番近い量子化パラメータを検出する。符号量制御部４０は、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)と一番近い量子化パラメータを検出して、量子化パラメータＱＰ(ia)としてステップＳＴ８２に進む。

ステップＳＴ８２で符号量制御部４０は、イントラプレエンコーダ処理で用いられている量子化パラメータから、予測した量子化パラメータと二番目に近い量子化パラメータを検出する。符号量制御部４０は、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)に二番目に近い量子化パラメータを検出して、量子化パラメータＱＰ(ib)としてステップＳＴ８３に進む。

ステップＳＴ８３で符号量制御部４０は、予測した量子化パラメータの発生符号量を算出する。符号量制御部４０は、量子化パラメータＱＰ(ia)のときの発生符号量ＢＴ(ia)と量子化パラメータＱＰ(ib)のときの発生符号量ＢＴ(ib)を用いて補間処理を行う。符号量制御部４０は、補間処理として直線補間または曲線補間等を行い、予測した量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を算出する。

符号量制御部４０は、例えば図６に示すように、量子化パラメータＱＰ(t)と一番目に近い量子化パラメータＱＰ(i1)の発生符号量ＢＴ(i1)と、量子化パラメータＱＰ(t)と二番目に近い量子化パラメータＱＰ(i0)の発生符号量ＢＴ(i0)を用いて補間処理を行う。符号量制御部４０は、予測した量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を補間処理によって算出する。

符号量制御部４０は、このようにして量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を検出して、図８のステップＳＴ４４からステップＳＴ４５に進む。

ステップＳＴ４５で符号量制御部４０は、補正係数を算出する。符号量制御部４０は、プレエンコード処理結果から検出した第１の発生符号量ＢＴ(pt)と、イントラプリエンコード処理結果から検出した第２の発生符号量ＢＴ(it)を用いて式（１）の演算を行い、補正係数Ｃ(i)を算出してステップＳＴ４６に進む。
Ｃ(i)＝ＢＴ(it)／ＢＴ(pt) ・・・（１）

ステップＳＴ４６で符号量制御部４０は、高域成分コストを算出する。符号量制御部４０は、Ｉピクチャにおける高域成分の状態を示す高域成分コストＨ(i)を算出する。

図１０は、高域成分コスト演算の動作を示すフローチャートである。また、図１１はイントラプレエンコード処理の処理結果を示している。

図１０において、ステップＳＴ９１で符号量制御部４０は、イントラプレエンコード処理における量子化パラメータの最小値を選択する。例えば図１１に示すように、イントラプレエンコード処理で量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)（ＱＰ(i0)＜ＱＰ(i1)＜ＱＰ(i2)）が用いられている場合、符号量制御部４０は、量子化パラメータＱＰ(i0)を選択してステップＳＴ９２に進む。

ステップＳＴ９２で符号量制御部４０は、最も小さい量子化パラメータと、低域から高域までの量子化ステップがフラットである量子化マトリクスを用いたときの発生符号量を選択する。例えば、量子化マトリクスＱＭFは、マトリクス値が一定値とされており低域から高域までの量子化ステップがフラットとなるマトリクスとする。量子化マトリクスＱＭNは、高域のマトリクス値が低域よりも大きな値とされており低域に比べて高域を粗く量子化するマトリクスとする。量子化マトリクスＱＭNは、高域のマトリクス値が低域よりも大きな値とされており低域に比べて高域を粗く量子化するマトリクスとする。量子化マトリクスＱＭSは、高域のマトリクス値が量子化マトリクスＱＭNに比べてさらに大きな値とされており、量子化マトリクスＱＭNよりも高域成分の削減がスティープな状態である量子化するマトリクスとする。この場合、符号量制御部４０は、最も小さい量子化パラメータとして量子化パラメータＱＰ(i0)が選択されていることから、量子化パラメータＱＰ(i0)と量子化マトリクスＱＭFを用いたときの発生符号量ＢＴ(i0F)を選択してステップＳＴ９３に進む。

ステップＳＴ９３で符号量制御部４０は、最も小さい量子化パラメータと、低域に比べて高域を粗く量子化する通常の量子化マトリクスを用いたときの発生符号量を選択する。例えば、符号量制御部４０は、量子化パラメータＱＰ(i0)と量子化マトリクスＱＭNを用いたときの発生符号量ＢＴ(i0N)を選択してステップＳＴ９４に進む。

ステップＳＴ９４で符号量制御部４０は、高域成分コストを算出する。符号量制御部４０は、式（２）の演算を行い、Ｉピクチャにおける高域成分コストＨ(i)を算出する。
Ｈ(i)＝ＢＴ(i0F)／ＢＴ(i0N) ・・・（２）

このようにして高域成分コストを算出すると、符号量制御部４０は、図８のステップＳＴ４６からステップＳＴ４８に進み、予測した第１の発生符号量の補正を行う。符号量制御部４０は、第１の発生符号量ＢＴ(pt)と補正係数Ｃ(i)を用いて式（３）の演算を行い、補正された発生符号量ＢＴ(itc)を算出する。
ＢＴ(itc)＝ＢＴ(pt)×Ｃ(i) ・・・（３）

このように図８の処理を行うと、固定の量子化パラメータを用いたプレエンコード処理結果から予測した発生符号量が、複数の異なる量子化パラメータや複数の異なる量子化マトリクスを用いたイントラプレエンコード処理の処理結果に応じて補正される。したがって、Ｉピクチャの発生符号量の予測精度を向上させることができる。

次に、予測した量子化パラメータを用いたときの非Ｉピクチャの発生符号量算出処理について、図１２に示すフローチャートを用いて説明する。ステップＳＴ１１１で符号量制御部４０は、第３の発生符号量を検出する。符号量制御部４０は、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線を選択する。さらに、選択した予測曲線を用いて、既に予測されている量子化パラメータＱＰ(t)における発生符号量ＢＴ(ut)を第３の発生符号量としてステップＳＴ１１２に進む。

ステップＳＴ１１２で符号量制御部４０は、非Ｉピクチャにおける高域成分コストを算出する。符号量制御部４０は、上述の図１０に示す高域成分コスト演算と同様な処理を行い、非Ｉピクチャにおける高域成分コストＨ(u)を算出する。この場合、高域成分コストＨ(u)の算出は式（４）を用いて行う。
Ｈ(u)＝ＢＴ(i0Fu)／ＢＴ(i0Nu) ・・・（４）

なお式（４）において、発生符号量ＢＴ(i0Fu)，ＢＴ(i0Nu)は、高域成分コストを算出する非Ｉピクチャの画像データをＩピクチャとしてイントラプレエンコード処理したときの発生符号量である。

このようにして、図１２のステップＳＴ１１２で高域成分コストを算出するとステップＳＴ１１３に進み、符号量制御部４０は、補正係数の補正を行う。符号量制御部４０は、Ｉピクチャの処理において算出した補正係数Ｃ(i)と高域成分コストＨ(i)およびステップＳＴ１１２で算出した高域成分コストＨ(u)を用いて式（５）の演算を行い、非Ｉピクチャに対応する補正係数Ｃ(ic)を算出してステップＳＴ１１５に進む。
Ｃ(ic)＝Ｃ(i)×Ｈ(i)／Ｈ(u) ・・・（５）

ステップＳＴ１１５で符号量制御部４０は、第３の発生符号量の補正を行う。符号量制御部４０は、発生符号量ＢＴ(ut)と補正係数Ｃ(ic)とを用いて式（６）の演算を行い、補正された発生符号量ＢＴ(utc)を算出する。
ＢＴ(utc)＝ＢＴ(ut)×Ｃ(ic) ・・・（６）

このように図１２の処理を行うと、固定の量子化パラメータを用いたプレエンコード処理結果を用いて予測した発生符号量が、複数の異なる量子化パラメータや複数の異なる量子化マトリクスを用いたイントラプレエンコード処理の処理結果に応じて補正される。したがって、非Ｉピクチャの発生符号量の予測精度を向上させることができる。

以上のように、符号量制御部４０では、プレエンコード部２０でプレエンコードを行うことにより算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量が予測される。また、予測した発生符号量が、イントラプレエンコード部３０でプレエンコードを行うことにより算出された発生符号量に応じて補正される。さらに、符号量制御部４０では、補正後の発生符号量が目標発生符号量を実現するように量子化パラメータが決定される。このため、例えばマクロブロックの発生符号量と量子化パラメータの関係が画像に応じて変化する場合、この変化によって生じる発生符号量の予測誤差がイントラプレエンコード部３０でプレエンコードを行うことにより算出された発生符号量に応じて補正される。したがって、マクロブロックの発生符号量と量子化パラメータの関係が画像に応じて変化する場合でも、発生符号量の予測を精度よく行うことができる。

例えば、プレエンコード処理を行って発生符号量の予測を行い、予測結果から本エンコードの量子化パラメータを決定する場合、予測で誤差を生じる原因として、高域成分が想定よりも少ないと発生符号量の落ち方が変わり、実際の発生符号量が予測よりも大分少なくなってしまうことがある。特に、プレエンコード処理で固定されている量子化パラメータ(p)と目標発生符号量に対応する量子化パラメータＱＰ(t)の差が大きいと、誤差が大きくなる傾向がある。この誤差を補正するため、符号量制御部４０は、Ｉピクチャのイントラプレエンコード処理によって得られた発生符号量を利用する。イントラプレエンコード部３０は、複数の異なる量子化パラメータを適用しているため、プレエンコード部２０よりも予測する量子化パラメータに近い量子化パラメータの発生符号量を求めることができる。そのため、Ｉピクチャの予測では、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正する。

また、非Ｉピクチャに関しては誤差を求めることができない。しかし、この誤差はピクチャにおける高域成分の状態によって変動するため、高域成分の状態を各ピクチャから求め、各ピクチャはＩピクチャにおける高域成分の状態との違いに応じて非Ｉピクチャの発生符号量を補正する。

このようにすれば、高域成分の状態が予測曲線を求めたときと異なる場合でも、発生符号量をピクチャにおける高域成分の状態に応じて補正することが可能となり、より正しく発生符号量を推測できるようになる。したがって、例えば１ＧＯＰ分の発生符号量の予測を精度よく行うことができる。

また、本エンコード部６０は、符号量制御部４０で決定された基本量子化パラメータを用いて画像データの符号化を行えば、本エンコード部６０から、発生符号量が目標発生符号量以下であって画像の劣化の少ない符号化データを出力することができる。

なお、高域成分が想定よりも少なくないとき、例えば量子化マトリクスＱＭFを用いたときの発生符号量と量子化マトリクスＱＭNを用いたときの発生符号量の差が大きいときは、プレエンコード処理を行って発生符号量を精度よく予測することが可能である。したがって、符号量制御部４０は、高域成分コストに基づき画像データにおける高域成分が少なくないと判別したとき、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正するようにしてもよい。例えば、画像の特性変化等によって量子化マトリクスＱＭNを用いたときに対する量子化マトリクスＱＭFを用いたときの発生符号量の割合が増加して、高域成分コストが予め設定した値を超えるとき、イントラプレエンコード部３０で算出された発生符号量に応じて補正を行うようにしてもよい。この場合、例えばＧＯＰ内において、イントラプレエンコード部３０で算出された発生符号量に応じた補正を行うピクチャと、補正を行わないピクチャの切り換えが繰り返されると画質の低下を招くおそれがある。したがって、ＧＯＰ内において、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正するか否かの切り換えが行われたとき、切り換え後の動作をＧＯＰの最後のピクチャまで継続する。このようにすれば、ＧＯＰ内において、イントラプレエンコード部３０で算出された発生符号量に応じた補正を行うピクチャと補正を行わないピクチャの切り換えが繰り返されたことによると画質の低下を防止できる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータは、このようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明においては、第１の符号化部によって、画像データを固定の量子化パラメータを用いて符号化を行ったときの発生符号量が算出される。また、第２の符号化部によって、複数の異なる量子化パラメータを用いて、量子化パラメータ毎に画像データをイントラピクチャの画像データとして符号化したときの発生符号量が算出される。符号量制御部では、第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量の予測が行われて、この予測した発生符号量が、第２の符号化部で算出された発生符号量に応じて補正される。さらに、補正後の発生符号量に基づいて目標発生符号量を実現する量子化パラメータが決定される。また、第３の符号化部では、符号量制御部で決定された量子化パラメータを用いて画像データの符号化が行われる。

このため、第３の符号化部で画像データの符号化を行う前に、発生符号量の予測が精度よく行われて目標発生符号量を実現する量子化パラメータが決定されるので、第３の符号化部では、発生符号量が目標発生符号量以下であって画像の劣化の少ない符号化処理を行うことができる。したがって、画像データの記録装置や画像データの記録再生等を行う編集装置等に適している。

１０・・・画像符号化装置、１１・・・画像並べ替え処理部、２０・・・プレエンコード部、２１・・・予測モード決定部、２２，３２，６２・・・ＤＣＴ部、２３，３３，３３-1〜３３-n，６３・・・量子化部、２４，３４，６４・・・逆量子化部、２５，３５，６５・・・ＩＤＣＴ部、２６，６６・・・予測画生成部、２７，３７、３７-1〜３７-n・・・符号長計算部、３０・・・イントラプレエンコード部、３１・・・画面内予測処理部、３６・・・イントラ予測画生成部、４０・・・符号量制御部、５０・・・ディレイバッファ、６０・・・本エンコード部、６１・・・予測処理部、６７・・・可変長符号化部

Claims (9)

1. 固定の量子化パラメータを用いて画像データの符号化を行い発生符号量を算出する第１の符号化部と、
   複数の異なる量子化パラメータを用いて、前記画像データをイントラピクチャの画像データとして前記量子化パラメータ毎に符号化を行い発生符号量を算出する第２の符号化部と、
   前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと該量子化パラメータを用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第２の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が前記目標発生符号量を実現するように量子化パラメータを決定する符号量制御部と、
   前記符号量制御部で決定された量子化パラメータを用いて前記画像データの符号化を行う第３の符号化部と
   を有する画像符号化装置。
2. 前記符号量制御部は、１ＧＯＰ（Group of Picture）の前記第１と第２の符号化部で算出された発生符号量から、該１ＧＯＰに対する量子化パラメータを決定する
   請求項１記載の画像符号化装置。
3. 前記符号量制御部は、前記第１の符号化部でイントラピクチャを符号化したとき、前記第２の符号化部で算出された発生符号量から、前記予測した量子化パラメータを用い符号化を行ったときの発生符号量を算出して、該算出した発生符号量を前記補正後の発生符号量とする
   請求項２記載の画像符号化装置。
4. 前記第２の符号化部は、複数の異なる異なる量子化マトリクスを用いて量子化マトリクス毎に前記発生符号量の算出を行い、
   前記符号量制御部は、前記第１の符号化部でイントラピクチャとは異なるピクチャを量子化したとき、前記第２の符号化部で算出された発生符号量から高域成分の状態を示す高域成分コストを算出して、前記イントラピクチャの高域成分コストに対する前記イントラピクチャとは異なるピクチャの高域成分コストの割合に応じて前記予測した発生符号量を補正して、前記補正後の発生符号量とする
   請求項３記載の画像符号化装置。
5. 前記符号量制御部は、前記第２の符号化部で算出された発生符号量から、前記予測した量子化パラメータに対して最も近接している量子化パラメータを用いたときの発生符号量と、前記予測した量子化パラメータに対して二番目に近接している量子化パラメータを用いたときの発生符号量を選択して、該選択した発生符号量から前記予測した量子化パラメータを用いて符号化を行ったときの発生符号量を算出する
   請求項３記載の画像符号化装置。
6. 前記符号量制御部は、最も小さい量子化パラメータと高域成分の抑制が行われていない量子化マトリクスを用いたときの発生符号量と、最も小さい量子化パラメータと高域成分の抑制が行われる量子化マトリクスを用いたときの発生符号量を用いて、前記高域成分コストを算出する
   請求項４記載の画像符号化装置。
7. 前記符号量制御部は、高域成分コストに基づき前記画像データにおける高域成分が少なくないと判別したとき、前記予測した発生符号量を前記第２の符号化部で算出された発生符号量に応じて補正する
   請求項１記載の画像符号化装置。
8. 前記符号量制御部は、ＧＯＰ内において、前記予測した発生符号量を前記第２の符号化部で算出された発生符号量に応じて補正するか否かの切り換えが行われたとき、切り換え後の動作をＧＯＰの最後の画像まで継続する
   請求項７記載の画像符号化装置。
9. 第１の符号化部で、固定の量子化パラメータを用いて画像データの符号化を行い発生符号量を算出するステップと、
   第２の符号化部で、複数の異なる量子化パラメータを用いて、前記画像データをイントラピクチャの画像データとして前記量子化パラメータ毎に符号化を行い発生符号量を算出するステップと、
   符号量制御部で、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと該量子化パラメータを用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第２の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が前記目標発生符号量を実現するように量子化パラメータを決定するステップと、
   第２の符号化部で、前記符号量制御部で決定された量子化パラメータを用いて前記画像データの符号化を行うステップと
   を具備する画像符号化方法。

Images