JP2005204158A - 画像符号化装置 - Google Patents

Abstract

【課題】 可変ビットレートで符号化を実施する場合でも、動きの大きい画像の表示品質の劣化を防止することができる画像符号化装置を得ることを目的とする。
【解決手段】 入力画像の画像信号を構成する複数のフレームの特徴量を抽出し、その特徴量に応じて複数のフレームからなるＧＯＰ単位の目標情報発生量を決定する情報発生量推定回路１４を設け、その情報発生量推定回路１４により決定されたＧＯＰ単位の目標情報発生量にしたがって量子化回路３や逆量子化回路４の量子化ステップ幅などを制御する。
【選択図】 図１

Description

この発明は、動画像の画像信号を符号化して伝送する画像符号化装置に関するものである。

画像信号の高能率符号化を行う場合、その符号化データの情報発生量は、画像の性質により大きく変動する。例えば、動画像の場合には、動きの大きさ等によって大きく変動することがある。
したがって、画像信号の高能率符号化を実施して、その符号化データを一定速度の伝送路を通して伝送する場合や、転送速度が一定のパッケージメディアに記録・再生する場合には、その符号化データの情報発生量の平滑化が必須となる。
ただし、符号化データの情報発生量を一律に平滑化を行うと、動きの大きい画像に係る符号化データの情報発生量が必要以上に減少して表示画像が劣化する。

そこで、従来の画像符号化装置では、画像の動きの大きさ等に応じて、符号化データの情報発生量の目標値を設定するようにしている。
具体的には、画像符号化装置は、固定ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）の符号化を実施するに際して、画像信号を構成するフレーム間の変化量や符号化特性に応じて、フレーム単位の情報発生量の目標値を設定する。
そして、各フレームの符号化データの情報発生量が目標値と一致するように、画像信号を符号化する際に実施する量子化のステップ幅を制御するようにしている（例えば、特許文献１参照）。

特開平７−１５４８００号公報（段落番号［００３０］から［００５０］、図１）

従来の画像符号化装置は以上のように構成されているので、固定ビットレートで符号化を実施する場合には、動きの大きい画像の画像データが入力されても、表示画像の劣化を抑制することができる。しかし、ＤＶＤレコーダなどに採用されている、シーンに応じて情報発生量を変動させる可変ビットレートの符号化を実施する場合（例えば、リアルタイム動画像符号化を行う１パスＶＢＲ（ＶＢＲ：Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）を実施する場合）には、将来入力される画像の符号化難易度を把握することが困難であるため、フレーム単位に情報発生量の目標値を設定すると、情報発生量の変動が大きくなり、表示画像が劣化してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、可変ビットレートで符号化を実施する場合でも、画像シーケンス全体で無駄な情報量の発生を抑制して、情報量の最適配分を行い、動きの激しい画像シーンの表示品質の劣化を防止することができる画像符号化装置を得ることを目的とする。

この発明に係る画像符号化装置は、入力画像の画像信号を構成する複数のフレームの特徴量を抽出し、その特徴量に応じて複数のフレームからなるＧＯＰ単位の目標情報発生量を決定する情報発生量決定手段を設け、その情報発生量決定手段により決定されたＧＯＰ単位の目標情報発生量にしたがって直交変換手段の動作パラメータを制御するようにしたものである。

この発明によれば、入力画像の画像信号を構成する複数のフレームの特徴量を抽出し、その特徴量に応じて複数のフレームからなるＧＯＰ単位の目標情報発生量を決定する情報発生量決定手段を設け、その情報発生量決定手段により決定されたＧＯＰ単位の目標情報発生量にしたがって直交変換手段の動作パラメータを制御するように構成したので、可変ビットレートで符号化を実施する場合でも、動きの大きい画像の表示品質の劣化を防止することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図であり、図において、減算器１は入力画像の画像信号と動き補償回路８により生成された予測信号との誤差を求め、その予測誤差信号を出力する。直交変換回路２は減算器１から出力された予測誤差信号に例えば離散コサイン変換などの直交変換を施して、その変換係数を出力する。量子化回路３は直交変換回路２から出力された変換係数を量子化する。なお、減算器１、直交変換回路２及び量子化回路３から直交変換手段が構成されている。

逆量子化回路４は量子化回路３により量子化された変換係数を逆量子化する。逆直交変換回路５は逆量子化回路４により逆量子化された変換係数に例えば逆離散コサイン変換などの逆直交変換を施して、その予測誤差信号を復号する。加算器６は逆直交変換回路５により復号された予測誤差信号と動き補償回路８により生成された予測信号を加算して参照画像信号を生成する。なお、逆量子化回路４、逆直交変換回路５及び加算器６から参照画像生成手段が構成されている。

フレームメモリ７は加算器６により生成された参照画像信号を格納する。
動き補償回路８はフレームメモリ７に格納された参照画像信号と入力画像の画像信号から動き補償予測を実施して予測信号を生成する。なお、動き補償回路８は予測信号生成手段を構成している。
可変長符号化回路９は量子化回路３により量子化された変換係数等を可変長符号化し、その符号化データを多重化してバッファ１０に格納する。バッファ１０は可変長符号化回路９によって格納されている符号化データを一定速度で伝送する。なお、可変長符号化回路９及びバッファ１０から可変長符号化手段が構成されている。

画像特徴抽出回路１１は入力画像の画像信号を構成する複数のフレームの特徴量を抽出する。予測誤差信号累積回路１２はＧＯＰを構成するフレームの数分だけ、入力画像の画像信号と予測信号との誤差を示す予測誤差信号を格納する。情報発生量累積回路１３はＧＯＰを構成する各フレームの情報発生量を保持して、各フレームの情報発生量の累積値や平均値を算出するとともに、ピクチャタイプ毎の情報発生量の平均値を算出する。
情報発生量推定回路１４は画像特徴抽出回路１１により抽出された特徴量等に応じてＧＯＰ単位の目標情報発生量を決定する。なお、画像特徴抽出回路１１、予測誤差信号累積回路１２、情報発生量累積回路１３及び情報発生量推定回路１４から情報発生量決定手段が構成されている。

符号化制御回路１５は情報発生量推定回路１４により決定されたＧＯＰ単位の目標情報発生量にしたがって直交変換回路２、量子化回路３、逆量子化回路４、逆直交変換回路５、動き補償回路８及び可変長符号化回路９などの動作パラメータを制御する。即ち、符号化制御回路１５は情報発生量推定回路１４により決定されたＧＯＰ単位の目標情報発生量にしたがって、例えば、量子化回路３及び逆量子化回路４の量子化ステップ幅や、直交変換回路２及び逆直交変換回路５の画像変換領域（例えば、周波数成分に変換する画像内のブロックサイズ）などを制御する。なお、符号化制御回路１５は制御手段を構成している。
図２はこの発明の実施の形態１による画像符号化装置の情報発生量推定回路１４の処理内容を示すフローチャートである。

次に動作について説明する。
まず、減算器１は、入力画像の画像信号と動き補償回路８により生成された予測信号との誤差を求め、その予測誤差信号を直交変換回路２に出力する。
直交変換回路２は、減算器１から予測誤差信号を受けると、例えば離散コサイン変換などの直交変換を予測誤差信号に施して、その変換係数を量子化回路３に出力する。
量子化回路３は、直交変換回路２から変換係数を受けると、その変換係数を量子化し、量子化後の変換係数を逆量子化回路４と可変長符号化回路９に出力する。

逆量子化回路４は、量子化回路３から量子化後の変換係数を受けると、その変換係数を逆量子化し、逆量子化後の変換係数を逆直交変換回路５に出力する。
逆直交変換回路５は、逆量子化回路４から逆量子化後の変換係数を受けると、例えば逆離散コサイン変換などの逆直交変換を逆量子化後の変換係数に施して、その予測誤差信号を復号する。
加算器６は、逆直交変換回路５により復号された予測誤差信号と動き補償回路８により生成された予測信号を加算して参照画像信号を生成し、その参照画像信号をフレームメモリ７に格納する。

動き補償回路８は、入力画像の画像信号とフレームメモリ７に格納された参照画像信号（入力画像の前フレームの画像信号に相当する）から周知の動き補償予測を実施して予測信号を生成する。
その際、動き補償回路８は、動き補償予測の予測結果から得られる最小歪と入力画像の分散値とから、可変長符号化回路９がフレーム内符号化を実施すべきか、フレーム間符号化を実施すべきかを決定する。
動き補償回路８は、可変長符号化回路９がフレーム内符号化を実施すべきであると認定すると、フレーム内符号化を指示する符号化方式指示信号を可変長符号化回路９に出力すると同時に、予測信号として“０”を可変長符号化回路９に出力する。
一方、可変長符号化回路９がフレーム間符号化を実施すべきであると認定すると、フレーム間符号化を指示する符号化方式指示信号を可変長符号化回路９に出力すると同時に、その予測信号を可変長符号化回路９に出力する。

可変長符号化回路９は、動き補償回路８から符号化方式指示信号や予測信号を受けると、その符号化方式指示信号が示す符号化方式で、量子化回路３により量子化された変換係数や予測信号を可変長符号化し、それらの符号化データを多重化してバッファ１０に格納する。
バッファ１０は、可変長符号化回路９によって格納されている符号化データを一定速度で伝送する。

画像特徴抽出回路１１は、入力画像の画像信号を構成する複数のフレームの特徴量を抽出する。
具体的には、画像特徴抽出回路１１は、時間的に連続して入力される画像信号、即ち、時間的に連続している２つのフレーム間の差分値絶対値和を特徴量として演算する。
また、各フレームの信号に対するＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）、ＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）などのフィルタリング演算を実施し、その演算結果をフレームの特徴量とする。
画像特徴抽出回路１１は、最新のフレームから（Ｎ−１）前のフレームまでのＮフレーム分の特徴量を保持し、新しいフレームが入力される毎に特徴量を更新する。

ここで、ＧＯＰを構成するフレームの枚数がＮであるとき、ＧＯＰ全体の特徴量を抽出するには、そのＧＯＰの符号化の開始時間を遅延させて、Ｎフレーム分の画像信号を保持するメモリが必要となる。
一般的には、ＧＯＰを構成するフレームの枚数が１５であり、１５フレーム分の画像信号を保持するメモリが必要となる。
しかし、この実施の形態１の画像特徴抽出回路１１では、ＧＯＰを構成する先頭のフレームから順番に、３フレーム分の画像信号を保持し、３フレーム分の画像信号をＧＯＰの代表値として使用するようにしている。

例えば、動画像符号化の国際標準であるＭＰＥＧ−２を採用する符号化制御では、時間的に前後する画像を参照画像として動き補償予測が行なわれるため、入力画像を並べ替える必要がある。この際、周知の事実として、符号化効率が良いとされているＧＯＰ構成では、最低３フレーム分の画像信号を蓄積する必要があるためである。
これにより、最小の遅延で（Ｎフレーム分遅延させることなく）、符号化開始後の最初のＧＯＰから正確に情報発生量の目標値を推定することが可能となる。また、２番目のＧＯＰ目からは、その１つ前のＧＯＰでの予測誤差信号の累算値と、実際の情報発生量とを基にして、より正確な情報発生量を推定することが可能となる。

予測誤差信号累積回路１２は、ＧＯＰを構成するＮフレーム分だけ、入力画像の画像信号と、動き補償回路８により生成された予測信号との誤差を示す予測誤差信号の絶対値を保持する。
情報発生量累積回路１３は、可変長符号化回路９により可変長符号化された符号化データのデータ量を情報発生量として入力し、ＧＯＰを構成する各フレームの情報発生量を保持する。
また、情報発生量累積回路１３は、各フレームの情報発生量の累積値や平均値を算出するとともに、ピクチャタイプ毎の情報発生量の平均値を算出する。

情報発生量推定回路１４は、画像特徴抽出回路１１により抽出された特徴量等に応じてＧＯＰ単位の目標情報発生量を決定する。
具体的には、次のようにしてＧＯＰ単位の目標情報発生量を決定する。

情報発生量推定回路１４は、これから符号化を行うＧＯＰ（以下、現在のＧＯＰという）の目標情報発生量を推定するため、そのＧＯＰの符号化難易度を判定するが（ステップＳＴ１）、画像特徴抽出回路１１により演算されたフレーム間差分値絶対値和は、時間的に前方向への動き補償予測における動きベクトル０の場合の予測誤差と等価であると捉えることができるので（例えば、ＩＰＰ…と構成される画像シーケンスの場合が該当）、符号化難易度の判定に用いるパラメータとして、画像特徴抽出回路１１により演算されたフレーム間差分値絶対値和と、ＨＰＦの演算結果である輝度高域成分累算値とを使用する。

ここで、フレーム間差分値絶対値和による符号化難易度判定には、図３に示すようなモデルを用いる。図３のモデルは量子化ステップ幅が一定の条件下で、スポーツ、ドラマ、映画、ニュース、音楽番組など、様々な分野の長時間映像からフレーム間差分値絶対値和（ＳＡＤ）と情報発生量を基にして構築された確率分布モデルである。
図３において、横軸は確率変数であるフレーム間差分値絶対値和、縦軸は確率密度ｆ（ｐ）を表している。

横軸は不均等にＫ（Ｋ＞０）分割されており、区間ｋ（０≦ｋ＜Ｋ）には、難易度Ｄｉｆ（ｋ）が割当てられている。ただし、０＜Ｄｉｆ（ｋ）＜Ｄｉｆｍａｘである。
このとき、Ｄｉｆ（ｋ）は下記の式（１）を満足するように設定されている。Ｄｉｆ（ｋ）はステップ関数である。

図３はフレーム間差分値絶対値和（ＳＡＤ）と情報発生量を基にして構築された確率分布モデルであるが、予測誤差信号と情報発生量を基にして構築された確率分布モデルであってもよく、この場合も、式（１）を満足するように設定される。

具体的には、情報発生量推定回路１４は、画像特徴抽出回路１１から現在のＧＯＰの先頭から連続する３フレームにおけるフレーム間差分値絶対値和ＳＡＤ１、ＳＡＤ２、ＳＡＤ３を入力し、図３のモデルからフレーム間差分値絶対値和ＳＡＤ１、ＳＡＤ２、ＳＡＤ３に対応する区間Ｋ１、Ｋ２、Ｋ３を求め、その区間Ｋ１、Ｋ２、Ｋ３の中で最も頻度ｆ（ｐ）の高い区間Ｋ_Ｎに割当てられているＤｉｆ（ｋ）を特定する。
ただし、複数の区間で頻度ｆ（ｐ）が等しい場合は、ＳＡＤ１、ＳＡＤ２、ＳＡＤ３の平均値に対応する区間に割当てられているＤｉｆ（ｋ）を特定する。
情報発生量推定回路１４は、上記のようにして、Ｄｉｆ（ｋ）を特定すると、そのＤｉｆ（ｋ）を現在のＧＯＰの符号化難易度Ｄｆ（ｍ）として、ステップＳＴ２の処理に移行する。
ただし、ｍは０以上の整数であり、符号化開始からｍ番目のＧＯＰであることを示している。

情報発生量推定回路１４は、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）を特定すると、１つ前のＧＯＰの予測誤差信号の累積値と符号化難易度を用いて、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）を補正する（ステップＳＴ２）。
即ち、情報発生量推定回路１４は、予測誤差信号累算回路１２から１つ前のＧＯＰの予測誤差信号の累算値ＭＣ＿Ｄｆ（ｍ−１）を入力して、この予測誤差信号の累算値ＭＣ＿Ｄｆ（ｍ−１）と符号化難易度Ｄｆ（ｍ−１）の割合を求め、下記に示すように、その割合を現在のＧＯＰの符号化難易度Ｄｆ（ｍ）に線形な補正を加えるようにする。
Ｄｆ（ｍ）←Ｃｏｅｆｆ１×ＭＣ＿Ｄｆ（ｍ−１）×Ｄｆ（ｍ）／Ｄｆ（ｍ−１）
＋Ｃｏｅｆｆ２ （２）
ここで、Ｃｏｅｆｆ１、Ｃｏｅｆｆ２は補正係数である。また、Ｄｆ（ｍ−１）は、１つ前のＧＯＰの符号化難易度を式（２）で求めた時点の値であり、次に説明する輝度高域成分の累算値による補正分は含んでいない。

また、情報発生量推定回路１４は、画像特徴抽出回路１１から現在のＧＯＰの輝度高域成分の累算値を入力し、現在のＧＯＰの輝度高域成分の累算値を用いて、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）を補正する（ステップＳＴ３）。
即ち、情報発生量推定回路１４は、ＧＯＰの先頭から連続する３フレームにおける輝度高域成分累算値の平均値ＨＰを求め、その平均値ＨＰが閾値ＴＨ１より小さければ、定数ａｄｄ１を現在のＧＯＰの符号化難易度Ｄｆ（ｍ）に加える補正を行う。
また、その平均値ＨＰが閾値ＴＨ１より大きいが、閾値ＴＨ２より小さければ、定数ａｄｄ２を現在のＧＯＰの符号化難易度Ｄｆ（ｍ）に加える補正を行う。
また、その平均値ＨＰが閾値ＴＨ２より大きい場合、定数ａｄｄ３を現在のＧＯＰの符号化難易度Ｄｆ（ｍ）に加える補正を行う。ただし、ａｄｄ１＞ａｄｄ１＞ａｄｄ３である。

ｉｆ （ＨＰ ＜ ＴＨ１）
Ｄｆ（ｍ） ← Ｄｆ（ｍ） ＋ ａｄｄ１
ｅｌｓｅ ｉｆ （ＨＰ ＜ ＴＨ２）
Ｄｆ（ｍ） ← Ｄｆ（ｍ） ＋ ａｄｄ２
ｅｌｓｅ
Ｄｆ（ｍ） ← Ｄｆ（ｍ） ＋ ａｄｄ３

情報発生量推定回路１４は、上記のようにして、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）を補正すると、下記に示すように、補正後の現在のＧＯＰの符号化難易度Ｄｆ（ｍ）と平均レートからＧＯＰ単位の情報発生量の目標値ＴＲを算出する（ステップＳＴ４）。
ＴＲ＝Ｄｆ（ｍ）×ＣＲＴ×Ｎ （３）
ただし、ＣＲＴは画像シーケンス全体において想定される平均レート、または、バッファ１０の状態を考慮した値とする。ＮはＧＯＰを構成するフレームの枚数である。

情報発生量推定回路１４は、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）と１つ前のＧＯＰの符号化難易度Ｄｆ（ｍ−１）を比較し（ステップＳＴ５）、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）と１つ前のＧＯＰの符号化難易度Ｄｆ（ｍ−１）が等しい場合は、情報発生量累積回路１３に保持されている１つ前のＧＯＰの実際の情報発生量Ｇｅｎ（ｍ−１）を入力し、ステップＳＴ４で算出した情報発生量の目標値ＴＲの代わりに、その情報発生量Ｇｅｎ（ｍ−１）を現在のＧＯＰの情報発生量の目標値ＴＲとして設定する（ステップＳＴ６）。
ＴＲ＝Ｇｅｎ（ｍ−１） （４）
なお、現在のＧＯＰの符号化難易度Ｄｆ（ｍ）と１つ前のＧＯＰの符号化難易度Ｄｆ（ｍ−１）が等しくない場合は、ステップＳＴ４で算出した情報発生量の目標値ＴＲがそのまま使用される。

情報発生量推定回路１４は、上記のようにして、ＧＯＰ単位の情報発生量の目標値ＴＲを設定すると、ＧＯＰ単位の情報発生量の目標値ＴＲを周知の方法で各ピクチャタイプに分配し、ピクチャタイプ毎に、各フレームの情報発生量の目標値の平均値ＡＶＥ（Ｉ）、ＡＶＥ（Ｐ）、ＡＶＥ（Ｂ）を計算する（ステップＳＴ７）。
ただし、現在のＧＯＰの符号化が開始され、１ピクチャの符号化が終了して、情報発生量累積回路１３から実際の情報発生量が得られると、その目標値の平均値ＡＶＥ（Ｉ）、ＡＶＥ（Ｐ）、ＡＶＥ（Ｂ）を更新する。

情報発生量推定回路１４は、ピクチャタイプ毎の情報発生量の目標値の平均値ＡＶＥ（Ｉ）、ＡＶＥ（Ｐ）、ＡＶＥ（Ｂ）を計算すると、情報発生量累積回路１３から１つ前のＧＯＰにおけるピクチャタイプ毎の実際の情報発生量の平均値ＰＲＡＶＥ（Ｉ）、ＰＲＡＶＥ（Ｐ）、ＰＲＡＶＥ（Ｂ）を入力し、ピクチャタイプ毎にＡＶＥとＰＲＡＶＥを比較する（ステップＳＴ８）。
情報発生量推定回路１４は、１つ前のＧＯＰに係るＰＲＡＶＥが、現在のＧＯＰに係るＡＶＥより小さい場合、そのピクチャタイプにおいては、フレーム単位の情報発生量の目標値Ｔとして、１つ前のＧＯＰに係るＰＲＡＶＥを設定する（ステップＳＴ９）。
一方、現在のＧＯＰに係るＡＶＥが、１つ前のＧＯＰに係るＰＲＡＶＥより小さい場合、そのピクチャタイプにおいては、フレーム単位の情報発生量の目標値Ｔとして、現在のＧＯＰに係るＡＶＥを設定する（ステップＳＴ１０）。

符号化制御回路１５は、情報発生量推定回路１４がピクチャタイプ毎のフレーム単位の情報発生量の目標値Ｔ（Ｉ）、Ｔ（Ｐ）、Ｔ（Ｂ）を設定すると、可変長符号化回路９による符号化データのデータ量、即ち、可変長符号化回路９から出力されるピクチャタイプ毎のフレーム単位の情報発生量が目標値Ｔ（Ｉ）、Ｔ（Ｐ）、Ｔ（Ｂ）と一致するように、量子化回路３や逆量子化回路４の量子化ステップ幅を制御する（ステップＳＴ１１）。
あるいは、直交変換回路２や逆直交変換回路５の画像変換領域（例えば、周波数成分に変換する画像内のブロックサイズ）や、動き補償回路８の動き探索範囲などを制御する。
１ＧＯＰ分の処理が終了するまで、ステップＳＴ８〜ＳＴ１１の処理を繰り返し実施する（ステップＳＴ１２）。

以上で明らかなように、この実施の形態１によれば、入力画像の画像信号を構成する複数のフレームの特徴量を抽出し、その特徴量に応じて複数のフレームからなるＧＯＰ単位の目標情報発生量を決定する情報発生量推定回路１４を設け、その情報発生量推定回路１４により決定されたＧＯＰ単位の目標情報発生量にしたがって量子化回路３や逆量子化回路４の量子化ステップ幅などを制御するように構成したので、可変ビットレートで符号化を実施する場合でも、動きの大きい画像の表示品質の劣化を防止することができる効果を奏する。

また、この実施の形態１によれば、ＧＯＰの符号化難易度を判定し、その符号化難易度に応じてＧＯＰ単位の目標情報発生量を補正するように構成したので、ＧＯＰ単位の情報発生量の推定精度を高めることができる効果を奏する。
この実施の形態１によれば、１つ前のＧＯＰの情報発生量を考慮して、現在のＧＯＰの目標情報発生量を補正するように構成したので、現在のＧＯＰの目標情報発生量の推定精度を高めることができる効果を奏する。

また、この実施の形態１によれば、情報発生量推定回路１４がＧＯＰ単位の目標情報発生量からピクチャタイプ毎のフレーム単位の目標情報発生量を求め、符号化制御回路１５がピクチャタイプ毎のフレーム単位の目標情報発生量にしたがって量子化回路３等の量子化ステップ幅や直交変換回路２等の画像変換領域を制御するように構成したので、フレーム単位の目標情報発生量を推定して量子化ステップ幅等を制御する場合より、表示画像の劣化を防止することができる効果を奏する。

さらに、この実施の形態１によれば、現在のＧＯＰに係るピクチャタイプ毎のフレーム単位の目標情報発生量が、１つ前のＧＯＰに係るピクチャタイプ毎のフレーム単位の実際の情報発生量より大きい場合、現在のＧＯＰに係るピクチャタイプ毎のフレーム単位の目標情報発生量として、１つ前のＧＯＰに係るピクチャタイプ毎のフレーム単位の実際の情報発生量を使用するように構成したので、ピクチャタイプ毎のフレーム単位の目標情報発生量の推定精度を高めることができる効果を奏する。

実施の形態２．
上記実施の形態１では、特に言及していないが、双方向予測符号化フレームであるＢ−ピクチャの２つ目以降のフレームの目標情報発生量については、情報発生量推定回路１４が１つ前のフレームの実際の情報発生量を使用するようにしてもよい。

即ち、情報発生量推定回路１４は、双方向予測符号化フレームであるＢ−ピクチャが連続して符号化される場合、Ｂ−ピクチャの２つ目以降のフレームの目標情報発生量については、１つ前のＢ−ピクチャと同じ目標情報発生量を割当てるようにする。
このように、１つ前のＢ−ピクチャと同じ目標情報発生量を割当てる理由は、最終的な情報発生量は、直交変換回路２が予測誤差信号に離散コサイン変換などの直交変換を施して、量子化回路３がその変換係数を量子化し、可変長符号化回路９が量子化後の変換係数を可変長符号化したものであるため、連続するフレームの予測誤差信号の値が近くても、最終的な情報発生量が大きく変動して画質が劣化することがあるからである。

よって、この実施の形態２によれば、上記実施の形態１よりも更に動きの大きい画像の表示品質の劣化を確実に防止することができる効果を奏する。

実施の形態３．
上記実施の形態１では、特に言及していないが、現在のＧＯＰに対して特殊処理が実施されていないにも拘わらず、複数のフレーム間の差分値絶対値和の変動量が基準変動量を上回る場合、情報発生量推定回路１４が最新のフレーム間の差分値絶対値和を用いて、そのＧＯＰにおける未符号化部分のフレームの目標情報発生量を補正するようにしてもよい。

具体的には次の通りである。
上記実施の形態１では、情報発生量推定回路１４がＧＯＰの先頭３フレームのフレーム間差分値絶対値和を用いてＧＯＰの符号化難易度を判定するが、この実施の形態３では、情報発生量推定回路１４が入力されるすべてのフレームのフレーム間差分値絶対値和を算出し、それらのフレーム間差分値絶対値和を用いて、各フレームの符号化難易度を判定することにより、符号化中に各フレームの情報発生量を補正するようにする。

即ち、実際の符号化制御では、シーンチェンジ検出、ディゾルブ検出、フェードイン・アウト検出などの特殊シーンに対する特殊処理が行われるが、上記検出は必ずしも行われない可能性がある。さらにまた、フレーム間差分値絶対値和の変動が大きいシーンでは、推定した目標情報発生量では、割当てた情報量が不足して画質に劣化が生じたり、逆に、割当てた情報量が余る可能性があって、補正が必要である。

そこで、現在のＧＯＰに対して特殊処理が実施されていないにも拘わらず、複数のフレーム間の差分値絶対値和の変動量が基準変動量を上回る場合、例えば、Ｂ−ピクチャであれば、３フレームの遅延を利用して、次のＢ−ピクチャとＩまたはＰ−ピクチャとのフレーム間差分値絶対値和を用いて補正を行う。
この場合、式（２）の補正は行わず、フレーム間差分値絶対値和のみを用いた符号化難易度で補正する。即ち、ＧＯＰの符号化難易度Ｄｆ（ｍ）に対して、現在符号化しようとしている時点で最新の３フレーム分のフレーム間差分値絶対値和からＤｆ’（ｍ）を求め、ＧＯＰにおける未符号化部分のフレームに割当てる目標情報発生量を式（５）を用いて再計算する。
ＴＲ＝Ｄｆ’（ｍ）×ＣＲＴ×（Ｎ−ｎ） （５）
ただし、ｎは既に符号化されたフレームの枚数である。

この実施の形態３によれば、現在のＧＯＰに対して特殊処理が実施されていないにも拘わらず、複数のフレーム間の差分値絶対値和の変動量が基準変動量を上回る場合、情報発生量推定回路１４が最新のフレーム間の差分値絶対値和を用いて、そのＧＯＰにおける未符号化部分のフレームの目標情報発生量を補正するように構成したので、情報発生量の過不足を防止して、表示画像の劣化を防止することができるとともに、無駄な情報の発生を防止することができる効果を奏する。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の情報発生量推定回路の処理内容を示すフローチャートである。 符号化難易度判定に用いるモデルを示す説明図である。

符号の説明

１ 減算器（直交変換手段）、２ 直交変換回路（直交変換手段）、３ 量子化回路（直交変換手段）、４ 逆量子化回路（参照画像生成手段）、５ 逆直交変換回路（参照画像生成手段）、６ 加算器（参照画像生成手段）、７ フレームメモリ、８ 動き補償回路（予測信号生成手段）、９ 可変長符号化回路（可変長符号化手段）、１０ バッファ（可変長符号化手段）、１１ 画像特徴抽出回路（情報発生量決定手段）、１２ 予測誤差信号累積回路（情報発生量決定手段）、１３ 情報発生量累積回路（情報発生量決定手段）、１４ 情報発生量推定回路（情報発生量決定手段）、１５ 符号化制御回路（制御手段）。

Claims (8)

1. 入力画像の画像信号と予測信号の誤差を求め、その誤差信号を直交変換して、その変換係数を量子化する直交変換手段と、上記直交変換手段により量子化された変換係数を逆量子化し、逆量子化の変換係数を逆直交変換して誤差信号を復号し、その誤差信号と上記予測信号を加算して参照画像信号を生成する参照画像生成手段と、上記参照画像生成手段により生成された参照画像信号と上記入力画像の画像信号から動き補償予測を実施して上記予測信号を生成する予測信号生成手段と、上記直交変換手段により量子化された変換係数を可変長符号化し、その符号化データを伝送する可変長符号化手段とを備えた画像符号化装置において、上記入力画像の画像信号を構成する複数のフレームの特徴量を抽出し、その特徴量に応じて複数のフレームからなるＧＯＰ単位の目標情報発生量を決定する情報発生量決定手段と、上記情報発生量決定手段により決定されたＧＯＰ単位の目標情報発生量にしたがって上記直交変換手段の動作パラメータを制御する制御手段とを設けたことを特徴とする画像符号化装置。
2. 制御手段は、直交変換手段の量子化ステップ幅又は画像変換領域を制御することを特徴とする請求項１記載の画像符号化装置。
3. 情報発生量決定手段は、ＧＯＰの符号化難易度を判定し、その符号化難易度に応じてＧＯＰ単位の目標情報発生量を補正することを特徴とする請求項１または請求項２記載の画像符号化装置。
4. 情報発生量決定手段は、１つ前のＧＯＰの実際の情報発生量を考慮して、現在のＧＯＰの目標情報発生量を補正することを特徴とする請求項１または請求項２記載の画像符号化装置。
5. 情報発生量決定手段がＧＯＰ単位の目標情報発生量からピクチャタイプ毎のフレーム単位の目標情報発生量を求め、制御手段が上記情報発生量決定手段により決定されたピクチャタイプ毎のフレーム単位の目標情報発生量にしたがって上記直交変換手段の量子化ステップ幅又は画像変換領域を制御することを特徴とする請求項１または請求項２記載の画像符号化装置。
6. 情報発生量決定手段は、現在のＧＯＰに係るピクチャタイプ毎のフレーム単位の目標情報発生量が、１つ前のＧＯＰに係るピクチャタイプ毎のフレーム単位の実際の情報発生量より大きい場合、現在のＧＯＰに係るピクチャタイプ毎のフレーム単位の目標情報発生量として、１つ前のＧＯＰに係るピクチャタイプ毎のフレーム単位の実際の情報発生量を使用することを特徴とする請求項５記載の画像符号化装置。
7. 情報発生量決定手段は、双方向予測符号化フレームであるＢ−ピクチャの２つ目以降のフレームの目標情報発生量として、１つ前のフレームの実際の情報発生量を使用することを特徴とする請求項５記載の画像符号化装置。
8. 情報発生量決定手段は、現在のＧＯＰに対して特殊処理が実施されていないにも拘わらず、複数のフレーム間の差分値絶対値和の変動量が基準変動量を上回る場合、最新のフレーム間の差分値絶対値和を用いて、そのＧＯＰにおける未符号化部分のフレームの目標情報発生量を補正することを特徴とする請求項１または請求項２記載の画像符号化装置。

Images