JP2007020216A - 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 - Google Patents

Abstract

【課題】リアルタイムに符号化しながら、入力画像の特徴に応じてプリフィルタを適応的に使用することができるようにする。
【解決手段】符号化制御部１５における符号化難易度計算部４２は、画像の符号化の難易度を表す符号化難易度を算出する。プリフィルタ制御部５１は、ビットレートに対する符号化難易度の比率と、最新のＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率によって表される動き成分とに応じて、プリフィルタ部５０における空間フィルタ５２と時間フィルタ５３の特性を制御する。
【選択図】図１

Description

本発明は、画像データを符号化する符号化装置および符号化方法、ならびに画像データをフィルタ処理するフィルタ処理装置およびフィルタ処理方法に関する。

送信側で画像データを圧縮して送信すると共に、受信側では圧縮された画像データを伸張する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生装置等において、画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。この双方向予測符号化方式では、双方向予測を用いることで符号化効率を向上させている。双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ（intra coded picture ）、Ｐピクチャ（predictive coded picture）およびＢピクチャ（bidirectionally predictive coded picture）と呼ばれる。

ところで、上述のＭＰＥＧ規格で採用されている双方向予測符号化方式等を用いて、画像符号化装置で画像データを圧縮符号化すると共に、圧縮符号化された画像データを画像復号化装置で復号化して伸張するシステムでは、符号化し更に復号化した後の画質は、入力される映像素材の絵柄によって大きく左右される。すなわち、映像が高周波成分を多く含んでいる場合や、動きの激しい絵柄の場合には、空間方向および時間方向の冗長度が少ない、すなわち符号化難易度が大きいので、ある一定のビットレートで符号化し更に復号化する場合には、符号化歪みが発生しやすい。

上述のような符号化難易度が大きい映像素材が画像符号化装置に入力された場合の符号化歪みを軽減する目的で、画像符号化装置の入力部分において空間方向もしくは時間方向についてのローパスフィルタを使用して、入力映像素材の空間的な高周波成分もしくは動き成分を、予め低減させる手法が一般に知られている。このような目的のために用いられるローパスフィルタは、プリフィルタもしくは前置フィルタと呼ばれている。

図７は、空間方向についてのプリフィルタと時間方向についてのプリフィルタの双方を設けた画像符号化装置の構成の一例を示したものである。この画像符号化装置は、空間方向についてのプリフィルタとしての空間フィルタ２５２と、時間方向についてのプリフィルタとしての時間フィルタ２５３とを備え、入力画像信号Ｓ1 は、空間フィルタ２５２，時間フィルタ２５３を順に通過するようになっている。空間フィルタ２５２は空間方向のローパスフィルタからなり、具体的には、通常のディジタルフィルタによって容易に実現される。時間フィルタ２５３は、時間方向のローパスフィルタからなり、具体的には、例えば、空間フィルタ２５２の出力信号を１フレーム分格納するフレームメモリ２５４と、空間フィルタ２５２の出力信号とフレームメモリ２５４に格納された１フレーム前の信号とを所定の重み付けＫ：（１−Ｋ）で加算して出力する加算器２５５とで実現される。なお、０≦Ｋ≦１である。

画像符号化装置は、更に、時間フィルタ２５３の出力信号を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２２１と、この画像並べ替え回路２２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２２と、この走査変換・マクロブロック化回路２２２の出力データに基づいて動きベクトルを検出する動き検出回路２１４とを備えている。

画像符号化装置は、更に、走査変換・マクロブロック化回路２２２の出力データと予測画像データとの差分をとる減算回路２３１と、この減算回路２３１の出力データに対して、ＤＣＴ（離散コサイン変換）ブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路２３２と、このＤＣＴ回路２３２の出力データを量子化する量子化回路２３３と、この量子化回路２３３の出力データを可変長符号化する可変長符号化回路２３４と、この可変長符号化回路２３４の出力データを一旦保持し、一定のビットレートのビットストリームからなる圧縮画像データＳ2 として出力するバッファメモリ２３５と、量子化回路３３の出力データを逆量子化する逆量子化回路２３６と、この逆量子化回路２３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路２３７と、この逆ＤＣＴ回路２３７の出力データと予測画像データとを加算して出力する加算回路２３８と、この加算回路２３８の出力データを保持し、動き検出回路２１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路２３１および加算回路２３８に出力する動き補償回路２３９とを備えている。

図７に示した画像符号化装置では、空間フィルタ２５２によって入力画像信号Ｓ1 の空間的な高周波成分を除去し、時間フィルタ２５３によって、空間フィルタ２５２の出力信号における動き成分（もしくはフレーム間の雑音）を除去する。図７に示した画像符号化装置におけるその他の動作は、一般的な画像符号化装置と同様であるので説明を省略する。

なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１）。

特開平３−２５２２８４号公報

ところで、上述のようなプリフィルタを常時使用すると、符号化難易度の大きい絵柄の情報量削減には有効であっても、符号化難易度の小さい絵柄、例えば静止画のようなものにおいてもフィルタで高周波成分を落としてしまうため、復号化後の映像は全体としてぼけた印象を与えてしまうことが多いという問題点がある。

一方、非圧縮画像データを予備的に圧縮符号化（以下、１パス目の圧縮符号化という。）を行って圧縮符号化後のデータ量を見積もり、次に、見積もったデータ量に基づいて発生符号量の制御を行いながら圧縮符号化（以下、２パス目の圧縮符号化という。）を行うという、リアルタイム性を要求されない符号化方法の場合では、１パス目の圧縮符号化で得られたデータに基づいて、符号化難易度が大きい箇所（時間的な箇所）だけに対して、２パス目の圧縮符号化においてプリフィルタを使用するような手法も知られている。しかしながら、この手法では、リアルタイムに符号化しながら、入力画像の特徴に応じてプリフィルタを適応的に使用することはできないという問題点がある。

本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、リアルタイムに符号化しながら、入力画像の特徴に応じてプリフィルタを適応的に使用することができるようにした符号化装置および符号化方法を提供することにある。また、本発明の第２の目的は、そのような符号化装置および符号化方法に適用することが可能なフィルタ処理装置およびフィルタ処理方法を提供することにある。

本発明の第１の符号化装置は、画像データを符号化して符号化画像データを生成するものであって、上記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、上記通過帯域幅が狭くなるように変更するフィルタ帯域変更手段と、上記プリフィルタによってフィルタ処理された画像データを符号化して上記符号化画像データを生成する符号化手段とを備え、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第１の符号化方法は、画像データを符号化して符号化画像データを生成するものであって、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、プリフィルタの通過帯域幅が狭くなるように変更するフィルタ帯域変更手順と、上記プリフィルタによってフィルタ処理された画像データを符号化して上記符号化画像データを生成する符号化手順とを含み、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第１のフィルタ処理装置は、画像データをフィルタ処理するものであって、上記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、上記通過帯域幅が狭くなるように変更するフィルタ帯域変更手段とを備え、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第１のフィルタ処理方法は、画像データを所定の通過帯域幅でフィルタ処理するものであって、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、上記通過帯域幅が狭くなるように変更するフィルタ帯域変更手順を含み、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第１の符号化装置、第１の符号化方法、第１のフィルタ処理装置および第１のフィルタ処理方法では、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、プリフィルタの通過帯域幅が狭くなるように変更される。

本発明の第２の符号化装置は、画像データを符号化して符号化画像データを生成するものであって、上記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、上記通過帯域幅が広くなるように変更するフィルタ帯域変更手段と、上記プリフィルタによってフィルタ処理された画像データを符号化して上記符号化画像データを生成する符号化手段とを備え、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第２の符号化方法は、画像データを符号化して符号化画像データを生成するものであって、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、プリフィルタの通過帯域幅が広くなるように変更するフィルタ帯域変更手順と、上記プリフィルタによってフィルタ処理された画像データを符号化して上記符号化画像データを生成する符号化手順とを含み、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第２のフィルタ処理装置は、画像データをフィルタ処理するものであって、上記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、上記通過帯域幅が広くなるように変更するフィルタ帯域変更手段とを備え、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第２のフィルタ処理方法は、画像データを所定の通過帯域幅でフィルタ処理するものであって、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、上記通過帯域幅が広くなるように変更するフィルタ帯域変更手順を含み、上記符号化難易度が、上記画像データの絵柄の難度、および上記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて発生ビット量を近似することにより算出されたものであるようにしたものである。

本発明の第２の符号化装置、第２の符号化方法、第２のフィルタ処理装置および第２のフィルタ処理方法では、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、プリフィルタの通過帯域幅が広くなるように変更される。

本発明の第１の符号化装置または第１の符号化方法によれば、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じてプリフィルタの通過帯域幅が狭くなるように変更するようにしたので、リアルタイムに符号化しながら、入力画像の特徴に応じてプリフィルタを適応的に使用することができ、視覚的な画質の印象を向上させることが可能となるという効果を奏する。

また、本発明の第１のフィルタ処理装置または第１のフィルタ処理方法によれば、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じてプリフィルタの通過帯域幅が狭くなるように変更するようにしたので、入力画像の特徴に応じてプリフィルタを適応的に使用することができるという効果を奏する。

また、本発明の第２の符号化装置または第２の符号化方法によれば、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じてプリフィルタの通過帯域幅が広くなるように変更するようにしたので、リアルタイムに符号化しながら、入力画像の特徴に応じてプリフィルタを適応的に使用することができ、視覚的な画質の印象を向上させることが可能となるという効果を奏する。

また、本発明の第２のフィルタ処理装置または第２のフィルタ処理方法によれば、最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じてプリフィルタの通過帯域幅が広くなるように変更するようにしたので、入力画像の特徴に応じてプリフィルタを適応的に使用することができるという効果を奏する。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図２は、本発明の第１の実施の形態に係る画像符号化装置の概略の構成を示すブロック図である。この画像符号化装置は、入力画像信号Ｓ1 を入力し、その情報量を削減するためのプリフィルタ部５０と、このプリフィルタ部５０の出力信号を入力し、圧縮符号化のための前処理等を行うエンコーダ制御部１１と、このエンコーダ制御部１１の出力データを所定時間だけ遅延して出力するためのＦＩＦＯ（先入れ先出し）メモリ１２と、このＦＩＦＯメモリ１２の出力データを入力し、ピクチャ毎にピクチャタイプに応じた符号化方法によって圧縮符号化して、圧縮画像データＳ2 を出力する符号化手段としてのエンコーダ１３と、エンコーダ制御部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ制御部１１から出力されるイントラＡＣデータＳ3 と動き検出回路１４から出力されるＭＥ残差データＳ4 とエンコーダ１３から出力される発生ビット量データＳ5 とに基づいてエンコーダ１３を制御する符号化制御部１５と、この符号化制御部１５からのデータに基づいて、プリフィルタ制御信号Ｓ6 によってプリフィルタ部５０の特性を制御するプリフィルタ制御部５１とを備えている。図２に示した画像符号化装置は、圧縮符号化する前の画像データの特徴に基づいて発生符号量の制御を行うフィードフォワード型のレート制御を行うように構成されている。

符号化制御部１５およびプリフィルタ制御部５１は、図３に示すように、互いにバス１９を介して接続されたＣＰＵ（中央処理装置）１６，ＲＯＭ（リード・オンリ・メモリ）１７およびＲＡＭ（ランダム・アクセス・メモリ）１８を有するコンピュータによって構成され、ＣＰＵ１６が、ＲＡＭ１８をワーキングエリアとして、ＲＯＭ１７に格納されたプログラムを実行することによって、後述する符号化制御部１５およびプリフィルタ制御部５１における各機能を実現するようになっている。ＲＯＭ１７は、本発明に係る画像符号化制御用プログラムを記憶したものであり、ＩＣ（集積回路）でも良いし、ハードディスク，フロッピィディスク等の磁気ディスクを記録媒体とする記憶装置でも良いし、ＣＤ（コンパクトディスク）−ＲＯＭ等の光ディスクを記録媒体とする記憶装置でも良いし、その他の種類の記録媒体を用いる記憶装置でも良い。いずれの場合にも、ＩＣや種々の記録媒体は、本発明に係る画像符号化制御用プログラムを記録した媒体に相当する。

図１は、図２に示した画像符号化装置の詳細な構成を示すブロック図である。この図に示したように、プリフィルタ部５０は、空間方向についてのプリフィルタとしての空間フィルタ５２と、時間方向についてのプリフィルタとしての時間フィルタ５３とを備え、入力画像信号Ｓ1 は、空間フィルタ５２，時間フィルタ５３を順に通過するようになっている。空間フィルタ５２は空間方向のローパスフィルタからなり、具体的には、例えばディジタルフィルタによって実現される。時間フィルタ５３は、時間方向のローパスフィルタからなり、具体的には、例えば、空間フィルタ５２の出力信号を１フレーム分格納するフレームメモリ５４と、空間フィルタ５２の出力信号とフレームメモリ５４に格納された１フレーム前の信号とを所定の重み付けＫ：（１−Ｋ）で加算して出力する加算器５５とで実現される。なお、Ｋは重み付け係数であり、０≦Ｋ≦１である。空間フィルタ５２は、フィルタ係数を変えることによって、通過帯域幅等のフィルタの特性を変えることができるようになっている。同様に、時間フィルタ５３は、重み付け係数Ｋの値を変えることによって、通過帯域幅等のフィルタの特性を変えることができるようになっている。

エンコーダ制御部１１は、プリフィルタ部５０の出力信号を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データを入力し、ＩピクチャにおけるイントラＡＣを算出し、イントラＡＣデータＳ3 を符号化制御部１５に送ると共に、走査変換・マクロブロック化回路２２の出力データをＦＩＦＯメモリ１２および動き検出回路１４に送るイントラＡＣ演算回路２３とを備えている。イントラＡＣとは、Ｉピクチャにおいて、８×８画素のＤＣＴブロック内の各画素の画素値とＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものと言える。

エンコーダ１３は、ＦＩＦＯメモリ１２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、一定のビットレートのビットストリームからなる圧縮画像データＳ2 として出力するバッファメモリ３５と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。バッファメモリ３５は、可変長符号化回路３４より発生されるビット量を表す発生ビット量データＳ5 を符号化制御部１５に送るようになっている。

動き検出回路１４は、エンコーダ制御部１１の出力データに基づいて、圧縮符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して動き補償回路３９に送るようになっている。また、動き検出回路１４は、動きベクトルを求める際に、最小となったマクロブロック間における画素値の差分の絶対値和あるいは自乗和を、ＭＥ残差データＳ4 として符号化制御部１５に送るようになっている。

符号化制御部１５は、動き検出回路１４からのＭＥ残差データＳ4 をピクチャ全体について足し合わせた値であるＭＥ残差を算出するＭＥ残差計算部４１と、このＭＥ残差計算部４１によって算出されたＭＥ残差とイントラＡＣ演算回路２３からのイントラＡＣデータＳ3 とに基づいて、ピクチャの符号化の難易度を表す符号化難易度を算出する符号化難易度計算部４２と、バッファメモリ３５からの発生ビット量データＳ5 に基づいて、本実施の形態に係る画像符号化装置によって圧縮符号化された画像データを伸張する画像復号化装置における入力バッファに対応する仮想的なバッファであるＶＢＶ（Video Buffering Verifier）バッファのデータ占有量（以下、単に占有量と言う。）を算出するＶＢＶバッファ占有量計算部４３とを備えている。なお、ＭＥ残差は、映像の動きの速さおよび絵柄の複雑さを表すものと言える。

符号化制御部１５は、更に、符号化難易度計算部４２によって算出された符号化難易度とＶＢＶバッファ占有量計算部４３によって算出されたＶＢＶバッファの占有量とに基づいて、目標符号量を決定する目標符号量決定部４４と、エンコーダ１３における発生符号量が目標符号量決定部４４によって決定された目標符号量となるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部４５とを備えている。

プリフィルタ制御部５１は、符号化制御部１５における符号化難易度計算部４２によって算出された符号化難易度に基づいてプリフィルタ部５０を制御するようになっている。

ここで、符号化難易度について説明する。符号化難易度は、ピクチャの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられるが、本実施の形態では、ＩピクチャについてはイントラＡＣを用いて符号化難易度を求め、ＰピクチャおよびＢピクチャについてはＭＥ残差を用いて符号化難易度を求めることとしている。前述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さおよび絵柄の複雑さを表し、これらは符号化の難易度と強い相関があることから、イントラＡＣやＭＥ残差を変数とする一次関数等により、イントラＡＣやＭＥ残差から符号化難易度を算出することが可能である。

次に、符号化難易度に基づいてプリフィルタ部５０を制御する方法について概念的に説明する。本実施の形態では、ビットレートに対する符号化難易度の比率に基づいてプリフィルタ部５０の特性を制御する第１段階と、動き成分に基づいてプリフィルタ部５０の特性を制御する第２段階との２段階の制御を行う。

まず、第１段階について説明する。プリフィルタ部５０によって情報量を削減したいのは、絵柄が複雑で空間的な高周波成分を多く含んでいたり、動き量が多かったりランダムな動きをしたりする場合、すなわち符号化難易度が大きい場合である。それ以外の絵柄に対してプリフィルタを使用すると、空間フィルタによるぼけが生じたり、時間フィルタによるジャーキネス（動きがぎこちないこと）等の副作用だけが目立ち、いいことはない。

一方、上述のような符号化難易度が大きい映像であっても、画像符号化装置におけるビットレートが充分に高い場合、すなわち圧縮率が低い場合には、画質の劣化は少ないので、プリフィルタを使用する必要はなくなる。このように、プリフィルタを使用した方が良いか否かは、符号化難易度だけでなく、ビットレートによっても変化する。

そこで、本実施の形態では、入力画像信号の符号化難易度がビットレートに対してどれくらい大きいかという情報に基づいて、プリフィルタ部５０のオン，オフ、通過帯域幅等のフィルタの特性の制御を行うようにしている。また、更に、符号化難易度に基づいてプリフィルタ部５０を制御するには、複数枚のピクチャにおける、ビットレートに対する符号化難易度の比率を見ることが好ましい。これは、符号化難易度は、ピクチャタイプによって変動するからである。そこで、本実施の形態では、符号化難易度に基づいてプリフィルタ部５０を制御するためのパラメータとして、次式によって定義されるパラメータｘを用いる。

ｘ＝ΣＤk／Ｇ

なお、上式において、Ｄkはピクチャｋの符号化難易度を表し、ｋはピクチャの符号化順を表し、Σはｋ＝１からＮ（Ｎは１ＧＯＰ（グループ・オブ・ピクチャ）分のピクチャの枚数）までの総和を意味する。また、Ｇは次式によって定義される。

Ｇ＝（〔ビットレート〕×Ｎ）／〔ピクチャレート〕

なお、上式において、〔ビットレート〕は、通信回線の伝送容量や記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を表し、〔ピクチャレート〕は、１秒当たりのピクチャの枚数（例えばＮＴＳＣ圏では３０、ＰＡＬ圏では２５）である。従って、Ｇは、Ｎ枚分のピクチャに対応する時間に割り当てられるデータ量（ビット量）を表し、ｘは、Ｎ枚分のピクチャに対応する時間に割り当てられるデータ量（ビット量）に対するＮ枚分のピクチャの符号化難易度Ｄk の和の比率を表す。なお、必ずしもＮ枚分のピクチャを用いてｘを求める必要はなく、Ｎより大きい数や小さい数の枚数分のピクチャを用いてｘを求めるようにしても良い。ただし、Ｎよりもあまり大きい数をとると、パラメータｘの精度が落ち、Ｎよりもあまり小さい数をとるとパラメータｘの変動が大きくなることに留意する必要がある。

本実施の形態では、第１段階として、例えば上記のように定義されたパラメータｘの大きさに応じて、プリフィルタ部５０の特性を制御する。具体的には、例えば、パラメータｘの大きさに応じて、空間フィルタ５２を実現するディジタルフィルタにおけるタップ係数（フィルタ係数）を変えることによって、空間フィルタ５２の通過帯域幅等を変え、また、パラメータｘの大きさに応じて、時間フィルタ５３における重み付け係数Ｋの値を変えることによって、時間フィルタ５３の通過帯域幅等を変えることになる。

図４は、パラメータｘの大きさと空間フィルタ５２の通過帯域幅との関係の一例を示したものである。この図において、横軸はｘの値、縦軸は空間フィルタ５２の通過帯域幅を表している。この例では、空間フィルタ５２の通過帯域幅を、スルー（そのまま通過；フィルタのオフ），５．０ＭＨｚ，４．５ＭＨｚ，４．０ＭＨｚ，３．５ＭＨｚの５種類用意し、図４において符号６１（実線）で示したように、０≦ｘ＜δ1 のときはスルー、δ1 ≦ｘ＜δ2 のときは５．０ＭＨｚ、δ2 ≦ｘ＜δ3 のときは４．５ＭＨｚ、δ3 ≦ｘ＜δ4 のときは４．０ＭＨｚ、δ4 ≦ｘのときは３．５ＭＨｚを選択するようにしている。なお、δ1 ＜δ2 ＜δ3 ＜δ4 である。

次に、第２段階について説明する。上記第１段階のように、パラメータｘの値だけからプリフィルタ部５０の特性を決定した場合、人間の視覚特性によって次のような不具合が生じる。すなわち、例えば細かい模様の物体がゆっくりと動くような絵柄では、空間的な高周波成分が大きいので、符号化難易度は大きくなり、ｘの値も大きくなる。しかし、ここで、プリフィルタをきつめにかけてしまう（通過帯域幅を狭してしまう）と、細かい模様が失われる。ゆっくりとした動きに対しては人間の目は良く追従するので、このようなぼけはすぐに感知されてしまい、かえって復号化後の視覚的な画質の印象を悪くする。

一方、動きが非常に速い映像については、人間の視覚特性では、ぼけに対して気付きにくくなっている。従って、動きが速い映像であることが分かれば、プリフィルタはきつめにかけた方が良い。これは、動きが速い映像において高周波成分を表現しようとすると、ブロック歪み等の顕著な画質劣化を引き起こすからである。

このような考え方に基づき、本実施の形態では、映像の動きの大きさを表す動き成分が大きい場合にはプリフィルタをきつめにかけ、動き成分が小さい場合にはプリフィルタを緩めにかけるという処理をリアルタイムに実現することを考える。映像の動き成分を判断するパラメータとしては、例えば、ＭＥ残差等に基づいて算出した最新のＢピクチャの符号化難易度ＤB と、イントラＡＣ等に基づいて算出した最新のＩピクチャの符号化難易度ＤI との比率ｙ＝ＤI ／ＤB を用いる。動きが大きい絵柄では、動き予測誤差が増えるし、動きベクトル自体の符号量も増えるから、Ｂピクチャの符号量は増え、その結果、ｙ＝ＤI ／ＤB が小さくなる。そこで、本実施の形態では、第２段階として、ｙの値が小さいほど動き成分が大きいと判断して、プリフィルタをきつめにかけるように、プリフィルタ部５０を制御する。このような制御は、例えば、第１段階で決定されたフィルタ特性をｙの値に応じて変更することで実現することができる。

図４には、第１段階で決定された空間フィルタ５２の通過帯域幅を、ｙの値に応じて３段階に変更する例を示している。この例では、ｙ≧４の場合には第１段階で決定された空間フィルタ５２の通過帯域幅を変更せず、３≦ｙ＜４のときは、符号６２で示したように、第１段階で決定された空間フィルタ５２の通過帯域幅を０．５ＭＨｚだけ狭くし、２≦ｙ＜３のときは、符号６３で示したように、第１段階で決定された空間フィルタ５２の通過帯域幅を１．０ＭＨｚだけ狭くし、ｙ＜２のときは、符号６４で示したように、第１段階で決定された空間フィルタ５２の通過帯域幅を１．５ＭＨｚだけ狭くするようにしている。

次に、本実施の形態に係る画像符号化装置の動作について説明する。入力画像信号Ｓ1 は、プリフィルタ部５０の空間フィルタ５２，時間フィルタ５３を順に通過した後、エンコーダ制御部１１に入力される。エンコーダ制御部１１では、まず、画像並べ替え回路２１によって、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替え、次に、走査変換・マクロブロック化回路２２によって、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換およびマクロブロック化を行い、次に、Ｉピクチャの場合には、イントラＡＣ演算回路２３によってイントラＡＣを算出してイントラＡＣデータＳ3 を符号化制御部１５に送る。また、走査変換・マクロブロック化回路２２の出力データは、イントラＡＣ演算回路２３を経て、ＦＩＦＯメモリ１２および動き検出回路１４に送られる。

ＦＩＦＯメモリ１２は、符号化難易度計算部４２において、符号化が終了したピクチャに引き続くＮ枚分のピクチャの符号化難易度を算出するのに必要な時間だけ、入力した画像データを遅延して、エンコーダ１３に出力する。動き検出回路１４は、動きベクトルを検出して動き補償回路３９に送ると共に、ＭＥ残差データＳ4 をＭＥ残差計算部４１に送る。

Ｉピクチャの場合には、エンコーダ１３では、減算回路３１において予測画像データとの差分をとることなく、ＦＩＦＯメモリ１２の出力データをそのままＤＣＴ回路３２に入力してＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し、一定のビットレートのビットストリームからなる圧縮画像データＳ2 として出力する。また、逆量子化回路３６によって量子化回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７によって逆量子化回路３６の出力データに対して逆ＤＣＴを行い、逆ＤＣＴ回路３７の出力画像データを加算回路３８を介して動き補償回路３９に入力して保持させる。

Ｐピクチャの場合には、エンコーダ１３では、動き補償回路３９によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路１４からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３１および加算回路３８に出力する。また、減算回路３１によって、ＦＩＦＯメモリ１２の出力データと動き補償回路３９からの予測画像データとの差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し圧縮画像データＳ2 として出力する。また、逆量子化回路３６によって量子化回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７によって逆量子化回路３６の出力データに対して逆ＤＣＴを行い、加算回路３８によって逆ＤＣＴ回路３７の出力データと予測画像データとを加算し、動き補償回路３９に入力して保持させる。

Ｂピクチャの場合には、エンコーダ１３では、動き補償回路３９によって、保持している過去および未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路１４からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３１および加算回路３８に出力する。また、減算回路３１によって、ＦＩＦＯメモリ１２の出力データと動き補償回路３９からの予測画像データとの差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し圧縮画像データＳ2 として出力する。なお、Ｂピクチャは動き補償回路３９に保持させない。

なお、バッファメモリ３５は、可変長符号化回路３４より発生されるビット量を表す発生ビット量データＳ5 を符号化制御部１５に送る。

符号化制御部１５では、符号化難易度計算部４２によって、イントラＡＣ演算回路２３からのイントラＡＣデータＳ3 とＭＥ残差計算部４１で算出したＭＥ残差より、符号化難易度を計算し、パラメータｘを求め、ＶＢＶバッファ占有量計算部４３によってＶＢＶバッファの占有量を計算する。そして、目標符号量決定部４４によって、パラメータｘとＶＢＶバッファ占有量計算部４３によって算出されているＶＢＶバッファの占有量とに基づいて目標符号量を計算し、量子化インデックス決定部４５に送り、量子化インデックス決定部４５によって、エンコーダ１３における発生符号量が目標符号量決定部４４によって決定された目標符号量となるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る。

次に、図５の流れ図を参照して、プリフィルタ部５０の制御に関する動作について説明する。なお、図５では、簡単のために、空間フィルタ５２の制御についてのみ示している。この動作では、まず、符号化難易度計算部４２によって、符号化難易度を計算し、パラメータｘを求める（ステップＳ１０１）。次に、プリフィルタ制御部５１は、パラメータｘの値に応じて、例えば図４に示した関係に基づいて、第１段階として、プリフィルタ（ここでは空間フィルタ５２）の通過帯域幅を決める（ステップＳ１０２）。次に、プリフィルタ制御部５１は、ＩピクチャとＢピクチャの符号化難易度の比率ｙを計算し（ステップＳ１０３）、ｙの大きさを判定し（ステップＳ１０４）、ｙの大きさに応じて以下の処理を行う。すなわち、図４に示した例では、ｙ≧４の場合には第１段階で決定された通過帯域幅を変更せず、３≦ｙ＜４のときは、第１段階で決定された通過帯域幅を０．５ＭＨｚだけ狭くし（ステップＳ１０５）、２≦ｙ＜３のときは、第１段階で決定された通過帯域幅を１．０ＭＨｚだけ狭くし（ステップＳ１０６）、ｙ＜２のときは、第１段階で決定された空間フィルタ５２の通過帯域幅を１．５ＭＨｚだけ狭くする（ステップＳ１０７）。次に、プリフィルタ制御部５１は、以上のようにして決定された通過帯域幅になるように、プリフィルタ（ここでは空間フィルタ５２）の係数を設定し（ステップＳ１０８）、メインルーチンにリターンする。以上の動作は、各ピクチャ毎に行われる。

ここまでは、空間フィルタ５２の制御について説明してきたが、時間フィルタ５３の制御は、タップ係数の代わりに重み付け係数Ｋによって行う他は、空間フィルタ５２の制御と同様である。なお、時間フィルタの特性を表す場合、図４における通過帯域幅の代わりに、縦軸には例えば重み付け係数Ｋをとる。Ｋの値が小さいほどフィルタはきつめになる。

以上説明したように本実施の形態に係る画像符号化装置によれば、入力画像信号をリアルタイムに符号化しながら、入力画像の符号化難易度に応じてプリフィルタ部５０の特性を適応的に制御することができるので、入力画像の符号化難易度が大きいときには情報量を削減することによってブロック歪み等の目に付く歪みを軽減することができ、入力画像の符号化難易度が小さいときには情報量の削減による画質の劣化を防止することができる。更に、本実施の形態に係る画像符号化装置によれば、動き成分が大きいときにはプリフィルタをきつめにかけ、動き成分が小さいときにはプリフィルタを緩めにかけることができ、プリフィルタによるぼけに気付かれにくくしながら、復号化後の視覚的な画質の印象を向上させることができる。

図６は、本発明の第２の実施の形態に係る画像符号化装置の構成を示すブロック図である。本実施の形態に係る画像符号化装置は、ＭＰＥＧ方式の圧縮アルゴリズムとして有名なＴＭ５（test model 5;ISO/IEC JTC/SC29(1993) ）等で代表されるような、過去に圧縮符号化して得られた発生符号量に基づいて発生符号量の制御を行うフィードバック型のレート制御を行う構成の例である。

この画像符号化装置は、入力画像信号Ｓ1 を入力し、その情報量を削減するためのプリフィルタ部５０と、このプリフィルタ部５０の出力信号を入力し、圧縮符号化のための前処理等を行うエンコーダ制御部１１と、このエンコーダ制御部１１の出力データを入力し、ピクチャ毎にピクチャタイプに応じた符号化方法によって圧縮符号化して、圧縮画像データＳ2 を出力する符号化手段としてのエンコーダ１３と、エンコーダ制御部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ１３から出力される発生ビット量データＳ7 に基づいてエンコーダ１３を制御する符号化制御部７５と、この符号化制御部７５からのデータに基づいて、プリフィルタ制御信号Ｓ6 によってプリフィルタ部５０の特性を制御するプリフィルタ制御部５１とを備えている。この画像符号化装置において、符号化制御部７５以外の構成は、第１の実施の形態と同様である。

符号化制御部７５は、エンコーダ１３の可変長符号化回路３４から出力される発生ビット量データＳ7 に基づいて符号化難易度を算出する符号化難易度計算部４６と、この符号化難易度計算部４６によって算出された符号化難易度に基づいて、目標符号量を決定する目標符号量決定部４４と、エンコーダ１３における発生符号量が目標符号量決定部４４によって決定された目標符号量となるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部４５とを備えている。

なお、プリフィルタ制御部５１は、符号化制御部１５における符号化難易度計算部４６によって算出された符号化難易度に基づいてプリフィルタ部５０を制御するようになっている。

本実施の形態では、符号化難易度計算部４６で算出する符号化難易度として、符号化が終了したピクチャのグローバル・コンプレキシティ（Global Complexity ）を用いている。なお、グローバル・コンプレキシティとは、画面の複雑さを示すパラメータであり、具体的にはピクチャの圧縮符号化時の発生符号量とピクチャの圧縮符号化時の平均量子化スケールコード（量子化特性値）との積として求められる（例えば、オーム社発行の「テレビジョン学会マルチメディア選書 ＭＰＥＧ」の第１１１ページ参照。）。

本実施の形態におけるその他の動作および効果は、第１の実施の形態と同様である。

なお、本発明は、上記各実施の形態に限定されず、例えば、符号化難易度に基づいてプリフィルタ部５０を制御する際に、実施の形態で用いたパラメータｘや比率ｙ、あるいはグローバル・コンプレキシティの他に、符号化難易度が増加傾向にあるのか減少傾向にあるのかという変化傾向の情報も加えて判定することで、今後の入力画像の絵柄の難しさの予測精度を更に向上させて、プリフィルタ部５０の制御をより適切に行うことが可能となる。なお、符号化難易度の変化傾向の情報は、例えば、時系列的に求まった符号化難易度を最小自乗法等により直線近似し、その傾きから求めることができる。この場合、符号化難易度の変化傾向の情報は、例えば、符号化難易度計算部４２，４６において求める。

また、第１の実施の形態では、図２に示したように、エンコーダ１３の他に別のエンコーダを設けることなく、圧縮符号化する前の画像データの特徴に基づいて発生符号量の制御を行うフィードフォワード型のレート制御を行う構成としたが、本発明は、圧縮符号化後のデータ量を見積もるためにエンコーダ１３とは別の１パス目のエンコーダを設けて、この１パス目のエンコーダによって圧縮符号化することによって見積もられたデータ量に基づいて２パス目のエンコーダ１３における発生符号量の制御を行うフィードフォワード型のレート制御を行う構成にも適用することができる。この場合には、１パス目のエンコーダによって圧縮符号化することによって得られた発生符号量に基づいて符号化難易度を求めることが可能である。

また、第２の実施の形態のようなフィードバック型のレート制御を行う構成において、既に圧縮符号化したピクチャの符号化難易度に基づいて、直線近似等によって今後の数枚分のピクチャの符号化難易度を予測し、この予測した符号化難易度に基づいてプリフィルタ部５０を制御するようにしても良い。

更に、フィードフォワード型のレート制御を行う構成において直線近似等によって符号化難易度の変化傾向を求める場合や、フィードバック型のレート制御を行う構成において直線近似等によって今後の数枚分のピクチャの符号化難易度を予測する場合において、シーンチェンジ時には符号化難易度の連続性がなくなるので、シーンチェンジ時には、符号化難易度の変化傾向を求める処理や符号化難易度を予測する処理をシーンチェンジ前までで完結させ、シーンチェンジ後に新たに処理を行うようにすれば、より精度が向上する。

また、言うまでもなく、図４はプリフィルタの特性の一例を表したものでありプリフィルタの特性は適宜に設定することができる。

また、符号化難易度は、実施の形態で挙げたイントラＡＣ，ＭＥ残差，グローバル・コンプレキシティ等を用いたものに限らず、ピクチャの符号化の難易度を表すものであれば、他のパラメータでも良い。また、動き成分を表すパラメータも、実施の形態で挙げた比率ｙ＝ＤI ／ＤB に限らず、入力画像データにおける動きの大きさを表すものであれば、他のパラメータでも良い。例えば、最新のＰピクチャの符号化難易度ＤP と最新のＩピクチャの符号化難易度ＤI との比率ＤI ／ＤP を用いても良い。

また、実施の形態ではプリフィルタ部５０が空間フィルタ５２と時間フィルタ５３の双方を有する例を挙げたが、本発明は、プリフィルタとして空間フィルタと時間フィルタのいずれか一方をのみを有する画像符号化装置にも適用することができる。

本発明の第１の実施の形態に係る画像符号化装置の詳細な構成を示すブロック図である。 本発明の第１の実施の形態に係る画像符号化装置の概略の構成を示すブロック図である。 図１における符号化制御部およびプリフィルタ制御部を実現するコンピュータの構成を示すブロック図である。 図１におけるプリフィルタ制御部の機能を説明するための特性図である。 本発明の第１の実施の形態に係る画像符号化装置におけるプリフィルタ部の制御に関する動作を示す流れ図である。 本発明の第２の実施の形態に係る画像符号化装置の構成を示すブロック図である。 プリフィルタを有する画像符号化装置の構成の一例を示すブロック図である。

符号の説明

１１…エンコーダ制御部、１２…ＦＩＦＯメモリ、１３…エンコーダ、１４…動き検出回路、１５…符号化制御部、１６…ＣＰＵ、１７…ＲＯＭ、１８…ＲＡＭ、２３…イントラＡＣ演算回路、３１…減算回路、３２…ＤＣＴ回路、３３…量子化回路、３４…可変長符号化回路、３５…バッファメモリ、３６…逆量子化回路、３７…逆ＤＣＴ回路、３９…動き補償回路、４１…ＭＥ残差計算部、４２…符号化難易度計算部、４３…ＶＢＶバッファ占有量計算部、４４…目標符号量決定部、４５…量子化インデックス決定部、５０…プリフィルタ、５１…プリフィルタ制御部、５２…空間フィルタ、５３…時間フィルタ。

Claims (9)

1. 画像データを符号化して符号化画像データを生成する符号化装置であって、
   前記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、前記通過帯域幅が狭くなるように変更するフィルタ帯域変更手段と、
   前記プリフィルタによってフィルタ処理された画像データを符号化して前記符号化画像データを生成する符号化手段と
   を備え、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とする符号化装置。
2. 前記フィルタ帯域変更手段は、前記比率が所定の閾値よりも大きい場合に、前記通過帯域幅が狭くなるように変更する
   ことを特徴とする請求項１記載の符号化装置。
3. 画像データを符号化して符号化画像データを生成する符号化方法であって、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、プリフィルタの通過帯域幅が狭くなるように変更するフィルタ帯域変更手順と、
   前記プリフィルタによってフィルタ処理された画像データを符号化して前記符号化画像データを生成する符号化手順と
   を含み、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とする符号化方法。
4. 画像データを符号化して符号化画像データを生成する符号化装置であって、
   前記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、前記通過帯域幅が広くなるように変更するフィルタ帯域変更手段と、
   前記プリフィルタによってフィルタ処理された画像データを符号化して前記符号化画像データを生成する符号化手段と
   を備え、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とする符号化装置。
5. 画像データを符号化して符号化画像データを生成する符号化方法であって、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、プリフィルタの通過帯域幅が広くなるように変更するフィルタ帯域変更手順と、
   前記プリフィルタによってフィルタ処理された画像データを符号化して前記符号化画像データを生成する符号化手順と
   を含み、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とする符号化方法。
6. 画像データをフィルタ処理するフィルタ処理装置であって、
   前記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、前記通過帯域幅が狭くなるように変更するフィルタ帯域変更手段と
   を備え、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とするフィルタ処理装置。
7. 画像データを所定の通過帯域幅でフィルタ処理するフィルタ処理方法であって、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が大きくなるのに応じて、前記通過帯域幅が狭くなるように変更するフィルタ帯域変更手順を含み、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とするフィルタ処理方法。
8. 画像データをフィルタ処理するフィルタ処理装置であって、
   前記画像データを所定の通過帯域幅でフィルタ処理するプリフィルタと、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、前記通過帯域幅が広くなるように変更するフィルタ帯域変更手段と
   を備え、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とするフィルタ処理装置。
9. 画像データを所定の通過帯域幅でフィルタ処理するフィルタ処理方法であって、
   最新のＰピクチャまたはＢピクチャの符号化難易度と最新のＩピクチャの符号化難易度との比率が小さくなるのに応じて、前記通過帯域幅が広くなるように変更するフィルタ帯域変更手順を含み、
   前記符号化難易度は、前記画像データの絵柄の難度、および前記画像データを固定の量子化ステップで量子化した際の発生ビット量、と相関性を有する指標量を用いて前記発生ビット量を近似することにより算出されたものである
   ことを特徴とするフィルタ処理方法。

Images