JP2006157267A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 ブロック内の特徴量をより正確に判定し、精度の高いプリ処理を行うことで優れた符号化を実現できるようにする。
【解決手段】 分散値算出部１０１と、画素間分絶対値和算出部１０２とを有する特徴量算出部１００と、領域分類部１０３と、フィルタ制御部１０４と、フィルタ処理部１０５とを設け、前記特徴量算出部１００により、ブロック内の画素のばらつき量を算出するとともに、前記画素間分絶対値和算出部１０２により、前記ブロック内の画素のばらつきの分布を算出し、前記算出した特徴量からフィルタ係数を制御することにより、ブロック内における画素の配置までも考慮したフィルタ係数を決定できるようにして、精度の高い符号化処理を行うことができるようにする。
【選択図】 図１

Description

本発明は画像処理装置及び画像処理方法に関し、例えば、動画像データを高能率に符号化するために用いて好適な技術に関する。

近年、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）などの動画像符号化方式が蓄積、通信、放送の分野で広く用いられている。
図１０は、符号化システムの代表的な構成例を示すブロック図である。図１０に示したように、符号化システムにおいては入力画像に対し、まずノイズ除去等をプリ処理部１２０１で行い、符号化部１２０２で画像データの変換、量子化、可変長符号化といった処理を行う。次に、バッファ部１２０３では、発生した符号量を監視しながら、その情報を符号量制御部１２０４に出力している。符号量制御部１２０４では、バッファがオーバーフローやアンダーフローを起こさないように、符号化部１２０２の量子化値を制御している。

図１１は、符号化部１２０２の構成例を示すブロック図である。動画像の符号化方式では、各フレームを符号化ブロックに分割し、フレーム内もしくはフレーム間の処理を行う。フレーム内処理の場合、ＤＣＴ部１３０１で入力画像の直交変換を行い、量子化部１３０２で変換係数の量子化を行う。

この際、量子化値が大きいと、変換係数は小さくなり、量子化値が小さいと、変換係数は大きくなる。可変長符号化部１３０３では、量子化部１３０２で量子化した変換係数から符号を生成する。一般に、変換係数が大きいと、発生符号量も大きくなり、変換係数が小さいと、発生符号量は小さくなる。

一方、フレーム間処理の場合は、入力画像と以前に復号化した画像との差分画像を符号化する。この復号化画像は、量子化部１３０２で量子化した変換係数を逆量子化部１３０４で元の係数に近い値に戻し、更に逆ＤＣＴ部１３０５で逆変換を行うことで得られる。この符号化処理部内で復号処理を行うことは、ローカルデコードと呼ばれる。

入力画像と復号画像との差分画像は、動き補償部１３０６でブロック単位の位置合わせを行った後に生成する。この差分画像が、先ほど説明したフレーム内処理と同様、ＤＣＴ部１３０１、量子化部１３０２、可変長符号化部１３０３を経て圧縮された符号となる。可変長符号化部１３０３では、動き補償部１３０６で求めた位置合わせの情報である動きベクトルも併せて符号化する。

符号量制御の問題は、量子化値を小さくすると高画質となるが、発生符号量が大きくなってしまう問題がある。それに対して、量子化値を大きくすると発生符号量を抑えることができるが、符号化歪が目立ってしまう、という相反する問題点がある。そこで、入力画像の特性にかんがみ、量子化値を大きくしても視覚的に歪の目立たないところと、そうでないところとに分類し、量子化値を細かく制御することが行われている。

図１３に示すブロック図において、破線で囲んだ部分は、符号量制御部１２０４の構成例を示すブロックである。参照量子化値算出部１５０３では、バッファ部１２０３からの情報を元に、仮の量子化値を算出する。

一方、特徴量算出部１５０１では、入力画像から特徴量を求め、これを量子化値の重み付けとする。量子化値算出部１５０２では、参照量子化値算出部１５０３で求めた仮の量子化値に、特徴量算出部１５０１で求めた重み付けを乗じた値を最終的な量子化値とし、これを符号化部１２０２に出力する。

ＭＰＥＧ−２のテストモデル（参考文献１：ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ、 Ｄｏｃｕｍｅｎｔ ＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９ ＷＧ１１／９３−４００、 Ｔｅｓｔ Ｍｏｄｅｌ Ｅｄｉｔｉｎｇ Ｃｏｍｍｉｔｔｅｅ、 Ａｐｒｉｌ １９９３.）では、この特徴量としてアクティビティを用いている。

アクティビティは、ブロック内の各画素とブロック内の平均値との差分の絶対値和で定義される。また、分散は、ブロック内の各画素とブロック内の平均値との差分の二乗和で定義され、これもブロック内のばらつきの指標となる（正確にはそれを画素数で割った値）。

ブロック内の画素値のばらつきが多ければ、そこは細かい絵柄であり、これを大きな値で量子化しても、視覚的に歪が目立ちにくいとの考えに基づいている。

しかしながら、エッジを含むブロックもブロック内の画素値の変動が大きいため、アクティビティや分散を算出すると、大きな値となる。エッジを含む画像は、量子化値を大きくすると、エッジ近傍の平坦部にモスキートノイズなどの歪が目立ちやすいので、エッジの先鋭度を保つには、このブロックに対しては、大きな量子化値を設定すべきではない。

図１４を用いて、この問題を説明する。問題を簡単にするために、ここでは４×４画素の２値画像で説明する。図１４において（ａ）、（ｂ）、（ｃ）いずれのパターンもアクティビティが同じである（分散値も同じ）。これは、各画像を比較すると、黒の画素数と白の画素数がそれぞれ同じであることによる。

しかしながら、図１４（ａ）はエッジ画像なので、量子化値を大きくすべきではない。それに対して、図１４（ｃ）は細かい絵柄なので量子化値を大きくしてもエッジ近傍の歪は目立たない。このように、アクティビティや分散では、ブロック内の画素値の変動量を求めることはできても、その画素がブロック内でどう配置されているかまでは求められない。

また、量子化歪を小さくする別な手段として、プリ処理を用いる方法もある。これは、入力画像にローパスフィルタなどの処理を行い、符号化部に入力する画像の情報量をあらかじめ削減しておく処理を行う手段である。画面内には、情報量の多い部分と少ない部分が偏在しているため、精度よくフィルタ処理するには、局所的にフィルタの特性を変えたほうが効率的である。

図１２のブロック図において、破線で囲んだ部分は、プリ処理部１２０１の構成例を示すブロックである。特徴量算出部１４０１では、入力画像の特徴量を求め、視覚的に劣化の目立つところと目立たないところとを分類する。

フィルタ制御部１４０２では、特徴量算出部１４０１の分類結果を元にフィルタ係数の重み付けを行う。フィルタ処理部１４０３では、フィルタ制御部１４０２の出力に応じて、領域毎のフィルタ処理を行う。例えば、特許文献１では、特徴量の算出にアクティビティを用いている。これは、ブロック内の画素値のばらつきが多ければ、そこは細かい絵柄であり、これに強いローパスフィルタ処理しても、視覚的に歪が目立ちにくいとの考えに基づいている。

特開平０７−１０７４６２号公報

しかしながら、エッジを含むブロックもブロック内の画素値の変動が大きいため、アクティビティや分散を算出すると、大きな値となる。また、エッジを含む画像は、強いローパスフィルタをかけると、解像感が失われ、ボケが目立ちやすいので、エッジの先鋭度を保つには、このブロックに対しては、強いフィルタを設定すべきではない。

先に説明したように、アクティビティや分散では、ブロック内の画素値の変動量を求めることはできても、その画素がブロック内でどう配置されているのかまでは求められないので、精度の高い符号化を行うことが困難である問題点があった。
本発明は前述の問題点にかんがみ、ブロック内の特徴量をより正確に判定し、精度の高いプリ処理を行うことで優れた符号化を実現できるようにすることを目的とする。

本発明の画像処理装置は、複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段とを有する画像処理装置であって、前記前処理手段は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出した特徴量に応じてそのブロックを分類する領域分類手段と、前記領域分類手段による領域分類の結果に応じて、フィルタ係数を制御するフィルタ制御手段と、前記フィルタ制御手段により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理手段とを備え、前記特徴量算出手段が、ブロック内の画素のばらつき量を算出するばらつき量算出手段と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出手段とを備えることを特徴としている。
また、本発明の画像処理装置の他の特徴とするところは、複数のフレームから構成される動画像を入力し、前記動画像から符号化データを生成する符号化データ生成手段と、前記符号化データ生成手段により発生する符号を一時的に蓄えるバッファ手段と、前記入力画像と入力バッファ情報に応じて量子化値を制御する符号量制御手段とを有する画像処理装置であって、前記符号量制御手段は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出した特徴量に応じてそのブロックを分類する領域分類手段と、前記バッファ情報から参照量子化値を求める参照量子化値算出手段と、前記領域分類手段による領域分類結果と前記参照量子化値算出手段による参照量子化値とから量子化値を算出する量子化値算出手段とを備え、前記特徴量算出手段が、ブロック内の画素のばらつき量を算出するばらつき量算出手段と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出手段とを備えることを特徴としている。
また、本発明の画像処理装置のその他の特徴とするところは、複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段と、前記符号化データ生成手段により発生する符号を一時的に蓄えるバッファ手段と、前記前処理手段の出力画像とバッファ情報に応じて量子化値を制御する符号量制御手段とを有する画像処理装置であって、前記前処理手段は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出した特徴量に応じてそのブロックを分類する領域分類手段と、前記領域分類手段の領域分類結果に応じて、フィルタ係数を制御するフィルタ制御手段と、前記フィルタ制御手段により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理手段とを備え、前記特徴量算出手段が、ブロック内の画素のばらつき量を算出するばらつき量算出手段と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出手段とを備えることを特徴としている。

本発明の画像処理方法は、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法であって、前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対して、前記ブロック内の画素の特徴量を算出する特徴量算出工程と、前記特徴量算出工程により算出した特徴量に応じてそのブロックを複数の領域に分類する領域分類工程と、前記領域分類工程により行われた領域分類の結果に応じてフィルタ係数を制御するフィルタ制御工程と、前記フィルタ制御工程により制御されたフィルタ係数に応じて前記入力画像のフィルタ処理を行うフィルタ処理工程とを有し、前記特徴量算出工程が、前記ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とを有することを特徴としている。
また、本発明の画像処理方法の他の特徴とするところは、複数のフレームから構成される動画像を入力し、前記動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記入力画像と入力バッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法であって、前記符号量制御工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、前記バッファ情報から参照量子化値を求める参照量子化値算出工程と、前記領域分類工程による領域分類結果と前記参照量子化値算出工程による参照量子化値とから量子化値を算出する量子化値算出工程とを備え、前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とを備えることを特徴としている。
また、本発明の画像処理方法のその他の特徴とするところは、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記前処理工程の出力画像とバッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法であって、前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、前記領域分類工程の領域分類結果に応じて、フィルタ係数を制御するフィルタ制御工程と、前記フィルタ制御工程により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理工程とを備え、前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とを備えることを特徴としている。

本発明のコンピュータプログラムは、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対して、前記ブロック内の画素の特徴量を算出する特徴量算出工程と、前記特徴量算出工程により算出した特徴量に応じてそのブロックを複数の領域に分類する領域分類工程と、前記領域分類工程により行われた領域分類の結果に応じてフィルタ係数を制御するフィルタ制御工程と、前記フィルタ制御工程により制御されたフィルタ係数に応じて前記入力画像のフィルタ処理を行うフィルタ処理工程とを有し、前記特徴量算出工程が、前記ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とをコンピュータに実行させることを特徴としている。
また、本発明のコンピュータプログラムの他の特徴とするところは、複数のフレームから構成される動画像を入力し、前記動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記入力画像と入力バッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、前記符号量制御工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、前記バッファ情報から参照量子化値を求める参照量子化値算出工程と、前記領域分類工程による領域分類結果と前記参照量子化値算出工程による参照量子化値とから量子化値を算出する量子化値算出工程とを備え、前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とをコンピュータに実行させることを特徴としている。
また、本発明の画像処理方法のその他の特徴とするところは、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記前処理工程の出力画像とバッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、前記領域分類工程の領域分類結果に応じて、フィルタ係数を制御するフィルタ制御工程と、前記フィルタ制御工程により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理工程とを備え、前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とをコンピュータに実行させることを特徴としている。

本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴としている。

本発明によれば、正確な画像特徴量を求めるようにしたので、目標符号量に対し視覚特性上優れた符号化システムを実現することができる。

以下、図面を参照して、本発明の好適な実施の形態について詳細に説明する。
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態におけるプリ処理部の構成を示したブロック図である。
図１に示したように、入力画像の各ブロックに対し、まず、分散値算出部１０１と画素間差分絶対値和算出部１０２を有する特徴量算出部１００で２つの特徴量を算出する。

前記分散値算出部１０１は、分散値もしくはアクティビティを算出し、画素間差分絶対値和算出部１０２では、ブロック内の隣接した画素間の差分絶対値和を算出する。領域分類部１０３では、これら２つの特徴量から領域に対する重み付けを求める。この処理の詳細は後ほど説明する。フィルタ制御部１０４では、得られた重み付けに従ってフィルタ係数を変更し、フィルタ処理部１０５でフィルタ処理を行う。

図５は、本発明の第１の実施の形態におけるプリ処理部の処理手順を説明するフローチャートである。
まず、ステップＳ４０１にて、画像を領域毎にブロック化する。ブロックサイズは任意であり、ブロック形状も矩形である必要はない。以下の説明はこのブロック単位の処理である。

次に、ステップＳ４０２に進んで分散値を算出し、次に、ステップＳ４０３で隣接画素間の差分絶対値和の算出を行う。なお、この２つの特徴量算出の順番はどちらでもよい。次に、ステップＳ４０４では、ステップＳ４０２及びステップＳ４０３の処理で得られた２つの特徴量から重要度に応じた領域の分類がなされる。

ステップＳ４０４において分類が行われると、次のステップＳ４０５では、その分類結果に応じたフィルタ係数の補正を行い、これを最終的なフィルタ係数として決定する。

次に、ステップＳ４０６では、フィルタ係数に応じたフィルタ処理を行う。以上の処理を全ブロックに対して行うと、ステップＳ４０７を抜け、一連の処理が終了する。

ここで、分散値と隣接画素間の差分絶対値和の関係について説明する。
図１４で説明したように、図１４（ａ）〜（ｃ）の各画像の分散値は同じであるが、隣接画素間の差分絶対値和は、それぞれ異なる値となる。図１４（ａ）では、隣接画素間の値の大きいところは、水平方向に４ヶ所あるのみである。同様に、図１４（ｂ）では、水平方向に８ヶ所である。図１４（ｃ）の場合は、水平方向に１２ヶ所、垂直方向にも１２ヶ所で、計２４ヶ所もある。

したがって、隣接画素間の差分絶対値和の値は、小さい順に図１４（ａ）、図１４（ｂ）、図１４（ｃ）となる。すなわち、同じ分散値ならば、画素間差分絶対値和が小さいほど重要な領域ということになる。

これらの関係を示したのが、図８である。分散値と画素間差分絶対値和は、正の相関があり、分散値が大きければ、画素間差分絶対値和も大きくなる傾向がある。しかし、分散値が大きく、なおかつ画素間差分絶対値和が小さい場合は、エッジやラインといった強いフィルタをかけるべきでない領域であると考えられる。

次に、分散値と画素間差分絶対値和から領域の分類（ラベリング）をどう行うかについて、図９を用いて説明する。
図９（ａ）は、フレーム内の全ブロックに対する分散値のヒストグラムである。また、図９（ｂ）は、フレーム内の全ブロックに対する画素間差分絶対値和のヒストグラムである。分散値の最大値Ｒａと画素間差分絶対値和の最大値Ｒｂは、それぞれに異なるので、これらの値を用いて正規化する。図９（ｃ）は、正規化した範囲において、重み付けの割り当てを行った例である。中央値を５として、それより大きければ、重要度大、小さければ重要度小となる。ここでは最大値で正規化し、それを４つのレベルに分けたが、分散値、画素間差分絶対値和それぞれに一定規則の幅を設定してもよい。

次に、フィルタ特性が下記の「数１」のような係数で示される適応ローパスフィルタについて説明する。

「数１」において、ｋは２以上の整数であり、値が大きくなるほどフィルタ強度の弱いフィルタになる。「ｋ＝１０」が定常状態であったとし、ある領域での分類結果が８であったとすると、中央値との差３をオフセット値として、「１０−３＝７」で、「ｋ＝７」のフィルタとする。すなわち、この領域のフィルタは強度の弱いものとなる。

また、ある領域での分類結果が３であったとすると、中央値との差２をオフセット値として、「１０＋２＝１２」で、「ｋ＝１２」のフィルタとする。すなわち、この領域のフィルタは強度の強いものとなる。

このようにフィルタの強度を画像の特性に応じて最適に制御することで、画質劣化の目立ち難い優れた符号化システムを実現することができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態を説明する。
図２は、本発明の第２の実施の形態における符号量制御部の構成を示したブロック図である。
前述した図１３の特徴量算出部１５０１に対応するブロックが、符号２０１〜２０３で示したブロック２００である。

入力画像の各ブロックに対し、まず分散値算出部２０１と画素間差分絶対値和算出部２０２で２つの特徴量を算出する。分散値算出部２０１は、分散値もしくはアクティビティを算出し、画素間差分絶対値和算出部２０２では、ブロック内の隣接した画素間の差分絶対値和を算出する。次に、領域分類部２０３で、これら２つの特徴量から領域に対する重み付けを求める。

次に、量子化値算出部２０６では、参照量子化値算出部２０７で求めた仮の量子化値に、領域分類部２０３で求めた重み付けを乗じた値を最終的な量子化値とし、これを符号化部１２０２に出力する。符号化部１２０２とバッファ部１２０３の構成は、図１０で行った説明と同じである。

図６は、本発明の第２の実施の形態における符号量制御部の動作を説明するフローチャートである。
まず、ステップＳ５０１にて、画像を領域毎にブロック化する。ブロックサイズは任意であり、ブロック形状も矩形である必要はない。以下の説明は、このブロック単位の処理である。

次に、ステップＳ５０２に進んで分散値を算出し、その後、ステップＳ５０３で隣接画素間の差分絶対値和の算出を行う。なお、この２つの特徴量算出の順番はどちらでもよい。次に、ステップＳ５０４では、ステップＳ５０２及びステップＳ５０３で得られた２つの特徴量から重要度に応じた領域の分類がなされる。

ステップＳ５０４における分類が行われると、次に、ステップＳ５０５に進み、その分類結果に応じた重み付け係数を決定する。次に、ステップＳ５０６では、参照量子化値を算出し、その後、ステップＳ５０７に進む。

ステップＳ５０７では、ステップＳ５０６で求めた参照量子化値に、ステップＳ５０５で求めた重み付け係数を乗じて最終量子化値とする処理を行う。次に、ステップＳ５０８において、全てのブロックについて処理を行ったか判定する。この判定の結果、全てのブロックについて処理を行っていない場合にはステップＳ５０２に戻り、前述した処理を繰り返し行う。また、ステップＳ５０８の判定の結果、以上の処理を全ブロックに対して行うと、ステップＳ５０８を抜け、一連の処理が終了する。

ここで、分散値と隣接画素間の差分絶対値和の関係について説明する。
第１の実施の形態で説明したように、分散値と画素間差分絶対値和は、正の相関があり、分散値が大きければ、画素間差分絶対値和も大きくなる傾向がある。しかし、分散値が大きく、なおかつ画素間差分絶対値和が小さい場合は、エッジやラインといった大きな量子化値を選択すべきでない領域であると考えられる。

第１の実施の形態で説明した図９の分類を利用した量子化値の決定方法について説明する。参照量子化値をｑ、重み付け係数をｗ、量子化値をＱＰとすると、
ＱＰ＝ｗ・ｑ ………（１）
となる。

「参照量子化値ｑ＝１２」であったとし、ある領域での分類結果が「８」であったとすると、中央値との比（５／８）＝０．６２５が「重み付け係数ｗ」となる。すなわち、「ＱＰ＝０．６２５×１２＝８」（端数四捨五入）となり、この領域の量子化値は小さいものとなる。

また、ある領域での分類結果が２であったとすると、「５／２＝２．５」が「重み付け係数ｗ」となる。すなわち、ＱＰ＝２．５×１２＝３０となり、この領域の量子化値は大きいものとなる。このように量子化値を画像の特性に応じて最適に制御することで、画質劣化の目立ち難い優れた符号化システムを実現することができる。

＜第３の実施の形態＞
図３は、本発明の第３の実施の形態における符号化システム全体の構成を示したブロック図である。
前述した第１の実施の形態は、画像の特徴量から求めた領域分類結果をフィルタ制御に反映させるものであり、第２の実施の形態は、画像の特徴量から求めた領域分類結果を符号量制御に反映させるものであった。それに対して、この第３の実施の形態は、画像の特徴量から求めた領域分類結果を、フィルタ制御と符号量制御の両方に共通して用いることを特徴としている。

入力画像の各ブロックに対し、まず分散値算出部３０１と画素間差分絶対値和算出部３０２とからなる特徴量算出部３００で２つの特徴量を算出する。分散値算出部３０１は、分散値もしくはアクティビティを算出し、画素間差分絶対値和算出部３０２では、ブロック内の隣接した画素間の差分絶対値和を算出する。

次に、領域分類部３０３では、前記分散値算出部３０１と画素間差分絶対値和算出部３０２で算出した２つの特徴量から領域に対する重み付けを求める。次に、フィルタ制御部３０４では、得られた重み付けに従ってフィルタ係数を変更し、フィルタ処理部３０５でフィルタ処理を行う。符号化部１２０２では、フィルタ処理された画像を入力として、図１１で説明したような符号化処理を行う。

バッファ部１２０３では、発生した符号量を監視しながら、その情報を符号量制御部の一部である参照量子化値算出部３０７に出力している。量子化値算出部３０６では、参照量子化値算出部３０７で求めた仮の量子化値に、領域分類部３０３で求めた重み付けを乗じた値を最終的な量子化値とし、これを符号化部１２０２に出力する。

このように、特徴量の算出を共通化すると、ハードウェアにおける回路規模の削減が可能となり、小型化、小消費電力化が可能となり、ソフトウェアにおいては、ＣＰＵの処理負荷の低減が可能となる。

図７は、本発明の第３の実施の形態における符号化システムの処理を説明するフローチャートである。
図７において、（ａ）はプリ処理部の処理手順を示すフローチャートであり、（ｂ）は符号量制御部の処理手順を示すフローチャートである。

まず、ステップＳ６０１にて、画像を領域毎にブロック化する。この場合、ブロックサイズは任意であり、ブロック形状も矩形である必要はない。以下の説明は、このブロック単位の処理である。

次に、ステップＳ６０２で分散値を算出し、ステップＳ６０３で隣接画素間の差分絶対値和の算出を行う。前記ステップＳ６０２及びステップＳ６０３で行う２つの特徴量算出の順番はどちらでもよい。

次に、ステップＳ６０４では、得られた２つの特徴量から重要度に応じた領域の分類を行う。次に、ステップＳ６０５に進み、その分類結果に応じたフィルタ係数の補正を行い、これを最終的なフィルタ係数として決定する。次に、ステップＳ６０６では、フィルタ係数に応じたフィルタ処理を行う。ここまでの処理は、前述した第１の実施の形態における、図５のステップＳ４０１〜ステップＳ４０６までの処理と同様である。

次に、ステップＳ６０７では、前記ステップＳ６０４で行った領域分類結果を、符号量制御に利用するため、一時記憶する処理を行う。このとき、領域の分割が任意形状である場合は、形状情報も一緒に記憶しておく。

次に、ステップＳ６０８において、全てのブロックに対して処理が終わったか判定する。この判定の結果、全てのブロックに対して処理が終わっていない場合にはステップＳ６０２に戻り、前述した処理を繰り返し行う。また、ステップＳ６０８の判定の結果、全てのブロックに対して処理が終わったと判定すると、フィルタ処理としてのフローを終了する。

続いて、符号量制御の処理手順を説明する。
最初に、ステップＳ６０９において、一時保存していた領域情報を読み込む。次に、ステップＳ６１０に進み、重み付け係数の決定を行う。次に、ステップＳ６１１に進み、参照量子化値を算出し、その後、ステップＳ６１２に進み、前記ステップＳ６１１で求めた参照量子化値に、前記ステップＳ６１０で求めた重み付け係数を乗じて最終量子化値とする。

その後、ステップＳ６１３において、全てのブロックに対して処理が終わったか判定する。この判定の結果、全てのブロックに対して処理が終わっていない場合にはステップＳ６０９に戻り、前述した処理を繰り返し行う。また、ステップＳ６１３の判定の結果、全てのブロックに対して処理が終わったと判定すると、符号量制御としてのフローは終了する。

ここで、適応フィルタ処理した画像と、量子化値の重み付けの関係について説明する。領域の分類結果を元にフィルタ処理した画像は、エッジを含まない細かい絵柄部分で、強めのフィルタ処理により解像度が低下している。この領域では、重み付け係数を大きめに設定して量子化値を大きくすることになるが、既に高周波成分を含んでいないので、歪が強調され画質が大きく劣化するようなことはない。

また、フィルタ処理による情報量削減が目標符号量に対して小さかった場合は、符号量制御による大きめの量子化値で発生符号量を抑えることができる。エッジを含む領域では、弱めのフィルタ処理により解像度は保たれている。この領域では、重み付け係数を小さめに設定して量子化値を小さくすることで、高周波成分を保護できるため、画質劣化を抑える効果は大きい。フィルタ処理による情報量削減が目標符号量に対して小さかった場合でも、量子化値は他の領域に比べ相対的に小さくなるので大きく画質を低下させることはない。

適応フィルタ処理と、量子化値の重み付け処理の関係について具体的な数値例を用いて更に詳しく説明する。
フィルタ特性が、「数１」のような係数で示される適応ローパスフィルタについて説明する。ｋは２以上の整数であり、値が大きくなるほどフィルタ強度の弱いフィルタになる。ｋ＝１０が定常状態であったとし、ある領域での分類結果が８であったとすると、中央値との差３をオフセット値として、「１０−３＝７」で、「ｋ＝７」のフィルタとする。

すなわち、この領域のフィルタは強度の弱いものとなる。入力画像の情報量がフィルタ処理により既に削減されているため、符号量制御部における参照量子化値は、フィルタ処理がない場合に比べて小さな値となる。「ｑ＝８」であったとすると、中央値との比（５／８）＝０．６２５が「ｗ」となる。また、「ＱＰ＝０．６２５×８＝５」となり、この領域の量子化値は小さいものとなる。その結果、全体としてこの領域の画質劣化を抑えることができる。

また、ある領域での分類結果が「２」であったとすると、「中央値との差３」をオフセット値として、「１０＋３＝１３」で、「ｋ＝１３」のフィルタとする。すなわち、この領域のフィルタは強度の強いものとなる。入力画像の情報量がフィルタ処理により既に削減されているため、符号量制御部における参照量子化値は、フィルタ処理がない場合に比べて小さな値となる。「ｑ＝８」であったとすると、中央値との比（５／２）＝２．５が「ｗ」となる。「ＱＰ＝２．５×８＝２０」となり、この領域の量子化値は大きいものとなる。ただし、この領域には強いフィルタ処理がなされており、高周波成分をほとんど含んでいないため、発生符号量はあまり変わらず、量子化による歪が強調されるようなことはない。

プリ処理におけるフィルタの強度が十分であれば、符号量制御で削減する情報量は少なくてよい。しかし、フィルタの強度が不十分な場合は、符号量制御である程度の情報量削減が必要である。

フィルタの定常状態が「ｋ＝２０」であり、ある領域での分類結果が「２」であったとすると、「中央値との差３」をオフセット値として、「２０−３＝１７」で、「ｋ＝１７」のフィルタとする。

すなわち、この領域のフィルタ強度は他の領域よりも強いものとはなっているが、全体としては不十分なものとなる。このとき、符号量制御部における参照量子化値は、フィルタ強度が弱いため、大きめの値となる（それでも、フィルタ処理がない場合に比べると小さい値になる。）。

「ｑ＝１０」であったとすると、中央値との比（５／２）＝２．５が「ｗ」となる。「ＱＰ＝２．５×１０＝２５」となり、この領域の量子化値は大きいものとなる。フィルタにより削られている高周波成分はあまりないため、大きめの量子化値により、この成分を削減することができる。よって、視覚的に目立ちにくい部分の情報を削り、発生符号量を効果的に抑えることができる。

このように、画像の特性に応じて、フィルタの強度と量子化値とを最適に制御することで、画質劣化の目立ち難い優れた符号化システムを実現することができる。

＜第４の実施の形態＞
図４は、本発明の第４の実施の形態によるコンピュータのハードウェア構成例を示すブロック図である。本実施の形態は、前記第１から第３の実施の形態の装置をコンピュータで実現する例を示している。

図４において、バス２００１には、中央処理装置（ＣＰＵ）２００２、ＲＯＭ２００３、ＲＡＭ２００４、ネットワークインタフェース２００５、入力装置２００６、出力装置２００７及び外部記憶装置２００８が接続されている。

ＣＰＵ２００２は、データの処理または演算を行うとともに、バス２００１を介して接続された各種構成要素を制御するものである。ＲＯＭ２００３には、予めＣＰＵ２００２の制御手順（コンピュータプログラム）を記憶させておき、このコンピュータプログラムをＣＰＵ２００２が実行することにより、起動する。外部記憶装置２００８にコンピュータプログラムが記憶されており、そのコンピュータプログラムがＲＡＭ２００４にコピーされて実行される。ＲＡＭ２００４は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。

外部記憶装置２００８は、例えばハードディスク記憶装置やＣＤ−ＲＯＭ等であり、画像データ等を記憶し、電源を切っても記憶内容が消えない。ＣＰＵ２００２は、ＲＡＭ２００４内のコンピュータプログラムを実行することにより、前述した実施の形態の処理を行う。ネットワークインタフェース２００５は、ネットワークに接続するためのインタフェースである。入力装置２００６は、例えばキーボード及びマウス等であり、各種指定または入力等を行うことができる。出力装置２００７は、ディスプレイ及びプリンタ等である。

（本発明に係る他の実施の形態）
上述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図５〜図７に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の第１の実施の形態を示し、プリ処理部のブロック図である。 本発明の第２の実施の形態を示し、符号量制御部のブロック図である。 本発明の第３の実施の形態を示し、符号化システム全体のブロック図である。 本発明の第４の実施の形態を示し、コンピュータのハードウェア構成例を示すブロック図である。 本発明の第１の実施の形態におけるプリ処理を説明するためのフローチャートである。 本発明の第２の実施の形態における符号量制御を説明するためのフローチャートである。 本発明の第３の実施の形態におけるプリ処理部と符号量制御部処理手順を説明するためのフローチャートである。 本発明の第１の実施の形態における分散値と画素間差分絶対値和の関係を説明するための特性図である。 本発明の第１の実施の形態における領域分類を説明するための図である。 従来例を示し、符号化システム全体のブロック図である。 従来例を示し、符号化部のブロック図である。 従来例を示し、プリ処理部のブロック図である。 従来例を示し、符号量制御部のブロック図である。 従来例を示し、従来の特徴量抽出の問題点を説明するための図である。

符号の説明

１００ 特徴量算出部
１０１ 分散値算出部
１０２ 画素間差分絶対値和算出部
１０３ 領域分類部
１０４ フィルタ制御部
１０５ フィルタ処理部

Claims (24)

1. 複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段とを有する画像処理装置であって、
   前記前処理手段は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出した特徴量に応じてそのブロックを分類する領域分類手段と、
   前記領域分類手段による領域分類の結果に応じて、フィルタ係数を制御するフィルタ制御手段と、
   前記フィルタ制御手段により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理手段とを備え、
   前記特徴量算出手段が、ブロック内の画素のばらつき量を算出するばらつき量算出手段と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出手段とを備えることを特徴とする画像処理装置。
2. 複数のフレームから構成される動画像を入力し、前記動画像から符号化データを生成する符号化データ生成手段と、前記符号化データ生成手段により発生する符号を一時的に蓄えるバッファ手段と、前記入力画像と入力バッファ情報に応じて量子化値を制御する符号量制御手段とを有する画像処理装置であって、
   前記符号量制御手段は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出した特徴量に応じてそのブロックを分類する領域分類手段と、
   前記バッファ情報から参照量子化値を求める参照量子化値算出手段と、
   前記領域分類手段による領域分類結果と前記参照量子化値算出手段による参照量子化値とから量子化値を算出する量子化値算出手段とを備え、
   前記特徴量算出手段が、ブロック内の画素のばらつき量を算出するばらつき量算出手段と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出手段とを備えることを特徴とする画像処理装置。
3. 複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段と、前記符号化データ生成手段により発生する符号を一時的に蓄えるバッファ手段と、前記前処理手段の出力画像とバッファ情報に応じて量子化値を制御する符号量制御手段とを有する画像処理装置であって、
   前記前処理手段は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出した特徴量に応じてそのブロックを分類する領域分類手段と、
   前記領域分類手段の領域分類結果に応じて、フィルタ係数を制御するフィルタ制御手段と、
   前記フィルタ制御手段により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理手段とを備え、
   前記特徴量算出手段が、ブロック内の画素のばらつき量を算出するばらつき量算出手段と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出手段とを備えることを特徴とする画像処理装置。
4. 前記ばらつき分布算出手段は、前記ブロック内の画素の平均値と、各画素との差分二乗和を算出する手段、もしくは、ブロック内の画素の平均値と、各画素との差分絶対値和を算出する手段、であることを特徴とする請求項１に記載の画像処理装置。
5. 前記ばらつき量算出手段は、ブロック内の隣接する画素間の差分の二乗和を算出する算出手段、もしくは、ブロック内の隣接する画素間の差分の絶対値和を算出する算出手段、
   であることを特徴とする請求項１に記載の画像処理装置。
6. 前記領域分類手段は、ブロック内の画素のばらつき量が大きく、ブロック内の画素のばらつきの分布が小さい領域をエッジ領域と分類し、エッジの先鋭性を重視する場合に、この領域の重要度が大きいとすることを特徴とする請求項１に記載の画像処理装置。
7. 前記領域分類手段は、ブロック内の画素のばらつき量が小さく、ブロック内の画素のばらつきの分布が大きい領域を平坦領域と分類し、平坦部の階調性を重視する場合に、この領域の重要度が大きいとすることを特徴とする請求項１に記載の画像処理装置。
8. 前記領域分類手段は、ブロック内の画素のばらつき量を算出した後に正規化した値と、
   ブロック内の画素のばらつきの分布を算出した後に正規化した値に基づき分類することを特徴とする請求項１に記載の画像処理装置。
9. 前記フィルタ制御手段は、重要度の大きい領域に対し、フィルタ強度の弱い係数を設定し、重要度の小さい領域に対し、フィルタ強度の強い係数を設定することを特徴とする請求項１に記載の画像処理装置。
10. 前記量子化値算出手段は、重要度の大きい領域に対して量子化値を小さく設定し、重要度の小さい領域に対して量子化値を大きく設定することを特徴とする請求項２または３に記載の画像処理装置。
11. 複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法であって、
    前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対して、前記ブロック内の画素の特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程により算出した特徴量に応じてそのブロックを複数の領域に分類する領域分類工程と、
    前記領域分類工程により行われた領域分類の結果に応じてフィルタ係数を制御するフィルタ制御工程と、
    前記フィルタ制御工程により制御されたフィルタ係数に応じて前記入力画像のフィルタ処理を行うフィルタ処理工程とを有し、
    前記特徴量算出工程が、前記ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とを有することを特徴とする画像処理方法。
12. 複数のフレームから構成される動画像を入力し、前記動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記入力画像と入力バッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法であって、
    前記符号量制御工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、
    前記バッファ情報から参照量子化値を求める参照量子化値算出工程と、
    前記領域分類工程による領域分類結果と前記参照量子化値算出工程による参照量子化値とから量子化値を算出する量子化値算出工程とを備え、
    前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とを備えることを特徴とする画像処理方法。
13. 複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記前処理工程の出力画像とバッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法であって、
    前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、
    前記領域分類工程の領域分類結果に応じて、フィルタ係数を制御するフィルタ制御工程と、
    前記フィルタ制御工程により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理工程とを備え、
    前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とを備えることを特徴とする画像処理方法。
14. 前記ばらつき分布算出工程は、前記ブロック内の画素の平均値と、各画素との差分二乗和を算出する算出工程、もしくは、ブロック内の画素の平均値と、各画素との差分絶対値和を算出する算出工程のうち、少なくとも何れか一方の工程を有することを特徴とする請求項１１に記載の画像処理方法。
15. 前記ばらつき量算出工程は、ブロック内の隣接する画素間の差分の二乗和を算出する算出工程、もしくは、ブロック内の隣接する画素間の差分の絶対値和を算出する算出工程のうち、少なくとも何れか一方の工程を有することを特徴とする請求項１１に記載の画像処理方法。
16. 前記領域分類工程は、前記ブロック内の画素のばらつき量が大きく、ブロック内の画素のばらつきの分布が小さい領域をエッジ領域と分類し、エッジの先鋭性を重視する場合に、この領域の重要度が大きいとすることを特徴とする請求項１１に記載の画像処理方法。
17. 前記領域分類工程は、前記ブロック内の画素のばらつき量が小さく、ブロック内の画素のばらつきの分布が大きい領域を平坦領域と分類し、平坦部の階調性を重視する場合に、この領域の重要度が大きいとすることを特徴とする請求項１１に記載の画像処理方法。
18. 前記領域分類工程は、前記ブロック内の画素のばらつき量を算出した後に正規化した値と、前記ブロック内の画素のばらつきの分布を算出した後に正規化した値とに基づいて領域を分類することを特徴とする請求項１１に記載の画像処理方法。
19. 前記フィルタ制御工程は、重要度の大きい領域に対してフィルタ強度の弱い係数を設定し、重要度の小さい領域に対してフィルタ強度の強い係数を設定することを特徴とする請求項１１に記載の画像処理方法。
20. 前記量子化値算出工程は、重要度の大きい領域に対して量子化値を小さく設定し、重要度の小さい領域に対して量子化値を大きく設定することを特徴とする請求項１２または１３に記載の画像処理方法。
21. 複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、
    前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対して、前記ブロック内の画素の特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程により算出した特徴量に応じてそのブロックを複数の領域に分類する領域分類工程と、
    前記領域分類工程により行われた領域分類の結果に応じてフィルタ係数を制御するフィルタ制御工程と、
    前記フィルタ制御工程により制御されたフィルタ係数に応じて前記入力画像のフィルタ処理を行うフィルタ処理工程とを有し、
    前記特徴量算出工程が、前記ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
22. 複数のフレームから構成される動画像を入力し、前記動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記入力画像と入力バッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、
    前記符号量制御工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、前記バッファ情報から参照量子化値を求める参照量子化値算出工程と、
    前記領域分類工程による領域分類結果と前記参照量子化値算出工程による参照量子化値とから量子化値を算出する量子化値算出工程とを備え、
    前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
23. 複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程と、前記符号化データ生成工程により発生する符号を一時的に蓄えるバッファ工程と、前記前処理工程の出力画像とバッファ情報に応じて量子化値を制御する符号量制御工程とを有する画像処理方法であって、
    前記前処理工程は、入力画像を構成する少なくとも１画素からなるブロックに対し、ブロック内の画素の特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程により算出した特徴量に応じてそのブロックを分類する領域分類工程と、
    前記領域分類工程の領域分類結果に応じて、フィルタ係数を制御するフィルタ制御工程と、
    前記フィルタ制御工程により制御されたフィルタ係数に応じて入力画像のフィルタ処理を行うフィルタ処理工程とを備え、
    前記特徴量算出工程が、ブロック内の画素のばらつき量を算出するばらつき量算出工程と、前記ブロック内の画素のばらつきの分布を算出するばらつき分布算出工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
24. 前記請求項２１〜２３に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images