JP2006157239A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 視覚的な連続性を保ちながら動画像データを高能率に符号化できるようにする。
【解決手段】 フレーム内の画像を任意形状で複数の領域に分割する領域分割部１１２と、前記複数のフレーム間の動きを検出する動き検出部１１６と、前記動き検出部１１６の検出結果と、前記領域分割部１１２の分割結果とから各フレーム間の対応領域を求める対応領域判定部１１７と、前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択するＩＰＢ選択部１１９と、前記ＩＰＢ選択部１１９の選択結果に基いて適応的にフィルタ強度を設定するフィルタ選択部１１４と、前記フィルタ選択部１１４により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理部１１５とを設けて、複数のフレームから構成される動画像の情報量を削減して出力できるようにする。
【選択図】 図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に、動画像データを高能率に符号化するために用いて好適なものである。

近年、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）などの動画像符号化方式が蓄積、通信、放送の分野で広く用いられている。これらの動画像符号化方式では、各フレームを符号化ブロックに分割し、フレーム内もしくはフレーム間の画像の直交変換を行い、変換係数を量子化することにより情報量を削減し、それを可変長符号化して符号を生成するようにしている。

このような符号化方式においては、量子化の係数を大きくすると情報量を大きく削減することができるが、量子化の係数を大きくすると量子化誤差も大きくなるため、ブロック歪やモスキートノイズといった歪が発生し、画質が著しく劣化する問題があった。

量子化誤差を小さくするための手段として、プリフィルタがある。前記プリフィルタは、入力画像にローパスフィルタなどの処理を行い、符号化器に入力される画像の情報量を予め削減しておく処理である。

画面内には、情報量の多い部分と少ない部分が偏在しているため、精度よくフィルタ処理するには、局所的にフィルタの特性を変えたほうが効率的である。特許文献１に記載の「動画像符号化方法」では、局所的な予測誤差の相違に従ってローパスフィルタの特性を変更して、主観画質を改善する方法を開示している。

特開平９−２９８７５３号公報

しかしながら、前記特許文献１に記載の動画像符号化方法では、入力画像の解析結果によってのみ、ブロック毎のフィルタ特性を変えているので、目標符号量に対する最適な画質には必ずしもなり得ない問題があった。

例えば、目標符号量を高く設定してあれば、プリフィルタは不要、もしくは弱い強度のものでよい。また、目標符号量を低く設定してある場合には、強いプリフィルタが必要となる。したがって、入力画像の特徴のみでは、十分なフィルタ制御は行えない問題点があった。

また、前記特許文献１に記載の動画像符号化方法では、時間的に隣接するブロック間でフィルタ特性が極端に異なることによる主観画質の劣化を防ぐ処理を行っているが、一般的に、ブロック形状は物体の形状とは異なるため、平坦部でブロック境界が検知しやすい。すなわち、物体の形状に合致した任意形状の領域を扱わない限り、本質的な解決とはならない問題があった。

本発明は上述の問題点にかんがみ、視覚的な連続性を保ちながら動画像データを高能率に符号化できるようにすることを目的としている。

本発明の画像処理装置は、複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段とを有する画像処理装置であって、前記前処理手段は、フレーム内の画像を任意形状で複数の領域に分割する領域分割手段と、前記複数のフレーム間の動きを検出する動き検出手段と、前記動き検出手段の検出結果と、前記領域分割手段の分割結果とから各フレーム間の対応領域を求める対応領域判定手段と、前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択する処理モード選択手段と、前記処理モード選択手段の選択結果に基いて適応的にフィルタ強度を設定するフィルタ設定手段と、前記フィルタ設定手段により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理手段とを備えることを特徴としている。
また、本発明の画像処理装置の他の特徴とするところは、前記フィルタ設定手段は、前記符号化データ生成手段からの符号化情報と、前記領域分割手段からの領域分割情報と、前記対応領域判定手段からのフレーム間対応情報と、前記処理モード選択手段からの情報とにより、各領域のフィルタ強度を設定することを特徴としている。
また、本発明の画像処理装置のその他の特徴とするところは、前記フィルタ設定手段は、前記処理モード選択手段により選択されたフレーム間処理の領域に対し、フレーム間のフィルタの強度差が予め設定した閾値よりも大きくならないフィルタ強度を設定することを特徴としている。
また、本発明の画像処理装置のその他の特徴とするところは、前記領域分割手段は、特定色の検出を行う色検出手段を備え、前記色検出手段により特定色を検出した領域を弱フィルタ領域とし、前記特定色を検出しなかった領域を強フィルタ領域とすることを特徴としている。
また、本発明の画像処理装置のその他の特徴とするところは、前記領域分割手段は、入力画像と背景画像とを比較する画像比較手段を備え、入力画像と背景画像の差分の小さい領域を強フィルタ領域、差分の大きい領域を弱フィルタ領域とすることを特徴としている。

本発明の画像処理方法は、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法であって、前記前処理工程は、フレーム内の画像を任意形状で複数の領域に分割する領域分割工程と、前記複数のフレーム間の動きを検出する動き検出工程と、前記動き検出工程の検出結果と、前記領域分割工程の分割結果とから各フレーム間の対応領域を求める対応領域判定工程と、前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択する処理モード選択工程と、前記処理モード選択工程の選択結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、前記フィルタ設定工程により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とを有することを特徴としている。
また、本発明の画像処理方法の他の特徴とするところは、前記フィルタ設定工程は、前記符号化データ生成工程からの符号化情報と、前記領域分割工程からの領域分割情報と、前記対応領域判定工程からのフレーム間対応情報と、前記処理モード選択工程からの処理モード情報とにより、各領域のフィルタ強度を設定することを特徴としている。
また、本発明のその他の特徴とするところは、前記フィルタ設定工程は、前記処理モード選択工程により選択されたフレーム間処理の領域に対し、フレーム間のフィルタの強度差が予め設定した閾値よりも大きくならないようにフィルタ強度を設定することを特徴としている。
また、本発明の画像処理方法のその他の特徴とするところは、前記領域分割工程は、特定色の検出を行う色検出工程を有し、前記色検出工程により特定色を検出した領域を弱フィルタ領域とし、前記特定色を検出しなかった領域を強フィルタ領域とすることを特徴としている。
また、本発明の画像処理方法のその他の特徴とするところは、前記領域分割工程は、入力画像と背景画像とを比較する画像比較工程を有し、前記画像比較工程の画像比較結果に基いて、前記入力画像と前記背景画像との差分の小さい領域を強フィルタ領域とし、差分の大きい領域を弱フィルタ領域とすることを特徴としている。

本発明のコンピュータプログラムは、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、前記前処理工程は、フレーム内の画像を任意形状で複数の領域に分割する領域分割工程と、前記複数のフレーム間の動きを検出する動き検出工程と、前記動き検出工程の検出結果と、前記領域分割工程の分割結果とから各フレーム間の対応領域を求める対応領域判定工程と、前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択する処理モード選択工程と、前記処理モード選択工程の選択結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、前記フィルタ設定工程により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とをコンピュータに実行させることを特徴としている。

本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴としている。

本発明によれば、任意形状の領域ごとにフレーム間でフィルタ特性の変化に制限を持たせるようにしたので、視覚的な連続性を保つことができ、符号化歪の目立たない符号化を実現することができる。

（第１の実施の形態）
以下、図面を参照して、本発明の好適な実施の形態について詳細に説明する。
図１（ａ）は、符号化装置の全体構成を示すブロック図である。入力された画像は、前処理部１０１でプリフィルタなどの処理が行われ、ＤＣＴ部１０２、量子化部１０３及び可変長符号化部１０４よりなる符号化部に送られる。本実施の形態の画像処理装置における符号化はマクロブロック単位で行われ、フレーム内処理を行うイントラモードと、フレーム間処理を行うインターモードに分かれる。

まず、イントラモードでは、ＤＣＴ部１０２で画像ブロックのＤＣＴ変換を行い、量子化部１０３でＤＣＴ係数の量子化を行う。量子化部１０３で量子化された係数は、可変長符号化部１０４で２次元ハフマンコードに変換される。

一方、インターモードでは、量子化部１０３で量子化された係数を逆量子化部１０６で元に戻し、更に逆ＤＣＴ部１０７で、画像データに戻すようにする処理を行う。この画像は、一般に局部復号画像と呼ばれる。この局部復号画像は、現フレームの画像との参照画像としてメモリ部１０８に保存される。

動き検出部１１０では、参照画像を元にして現入力画像の動きを検出し、動き補償部１０９により位置合わせを行う。これにより、インターモードにおけるＤＣＴ部１０２の入力はフレーム間で位置合わせを行ったのちの差分信号となる。量子化部１０３では、差分のＤＣＴ係数を量子化し、可変長符号化部１０４では、差分の量子化係数をハフマンコードに変換する。

このとき、逆量子化部１０６と逆ＤＣＴ部１０７によって復号される画像は差分データなので、動き補償部１０９の出力と合成することで、局部復号画像を生成する。量子化は、バッファ部１０５のバッファ容量を、符号量制御部１１１で監視しながら制御される。

本実施の形態では、前処理部１０１の出力を符号量制御部１１１からの情報を元に制御することを特徴としている。図１（ｂ）を用いて、情報制御の詳細を説明する。
入力画像は、領域分割部１１２、ＩＰＢ選択部１１９及び動き検出部１１６に入力される。

そして、領域分割部１１２によって、フレーム単位の画像をいくつかの領域に分割される。動き検出部１１６では、入力画像データを構成するフレーム間で動きベクトルを求める。前記動き検出部１１６の検出結果は対応領域判定部１１７に与えられる。対応領域判定部１１７では、領域分割部１１２で求めた領域と、動き検出部１１６で検出された動き情報とからフレーム間の対応領域を求める。ＩＰＢ選択部１１９では、入力画像のモード判定を行い、判定したモード情報をフィルタ選択部１１４へ送る。

フィルタ選択部１１４では、符号量制御部１１１から送られる符号化情報と、ＩＰＢ選択部１１９から送られるモード判定の情報と、領域分割部１１２から送られる各領域情報と、対応領域判定部１１７から送られるフレーム間の対応領域情報とを元にして、フィルタ特性を設定する。そして、フィルタ選択部１１４で設定されたフィルタ特性情報は、フィルタ処理部１１５に送られる。フィルタ処理部１１５では、フィルタ選択部１１４で設定されたフィルタを入力画像処理に適応し、処理した結果の画像を符号化処理部へ出力する。

まず、図２及び図４を用いて、領域分割部１１２で行われる処理の流れを説明する。
図４は、色を識別することにより、領域分けを行う処理手順の一例を示すフローチャートである。なお、この例においては、入力はフレーム単位、処理は画素単位としている。
まず、ステップＳ５０１で、画像の入力を行う。

次に、ステップＳ５０２で、入力画素が特定色かどうかの判定を行う。特定色の判定は、対象画素の値がある範囲内にあるか否かで判定するのがもっとも簡便な方法である。ステップＳ５０２の判定の結果、特定色と判定したらステップＳ５０４に進み、この領域はフィルタ強度を弱める領域と指定する。これにより、特定色を含む領域を保護し、他の領域よりも解像度を下げないように調整することが可能となる。

一方、ステップＳ５０２の判定の結果、特定色でないと判定された場合にはステップＳ５０３に進み、強フィルタ領域に指定する。これにより、特定色でない領域に強いフィルタをかけることで画面全体の情報量を下げることができ、相対的に特定色の領域に符号を多く割り当てることが可能となる。

ステップＳ５０４またはステップＳ５０３の処理が終わったらステップＳ５０５に進み、フレーム内の全画素の処理が終了したか判定する。ステップＳ５０５の判定の結果、全画素の処理が終了していない場合にはステップＳ５０２に戻り、前述した処理を繰り返し行う。これにより、全画素の処理が終了したと判定するまで、ステップＳ５０２〜ステップＳ５０５の処理を繰り返し行う。そして、ステップＳ５０５の判定により、全画素終了した時点で、１フレーム分の処理が終わる。

図２（ａ）は、画面イメージを示しており、入力画像３０１に対して、特定色として肌色の領域を検出した結果が、特定色検出画像３０２である。図２（ａ）中において、白い部分が肌色と判定した領域で、黒い部分がそれ以外の領域である。この場合、肌色領域にかけるフィルタの強度を弱くすることで、顔の部分の解像度の低下を防ぐことが可能となる。

次に、図２（ｂ）及び図５のフローチャートを用いて、領域分割部１１２で行う他の処理の流れを説明する。これは、背景差分法と呼ばれるものであり、予め背景画像が得られる時に有効な領域分割手法である。

まず、ステップＳ７０１に進み、背景画像を入力する。次に、ステップＳ７０２に進み、現画像の入力を行う。以下は、画素単位の処理である。ステップＳ７０３においては、背景画像と現画像との画素の差分絶対値を算出する処理を行う。次に、ステップＳ７０４においては、ステップＳ７０３で算出した差分絶対値が閾値以下か否かの判定を行う。この判定の結果、閾値以下の場合は画像が背景とみなせるので、ステップＳ７０６に進み、強フィルタ領域に指定する処理を行う。

一方、ステップＳ７０４の判定の結果、差分絶対値が閾値より大きい場合は、画像がオブジェクト（背景ではない）とみなし、保護すべき領域として、ステップＳ７０５に進み弱フィルタ領域に指定する。

ステップＳ７０６またはステップＳ７０５の処理が終わったらステップＳ７０７に進み、フレーム内の全画素の処理が終了したか判定する。ステップＳ７０７の判定の結果、全画素の処理が終了していない場合にはステップＳ７０３に戻り、前述した処理を繰り返し行う。これにより、全画素の処理が終了したと判定するまで、ステップＳ７０３〜ステップＳ７０７の処理を繰り返し行う。そして、ステップＳ７０７の判定により、全画素終了した時点で、１フレーム分の処理が終わる。

図２（ｂ）は、画面イメージを示しており、入力画像３０５に対し、背景画像３０６との差分を求める。そして、差分の大きい領域をオブジェクトとして検出した結果がオブジェクト検出画像３０７である。図２（ｂ）中の白い部分がオブジェクトと判定した領域で、黒い部分が背景と判定した領域である。オブジェクト領域にかけるフィルタを弱くすることで、人物の解像度の低下を防ぐことが可能となる。

次に、図６のフローチャートを用いて、フレーム内で分割されている領域をフレーム間で対応付けする処理手順を説明する。
まず、ステップＳ１２０１に進み、前画像を入力し、その後ステップＳ１２０２に進み、現画像を入力する。次に、ステップＳ１２０３において、現画像が前画像からどれだけ移動しているかを示す、動きベクトルを算出する。次に、ステップＳ１２０４に進み、ステップＳ１２０３で算出した動きベクトルを当てはめて、対応する領域の位置合わせを行う。

次に、ステップＳ１２０５において、対応領域の一致度を判定する。この判定の結果、一致度が低い場合は、対応領域がないとして、ステップＳ１２０６に進み、この領域を強フィルタ領域に指定する。

一方、ステップＳ１２０５の判定の結果、一致度が高い場合は、対応領域があるとして、ステップＳ１２０７に進み、この領域が背景領域か否か判定する。この判定の結果、背景領域の場合は、領域保護の優先度を下げてもよいと考えられるのでステップＳ１２０６に進み、先ほどと同様にこの領域を強フィルタ領域に指定する。一方、ステップＳ１２０７の判定の結果、背景領域でない場合は、保護すべき領域と考えられるので、ステップＳ１２０８に進み、この領域を弱フィルタ領域とする。

ステップＳ１２０６またはステップＳ１２０８の処理が終わったらステップＳ１２０９に進み、フレーム内の全画素の処理が終了したか判定する。ステップＳ１２０９の判定の結果、全画素の処理が終了していない場合にはステップＳ１２０３に戻り、前述した処理を繰り返し行う。これにより、全画素の処理が終了したと判定するまで、ステップＳ１２０３〜ステップＳ１２０９の処理を繰り返し行う。そして、ステップＳ１２０９の判定により、全画素終了した時点で、１フレーム分の処理が終わる。

なお、この例では、強フィルタ領域と弱フィルタ領域の２種類に分類したが、より多くの種類に分類することも可能である。たとえば、対応領域のない部分を強フィルタ、背景領域を中フィルタ、対応するオブジェクト領域を弱フィルタ、などとすることも可能である。また、対応する領域内を更に特定色検出等により分類し、精度を上げることも可能である。

次に、図７を用いて、フィルタの強度設定の処理を説明する。
まず、ステップＳ１７０１に進み、フィルタを強化する必要があるか否かを判定する。この判定の結果、必要と判定したら、ステップＳ１７０２に進む。

ステップＳ１７０２で、まず現フレームがイントラフレームか否かの判定を行う。この判定の結果、イントラフレームの場合は、ステップＳ１７１１に進み、強フィルタ領域のフィルタ強度をアップする。

次に、ステップＳ１７１２に進み、フィルタ強度がこれで十分かどうか判定する。この判定の結果、これ以上フィルタを強化する必要がなければ、処理はここで終了する。ステップＳ１７１２の判定の結果、フィルタ強化が更に必要な場合は、ステップＳ１７１３に進み、強フィルタと弱フィルタの強度差ｈを算出する。

次に、ステップＳ１７１４に進み、強度差ｈが閾値以上か判定する。この判定の結果、強度差ｈが閾値以上でないと判定したら、再度ステップＳ１７１１に戻り、前述し強フィルタ領域のフィルタ強度をアップする処理を行う。その結果、強フィルタ領域のフィルタ強度が大きくなる。

ステップＳ１７１４の判定の結果、弱フィルタ領域のフィルタ強度との差が閾値を超えた場合は、ステップＳ１７１５に進み、強フィルタ強度をアップする処理を行う。次に、ステップＳ１７１６に進み、弱フィルタ領域の強度をアップする処理を行う。以降、ステップＳ１７１７に進みフィルタ強化が不要と判定するまで、ステップＳ１７１５〜ステップＳ１７１７の処理を繰り返し行う。

一方、ステップＳ１７０２の判定の結果、イントラフレームでない場合はステップＳ１７０３に進む。ステップＳ１７０３では、強フィルタ領域のフィルタ強度をアップする処理を行う。次に、ステップＳ１７０４に進み、これでフィルタ強度が十分かどうか判定する。

ステップＳ１７０４の判定の結果、これ以上フィルタを強化する必要がなければ、処理はここで終了する。また、フィルタ強化が更に必要であると判定した場合は、ステップＳ１７０５に進み、前フレームの対応する強フィルタ領域のフィルタ強度と現フレームのフィルタ強度差ｈを算出する処理を行う。

次に、ステップＳ１７０６に進み、強度差ｈが閾値以上か判定する。この判定の結果、強度差ｈが閾値以上でない場合にはステップＳ１７０３に戻り、強フィルタ領域のフィルタ強度をアップする。このときの閾値を小さい値に設定しておくと、強フィルタ領域におけるフレーム間のフィルタ強度の変化を抑えることができる。強フィルタ領域のフィルタ強度が大きくなり、ステップＳ１７０６の判定の結果、前フレームの強フィルタ領域のフィルタ強度との差が閾値を超えた場合は、ステップＳ１７０７に進む。

ステップＳ１７０７においては、弱フィルタの強度をアップする処理を行う。次に、ステップＳ１７０８に進み、フィルタ強化が必要か判定する。この判定の結果、フィルタ強化が必要でないと判定したら処理を終了する。また、フィルタ強化が必要と判定したら、ステップＳ１７０９に進み、前フレームの対応する弱フィルタ領域のフィルタ強度と現フレームのフィルタ強度差ｈを算出する。

次に、ステップＳ１７１０において、強度差ｈが閾値以上か判定する。この判定の結果、強度差ｈが閾値以上でないと判定したら、ステップＳ１７０７に戻り、弱フィルタ領域のフィルタ強度を再度アップする。このときの閾値を小さい値に設定しておくと、弱フィルタ領域におけるフレーム間のフィルタ強度の変化を抑えることができる。

そして、弱フィルタ領域のフィルタ強度が大きくなり、ステップＳ１７１０の判定の結果、前フレームの弱フィルタ領域のフィルタ強度との差が閾値を超えた場合は、このフレームにおけるフィルタ強化はここまでとし、処理を終了する。

本説明では、イントラ／インターの処理がフレーム単位で行われることを前提として説明したが、スライスのようなより小さな単位であってもよい。また、中フィルタ領域を設けた場合は、この領域に対してステップＳ１７０７〜ステップＳ１７１０における説明と同様の処理を行えばよい。

図８（ａ）は、この２つのフィルタ強度を段階的に強める方法をグラフ化した特性図である。図８（ａ）において、横軸は目標値との差を示しており、右に行くほど強いフィルタを必要とする。また、縦軸はフィルタの強度を示しており、上に行くほど強いフィルタとなる。

図８（ａ）中の符号ａで示した第１の区間では、画像データ削減のためのフィルタは必要ない。場合によっては、画面全域にノイズ除去用の弱いフィルタをかけてもよい。一方、符号ｂで示した第２の区間では、強フィルタ領域のフィルタ強度をアップしている。この第２の区間ｂでは、まだフィルタの強度差ｈが小さいため、弱フィルタ領域のフィルタ強度をアップする必要はない。

強フィルタと弱フィルタの強度差ｈが閾値超えたら、弱フィルタの強度をアップする。以後の区間では、強フィルタ領域と弱フィルタ領域のフィルタ強度をアップしていく。このとき、フィルタの強度差ｈは一定となる。

上記の説明では、強度差ｈが閾値を超えた場合に、各フィルタ強度差ｈは一定として説明した。しかし、強フィルタと弱フィルタとを更に細かく制御する処理として、２つの例を図９、図１０を用いて説明する。

（第１のフィルタ制御例）
図９は、弱フィルタ領域のフィルタ強度からアップしていくもので、図８（ｂ）に示すように、強フィルタとの強度差ｈが大きくならない特徴がある。
まず、ステップＳ１９０１に進み、フィルタ強化が必要か否かを判定する。この判定の結果、フィルタ強化が必要でないと判定したら処理を終了する。また、フィルタ強化が必要と判定したらステップＳ１９０２に進み、弱フィルタの強度をアップする処理を行う。

次に、ステップＳ１９０３に進み、フィルタ強化が更に必要か判定する。この判定の結果、必要ない場合は処理を終了するが、フィルタ強化が必要と判定すると、ステップＳ１９０４に進み、弱フィルタと強フィルタの強度差ｈを算出する。

次に、ステップＳ１９０５に進み、強度差ｈが閾値以下か判定する。この判定の結果、強度差ｈが閾値以下でなければ、ステップＳ１９０２に戻り、弱フィルタの強度を更にアップする。このときの強度差ｈの閾値は、弱フィルタの強度が強フィルタの強度にどこまで近づいたときに強フィルタの強度アップを開始するかによって決定する。図８（ｂ）の第１の区間ａは、ここまでの処理を示している。

強度差ｈが閾値以下になったら、ステップＳ１９０６に進み、強フィルタ領域のフィルタ強度をアップする。次に、ステップＳ１９０７に進み、フィルタ強化が更に必要か判定する。この判定の結果、フィルタ強化が更に必要でないと判定したら処理を終了する。また、フィルタ強化が更に必要であると判定したらステップＳ１９０８に進み、強フィルタと弱フィルタの強度差ｈを算出し、その後、ステップＳ１９０９に進み、強度差ｈが閾値以上か判定する。

この判定の結果、強度差ｈが閾値以上でなければ、ステップＳ１９０６に戻り、前述した処理を繰り返し行い、強フィルタの強度を更にアップする。このときの強度差ｈの閾値は、強フィルタの強度が弱フィルタの強度からどこまで離れたときに弱フィルタの強度アップを開始するかにより決定する。

図８（ｂ）の第２の区間ｂは、ここまでの処理を示しており、このときの強度差がｈである。この強度差ｈが閾値以上になったら、ステップＳ１９０２に戻り、フィルタ強化が不要となるまで、先ほど説明した処理を繰り返し行う。

（第２のフィルタ制御例）
次に、第２のフィルタ制御例の詳細を、図１０と図８（ｃ）を用いて説明する。
図１０は、強フィルタ領域のフィルタ強度からアップしていくもので、図８（ｃ）に示すように、隣接するフィルタの強度差ｈが一定値より小さくならない特徴がある。まず、ステップＳ２００１において、フィルタ強化が必要か否か判定する。

この判定の結果、フィルタ強化が必要でないと判定したら処理を終了する。また、フィルタ強化が必要と判定したら、ステップＳ２００２に進み、強フィルタ領域のフィルタの強度をアップする。次に、ステップＳ２００３に進み、フィルタ強化が更に必要か判定する。この判定の結果、必要でなければ処理を終了する。また、フィルタ強化が更に必要と判定すると、ステップＳ２００４に進み、強フィルタと弱フィルタの強度差ｈを算出する。

その後、ステップＳ２００５において、強度差ｈが閾値以上か判定する。この判定の結果、強度差ｈが閾値以上でなければ、ステップＳ２００２に戻り、強フィルタの強度を更にアップする。

このときの強度差ｈの閾値は、強フィルタの強度が弱フィルタの強度からどれだけ離れたときに弱フィルタの強度アップを開始するかにより決定する。図８（ｃ）の第１の区間ａは、ここまでの処理を示しており、このときの強度差がｈである。ステップＳ２００５の判定の結果、この強度差ｈが閾値以上になったら、ステップＳ２００６に進み、弱フィルタ領域のフィルタ強度をアップする処理を行う。

次に、ステップＳ２００７に進み、フィルタ強化が更に必要であるか判定する。この判定の結果、必要でない場合には処理を終了する。しかし、フィルタ強化が更に必要と判定すると、ステップＳ２００８に進み、弱フィルタと強フィルタの強度差ｈを算出する。次に、ステップＳ２００９に進み、強度差ｈが閾値以下であるか判定する。この判定の結果、強度差ｈが閾値以下でなければ、ステップＳ２００６に戻り、弱フィルタの強度を更にアップする。

このときの強度差ｈの閾値は、弱フィルタの強度が強フィルタの強度にどれだけ近づいたときに強フィルタの強度アップを開始するかで決定する。図８（ｃ）のｂ区間は、ここまでの処理を示しており、このときの強度差がｉである。

一方、ステップＳ２００９の判定の結果、強度差が閾値以下になったら、ステップＳ２００２に戻り、フィルタ強化が不要となるまで、前述した処理を繰り返し行う。

図３は、画面イメージを示している。図３において、４０１〜４０９は、連続したシーケンスであり、４０１、４０４、４０７は、イントラフレーム（Ｉ）である。イントラフレーム４０１で決定したフィルタ強度は、以降のインターフレーム４０２、４０３にも繁栄されるため、この３フレームのフィルタ強度はほぼ一定に保たれる。

同様に、イントラフレーム４０４で決定したフィルタ強度は、以降のインターフレーム４０５、４０６に反映され、イントラフレーム４０７で決定したフィルタ強度は、以降のインターフレーム４０８、４０９に反映される。

これらの関係を示したのが、フレーム４１１〜４１９であり、３フレームの間でフィルタ強度が安定している様子を示している。また、フレーム内の分割されている領域では、領域ごとのフィルタ強度がほぼ一定に保たれる。４２１は、４１１から４１３の３フレーム間の共通フィルタ領域を示している。同様に、４２２は、４１４から４１６の３フレーム間の共通フィルタ領域を示し、４２３は、４１７から４１９の３フレーム間の共通フィルタ領域を示している。

上述したように、本実施の形態に係る画像処理装置によれば、任意形状の領域ごとにフレーム間でフィルタ特性の変化に制限を持たせることで、視覚的な連続性を保ち、符号化歪の目立たない符号化システムを実現することができる。

（本発明に係る他の実施の形態）
上述した本発明の実施の形態を示し、画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図４、図５、図６、図７、図９及び図１０に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の実施の形態を示し、画像処理装置の構成を示すブロック図である。 本発明の実施の形態を示し、画像データと領域分割結果について説明するための図である。 本発明の実施の形態を示し、画面イメージとフィルタ強度の関係ついて説明するための図である。 本発明の実施の形態を示し、画素単位の特定色検出による領域検出方法を説明するためのフローチャートである。 本発明の実施の形態を示し、画素単位の背景差分法による領域検出方法を説明するためのフローチャートである。 本発明の実施の形態を示し、対応領域設定を説明するためのフローチャートである。 本発明の実施の形態を示し、フィルタ選択を説明するためのフローチャートである。 本発明の実施の形態を示し、詳細なフィルタ強度の設定を説明するための特性図である。 本発明の実施の形態を示し、詳細なフィルタ選択を説明するための第１のフィルタ制御例を説明するフローチャートである。 本発明の実施の形態を示し、詳細なフィルタ選択を説明するための第２のフィルタ制御例を説明するフローチャートである。

符号の説明

１０１ 前処理部
１０２ ＤＣＴ部
１０３ 量子化部
１０４ 可変長符号化部
１０５ バッファ部
１０６ 逆量子化部
１０７ 逆ＤＣＴ部
１０８ メモリ部
１０９ 動き補償部
１１０ 動き検出部
１１１ 符号量制御部
１１２ 領域分割部
１１４ フィルタ選択部
１１５ フィルタ処理部
１１６ 動き検出部
１１７ 対応領域判定部
１１９ ＩＰＢ選択部

Claims (12)

1. 複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段とを有する画像処理装置であって、
   前記前処理手段は、フレーム内の画像を任意形状で複数の領域に分割する領域分割手段と、
   前記複数のフレーム間の動きを検出する動き検出手段と、
   前記動き検出手段の検出結果と、前記領域分割手段の分割結果とから各フレーム間の対応領域を求める対応領域判定手段と、
   前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択する処理モード選択手段と、
   前記処理モード選択手段の選択結果に基いて適応的にフィルタ強度を設定するフィルタ設定手段と、
   前記フィルタ設定手段により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理手段とを備えることを特徴とする画像処理装置。
2. 前記フィルタ設定手段は、前記符号化データ生成手段からの符号化情報と、前記領域分割手段からの領域分割情報と、前記対応領域判定手段からのフレーム間対応情報と、前記処理モード選択手段からの情報とにより、各領域のフィルタ強度を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ設定手段は、前記処理モード選択手段により選択されたフレーム間処理の領域に対し、フレーム間のフィルタの強度差が予め設定した閾値よりも大きくならないフィルタ強度を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記領域分割手段は、特定色の検出を行う色検出手段を備え、
   前記色検出手段により特定色を検出した領域を弱フィルタ領域とし、前記特定色を検出しなかった領域を強フィルタ領域とすることを特徴とする請求項１に記載の画像処理装置。
5. 前記領域分割手段は、入力画像と背景画像とを比較する画像比較手段を備え、入力画像と背景画像の差分の小さい領域を強フィルタ領域、差分の大きい領域を弱フィルタ領域とすることを特徴とする請求項１に記載の画像処理装置。
6. 複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法であって、
   前記前処理工程は、フレーム内の画像を任意形状で複数の領域に分割する領域分割工程と、
   前記複数のフレーム間の動きを検出する動き検出工程と、
   前記動き検出工程の検出結果と、前記領域分割工程の分割結果とから各フレーム間の対応領域を求める対応領域判定工程と、
   前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択する処理モード選択工程と、
   前記処理モード選択工程の選択結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、
   前記フィルタ設定工程により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とを有することを特徴とする画像処理方法。
7. 前記フィルタ設定工程は、前記符号化データ生成工程からの符号化情報と、前記領域分割工程からの領域分割情報と、前記対応領域判定工程からのフレーム間対応情報と、前記処理モード選択工程からの処理モード情報とにより、各領域のフィルタ強度を設定することを特徴とする請求項６に記載の画像処理方法。
8. 前記フィルタ設定工程は、前記処理モード選択工程により選択されたフレーム間処理の領域に対し、フレーム間のフィルタの強度差が予め設定した閾値よりも大きくならないようにフィルタ強度を設定することを特徴とする請求項７に記載の画像処理方法。
9. 前記領域分割工程は、特定色の検出を行う色検出工程を有し、
   前記色検出工程により特定色を検出した領域を弱フィルタ領域とし、前記特定色を検出しなかった領域を強フィルタ領域とすることを特徴とする請求項６に記載の画像処理方法。
10. 前記領域分割工程は、入力画像と背景画像とを比較する画像比較工程を有し、
    前記画像比較工程の画像比較結果に基いて、前記入力画像と前記背景画像との差分の小さい領域を強フィルタ領域とし、差分の大きい領域を弱フィルタ領域とすることを特徴とする請求項６に記載の画像処理方法。
11. 複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、
    前記前処理工程は、フレーム内の画像を任意形状で複数の領域に分割する領域分割工程と、
    前記複数のフレーム間の動きを検出する動き検出工程と、
    前記動き検出工程の検出結果と、前記領域分割工程の分割結果とから各フレーム間の対応領域を求める対応領域判定工程と、
    前記動画像の符号化処理をフレーム内もしくはフレーム間の何れで行うかを選択する処理モード選択工程と、
    前記処理モード選択工程の選択結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、
    前記フィルタ設定工程により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
12. 前記請求項１１に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images