JP2010252259A - 画像処理装置、画像処理方法及び記録媒体 - Google Patents

Abstract

【課題】本発明は、画像に与える影響を極力抑制しつつ、差分絶対値和の演算量を低減することができる。
【解決手段】本発明の動きベクトル検出部１は、処理対象の原画像ＰＯと参照対象となる参照画像ＰＲとから、処理対象となるカレントＭＢに対する第１の動きベクトルとしての動きベクトルＭＶ１を検出する。このとき、動きベクトル検出部１は、当該動きベクトルＭＶ１の誤検出が画像に与える影響度を表す影響パラメータを生成する。動きベクトル検出部１は、影響パラメータに応じて原画縮小回路４及び参照画縮小回路５によって生成された縮小原画ＳＯ１及びＳＯ２、並びに縮小参照画ＳＲ１及びＳＲ２から、動きベクトルＭＶ１の探索処理に使用する縮小原画ＳＯ及び縮小参照画ＳＲを選択するようにする。
【選択図】図２

Description

本発明は画像処理装置、画像処理方法及び記録媒体に関し、例えばＭＰＥＧ（Moving Picture Experts Group）やＡＶＣ（Advanced Video Coding）などの画像圧縮技術に適用して好適なものである。

従来、画像圧縮技術を用いて動画像データを符号化する画像処理装置として、フレーム画像間の動きベクトルを検出するものがある。この動きベクトルの検出方法としては、原画像の対象ブロックと、参照画像の参照ブロックとの差分絶対値和ＳＡＤ（Sum of Absolute Difference）が最小となるブロック位置を特定するブロックマッチング法などが広く知られている。

画像処理装置の中には、フレーム画像を縮小した縮小画像を用いて検出された動きベクトルに基づきサーチ範囲を限定し、縮小前のオリジナル画像及び当該オリジナル画像の画素を補間した補間画像を用い、限定されたサーチ範囲において動きベクトルを高精度で検出するものがある。この画像処理装置は、縮小画像を用いること及びサーチ範囲を限定することにより差分絶対値和ＳＡＤの演算量を低減することができる（例えば、特許文献１参照）。

特開２００４−１８６８９７公報

ところでかかる構成の画像処理装置では、縮小画像のサイズを小さくする（縮小率を大きくする）ことにより、差分絶対値和ＳＡＤの演算量をさらに低減することができると考えられる。しかしながら、画像処理装置は、縮小画像のサイズを小さくすると、動きベクトルの検出の精度を低下させてしまい、これに伴って画質を低下させてしまうなど、画像に影響を与えてしまうという問題があった。

本発明は以上の点を考慮してなされたもので、画像に与える影響を極力抑制しつつ、差分絶対値和の演算量を低減することができる画像処理装置、画像処理方法及び画像処理プログラムが記録された記録媒体を提案しようとするものである。

かかる課題を解決するため本発明の画像処理装置においては、処理対象の原画像と参照対象となる参照画像とから、処理対象となるカレントブロックに対する第１の動きベクトルを検出する際、当該第１の動きベクトルの誤検出が画像に与える影響度を表す影響パラメータを生成する影響パラメータ生成部と、影響パラメータ生成部によって生成された影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう原画像及び参照画像を縮小して縮小原画及び縮小参照画を生成する縮小画生成部と、縮小画生成部によって生成された縮小原画及び縮小参照画を用いてカレントブロックに対する第１の動きベクトルを検出する第１の動きベクトル検出部とを設けるようにした。

これにより、画像処理装置は、第１の動きベクトルの検出精度の低下による画像への影響が小さい場合のみ縮小原画及び縮小参照画の縮小率を大きくすることができる。

また、本発明の画像処理方法は、処理対象の原画像と参照対象となる参照画像とから、処理対象となるカレントブロックに対する第１の動きベクトルを検出する際、当該第１の動きベクトルの誤検出が画像に与える影響度を表す影響パラメータを生成する影響パラメータ生成ステップと、影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう原画像及び参照画像を縮小して縮小原画及び縮小参照画を生成する縮小画生成ステップと、縮小画生成ステップにおいて生成された縮小原画及び縮小参照画を用いてカレントブロックに対する第１の動きベクトルを検出する第１の動きベクトル検出ステップとを設けるようにした。

これにより、画像処理方法は、第１の動きベクトルの検出精度の低下による画像への影響が小さい場合のみ縮小原画及び縮小参照画の縮小率を大きくすることができる。

さらに、本発明の記録媒体に記録された画像処理プログラムは、コンピュータに対して、処理対象の原画像と参照対象となる参照画像とから、処理対象となるカレントブロックに対する第１の動きベクトルを検出する際、当該第１の動きベクトルの誤検出が画像に与える影響度を表す影響パラメータを生成する影響パラメータ生成ステップと、影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう原画像及び参照画像を縮小して縮小原画及び縮小参照画を生成する縮小画生成ステップと、縮小画生成ステップにおいて生成された縮小原画及び縮小参照画を用いてカレントブロックに対する第１の動きベクトルを検出する第１の動きベクトル検出ステップとを実行させるようにした。

これにより、画像処理プログラムは、第１の動きベクトルの検出精度の低下による画像への影響が小さい場合のみ縮小原画及び縮小参照画の縮小率を大きくすることができる。

本発明によれば、第１の動きベクトルの検出精度の低下による画像への影響が小さい場合のみ縮小原画及び縮小参照画の縮小率を大きくすることができる。かくして本発明は、画像に与える影響を極力抑制しつつ、差分絶対値和の演算量を低減することができる画像処理装置、画像処理方法及び画像処理プログラムが記録された記録媒体を実現できる。

エンコーダの構成を示す略線図である。 動きベクトル検出部の構成を示す略線図である。 近傍ブロックを示す略線図である。 動きベクトル検出処理手順を示すフローチャートである。 影響判別処理手順を示すフローチャートである。

以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．実施の形態（縮小率を変化させた動きベクトルの検出）
２．他の実施の形態

＜１．実施の形態＞
[１−１．エンコーダの構成]
図１に示す２０は、全体としてエンコーダを示している。エンコーダ２０は、ＡＶＣ（Advanced Video Coding）方式に従って動画像データを符号化するようになされている。

エンコーダ２０は、動画像データでなる入力画像データが供給されると、当該入力画像データを画面内符号化部１１に供給する。画面内符号化部１１は、入力画像データをインター符号化モード（Ｂ又はＰピクチャモード）で符号化する際、当該入力画像データをイントラ符号化し、その発生符号量を表すイントラ評価値ＩＴを生成し、動きベクトル検出部１に供給する。イントラ評価値ＩＴとしては、ＳＡＤ（Sum of Absolute Difference）又はＳＡＴＤ（Sum of Absolute Transformed Difference）が用いられる。

画像処理装置としての動きベクトル検出部１には、画面内符号化部１１から供給される処理対象となる原画像ＰＯと、ＩＤＣＴ部１７から供給され、参照対象となる参照画像ＰＲとが供給される。動きベクトル検出部１は、例えばブロックマッチング法により、参照画像ＰＲに対する原画像ＰＯの動きベクトルＭＶ３を検出し、これを動き補償部１２に供給する。

動き補償部１２は、参照画像ＰＲ及び動きベクトルＭＶ３を用いて予測画像を生成し、当該予測画像と原画像ＰＯとの差分画像を生成すると、当該差分画像及び動きベクトルＭＶ３をＤＣＴ部１３へ供給する。

ＤＣＴ部１３は、差分画像に対してＤＣＴ処理を実行し、ＤＣＴ係数を生成する。ＤＣＴ部１３は、ＤＣＴ係数を動きベクトルＭＶ３と共に量子化部１４へ供給する。量子化部１４は、入力画像データの符号量に応じて選択された量子化パラメータＱＰを用いてＤＣＴ係数を量子化し、生成された量子化係数を動きベクトルＭＶ３と共にエントロピー符号化部１５に供給する。また、量子化部１４は、量子化係数を逆量子化部１６に供給する。

エントロピー符号化部１５は、量子化係数及び動きベクトルＭＶ３をエントロピー符号化し、ビットストリームとして外部機器に出力する。

逆量子化部１６は、量子化係数を逆量子化してＤＣＴ係数を再生し、ＩＤＣＴ部１７に供給する。ＩＤＣＴ部１７は、ＤＣＴ係数をＩＤＣＴ処理することにより、差分画像を再生してなるローカルデコード画像を生成し、動き補償部１２に供給する。

動き補償部１２は、ローカルデコード画像及び予測画像を加算することにより、参照画像ＰＲを生成し、動きベクトル検出部１に供給するようになされている。

図２に示すように、動きベクトル検出部１は、動きベクトルＭＶ１〜３を探索する探索処理を３回に渡って実行することにより、階層的に動きベクトル検出処理を実行するようになされている。動きベクトル検出部１は、コントローラ２が３段の動きベクトル探索部６〜８（縮小動きベクトル探索部６、整数精度動きベクトル探索部７及び分数精度動きベクトル探索部８）を制御し、動きベクトル検出処理を実行する。

すなわち、バッファ３は、画面内符号化部１１から順次供給される入力画像データ（原画像ＰＯ）及び動き補償部１２から順次供給されるローカルデコード画像を一時記憶する。バッファ３は、入力画像データから選択された処理対象となる原画像ＰＯを原画縮小回路４へ供給する。バッファ３は、ローカルデコード画像から選択された参照対象となる参照縮小画像ＰＲを参照画縮小回路５へ供給する。

原画縮小回路４は、原画像ＰＯの画素を間引くことにより、縮小原画ＳＯ（ＳＯ１及びＳＯ２）を生成し、縮小動きベクトル探索部６に供給する。参照画縮小回路５は、縮小参照画ＳＰ（ＳＰ１及びＳＰ２）を生成し、縮小動きベクトル探索部６に供給する。

縮小動きベクトル探索部６は、縮小原画ＳＯに対して比較的大きなサーチ範囲を設定し、処理対象となるカレントマクロブロック（以下、カレントＭＢと略す）の縮小参照画ＰＲからの動きを表す動きベクトルＭＶ１を探索する探索処理を実行する。縮小動きベクトル探索部６は、動きベクトルＭＶ１を整数精度動きベクトル探索部７に供給する。

このとき、縮小動きベクトル探索部６は、縮小画像を用いることにより、カレントＭＢにおける画素数を減少させることができる。このため、縮小動きベクトル探索部６は、原画像ＰＯに同一のサーチ範囲を設定した場合と比較して、カレントＭＢ及びサーチ範囲内のマクロブロックの差分絶対値和ＳＡＤの演算回数を減少させることができる。

整数精度動きベクトル探索部７は、縮小動きベクトル探索部６によって検出された動きベクトルＭＶ１を中心に、参照画像ＰＲに対して比較的小さなサーチ範囲を設定し、整数精度による動きベクトルＭＶ２を探索する探索処理を実行する。整数精度動きベクトル探索部７は、動きベクトルＭＶ２を分数精度動きベクトル探索部８に供給する。

このとき、整数精度動きベクトル探索部７は、動きベクトルＭＶ２が動きベクトルＭＶ１の近傍であると予測することができるため、サーチ範囲を小さく限定することができる。このため、整数精度動きベクトル探索部７は、カレントＭＢ及びサーチ範囲内のマクロブロックの差分絶対値和ＳＡＤの演算回数を減少させることができる。

分数精度動きベクトル探索部８は、参照画像ＰＲにおける動きベクトルＭＶ２が示す画素の周囲に画素を補間することにより、補間画像を生成する。分数精度動きベクトル探索部８は、補間画素単位で差分絶対値和ＳＡＤを算出することにより、分数精度でなる動きベクトルＭＶ３を探索する探索処理を実行し、動きベクトルＭＶ３を図示しない外部機器に供給するようになされている。

ところで、上述したように、動きベクトル検出部１は、縮小動きベクトル探索部６によって使用される縮小原画ＳＯ及び縮小参照画ＳＰの縮小率を上昇させることにより、差分絶対値和ＳＡＤの演算回数をさらに減少させることができると考えられる。しかしながら、仮に動きベクトル検出部１は、縮小原画ＳＯ及び縮小参照画ＳＰの縮小率を上昇させると、カレントＭＢの画素数が小さくなるため、動きベクトルＭＶ１の信頼性を低下させてしまう。

動きベクトル検出部１は、動きベクトルＭＶ１が誤検出された場合、正しい動きベクトルの存在する位置から整数精度動きベクトル探索部７のサーチ範囲が外れてしまうため、結果として誤った動きベクトルＭＶ３を検出してしまうことになる。エンコーダ２０は、誤った動きベクトルＭＶ３を検出すると、適切な予測画像を生成することができず、差分画像における符号量を増大させる場合がある。エンコーダ２０は、動きベクトルＭＶ３の誤検出を繰り返すと、差分画像の符号量の増大に伴って量子化パラメータＱＰを大きく設定しなければならず、結果として画質の劣化を引き起こす。

この画質の劣化は、画像に応じて視覚的に目立ち易かったり、目立ちにくかったりする。また、エンコーダ２０は、誤った動きベクトルＭＶ１を検出した場合でも、画像によっては差分画像における符号量をほとんど増大させない場合がある。

言い換えると、エンコーダ２０は、誤った動きベクトルＭＶ１を検出した場合において、画像によって当該画像に与える影響を相違させることになる。

そこで、動きベクトル検出部１は、動きベクトルＭＶ１の誤検出が画像に与える影響度を表す影響パラメータに応じて、縮小原画ＳＯ及び縮小参照画ＳＰの縮小率を変化させるようになされている。

[１−２．影響パラメータに応じた縮小率の変化]
動きベクトル検出部１は、画面内符号化部１１から供給される入力画像データをバッファ３だけでなく、画質情報生成部１０にも供給する。

画質情報生成部１０は、入力画像データを分析し、輝度分散値ＹＤと、輝度平均値と、顔領域情報ＦＡとを生成し、コントローラ２に供給する。画質情報生成部１０は、カレントＭＢの輝度値の分散度合いを輝度分散値ＹＤとして算出する。画質情報生成部１０は、カレントＭＢの輝度値の平均値を輝度平均値ＹＡとして算出する。画質情報生成部１０は、例えば肌色か否か、目及び口との組み合わせなどにより入力画像データにおける顔領域を検出し、カレントＭＢが顔領域内に位置するか否かを表す顔領域情報ＦＡを生成する。

予測ベクトル生成部９には、分数精度動きベクトル探索部８によって検出された動きベクトルＭＶ３が供給される。一般的に、近接するブロックにおいて、動きベクトルＭＶ３は類似する傾向にある。予測ベクトル生成部９は、図３に示すように、カレントＭＢの左隣、上隣及び右上の近傍ブロック（マクロブロック又はサブブロック、図中に斜線で示す）において検出された動きベクトルＭＶ３の中央値を予測ベクトルＰＶとして生成し、コントローラ２に供給する。この予測ベクトルＰＶは、動きベクトルＭＶ３を予測するものとなる。

コントローラ２は、インター符号化モードにおいて、まず、カレントＭＢをイントラ符号化するか、インター符号化するかを決定する。一般的なエンコーダは、イントラ符号化による発生符号量とインター符号化による発生符号量とを比較することにより、カレントＭＢをイントラ符号化するか、インター符号化するかを決定する。

本発明のコントローラ２は、インター符号化の発生符号量を考慮せず、イントラ符号化の発生符号量が小さくなる場合に、一律的にイントラ符号化を実行する。これにより、コントローラ２は、カレントＭＢをイントラ符号化するか、インター符号化するかを決定する処理を簡易化することができる。

コントローラ２は、画面内符号化部１１から供給されるイントラＭＢ評価値ＩＴがイントラ閾値Ｔｈｉ未満である場合、カレントＭＢをイントラ符号化するべきであると判別する。

このとき、コントローラ２は、インター符号化モードにおいてイントラＭＢの数が増大すると符号量が増大するため、画面内のある一定領域（例えば所定数のマクロブロック）においてイントラＭＢの数を制限するようになされている。コントローラ２は、これまでにイントラＭＢにすべきと判別されたイントラＭＢ数をカウントし、当該イントラＭＢ数が制限数Ｔｈｎ未満である場合、イントラ符号化することを選択し、カレントＭＢに対して動き予測を実行しない。

コントローラ２は、イントラＭＢ数が制限数Ｔｈｎより大きい場合、一定領域において許容されるイントラＭＢ数を超えているため、カレントＭＢをインター符号化することを決定する。なおコントローラ２は、当該一定領域ごとにイントラＭＢ数をリセットする。

これに対して、コントローラ２は、イントラＭＢ評価値ＩＴがイントラ閾値Ｔｈｉ以上である場合には、イントラ符号化によって発生するカレントＭＢの発生符号量が大きくなるため、カレントＭＢをインター符号化するべきであることを決定する。

コントローラ２は、カレントＭＢをインター符号化すべきであると決定すると、予測ベクトルＰＶに基づいて、動きベクトル探索部６〜８による動きベクトル検出処理の省略の可否について判別する。

コントローラ２は、予測ベクトルＰＶが第１の予測閾値Ｔｈｐ１未満である場合、予測ベクトルＰＶがほぼ「０」であることから、カレントＭＢの動きベクトルＭＶ３が「０」であると判別する。コントローラ２は、動きベクトル探索部６〜８による動きベクトル検出処理を実行せず、分数精度動きベクトル探索部８から動きベクトルＭＶ３として「０」を出力させる。

コントローラ２は、予測ベクトルＰＶが第１の予測閾値Ｔｈｐ１以上である場合、動きベクトル検出処理を実行する。

コントローラ２は、予測ベクトルＰＶが第１の予測閾値Ｔｈｐ１よりも大きい値でなる第２の予測閾値Ｔｈｐ２未満である場合、整数精度動きベクトル探索部７における小さいサーチ範囲であっても、十分に動きベクトルＭＶ２が探索可能であると判別する。コントローラ２は、縮小動きベクトル探索部６による動きベクトルＭＶ１の探索処理を省略し、整数精度動きベクトル探索部７及び分数精度動きベクトル探索部８によって動きベクトルＭＶ２及びＭＶ３について２段の探索処理を実行する。

コントローラ２は、予測ベクトルＰＶが第２の予測閾値Ｔｈｐ２以上である場合、動きベクトル探索部６〜８によって動きベクトルＭＶ１〜ＭＶ３について３段の探索処理を実行する。このとき、コントローラ２は、動きベクトルＭＶ１の誤検出が画像に与える影響度を表す影響パラメータに応じて、縮小動きベクトル探索部６を制御し、当該縮小動きベクトル探索部６が使用する縮小原画ＳＯ及び縮小参照画ＳＰの縮小率を変化させるようになされている。

コントローラ２は、影響パラメータとして、第１〜第５の影響要素に着目する。

コントローラ２は、第１の影響要素として、ユーザの顔領域に対する注目度が高く、画質の劣化が視覚的に目立ち易いことに着目する。コントローラ２は、顔領域情報ＦＡからカレントＭＢが顔領域であると判別した場合、画質の劣化が視覚的に目立ち易く、第１の影響要素に当て嵌まると認識する。このとき、コントローラ２は、影響パラメータが高レベル、すなわち、動きベクトルＭＶ１の誤検出が画像に与える影響度が大きいと判別する。

コントローラ２は、第２の影響要素として、動きベクトルＭＶ３が非常に大きい場合、画質の劣化が視覚的に目立ちにくいことに着目する。コントローラ２は、予測ベクトルＰＶが第２の予測閾値Ｔｈｐよりも大きい値でなる第３の予測閾値Ｔｈｐ３より大きい場合、動きベクトルＭＶ３が非常に大きいと予測されるため、第２の影響要素に当て嵌まると認識する。このとき、コントローラ２は、影響パラメータが低レベル、すなわち、動きベクトルＭＶ１の誤検出が画像に与える影響度が小さいと判別する。

コントローラ２は、第３の影響要素として、カレントＭＢ絵柄が複雑である場合、画質の劣化が視覚的に目立ちにくいことに着目する。コントローラ２は、カレントＭＢの輝度分散値ＹＤが第１の分散閾値Ｔｈｙ１より大きい場合、カレントＭＢの絵柄が細かいため当該カレントＭＢの周囲の絵柄も同様に細かいと予想し、第３の影響要素に当て嵌まると認識する。このとき、コントローラ２は、影響パラメータが低レベルであると判別する。

コントローラ２は、第４の影響要素として、カレントＭＢ及びその周囲の絵柄が平坦である場合、動きベクトルＭＶ１を誤検出しても差分画像の符号量がさほど大きくならず、画質の劣化が生じにくいことに着目する。コントローラ２は、カレントＭＢの輝度分散値ＹＤが第１の分散閾値Ｔｈｙ１よりも小さい値でなる第２の分散閾値Ｔｈｙ２より小さい場合、カレントＭＢの絵柄が平坦であるため当該カレントＭＢの周囲の絵柄も同様に平坦であると予想し、第４の影響要素に当て嵌まると認識する。このとき、コントローラ２は、影響パラメータが低レベルであると判別する。

コントローラ２は、第５の影響要素として、カレントＭＢの絵柄が暗い場合、画質の劣化が視覚的に目立ちにくいことに着目する。コントローラ２は、カレントＭＢの輝度平均値ＹＡが平均閾値Ｔｈｙａ未満である場合、カレントＭＢの絵柄が暗いため、第５の影響要素に当て嵌まると認識する。このとき、コントローラ２は、影響パラメータが低レベルであると判別する。

コントローラ２は、カレントＭＢが第１の影響要素に当て嵌まると判別した場合には、第２〜第５の影響要素に関係なく影響パラメータが高レベルであると判別する。コントローラ２は、カレントＭＢが第１の影響要素に当て嵌まらないと判別した場合において、カレントＭＢが第２〜第５の影響要素のいずれかに当て嵌まるとき、影響パラメータが低レベルであると判別する。

コントローラ２は、第１の影響要素に当て嵌まらないと判別した場合において、カレントＭＢが第２〜第５の影響要素のいずれにも当て嵌まらないとき、影響パラメータが高レベルであると判別する。

コントローラ２は、カレントＭＢの影響パラメータに応じて、縮小率の相違する２つの縮小原画ＳＯ１及びＳＯ２から一の縮小原画ＳＯを選択する。

すなわち、コントローラ２は、影響パラメータが高レベルである場合には、動きベクトルＭＶ１の誤検出を防止するため、縮小率の小さい縮小原画ＳＯ１及び縮小参照画ＳＲ１を選択する。このとき、コントローラ２は、動きベクトルＭＶ１を適切に検出して動きベクトルＭＶ３を高精度で検出することができる。この結果、コントローラ２は、差分画像の符号量を抑制して量子化パラメータＱＰの値を小さく設定させ、量子化丸めを抑制して画質の劣化を低減することができる。

コントローラ２は、影響パラメータが低レベルである場合には、縮小率の大きい縮小原画ＳＯ２及び参照縮小画ＳＲ２を選択する。このとき、コントローラ２は、動きベクトルＭＶ１の探索処理に伴う差分絶対値和ＳＡＤの演算量を減少させることができると共に、縮小率が大きいことに起因して動きベクトルＭＶ１を誤検出した場合であっても画像に与える影響を抑制することができる。

このように、エンコーダ２０は、動きベクトルＭＶ１を誤検出したときの画像への影響度に応じて縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を変更するようにした。これにより、エンコーダ２０は、動きベクトルＭＶ１の探索処理に伴う差分絶対値和ＳＡＤの演算量を低減させると共に、これに伴って動きベクトルＭＶ１を誤検出した場合の画像への影響度を最小限に抑制し得るようになされている。

なお、上述した一連の動きベクトル検出処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。動きベクトル検出処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に動きベクトル検出部１が形成される。そして、ＲＯＭに格納された符号化プログラムをＲＡＭに展開することにより、動きベクトル検出処理が実行される。

［１−３．処理手順］
次に、動きベクトル検出プログラムに従って実行される動きベクトル検出処理手順ＲＴ１について、図４〜図５に示すフローチャートを用いて説明する。

動きベクトル検出部１のコントローラ２は、原画像ＰＯ及び参照画像ＰＲが供給されると、動きベクトル検出処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。

ステップＳＰ１において、コントローラ２は、イントラＭＢ評価値ＩＴ及びイントラＭＢ数を確認し、イントラＭＢ評価値ＩＴがイントラ閾値Ｔｈｉ未満であり、かつイントラＭＢ数が制限数Ｔｈｎ未満であるか否かについて判別する。

ここで肯定結果が得られた場合、コントローラ２は、次のステップＳＰ２へ移り、カレントＭＢをイントラ符号化することを選択すると、終了ステップへ移って動きベクトル検出処理手順ＲＴ１を終了する。

これに対して、ステップＳＰ１において否定結果が得られた場合、このことはカレントＭＢをインター符号化すべきことを表しており、このとき、コントローラ２は、次のステップＳＰ３へ移る。

ステップＳＰ３において、コントローラ２は、予測ベクトルＰＶが第１の予測閾値未満であるか否かについて判別する。ここで肯定結果が得られた場合、このことは予測ベクトルＰＶがほぼ「０」であることから、カレントＭＢの動きベクトルＭＶ３もほぼ「０」であると予測されることを表している。このとき、コントローラ２は、次のステップＳＰ４へ移る。

ステップＳＰ４において、コントローラ２は、動きベクトルＭＶ３を「０」（すなわち０ベクトル）として出力すると、終了ステップへ移って動きベクトル検出処理手順ＲＴ１を終了する。

これに対してステップＳＰ３において否定結果が得られた場合、このことは動きベクトルＭＶ３が大きさを有していることを表している。このときコントローラ２は、次のステップＳＰ５へ移る。

ステップＳＰ５において、コントローラ２は、予測ベクトルＰＶが第２の予測閾値Ｔｈｐ２未満であるか否かについて判別する。ここで肯定結果が得られた場合、このことは動きベクトルＭＶ３が非常に小さく、比較的小さいサーチ範囲が設定される動きベクトルＭＶ２の探索処理において、カレントＭＢの存在する位置をサーチ範囲の中心に設定しても動きベクトルＭＶ２が確実に検出されることを表している。このときコントローラ２は、ステップＳＰ６へ移り、整数精度動きベクトル探索部７に対し、動きベクトルＭＶ１として「０」を出力し、次のステップＳＰ１２へ移る。

これに対してステップＳＰ５において否定結果が得られた場合、このことは動きベクトルＭＶ３が比較的大きく、カレントＭＢの存在する位置を中心にサーチ範囲を設定すると動きベクトルＭＶ２を検出できない可能性が高いことを表している。このときコントローラ２は、次のステップＳＰ８へ移る。

ステップＳＰ８において、コントローラ２は、動きベクトルＭＶ１を誤検出したときの画像への影響度を判別するサブルーチンＳＲＴ１１へ移り、影響判別処理を実行すると、次のステップＳＰ９へ移る。

ステップＳＰ９において、コントローラ２は、カレントＭＢの影響パラメータが低レベルであるか否かについて判別する。ここで肯定結果が得られた場合、このことは動きベクトルＭＶ１を誤検出した場合であっても画像に与える影響が小さいことを表している。このときコントローラ２は、次のステップＳＰ１０へ移る。

ステップＳＰ１０において、コントローラ２は、縮小率の大きい縮小原画ＳＯ２及び参照縮小画ＳＲ２を用いて第１の動きベクトルＭＶ１の探索処理を実行すると、次のステップＳＰ１２へ移る。

これに対して、ステップＳＰ９において否定結果が得られた場合、このことは動きベクトルＭＶ１を誤検出した場合、画像に与える影響が大きいことを表している。このときコントローラ２は、次のステップＳＰ１１へ移る。

ステップＳＰ１１において、コントローラ２は、縮小率の小さい縮小原画ＳＯ１及び参照縮小画ＳＲ１を用いて第１の動きベクトルＭＶ１の探索処理を実行すると、次のステップＳＰ１２へ移る。

ステップＳＰ１２において、コントローラ２は、第１の動きベクトルＭＶ１の探索処理において検出された動きベクトルＭＶ１を中心に比較的小さいサーチ範囲を設定し、第２の動きベクトルＭＶ２の探索処理を実行すると、次のステップＳＰ１３へ移る。

ステップＳＰ１３において、コントローラ２は、第２の動きベクトルＭＶ２の探索処理において検出された動きベクトルＭＶ２を中心に補間画像を生成し、分数精度による第３の動きベクトルＭＶ３の探索処理を実行すると、終了ステップへ移り、動きベクトル検出処理手順ＲＴ１を終了する。

動きベクトル検出処理手順ＲＴ１のステップＳＰ８において、コントローラ２は、影響判別処理の手順を表すサブルーチンＳＲＴ１１のステップＳＰ２１へ移る。

ステップＳＰ２１において、コントローラ２は、予測ベクトルＰＶが第３の予測閾値Ｔｈｐ３より大きいか否かについて判別する。ここで肯定結果が得られた場合、このことは動きベクトルＭＶ３が非常に大きく画質の劣化が視覚的に目立ちにくいため、動きベクトルＭＶ１を誤検出して画質が劣化しても、画像に与える影響が小さいことを表している。このときコントローラ２は、次のステップＳＰ２５へ移る。

これに対して、ステップＳＰ２１において、否定結果が得られた場合、このことは動きベクトルＭＶ３がさほど大きくなく画質の劣化が視覚的に目立つ可能性があるため、動きベクトルＭＶ１を誤検出した場合、画像に与える影響が大きい可能性があることを表している。このときコントローラ２は、次のステップＳＰ２２へ移る。

ステップＳＰ２２において、コントローラ２は、カレントＭＢの輝度分散値が第１の分散閾値Ｔｈｙ１より大きいか否かについて判別する。ここで肯定結果が得られた場合、このことは、カレントＭＢの絵柄が複雑であり、動きベクトルＭＶ１を誤検出して画質が劣化しても、画質の劣化が視覚的に目立ちにくいことを表しており、このときコントローラ２は、次のステップＳＰ２５へ移る。

これに対して、ステップＳＰ２１において、否定結果が得られた場合、このことはカレントＭＢの絵柄がさほど複雑ではなく画質の劣化が視覚的に目立つ可能性があるため、動きベクトルＭＶ１を誤検出して画質が劣化すると、画像に与える影響が大きい可能性があることを表している。このときコントローラ２は、次のステップＳＰ２３へ移る。

ステップＳＰ２３において、コントローラ２は、カレントＭＢの輝度分散値ＹＤが第２の分散閾値Ｔｈｙ２未満か否かについて判別する。ここで肯定結果が得られた場合、このことは、カレントＭＢの絵柄が平坦であり、動きベクトルＭＶ１を誤検出しても差分絶対値和ＳＡＤの符号量がさほど増大しないため画質の劣化を生じさせず、画質に与える影響が小さいことを表している。このときコントローラ２は、次のステップＳＰ２５へ移る。

ここで否定結果が得られた場合、動きベクトルＭＶ１を誤検出すると画質が劣化するため、画像に与える影響が大きい可能性があることを表している。このときコントローラ２は、次のステップＳＰ２４へ移る。

ステップＳＰ２４において、コントローラ２は、カレントＭＢの輝度平均値ＹＡが平均閾値Ｔｈｙａより大きいか否かについて判別する。ここで肯定結果が得られた場合、このことは、カレントＭＢの絵柄が全体的に暗く、動きベクトルＭＶ１を誤検出して画質が劣化しても、画質の劣化が視覚的に目立ちにくいことを表しており、このときコントローラ２は、次のステップＳＰ２５へ移る。

これに対して、ステップＳＰ２４において、否定結果が得られた場合、このことはカレントＭＢの絵柄が全体的に明るく画質の劣化が視覚的に目立つ可能性があるため、動きベクトルＭＶ１を誤検出して画質が劣化すると、画像に与える影響が大きい可能性があることを表している。このときコントローラ２は、次のステップＳＰ２６へ移る。

ステップＳＰ２５において、コントローラ２は、カレントＭＢが顔領域であるか否かについて判別する。ここで肯定結果が得られた場合、このことは、ステップＳＰ２１〜ＳＰ２４において画像に与える影響が小さいと判別されているものの、カレントＭＢの注目度が高いため、結果として画質の劣化が視覚的に目立つことを表している。このときコントローラ２は、動きベクトルＭＶ１を誤検出したときに画像に与える影響が大きいと判別し、次のステップＳＰ２６へ移る。

これに対してステップＳＰ２５において否定結果が得られた場合、このことは、ステップＳＰ２１〜ＳＰ２４において画像に与える影響が小さいと判別されており、かつカレントＭＢの注目度がさほど高くないため、動きベクトルＭＶ１を誤検出したときに画質に与える影響が小さいことを表している。このときコントローラ２は、次のステップＳＰ２７へ移る。

ステップＳＰ２６において、コントローラ２は、影響パラメータが高レベルであると判別し、動きベクトル検出処理手順ＲＴ１のステップＳＰ８へ戻る。

ステップＳＰ２７において、コントローラ２は、影響パラメータが低レベルであると判別し、動きベクトル検出処理手順ＲＴ１のステップＳＰ８へ戻る。

［１−４．動作及び効果］
以上の構成において、エンコーダ２０における動きベクトル検出部１は、処理対象の原画像ＰＯと参照対象となる参照画像ＰＲとから、処理対象となるカレントブロックであるカレントＭＢに対する第１の動きベクトルとしての動きベクトルＭＶ１を検出する。このとき、動きベクトル検出部１は、当該動きベクトルＭＶ１の誤検出が画像に与える影響度を表す影響パラメータを生成する。

動きベクトル検出部１は、影響パラメータに応じて、原画縮小回路４及び参照画縮小回路５によって生成された縮小原画ＳＯ１及びＳＯ２、並びに縮小参照画ＳＲ１及びＳＲ２から、動きベクトルＭＶ１の探索処理に使用する縮小原画ＳＯ及び縮小参照画ＳＲを選択する。これにより、動きベクトル検出部１は、影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう原画像ＰＯ及び参照画像ＰＲを縮小して縮小原画ＳＯ及び縮小参照画ＳＲを生成し、当該縮小原画ＳＯ及び縮小参照画ＳＲを用いてカレントブロックに対する動きベクトルＳＶ１を検出する。

この結果、動きベクトル検出部１は、影響パラメータが低い場合にのみ縮小率の大きい縮小原画ＳＯ２及び縮小参照画ＳＲ２を使用し、差分絶対値和ＳＡＤの演算量を低減させつつ画像に対する影響を抑制することができる。

動きベクトル検出部１は、動きベクトルＭＶ１の誤検出による画質の劣化が目立ちにくい場合に、影響パラメータが低いと判別し、縮小原画ＳＯ２及び縮小参照画ＳＲ２を選択することにより、動きベクトルＭＶ１の探索処理に用いられる縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を大きくする。これにより、動きベクトル検出部１は、画質の劣化を目立たせないことにより画像に対する影響を抑制することができる。

動きベクトル検出部１は、動きベクトルＭＶ１の誤検出による画質の劣化が生じにくい場合に、影響パラメータが低いと判別し、縮小原画ＳＯ２及び縮小参照画ＳＲ２を選択することにより、動きベクトルＭＶ１の探索処理に用いられる縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を大きくする。これにより、動きベクトル検出部１は、画質の劣化を生じさせないことにより画像に対する影響を抑制することができる。

動きベクトル検出部１は、動きベクトルＭＶ１の誤検出による画質の劣化が目立ちにくい又は画質の劣化が生じにくい、若しくはその両方であっても、カレントＭＢに対する注目度が大きい場合には、影響パラメータが高いと判別する。動きベクトル検出部１は、縮小原画ＳＯ１及び縮小参照画ＳＲ１を選択することにより、動きベクトルＭＶ１の探索処理に用いられる縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を小さくする。

これにより、動きベクトル検出部１は、ユーザの注目度が高く、目立たない画質の劣化をもユーザが認識し易い領域における画質を劣化させることがない。このため、動きベクトル検出部１は、動きベクトル検出処理によって生じた画質の劣化をユーザに極力気付かせないようにできる。

動きベクトル検出部１は、カレントＭＢに対する参照画像ＰＲからの動きが予測されてなる予測ベクトルＰＶが大きい場合に、影響パラメータが低いと判別する。これにより、動きベクトル検出部１は、動きが大きく画質の劣化が目立たないカレントＭＢに対し、動きベクトルＭＶ１の探索処理に用いられる縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を大きくし、差分絶対値和ＳＡＤの演算量を低減できる。

動きベクトル検出部１は、カレントＭＢの近傍に存在する近傍ブロックの動きベクトルの中央値を予測ベクトルＰＶとする。動きベクトル検出部１は、カレントＭＢの近傍のブロックのうち、左、上及び右斜上に隣接するブロックから予測ベクトルＰＶを生成する。これにより、動きベクトル検出部１は、既に動きベクトルＭＶ３が検出されたブロックのうち、カレントＭＢの周囲を取り囲むように上下右からバランス良く近傍ブロックを選択することができ、カレントＭＢの動きを的確に予測できる。

動きベクトル検出部１は、カレントＭＢ、又は当該カレントＭＢ及び当該カレントＭｂの近傍の絵柄が複雑な場合、画質の劣化が目立ちにくいと判別する。動きベクトル検出部１は、カレントＭＢの輝度分散値ＹＤが第１の分散閾値Ｔｈｙ１より大きい場合に、カレントＭＢの絵柄が複雑であると判別する。これにより、動きベクトル検出部１は、輝度分散値ＹＤを用いた簡易な処理により画質の劣化が目立ちにくいことを判別できる。

動きベクトル検出部１は、カレントＭＢの絵柄が暗い場合に、画質の劣化が目立ちにくいと判別する。カレントＭＢの輝度平均値ＹＡが平均閾値Ｔｈｙａより大きい場合に、カレントＭＢの絵柄が暗いと判別する。これにより、動きベクトル検出部１は、輝度平均値ＹＡを用いた簡易な処理により画質の劣化が目立ちにくいことを判別できる。

動きベクトル検出部１は、カレントＭＢ、又は当該カレントＭＢ及び当該カレントＭＢの近傍の絵柄が平坦な場合、画質の劣化が生じにくいと判別する。動きベクトル検出部１は、カレントＭＢの輝度分散値ＹＤが第２の分散閾値Ｔｈｙ２未満である場合に、カレントＭＢの絵柄が平坦であると判別する。これにより、動きベクトル検出部１は、輝度分散値ＹＤを用いた簡易な処理により画質の劣化が生じにくいことを判別できる。

動きベクトル検出部１は、カレントＭＢが顔領域に位置する場合に、カレントＭＢに対する注目度が大きいと予測する。これにより、動きベクトル検出部１は、顔領域における画質の劣化を確実に防止することができ、本実施の形態による動きベクトル検出処理が画像に与える影響を抑制できる。

動きベクトル検出部１は、第１の動きベクトル検出部である縮小動きベクトル探索部６によって検出された動きベクトルＭＶ１を中心にサーチ範囲を設定し、原画像ＰＯ及び参照画像ＰＲを用いてカレントＭＢに対する第２の動きベクトルとしての動きベクトルＭＶ２を検出する。

これにより、動きベクトル検出部１は、比較的小さなサーチ範囲を設定するだけで動きベクトルＭＶ２を確実に検出でき、差分絶対値和ＳＡＤの演算量を低減できる。

動きベクトル検出部１は、第２の動きベクトル検出部としての整数精度動きベクトル探索部７によって設定されるサーチ範囲内に動きベクトルＭＶ２が存在すると予測される場合に、動きベクトルＭＶ１がゼロであると仮定して整数精度動きベクトル探索部７にサーチ範囲を設定させる。

これにより、動きベクトル検出部１は、縮小動きベクトル探索部６による動きベクトルＭＶ１の探索処理を省略することができるため、動きベクトル検出処理を簡易にすることができる。

動きベクトル検出部１は、動きベクトルＭＶ２に基づいて、第３の動きベクトル検出部としての分数精度動きベクトル探索部８によって分数精度でなる第３の動きベクトルとしての動きベクトルＭＶ３を検出する。

これにより、動きベクトル検出部１は、分数精度でなる精度の高い動きベクトルＭＶ３を検出することができる。

以上の構成によれば、エンコーダ２０の動きベクトル検出部１は、縮小原画ＳＯ及び縮小参照画ＳＲを用いて動きベクトルＭＶ１を検出する際、動きベクトルＭＶ１の誤検出が画像に与える影響度を影響パラメータとして評価する。動きベクトル検出部１は、影響パラメータに応じて縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を変更する。これにより、動きベクトル検出部１は、動きベクトルＭＶ１の誤検出が画像に与える影響が低い場合にのみ縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を大きくして差分絶対値和ＳＡＤの演算量を低減することができる。かくして本発明は、画像に与える影響を極力抑制しつつ、差分絶対値和の演算量を低減することができる画像処理装置、画像処理方法及び画像処理プログラムが記録された記録媒体を実現できる。

＜２．他の実施の形態＞
なお上述した実施の形態においては、縮小率の異なる縮小原画ＳＯ１及びＳＯ２、並びに縮小参照画ＳＲ１及びＳＲ２をそれぞれ生成し、影響パラメータに応じて動きベクトルＭＶ１の探索処理に用いる縮小原画ＳＯ及び縮小参照画ＳＲを選択するようにした場合について述べた。本発明はこれに限らず、例えば影響パラメータを縮小回路に供給し、当該縮小回路によって影響パラメータに応じた縮小率の縮小原画ＳＯ及び縮小参照画ＳＲを生成するようにしても良い。

また上述した実施の形態においては、影響パラメータが高レベル又は低レベルかに応じて２つの縮小率から動きベクトルＭＶ１の探索処理に用いる縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を選択するようにした場合について述べた。本発明はこれに限らず、３つ以上の縮小率から動きベクトルＭＶ１の探索処理に用いる縮小原画ＳＯ及び縮小参照画ＳＲの縮小率を選択するようにしても良い。この場合、本発明は、例えば第１の影響要素〜第５の影響要素の結果から、画像に対する影響度が低いと判別された数に応じて、縮小率を選択するようにする。

さらに上述した実施の形態においては、動きベクトルＭＶ１の探索処理に用いるサーチ範囲が一定であるようにした場合について述べた。本発明はこれに限らず、サーチ範囲を適宜変更するようにしても良い。本発明は、例えば、予測ベクトルＰＶが予測閾値Ｔｈｐ３よりも大きい予測閾値Ｔｈｐ４より大きい場合に、サーチ範囲を大きく設定することができる。これにより、本発明は、動きベクトルＭＶ１の信頼性を向上させ得る。

さらに上述した実施の形態においては、１６×１６画素のカレントＭＢごとに動きベクトルＭＶ１〜ＭＶ３を検出するようにした場合について述べた。本発明はこれに限らず、カレントブロックのサイズに制限はなく、例えば８×８画素や４×４画素のサブブロックや３２×３２画素のブロックごとに動きベクトルＭＶ１〜ＭＶ３を検出するようにしても良い。

さらに上述した実施の形態においては、動きベクトル検出部１が３段の探索処理によって最終的な動きベクトルＭＶ３を検出するようにした場合について述べた。本発明はこれに限らず、例えば動きベクトルＭＶ１又はＭＶ２を用いてエンコードを実行するようにしても良い。このエンコードとしては、ＡＶＣ以外にも、ＭＰＥＧ（Moving Picture Experts Group）などの各種符号化方式を適用することが可能である。また、検出された動きベクトルＭＶ１〜ＭＶ３をエンコード以外の画像処理に使用することも可能である。

さらに上述した実施の形態においては、カレントＭＢが顔領域である場合には、第２〜第５の影響要素に拘らず影響パラメータが高レベルであると判別するようにした場合について述べた。本発明はこれに限らず、他の影響要素との比較により判別しても良い。また、第４の影響要素に当て嵌まる場合については、画質そのものが劣化しにくいため、顔領域であっても影響パラメータを低レベルと判別するようにしても良い。これにより、影響パラメータが低レベルと判別される機会を増大させ、差分絶対値和ＳＡＤの演算量を低減させ得る。

さらに上述した実施の形態においては、絵柄の複雑さ及び絵柄の暗さにより画質の劣化の目立ち易さを判別するようにした場合について述べた。本発明はこれに限らず、その他種々の指標により画質の劣化の目立ち易さを判別するようにしても良い。

さらに上述した実施の形態においては、絵柄が平坦な場合に画質の劣化が生じにくいと判別するようにした場合について述べた。本発明はこれに限らず、その他種々のケースにおいて画質の劣化が生じにくいと判別するようにしても良い。

さらに上述した実施の形態においては、カレントＭＢが顔領域に位置する場合に注目度が高いと判別するようにした場合について述べた。本発明はこれに限らず、例えば赤色などの目立つ色に対して注目度が高いと判別するようにしても良い。また、顔領域の判別としては、顔検出以外にも、肌色検出など、種々の手法を用いることができる。

さらに上述した実施の形態においては、第３及び第４の影響要素における判別において、カレントＭＢの輝度分散値ＹＤが分散閾値Ｔｈｙ１より大きいか否かにより絵柄の複雑さを判別するようにした場合について述べた。本発明はこれに限らず、近傍ブロックの輝度分散値ＹＤを影響パラメータの判別に使用しても良い。これにより、カレントＭＢ及びカレントＭＢ近傍の絵柄がノイズ画のように細かい絵柄の連続であるか否かを判別することができ、画質の低下の目立ちにくさをより的確に判別することが可能となる。例えば、コントローラ２は、カレントＭＢ及び近傍ブロックの輝度分散値ＹＤの平均値と第１の分散閾値Ｔｈｙ１及び第２の分散閾値Ｔｈｙ２とを比較する。また、近傍ブロックだけでなく、当該近傍ブロック周囲の輝度分散値ＹＤを参照しても良い。この場合、コントローラ２は、カレントＭＢからの距離に応じてブロックごとの輝度分散値ＹＤを重み付けしても良い。

さらに上述した実施の形態においては、原画像ＰＯ及び参照画像ＰＲを間引くことにより縮小原画ＳＯ及び縮小参照画ＳＲを生成するようにした場合について述べた。本発明はこれに限らず、例えば２画素の平均値を画素値とするなど、種々の方法により原画像ＰＯ及び参照画像ＰＲから縮小原画ＳＯ及び縮小参照画ＳＲを生成することができる。

さらに上述した実施の形態においては、左、上及び右斜上隣のブロックの動きベクトルの中央値を予測ベクトルＰＶとするようにした場合について述べた。本発明はこれに限らず、カレントＭＢの近傍のブロックを用いることにより、種々の方法で予測ベクトルを生成できる。

さらに上述した実施の形態においては、動きベクトル検出処理手順ＲＴ１においてステップＳＰ１〜ＳＰ５を有するようにした場合について述べた。本発明はこれに限らず、これらのステップは必ずしも必要ではない。また、ステップＳＰ１２及びＳＰ１３についても同様である。

さらに、上述した実施の形態においては、動きベクトル検出プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べた。本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、動きベクトル検出プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述した実施の形態においては、影響パラメータ生成部としてのコントローラ２と、縮小画生成部としてのコントローラ２、原画縮小回路４及び参照画縮小回路５と、第１の動きベクトル検出部としての縮小動きベクトル探索部とによって画像処理装置としての動きベクトル検出装置を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による影響パラメータ生成部と、縮小画生成部と、第１の動きベクトル検出部とによって本発明の画像処理装置を構成するようにしても良い。

本発明の画像処理装置、画像処理方法及び記録媒体は、例えば動きベクトルを用いて種々の画像処理を実行する各種画像処理装置に利用することができる。

１……動きベクトル検出部、２……コントローラ、３……バッファ、４……原画縮小回路、５……参照画縮小回路、６……縮小動きベクトル探索部、７……整数精度動きベクトル探索部、８……分数精度動きベクトル探索部、９……予測ベクトル生成部、２０……エンコーダ、ＰＶ……予測ベクトル、ＹＤ……輝度分散値、ＹＡ……輝度平均値、ＦＡ……顔領域情報。

Claims (20)

1. 処理対象の原画像と参照対象となる参照画像とから、処理対象となるカレントブロックに対する第１の動きベクトルを検出する際、当該第１の動きベクトルの誤検出が画像に与える影響度を表す影響パラメータを生成する影響パラメータ生成部と、
   上記影響パラメータ生成部によって生成された上記影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう上記原画像及び上記参照画像を縮小して縮小原画及び縮小参照画を生成する縮小画生成部と、
   上記縮小画生成部によって生成された上記縮小原画及び上記縮小参照画を用いて上記カレントブロックに対する上記第１の動きベクトルを検出する第１の動きベクトル検出部と
   を有する画像処理装置。
2. 上記影響パラメータ生成部は、
   上記第１の動きベクトルの誤検出による画質の劣化が目立ちにくい場合に、上記影響パラメータが低いと判別し、
   上記縮小画生成部は、
   上記影響パラメータ選択部によって上記影響パラメータが低いと判別された場合には、上記縮小率を大きくする
   請求項１に記載の画像処理装置。
3. 上記影響パラメータ生成部は、
   上記第１の動きベクトルの誤検出による画質の劣化が生じにくい場合に、上記影響パラメータが低いと判別する
   請求項２に記載の画像処理装置。
4. 上記影響パラメータ生成部は、
   上記第１の動きベクトルの誤検出による上記画質の劣化が目立ちにくい又は画質の劣化が生じにくい、若しくはその両方であっても、上記カレントブロックに対する注目度が大きい場合には、上記影響パラメータが高いと判別し、
   上記縮小画生成部は、
   上記影響パラメータ生成部によって上記影響パラメータが高いと判別された場合に、上記縮小率を小さくする
   請求項３に記載の画像処理装置。
5. 上記影響パラメータ生成部は、
   上記カレントブロックに対する参照画像からの動きが予測されてなる予測ベクトルが大きい場合に、上記影響パラメータが低いと判別する
   請求項２に記載の画像処理装置。
6. 上記影響パラメータ生成部は、
   上記カレントブロックの近傍に存在する近傍ブロックの動きの中央値を上記予測ベクトルとする
   請求項５に記載の画像処理装置。
7. 上記影響パラメータ生成部は、
   上記カレントブロック、又は当該カレントブロック及び当該カレントブロックの近傍の絵柄が複雑な場合、上記画質の劣化が目立ちにくいと判別する
   請求項６に記載の画像処理装置。
8. 上記影響パラメータ生成部は、
   上記カレントブロックの輝度分散値が第１の分散閾値より大きい場合に、上記カレントブロックの絵柄が複雑であると判別する
   請求項７に記載の画像処理装置。
9. 上記影響パラメータ生成部は、
   上記カレントブロック及び上記カレントブロックの近傍に存在する近傍ブロックの輝度分散値が第１の分散閾値より大きい場合に、上記カレントブロック及び当該カレントブロックの近傍の絵柄が複雑であると判別する
   請求項７に記載の画像処理装置。
10. 上記影響パラメータ生成部は、
    上記カレントブロックの絵柄が暗い場合に、上記画質の劣化が目立ちにくいと判別する
    請求項２に記載の画像処理装置。
11. 上記影響パラメータ生成部は、
    上記カレントブロックの輝度平均値が平均閾値より大きい場合に、上記カレントブロックの絵柄が暗いと判別する
    請求項１に記載の画像処理装置。
12. 上記影響パラメータ生成部は、
    上記カレントブロック、又は当該カレントブロック及び当該カレントブロックの近傍の絵柄が平坦な場合、上記画質の劣化が生じにくいと判別する
    請求項３に記載の画像処理装置。
13. 上記影響パラメータ生成部は、
    上記カレントブロックの輝度分散値が第２の分散閾値未満である場合に、上記カレントブロックの絵柄が平坦であると判別する
    請求項１２に記載の画像処理装置。
14. 上記影響パラメータ生成部は、
    上記カレントブロックが顔領域に位置する場合に、上記カレントブロックに対する注目度が大きいと予測する
    請求項４に記載の画像処理装置。
15. 上記第１の動きベクトル検出部によって検出された動きベクトルを中心にサーチ範囲を設定し、上記原画像及び上記参照画像を用いて上記カレントブロックに対する第２の動きベクトルを検出する第２の動きベクトル検出部をさらに有する
    請求項１に記載の画像処理装置。
16. 上記第２の動きベクトル検出部によって設定される上記サーチ範囲内に上記第２の動きベクトルが存在すると予測される場合に、上記第１の動きベクトルがゼロであると仮定して上記第２の動きベクトル検出部に上記サーチ範囲を設定させる制御部をさらに有する
    請求項１５に記載の画像処理装置。
17. 上記第２の動きベクトル検出部によって検出された上記第２の動きベクトルに基づいて、分数精度でなる第３の動きベクトルを検出する第３の動きベクトル検出部をさらに有する
    請求項１５に記載の画像処理装置。
18. 上記制御部は、
    上記カレントブロックに対する動きベクトルが予測されてなる予測ベクトルがほぼゼロである場合に、上記第３のベクトルをゼロと擬制する
    請求項１７に記載の画像処理装置。
19. 処理対象の原画像と参照対象となる参照画像とから、処理対象となるカレントブロックに対する第１の動きベクトルを検出する際、当該第１の動きベクトルの誤検出が画像に与える影響度を表す影響パラメータを生成する影響パラメータ生成ステップと、
    上記影響パラメータ生成ステップにおいて生成された上記影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう上記原画像及び上記参照画像を縮小して縮小原画及び縮小参照画を生成する縮小画生成ステップと、
    上記縮小画生成ステップにおいて生成された縮小原画及び縮小参照画を用いて上記カレントブロックに対する上記第１の動きベクトルを検出する第１の動きベクトル検出ステップと
    を有する画像処理方法。
20. コンピュータに対して、
    処理対象の原画像と参照対象となる参照画像とから、処理対象となるカレントブロックに対する第１の動きベクトルを検出する際、当該第１の動きベクトルの誤検出が画像に与える影響度を表す影響パラメータを生成する影響パラメータ生成ステップと、
    上記影響パラメータ生成ステップにおいて生成された上記影響パラメータが低いと縮小率が大きくなり、当該影響パラメータが高いと縮小率が小さくなるよう上記原画像及び上記参照画像を縮小して縮小原画及び縮小参照画を生成する縮小画生成ステップと、
    上記縮小画生成ステップにおいて生成された縮小原画及び縮小参照画を用いて上記カレントブロックに対する上記第１の動きベクトルを検出する第１の動きベクトル検出ステップと
    を実行させる画像処理プログラムが記録された記録媒体。

Images