JP2009100119A - 画像処理装置 - Google Patents

Abstract

【課題】撮像手段自体が移動しながら撮影された背景が刻々と変化する画像データ中に存在する雨滴などの移動物体を除去する。
【解決手段】雨滴など除去する移動物体を含む対象画像の動画像信号を、所定画素サイズの対象ブロックに分割するブロック分割部３と、カメラ１１の移動方向を示す移動情報及び対象ブロックの位置情報に基づいて、対象画像と時間的に前後して位置する参照画像の動画像信号に、対象ブロックの移動軌跡上に位置する参照ウィンドウを設定するウィンドウ設定部４と、参照ウィンドウ内で、対象ブロックとの特徴量の差が最小となる所定画素サイズの参照ブロックを特定する探索部５と、対象ブロックの各画素の信号値と前記参照ブロックの各画素の信号値に基づき、対象ブロックに対して演算を行うか否か判定する判定部６と、判定部６の判定結果に基づき、対象ブロックの各画素の信号値に対して演算を行う演算部７を備えた。
【選択図】図１

Description

この発明は、映像信号を加工する画像処理装置に関し、特に画像中の不要な動き成分の除去に関する。

従来から地震などの災害時には、被災状況を掌握するためにヘリコプターから情報収集が行われているが、雨天時に撮影された映像から雨滴を除去する機能を有する画像処理装置が要求される。これは、ヘリコプターなどの移動体に搭載されているカメラを用いて撮影された映像中に存在する移動物体である雨滴を除去する機能であり、背景が刻々と変化する映像から雨滴を除去する機能が求められている。

映像から雨滴を除去する機能としては、例えば特許文献１に、固定カメラで撮影された画像データとその画像データと時系列的に近い画像データを比較して、移動物体とその移動物体の位置を検出し、検出された移動物体を除去すべきか否か指定された条件に基づいて判定し、除去すべきと判定された移動物体が存在する画像データから移動物体に対応する領域部分を除去し、除去した領域部分に対して時系列的に近い画像データを用いて補間を行い、移動物体が写っていない合成画像を生成する画像処理装置が記載されている。

また、特許文献２には、所定の時間間隔で取り込まれた複数の映像信号を画素毎に平均化し、静止している画像ははっきりと映り、動いている画像は動き量に応じて薄くなる移動平均の処理を行い、この処理を行った画像信号を基準画像と比較することにより移動物体の画像を除去する画像処理装置が記載されている。

特開２００５−１０９６４７号公報 特開２００５−１８２７３２号公報

従来の画像処理装置は以上のように構成されているので、背景が固定された画像データに対して時系列的に近い画像データの差分を求めることにより、移動物体を検出することができるが、カメラを移動させながら撮影した背景が刻々と変化する画像データでは背景部分の差分が大きくなるため、移動物体を検出することができないという課題があった。また、移動平均の処理を行う画像装置においても背景を固定した画像を対象としており、背景が変化する画像データについては処理を実行することができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、撮影手段自体が移動しながら撮影された背景が刻々と変化する画像データ中に存在する雨滴などの移動物体を除去することを目的とする。

この発明に係る画像処理装置は、撮像手段が撮像した画像の動画像信号から移動物体を除去する画像処理装置において、前記除去する移動物体を含む対象画像の動画像信号を、所定画素サイズの対象ブロックに分割するブロック分割手段と、前記撮像手段の移動方向を示す移動情報及び前記対象ブロックの位置情報に基づいて、前記対象画像と時間的に前後して位置する参照画像の動画像信号に、前記対象ブロックの移動軌跡上に位置する参照ウィンドウを設定するウィンドウ設定手段と、前記参照ウィンドウ内で、前記対象ブロックとの特徴量の差が最小となる前記所定画素サイズの参照ブロックを特定するブロック探索手段と、前記対象ブロックの各画素の信号値と前記参照ブロックの各画素の信号値に基づき、前記対象ブロックに対して演算を行うか否か判定する判定手段と、前記判定手段の判定結果に基づき、前記対象ブロックの各画素の信号値に対して演算を行う演算手段とを備えるものである。

この発明によれば、雨滴などの移動物体を含む対象画像の動画像信号を所定画素サイズの対象ブロックに分割し、撮像手段の移動方向を示す移動情報及び対象ブロックの位置情報に基づいて、対象画像と時間的に前後して位置する参照画像の動画像信号に対象ブロックの移動軌跡上に位置する参照ウィンドウを設定し、参照ウィンドウ内で対象ブロックとの特徴量の差が最小となる所定画素サイズの参照ブロックを特定し、対象ブロックの各画素の信号値と参照ブロックの各画素の信号値に基づき、対象ブロックに対して演算を行うか否か判定し、判定結果に基づき対象ブロックの各画素の信号値に対して演算を行うように構成したので、撮像手段自体が移動しながら撮影した映像であって、背景が変化する画像中に写し込まれた雨滴などの移動物体を除去することができ、映像の主観画質を改善することができる。

実施の形態１．
図１は、この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
実施の形態１に係る画像処理装置１は、外部装置であるカメラ（撮像手段）１１などから入力される画像データを構成する動画像信号を記憶する記憶部２、画像データを所定のブロックに分割するブロック分割部（ブロック分割手段）３、画像データ内にウィンドウ領域を設定するウィンドウ設定部（ウィンドウ設定手段）４、ブロック探索を行う探索部（ブロック探索手段）５、画像データの各ブロックに対して演算を行うか否か判定する判定部（判定手段）６、画像データの各ブロックに対して演算処理を実行する演算部（演算手段）７、記憶部２、ブロック分割部３、ウィンドウ設定部４、探索部５、判定部６及び演算部７を制御する制御部８で構成されている。

まず、記憶部２に入力される動画像信号の詳細について説明する。図２及び図３は、この実施の形態１に係る画像処理装置に入力される動画像信号の構成を示す図である。
図２に示すように、動画像信号は１つのフレームが奇数フィールドと偶数フィールドの２つのフィールドで構成されるインターレース（飛び越し走査）信号である。インターレース信号を表示する場合、１フレームの表示期間を奇数フィールドであるトップフィールドと偶数フィールドであるボトムフィールドに分け、トップフィールドに奇数行（１ｌｉｎｅ，３ｌｉｎｅ，・・・，（ｎ−１）ｌｉｎｅ）のみを走査し、ボトムフィールドに偶数行（２ｌｉｎｅ，４ｌｉｎｅ，・・・，ｎｌｉｎｅ）のみを走査する。

図３では、上述した動画像信号で構成される画像データが時系列順に３つ連続する例を示している。画像データＰ（ｔ−１）、画像データＰ（ｔ）、画像データＰ（ｔ＋１）は時刻ｔ−１、ｔ、ｔ＋１（ｔ≧１）におけるカメラ１１などからの入力画像であることを示している。図３（ａ）は、画像データＰ（ｔ）がトップフィールドの場合を示しており、この場合には画像データＰ（ｔ−１）及び画像データＰ（ｔ＋１）はボトムフィールドとなり、画像データＰ（ｔ）を黒表示、画像データＰ（ｔ−１）及び画像データＰ（ｔ＋１）を白表示している。一方、図３（ｂ）は、画像データＰ（ｔ）がボトムフィールドの場合を示しており、この場合には画像データＰ（ｔ−１）及び画像データＰ（ｔ＋１）はトップフィールドとなり、画像データＰ（ｔ）を白表示、画像データＰ（ｔ−１）及び画像データＰ（ｔ＋１）を黒表示している。

次に、画像処理装置１の各構成について詳細な説明を行う。記憶部２には外部装置であるカメラ１１などから画像データＰ（ｔ）を構成する動画像信号が入力され、この動画像信号を所定時間保持する。その際、記憶部２は、時系列順に連続する少なくとも３画像分の画像データＰ（ｔ−１）、Ｐ（ｔ）、Ｐ（ｔ＋１）を記憶する。さらに、記憶部２は後述する演算処理後のブロックＭを記憶する。

また、記憶部２は画像データカウンタ２１を有しており、記憶部２へ１つの画像データの動画像信号の入力が完了する毎に画像データカウンタ２１のカウンタ値がカウントアップされる。カウンタ値が所定値に達すると記憶部２は画像処理を行う対象画像を決定する。この実施の形態１では、カウンタ値の所定値を「３」と設定し、記憶部２に画像データＰ（ｔ−１）、Ｐ（ｔ）、Ｐ（ｔ＋１）の３画像の動画像信号が入力されてカウンタ値が「３」に達すると、記憶部２は入力された３画像の画像データＰ（ｔ−１）、Ｐ（ｔ）、Ｐ（ｔ＋１）の中から中央に位置する画像データＰ（ｔ）を対象画像に設定する。なお、画像データカウンタ２１のカウンタ値の所定値は、制御部８から記憶部２に与えられる。

ブロック分割部３は、制御部８から入力される対象画像の画像データＰ（ｔ）内の所定画素サイズのブロックの総数に基づいて、画像データＰ（ｔ）を所定画素サイズのブロックに分割して各ブロックを構成する画像信号を出力する。また、ブロック分割部３はブロック数カウンタ３１を有している。ブロック数カウンタ３１は、後述する画像処理が終了したブロック数をカウントすると共に、画像データＰ（ｔ）を構成する全てのブロックについて画像処理が終了したか否か判定する。

ウィンドウ設定部４は、カメラ１１の移動方向情報及びブロックの位置情報に基づいて、対象画像の画像データＰ（ｔ）に対して時系列的に前後に存在する画像データＰ（ｔ−１）及び画像データＰ（ｔ＋１）内にウィンドウの領域を設定し、そのウィンドウを構成する画像信号を出力する。探索部５は、画像データＰ（ｔ）を構成するブロックと所定画素単位の差分絶対値和が最小となるブロックを画像データＰ（ｔ−１）及び画像データＰ（ｔ＋１）のウィンドウ内から探索し、探索結果を出力する。

図４から図６において、ブロック分割部３、ウィンドウ設定部４及び探索部５の詳細について具体例を挙げて説明する。図４は、この実施の形態１に係るブロック分割部の処理内容を示す図である。
ブロック分割部３は、図４に示すように画像データＰ（ｔ）の左上端部から右上端部に向けてブロック化を行い、右上端部までのブロック化が終了すると次の段の左端部からさらに右端部に向けてブロック化を行い、最終的に右下端部でブロック化を終了する。図４では、画像データＰ（ｔ）をＪ×Ｋ画素サイズのブロックＴに分割した例を示している。

図５は、この発明の実施の形態１に係る画像データの構成を示す図である。図５（ａ）は画像データＰ（ｔ−１）の構成、図５（ｂ）は画像データＰ（ｔ）の構成、図５（ｃ）は画像データＰ（ｔ＋１）の構成を示している。
図５（ｂ）では、ブロック分割部３により画像データＰ（ｔ）をＪ×Ｋ画素サイズのブロックＴに分割した例を示している。図５（ａ）では、ウィンドウ設定部４によって画像データＰ（ｔ−１）内に設定されたＭ×Ｎ画素サイズのウィンドウＷｆと、探索部５によってウィンドウＷｆ内に設定されたＪ×Ｋ画素サイズのブロックＳｆを示している。

同様に図５（ｃ）では、ウィンドウ設定部４によって画像データＰ（ｔ＋１）内に設定されたＭ×Ｎ画素サイズのウィンドウＷｂと、探索部５によってウィンドウＷｂ内に設定されたＪ×Ｋ画素サイズのブロックＳｂを示している。ウィンドウ設定部４によって設定されるウィンドウＷｆ及びウィンドウＷｂの領域は、カメラ１１自体、あるいはカメラ１１が搭載されているヘリコプターなどの移動体（図示せず）の移動方向情報とブロックＴの位置情報に基づいて設定される。また、ブロックＳｆ及びブロックＳｂは、ブロックＴと同一の大きさで構成されている。なお、上述したｊ，ｋ，Ｍ，Ｎは正の整数であるものとする。

図６は、この実施の形態１に係るウィンドウ設定部及びブロック分割部の処理内容を示す図である。図６（ａ）は画像データＰ（ｔ−１）、Ｐ（ｔ）、Ｐ（ｔ＋１）を時系列に並べて表示した図であり、図６（ｂ）及び図６（ｃ）は、各ウィンドウの詳細を示した図である。図６（ａ）中の矢印Ｘはカメラ１１の進行方向を示しており、この実施例ではカメラ１１は地面に対して垂直方向に移動することはなく、水平方向にのみ移動している場合を示している。以下では、対象画像を画像データＰ（ｔ）とし、その時系列的に前後に存在する画像データＰ（ｔ−１）及びＰ（ｔ＋１）内のウィンドウ領域であるウィンドウＷｆ及びウィンドウＷｂの設定方法、ウィンドウＷｆ及びウィンドウＷｂ内のブロックＳｆ及びブロックＳｂの探索方法について説明する。

まず、ウィンドウ領域の設定方法について説明する。画像データＰ（ｔ）中の点Ａは画像データＰ（ｔ）の左上端部を示し、点ａはブロックＴの左上端部を示している。画像データＰ（ｔ−１）中の点Ｂは画像データＰ（ｔ−１）の左上端部を示し、点ｂはウィンドウＷｆの左上端部を示している。画像データＰ（ｔ＋１）中で示した点Ｃは、画像データＰ（ｔ＋１）の左上端部を示し、点ｃはウィンドウＷｂの左上端部を示している。

点Ａ、点Ｂ及び点Ｃの座標を（０，０）と設定し、ブロックＴの点ａの座標を（αｊ，βｋ）とした場合、ウィンドウＷｆの垂直方向サイズＮ画素をブロックＴの垂直方向サイズと同様のＫ画素とし、ウィンドウＷｆの点ｂの座標（αｊ−ｈｌｆｒａｎｇｅ，βｋ）とする。αｊ−ｈｌｆｒａｎｇｅ＜０となる場合、探索部５はαｊ−ｈｌｆｒａｎｇｅ≧０となるようｈｌｆｒａｎｇｅ（０≦ｈｌｆｒａｎｇｅ≦Ｍ）の値を修正する。また、図６（ｂ）に示すように、ウィンドウＷｆの点ｂ´の座標は（（α＋１）ｊ−１，βｋ）、点ｂ´´の座標は（（α＋１）ｊ−１，（β＋１）ｋ−１）と設定する。

ウィンドウＷｂの垂直方向サイズＮ画素をブロックＴの垂直方向サイズと同様のＫ画素とし、ウィンドウＷｂの点ｃの座標（αｊ，βｋ）とする。また、図６（ｃ）に示すようにウィンドウＷｂの点ｃ´の座標を（αｊ＋ｈｒｆｒａｎｇｅ，βｋ）、点ｃ´´の座標を（αｊ＋ｈｒｆｒａｎｇｅ，（β＋１）ｋ−１））とし、αｊ＋ｈｒｆｒａｎｇｅ＜画像データＰ（ｔ＋１）の右端との条件を満たすようにｈｒｆｒａｎｇｅ（０≦ｈｒｆｒａｎｇｅ≦Ｍ）の値を設定する。

次に、ウィンドウ領域中のブロック探索方法について説明する。画像データＰ（ｔ）と画像データＰ（ｔ−１）を用いた探索の場合、まずウィンドウＷｆの点ｂとブロックＴの点ａを一致させ、ウィンドウＷｆ内のブロックとブロックＴの一画素単位の差分絶対値和を算出する。次に、ブロックＴの点ａをカメラの進行方向である矢印Ｘ方向に一画素分移動させ、ウィンドウＷｆ内のブロックとブロックＴの一画素単位の差分絶対値和を算出する。この差分絶対値和の算出をブロックＴの右端部がウィンドウＷｆの右端部と一致するまで繰り返し行う。これらの差分絶対値和の算出結果の中から、最小の差分絶対値和となるＪ×Ｋ画素のブロックをブロックＳｆと設定する。

画像データＰ（ｔ）と画像データＰ（ｔ＋１）を用いた探索の場合、まずウィンドウＷｂの点ｃとブロックＴの点ａを一致させ、ウィンドウＷｂ内のブロックとブロックＴの一画素単位の差分絶対値和を算出する。次に、ブロックＴの点ａをカメラの進行方向である矢印Ｘ方向に一画素分移動させ、ウィンドウＷｂ内のブロックとブロックＴの一画素単位の差分絶対値和を算出する。この差分絶対値和の算出をブロックＴの右端部がウィンドウＷｂの右端部と一致するまで繰り返し行う。これらの差分絶対値和の算出結果の中から最小の差分絶対値和となるＪ×Ｋ画素のブロックをブロックＳｂと設定する。

なお、図６の実施例では、カメラ１１が水平方向のみの移動である矢印Ｘ方向に移動する場合を示しているため、ウィンドウＷｆ及びウィンドウＷｂの垂直方向サイズのＮ画素をブロックＴの垂直方向サイズのＫ画素と同一としたが、カメラ１１が水平方向だけではなく垂直方向にも移動する場合には、図５に示すようにウィンドウＷｆ及びウィンドウＷｂの垂直方向サイズのＮ画素はブロックＴの垂直方向サイズのＫ画素よりも大きい値をとる。

ウィンドウＷｆ及びウィンドウＷｂの垂直方向サイズのＮ画素が、ブロックＴの垂直方向サイズのＫ画素よりも大きい場合におけるウィンドウＷｆ及びウィンドウＷｂ内のブロックの探索処理は、図４に示したブロック分割動作のように、ウィンドウＷｆ及びウィンドウＷｂの左上端部からブロックＴとの一画素単位の差分絶対値和を算出し、一画素ずつ右方向に移動しながら同様に差分絶対値和を算出する。算出に用いるブロックの右上端部がウィンドウＷｆ及びＷｂの右上端部に達すると、次の段の左端部からさらに右端部に向けて再度差分絶対値和の算出を行う。最終的に算出に用いるブロックの右下端部がウィンドウＷｆ及びウィンドウＷｂの右下端部に達した時点で算出処理を終了する。これらの算出結果の中から最小の差分絶対値和となるＪ×Ｋ画素のブロックをブロックＳｆ及びブロックＳｂと設定する。

次に、画像処理装置１の判定部６及び演算部７について説明する。判定部６は、探索部５から出力される探索結果を参照して画像データＰ（ｔ）のブロックＴを構成する画像信号に対して演算を行うか否か判定を行い、判定結果を出力する。判定処理は、例えば雨滴の輝度値が背景の輝度値に比べて高いことを用いて行う。ヘリコプターなどに搭載されたカメラから撮影された雨天時の映像には、カメラ近くを落下する雨滴及びカメラから離れた空間を落下する雨滴が存在する。

カメラ近くを落下する雨滴は、輝度値が高く線状である。これと比較して、カメラから離れた空間を落下する雨滴は、輝度値が低く帯状となり、画像全体が白っぽい印象となると共に、カメラが移動しているため若干ぼやけた映像になりやすい。また、雨滴は高速で落下するため、ブロックＴのある画素に写っている雨滴は、ブロックＳｆ及びブロックＳｂ内の同じ位置の画素には写っていない。これらの特徴を利用してブロックＴを構成する画像信号に対して演算を行うか否か判定を行う。演算部７は、判定部６の判定結果に基づき、ブロックＴを構成する画像信号に対して演算を行い、演算結果を出力する。

図７及び図８において、判定部６及び演算部７の動作の詳細について具体例を挙げて説明する。図７は、この発明の実施の形態１に係る判定部及び演算部のデータの入出力を示す図である。図８は、この発明の実施の形態１に係る演算部の処理内容を示す図である。
図７に示すように、判定部６に画像データＰ（ｔ）のブロックＴ、画像データＰ（ｔ−１）のブロックＳｆ及び画像データＰ（ｔ＋１）のブロックＳｂの画像信号が入力されると、判定部６はブロックＴとブロックＳｆの画素の画像信号の差分及びブロックＴとブロックＳｂの画素の画像信号の差分が共に所定の閾値以上であるか否か判定する。なお、判定に用いる閾値は制御部８から与えられる。差分が所定の閾値以上であると判定された場合には、ブロックＴに雨滴が写っていると判断し、ブロックＴの画像信号を演算結果で置き換える判定結果を出力する。一方、差分が所定の閾値以内であると判定した場合には、ブロックＴには雨滴が写っていないと判断し、ブロックＴの画像信号を演算結果に置き換えない判定結果を出力する。

演算部７は、判定部６から入力された判定結果に基づいてブロックＴの画像信号に対して演算を行い、ブロックＭを生成して出力する。判定部６の判定処理及び演算部７の演算処理をブロックＴを構成する全ての画素に対して実施した結果がブロックＭであり、ブロックＭはブロックＴから雨滴を除去したものである。このブロックＭが入力される記憶部２は、複数のブロックＭで構成される画像データＭ（ｔ）を記憶する。図８に示すように、画像データＭ（ｔ）の左上端部の座標Ａ´は画像データＰ（ｔ）の点Ａの座標（０，０）と同一の値であり、ブロックＭの左上端部の座標ａ´はブロックＴの点ａの座標（αｊ，βｋ）と同一の値である。

次に、この実施の形態１に係る画像処理装置の動作について説明する。図９は、この発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。なお、この実施例では、雨天時に飛行中のヘリコプターなどに搭載されたカメラ１１から入力される動画像であり、変化する背景と落下する無数の雨滴が撮影されているものとし、連続する画像データが３画像分得られた時点で画像処理を実行する。

外部装置であるカメラ１１により撮影された動画像信号で構成される画像データが順次記憶部２に入力される（ステップＳＴ１）。記憶部２は時系列順に連続する３画像分の画像データＰ（ｔ−１）、ｐ（ｔ）、Ｐ（ｔ＋１）を記憶する。画像データカウンタ２１は、ステップＳＴ１において動画像信号の入力が完了する毎にカウンタ値をカウントアップすると共に、カウンタ値が所定値に達したか否か、この実施例ではカウンタ値が「３」に達したか否か判定する（ステップＳＴ２）。ステップＳＴ２において、カウンタ値が「３」に達していないと判定された場合には、ステップＳＴ１の処理に戻り、上述の処理を繰り返す。一方、ステップＳＴ２において、カウンタ値が「３」に達したと判定された場合には、入力された３画像分の画像データの中央に位置する画像データＰ（ｔ）を雨滴除去の対象画像に決定し、画像データＰ（ｔ）の画像信号を制御部８に出力する（ステップＳＴ３）。

制御部８は、ステップＳＴ３において入力された画像データＰ（ｔ）の画像信号から、画像データＰ（ｔ）内のＪ×Ｋ画素サイズのブロックＴの総数を算出し、算出結果をブロック分割部３に出力する（ステップＳＴ４）。ブロック分割部３は、ブロックＴの数をカウントするブロック数カウンタ３１を初期化して「０」に設定すると共に、ステップＳＴ４において制御部８から入力されたブロックＴの総数の算出結果を用いて、画像データＰ（ｔ）を左上端部からＪ×Ｋ画素サイズのブロックＴに分割して切り出し、切り出したブロックＴの画像信号をウィンドウ設定部４、探索部５及び判定部６に出力する（ステップＳＴ５）。

ステップＳＴ５において画像データＰ（ｔ）をブロックＴに分割する処理が終了すると、制御部８は、カメラ１１自体、あるいはカメラ１１が搭載されているヘリコプターなどの移動体（図示せず）の移動方向に関する情報をウィンドウ設定部４に出力する（ステップＳＴ６）。ウィンドウ設定部４は、ステップＳＴ５において入力されたブロックＴの画像信号中の位置情報、及びステップＳＴ６において入力されたカメラ１１、あるいは移動体の移動方向情報に基づき、画像データＰ（ｔ−１）のウィンドウＷｆの領域を決定すると共に、画像データＰ（ｔ＋１）のウィンドウＷｂの領域を決定し、決定した領域に関する情報を探索部５に出力する（ステップＳＴ７）。

探索部５は、ステップＳＴ５において入力されたブロックＴの画像信号及びステップＳＴ７において入力されたウィンドウＷｆ及びウィンドウＷｂの領域情報に基づき、ウィンドウＷｆ内で画像データＰ（ｔ）のブロックＴと一画素単位の差分絶対値和が最小となるブロックＳｆを探索し、探索結果を判定部６に出力する（ステップＳＴ８）。同様に、探索部５はウィンドウＷｂ内で画像データＰ（ｔ）のブロックＴを一画素単位の差分絶対値和が最小となるブロックＳｂを探索し、探索結果を判定部６に出力する（ステップＳＴ９）。

判定部６は、ステップＳＴ５において入力されたブロックＴの画像信号と、ステップＳＴ８及びステップＳＴ９において入力されたブロックＳｆ及びブロックＳｂの画像信号を参照し、ブロックＴの画像信号の値とブロックＳｆの画像信号の値との差分、及び、ブロックＴの画像信号の値とブロックＳｂの画像信号の値との差分が、共に閾値以上であるか否か判定する（ステップＳＴ１０）。ブロックＴ、ブロックＳｆ及びブロックＳｂの画素サイズは全てＪ×Ｋ画素と等しいので、各ブロックの同じ位置にある画素の画像信号を用いて判定処理を行う。ステップＳＴ１０において、閾値以上であると判定された場合には、ブロックＴの画像信号を演算結果で置き換える指示を演算部７に出力する（ステップＳＴ１１）。

一方、ステップＳＴ１１において、閾値以下であると判定された場合には、ブロックＴの画像信号を演算結果で置き換えない指示を演算部７に出力する（ステップＳＴ１２）。
演算部７は、ステップＳＴ１１またはステップＳＴ１２において入力された判定結果に基づく指示に従ってブロックＴに対して演算処理を実行し、演算処理結果であるブロックＭを生成してブロックＭの画像信号を記憶部２に出力する（ステップＳＴ１３）。なお、ステップＳＴ１０からステップＳＴ１３の判定処理及び演算処理の詳細な処理内容は後述する。

ステップＳＴ１３の処理が実行されると、ブロック分割部３のブロック数カウンタ３１のカウンタ値を「１」カウントアップさせる（ステップＳＴ１４）。次に、ブロック分割部３は、ブロック数カウンタ３１のカウンタ値とステップＳＴ４において制御部８から入力されたブロックＴの総数が一致しているか否か判定を行う（ステップＳＴ１５）。ステップＳＴ１５において、ブロック数カウンタ３１のカウンタ値とブロックＴの総数とが一致していると判定された場合には、記憶部２は複数のブロックＭで構成された画像データＭ（ｔ）の画像信号を外部装置である表示装置１２に出力する（ステップＳＴ１６）。

その後、記憶部２は画像データＰ（ｔ−１）を削除し（ステップＳＴ１７）、ステップＳＴ１の処理に戻る。ステップＳＴ１では、時系列順にＰ（ｔ＋１）の次の画像データが入力され、上述した処理を繰り返す。一方、ステップＳＴ１５において、ブロック数カウンタ３１のカウンタ値とブロックＴの総数とが一致していないと判定された場合には、ステップＳＴ７の処理に戻り、上述した処理を繰り返す。

次に、上述したステップＳＴ１０からステップＳＴ１３の判定処理及び演算処理の詳細について説明する。図１０は、この実施の形態１に係る判定部及び演算部の動作を示すフローチャートである。
この実施の形態１では、ブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭの左上端部の座標を（０，０）とし、座標（ｊ−１，ｋ−１）までＪ×Ｋ画素回数の演算を行うものとする。

各ブロック内の画素の垂直位置を示す変数ｖを初期化して「０」に設定する（ステップＳＴ２１）。各ブロック内の画素の水平位置を示す変数ｈを初期化して「０」に設定する（ステップＳＴ２２）。ここで、ブロックＴの垂直位置ｖ、水平位置ｈに位置する画素の信号値はＴ（ｖ，ｈ）、ブロックＳｆ内の垂直位置ｖ、水平位置ｈに位置する画素の信号値はＳｆ（ｖ，ｈ）、ブロックＳｂ内の垂直位置ｖ、水平位置ｈに位置する画素の信号値はＳｂ（ｖ，ｈ）、ブロックＭ内の垂直位置ｖ、水平位置ｈに位置する画素の信号値はＭ（ｖ，ｈ）と示すものとする。

判定部６は、Ｔ（ｖ，ｈ）とＳｆ（ｖ，ｈ）の差分であるＤｅｌｔａＦ、及び、Ｔ（ｖ，ｈ）とＳｂ（ｖ，ｈ）の差分であるＤｅｌｔａＢを求め（ステップＳＴ２３）、さらにＤｅｌｔａＦを二乗した値であるＶａｒＦ、及び、ＤｅｌｔａＢを二乗した値であるＶａｒＢを求める（ステップＳＴ２４）。次に、判定部６は、ステップＳＴ２３で算出したＤｅｌｔａＦ及びＤｅｌｔａＢがあらかじめ定めた閾値ＴｈＤ以上であるか否か判定を行う（ステップＳＴ２５）。ステップＳＴ２５において、ＤｅｌｔａＦ及びＤｅｌｔａＢが閾値ＴｈＤ以上であると判定された場合には、ＶａｒＦとＶａｒＢの和が閾値ＴｈＶ以上であるか否か判定を行う（ステップＳＴ２６）。なお、閾値ＴｈＤ及び閾値ＴｈＶは、制御部８から与えられる。

ステップＳＴ２６において、ＶａｒＦとＶａｒＢの和が閾値ＴｈＶ以上であると判定された場合には、図９のフローチャートで示したステップＳＴ８及びステップＳＴ９において探索されたブロックＳｆ及びブロックＳｂの絵柄がブロックＴの絵柄がほぼ等しいという仮定の下、ブロックＴに雨滴の映像が存在する場合にブロックＳｆ及びブロックＳｂには雨滴が存在しないと判断し、演算部７がＴ（ｖ，ｈ）とＳｆ（ｖ，ｈ）とＳｂ（ｖ，ｈ）を用いた演算を行い、演算結果をＭ（ｖ，ｈ）とする（ステップＳＴ２７）。演算の内容としては、例えばＴ（ｖ，ｈ）、Ｓｆ（ｖ，ｈ）及びＳｂ（ｖ，ｈ）の平均値や最小値、またはＳｆ（ｖ，ｈ）とＳｂ（ｖ，ｈ）の平均値などを算出する。これらの実行すべき演算の種類は、制御部８により制御される。

一方、ステップＳＴ２５においてＤｅｌｔａＦ及びＤｅｌｔａＢが閾値ＴｈＤ以下であると判定された場合、またはステップＳＴ２６においてＶａｒＦとＶａｒＢの和が閾値ＴｈＶ以下であると判定された場合には、演算結果であるＭ（ｖ，ｈ）の値をＴ（ｖ，ｈ）の値でセットする（ステップＳＴ２８）。ステップＳＴ２７及びステップＳＴ２８の処理が実行されると、次に変数ｈを１インクリメントし（ステップＳＴ２９）、変数ｈがｊより小さいか否か判定、即ち変数ｈがブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭ内の水平位置を示しているか否か判定する（ステップＳＴ３０）。ステップＳＴ３０において、変数ｈがｊより小さく、変数ｈがブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭ内の水平位置を示していると判定された場合には、ステップＳＴ２３に戻り、上述した処理を繰り返す。

一方、ステップＳＴ３０において、変数ｈがｊより大きく、変数ｈがブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭ内の水平位置を示していないと判定された場合には、変数ｖの値を１インクリメントし（ステップＳＴ３１）、変数ｖがｋより小さいか否か、即ち変数ｖがブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭ内の垂直位置を示しているか否か判定する（ステップＳＴ３２）。ステップＳＴ３２において、変数ｖがｋより小さく、変数ｖがブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭ内の垂直位置を示していると判定された場合には、ステップＳＴ２２の戻り上述した処理を繰り返す。一方、ステップＳＴ３２において、変数ｖがｋより大きく、変数ｖがブロックＴ、ブロックＳｆ、ブロックＳｂ及びブロックＭの垂直位置を示していないと判定された場合には処理を終了し、図９のフローチャートで示したステップＳＴ１３の処理に移行する。

以上のように、この実施の形態１によれば、カメラが搭載されたヘリコプターなどの移動体の移動方向に関する情報と、対象画像を構成するブロックの位置情報を用いて、対象画像に対して時系列的に前後に存在する画像内にウィンドウを設定するウィンドウ設定部と、当該ウィンドウ内から判定処理及び演算処理に用いるブロックを探索する探索部を設けるように構成したので、移動するカメラを用いて雨天時に撮影された動画像に含まれる雨滴を除去することが可能となり、雨天時に撮影された動画像の主観画質を改善することができる。また、動画像に含まれる雨滴が除去されるため、例えばこの実施の形態１に係る画像処理装置を動画像符号化装置の前処理装置として接続すれば、前処理として雨滴を除去することにより、符号化画質を改善することができる。また、この実施の形態１に係る画像処理装置を動画像符号化装置の後処理装置として接続すれば、復号画像の雨滴を除去することができ、復号画像の主観画質を改善することができる。

また、この実施の形態１によれば、対象画像のブロックと、対象画像に対して時系列的に前後に存在する画像のブロックの各画素の信号値の差分絶対値和を算出し、該差分絶対値和が最小となるブロックを参照ブロックと設定する探索部を設けるように構成したので、移動するカメラを用いて撮影された動画像であっても、時系列的に連続する各画像データ内にそれぞれ対応するブロックを探索することができる。これにより、対象画像から確実に雨滴などの移動物体を除去することができる。

なお、上記実施の形態１に係る画像処理装置では、ヘリコプターなどに搭載されてカメラ自体が移動して撮影された背景が刻々と変化する映像中に写された雨滴を除去する構成を示したが、図９において示したｈｌｆｒａｎｇｅを０とし、ｈｒｆｒａｎｇｅの値を（ｊ−１）とすれば背景が静止した画像に対しても同様に雨滴を除去することができる。

なお、上記実施の形態１に係る画像処理装置では、カメラの移動方向は水平方向のみの場合について説明したが、カメラが水平方向に加えて垂直方向に移動した場合であっても、このカメラの移動方向情報を用いてウィンドウ領域を設定することにより、上述の処理を行うことができる。

実施の形態２．
上述した実施の形態１では、移動するカメラで撮影された動画像に含まれる雨滴を除去した画像を出力する構成を示したが、この実施の形態２では、実施の形態１で示した構成を動画像の符号化を行う符号化部を備えた画像処理装置に適用する実施の形態を示す。図１１は、この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１２は、この発明の実施の形態２に係る符号化部の構成を示すブロック図である。以下では、実施の形態１に係る画像処理装置の構成要素と同一の部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。この画像処理装置１は、図１に示した実施の形態１に係る画像処理装置１に符号化部（符号化手段）９を追加して構成している。

探索部５ａは、実施の形態１の探索部５の処理に加え、符号化部９に対して探索情報としてベクトル情報を出力する。これは、符号化部９が符号化処理を実施する場合にベクトル情報が必要となり、探索部５ａにおいて動き探索を行いこのベクトル情報を得る。なお、ベクトル情報とは、ブロックＴとブロックＳｆの座標差、ブロックＴとブロックＳｂの座標差を示すものである。図１３は、この実施の形態２の画像処理装置のベクトル情報を示す図である。図１３に示すように、例えば、ブロックＴの左上端部点ａの座標を（αｊ、βｋ）、ブロックＳｆの左上端の座標を（Ｓｆｈ，Ｓｆｖ）、ブロックＳｂの左上端の座標を（Ｓｂｈ，Ｓｂｖ）とした場合、ブロックＳｆに対するベクトル情報Ｖｆは（Ｓｆｈ−αｊ，Ｓｆｖ−βｋ）、ブロックＳｂに対するベクトル情報Ｖｂは（Ｓｂｈ−αｊ，Ｓｂｖ−βｋ）と表される。

なお、実施の形態１の探索部５と同一の動作であるブロックＳｆの探索は、画像データＭ（ｔ−１）、または後述する復号画像データＲ（ｔ−１）が存在する場合には、画像データＰ（ｔ−１）の画像信号ではなく、画像データＭ（ｔ−１）の画像信号、または復号画像データＲ（ｔ−１）の画像信号を用いてよい。

演算部７ａは、実施の形態１の演算部７と同様にブロックＭの画像信号を生成すると共に、一画素単位でブロックＳｆの信号値とブロックＳｂの信号値の平均値を求めて予測画像信号を算出し、予測画像信号で構成されるブロックＰを生成する。なお、予測画像信号は、ブロックＳｆの画像信号またはブロックＳｂの画像信号としてもよい。さらに、演算部７ａは、ブロックＭの画像信号とブロックＰの予測画像信号との差分を求めて予測誤差信号を算出し、予測誤差信号で構成されるブロックＤを生成する。

符号化部９は、直交変換・量子化部９１、可変長符号化部９２、逆量子化部９３、逆直交変換部９４及び加算部９５で構成されている。直交変換・量子化部９１は、予測誤差信号を直交変換して変換係数を得て、さらに変換係数を量子化する。可変長符号化部９２は、量子化された変換係数及びベクトル情報を可変長符号化し、その符号化データを多重化して出力信号を生成する。逆量子化部９３は、量子化された変換係数を逆量子化する。逆直交変換部９４は、逆量子化された変換係数を逆直交変換して予測誤差信号を復号する。加算部９５は、復号された予測誤差信号と予測画像信号を一画素単位で加算して復号画像信号を算出する。

次に、この実施の形態２に係る画像処理装置の動作について、図１４のフローチャートを参照しながら説明する。また、以下では、実施の形態１に係る画像処理装置と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略する。
探索部５は、ステップＳＴ５において入力されたブロックＴの画像信号及びステップＳＴ７において入力されたウィンドウＷｆ及びウィンドウＷｂの領域情報に基づき、ウィンドウＷｆ内で画像データＰ（ｔ）のブロックＴと一画素単位の差分絶対値和が最小となるブロックＳｆを探索して判定部６に出力すると共に、ブロックＳｆに対するベクトル情報Ｖｆを符号化部９の可変長符号化部９２に出力する（ステップＳＴ４１）。同様に、探索部５はウィンドウＷｂ内で画像データＰ（ｔ）のブロックＴと一画素単位の差分絶対値和が最小となるブロックＳｂを探索して判定部６に出力すると共に、ブロックＳｂに対するベクトル情報Ｖｂを符号化部９の可変長符号化部９２に出力する（ステップＳＴ４２）。

次に、図９に示したステップＳＴ１０からステップＳＴ１３の実施の形態１と同一の動作を行う。ステップＳＴ１３において、演算部７ａがブロックＭの画像信号を生成すると、演算部７ａはさらに一画素単位でブロックＳｆの信号値とブロックＳｂの信号値との平均値から予測画像信号を算出する。算出した予測画像信号で構成されるブロックＰを生成する（ステップＳＴ４３）。次に、演算部７ａは一画素単位でブロックＭの画像信号とブロックＰの予測画像信号との差分を求めて予測誤差信号を算出し、予測誤差信号で構成されるブロックＤを生成して符号化部９の直交変換・量子化部９１に出力する（ステップＳＴ４４）。

直交変換・量子化部９１は、ステップＳＴ４４において入力されたブロックＤの予測誤差信号を直交変換して変換係数を得て、さらにこの変換係数を量子化して可変長符号化部９２及び逆量子化部９３に出力する（ステップＳＴ４５）。可変長符号化部９２は、ステップＳＴ４５において入力された量子化された変換係数と、ステップＳＴ４１及びステップＳＴ４２において入力されたベクトル情報Ｖｆ及びベクトル情報Ｖｂを可変長符号化し、その符号化データを多重化して出力信号として外部装置である表示装置１２に出力する（ステップＳＴ４６）。一方、逆量子化部９３は、ステップＳＴ４５において入力された量子化された変換係数を逆量子化し、逆量子化した変換係数を逆直交変換部９４に出力する（ステップＳＴ４７）。

逆直交変換部９４は、ステップＳＴ４７において入力された逆量子化された変換係数を逆直交変換して復号予測誤差信号を算出し、復号予測誤差信号で構成されるブロックＩを算出する（ステップＳＴ４８）。加算部９５は、ステップＳＴ４８において逆直交変換部９４で生成されたブロックＩの復号予測誤差信号と、演算部７ａにおいて生成されたブロックＰの予測画像信号を一画素単位で加算して復号画像信号を算出し、復号画像信号で構成されるブロックＲを生成して記憶部２に出力する（ステップＳＴ４９）。ステップＳＴ４９の処理後、フローは実施の形態１と同様の処理であるステップＳＴ１４及びステップＳＴ１５の処理を行う。

ステップＳＴ１５において、ブロック数カウンタ３１のカウンタ値とブロックＴの総数とが一致していると判定された場合には、記憶部２において複数のブロックＲで構成される復号画像データＲ（ｔ）が生成される（ステップＳＴ５０）。復号画像データＲ（ｔ）は、雨滴を除去した画像データを符号化及び復号した画像データとなる。その後、記憶部２は画像データＰ（ｔ−１）を削除し（ステップＳＴ１７）、制御部８が終了指示を出力しているか否か判定する（ステップＳＴ５１）。ステップＳＴ５１において、終了指示を出力していると判定された場合には処理を終了する。制御部８は外部からの終了指示を全ブロックに指示する。

一方、ステップＳＴ５１において終了指示を出力していないと判定された場合にはステップＳＴ１の処理に戻り、時系列順にＰ（ｔ＋１）の次の画像データが入力され、上述した処理を繰り返す。一方、ステップＳＴ１５において、ブロック数カウンタ３１のカウンタ値とブロックＴの総数とが一致していないと判定された場合には、ステップＳＴ７の処理に戻り、上述した処理を繰り返す。

ここまで、一枚の画像データを分割したブロック単位の動作について説明したが、次に画像単位の処理について説明する。特に画像内符号化画像（以下、Ｉ（Ｉｎｔｅｒ ｃｏｄｅｄ）ピクチャと称する）及び片方向予測符号化画像（以下、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｅｄ）ピクチャと称する）の符号化処理について説明する。図１５は、この実施の形態２に係る画像処理装置の符号化処理を示す図である。
Ｉピクチャとは、フレーム内で符号化されるフレーム内符号化画像である。Ｐピクチャとは、フレーム間予測を用いて符号化される予測符号化画像であり、時間的に前に存在する一枚のピクチャから予測され、符号化される。即ち画像データＰ（ｔ）の雨滴を除去する動作では画像データＰ（ｔ−１）、Ｐ（ｔ）、Ｐ（ｔ＋１）を用いるが、画像データＰ（ｔ）をＰピクチャとして符号化する動作では画像データＰ（ｔ−１）とＰ（ｔ）のみを用いる。

まず、Ｉピクチャの符号化を行う動作について説明する。雨滴を除去する対象画像である画像データＰ（ｔ）をＩピクチャ１０ａに設定し、連続する画像データＰ（ｔ−１）、Ｐ（ｔ）、Ｐ（ｔ＋１）の画像信号を用いて雨滴除去を行う。Ｉピクチャ１０ａは、フレーム内符号化画像であり画像データＰ（ｔ）内で符号化を行うため、画像データＰ（ｔ−１）、Ｐ（ｔ＋１）は雨滴除去のみに使用し、符号化には使用しない。そのため、図１４のフローチャートで示したステップＳＴ４３において、演算部７ａは画像データＰ（ｔ−１）のブロックＳｆの信号値及び画像データＰ（ｔ＋１）のブロックＳｂの信号値の平均値から予測画像信号を算出してブロックＰを生成するが、この場合にはブロックＳｆとブロックＳｂの信号値を「０」に設定してブロックＰを生成する。

ステップＳＴ４４では、演算部７ａがブロックＭの画像信号とブロックＰの画像信号との差分を求めて予測誤差信号を算出し、ブロックＤを生成するが、画像データＰ（ｔ−１）及びＰ（ｔ＋１）のブロックＰの予測画像信号はそれぞれ「０」であるため、ブロックＭがブロックＤとなる。ステップＳＴ４５からステップＳＴ４９では、符号化部９においてブロックＤが符号化され、ブロックＲが生成される。これらの処理を画像データＰ（ｔ）を構成する全てのブロックに対して実行し、画像データＰ（ｔ）の符号化処理を終了する。符号化処理が終了すると、記憶部２には復号画像データＲ（ｔ）が記憶される。

次に、Ｐピクチャの符号化を行う動作について説明する。雨滴を除去する対象画像である画像データＰ（ｔ＋１）をＰピクチャ１０ｂに設定し、連続する画像データＰ（ｔ）、Ｐ（ｔ＋１）、Ｐ（ｔ＋２）の画像信号を用いて雨滴除去を行う。ただし、ここでは画像データＰ（ｔ）に替えて上述した雨滴が除去された復号画像データＲ（ｔ）の画像を用いる。つまり復号画像データＲ（ｔ）、画像データＰ（ｔ＋１）及びＰ（ｔ＋２）の画像信号を用いて画像データＰ（ｔ＋１）から雨滴を除去する。Ｐピクチャ１０ｂは、時間的に前に存在する一枚のピクチャから予測して符号化するため、画像データ（Ｐ＋２）は雨滴除去のみに使用し、符号化には使用しない。つまり、図１４のフローチャートで示したステップＳＴ４３において、演算部７ａは復号画像データＲ（ｔ）のブロックＳｆの信号値を予測画像信号としてブロックＰを生成する。

ステップＳＴ４４では、演算部７ａがブロックＭの画像信号とブロックＰの画像信号との差分を求めて予測誤差信号を算出し、ブロックＤを生成する。ステップＳＴ４５からステップＳＴ４９では、符号化部９においてブロックＤが符号化され、ブロックＲが生成される。なお、ステップＳＴ４６において、ベクトル情報Ｖｆ及びベクトル情報Ｖｂを可変長符号化し、その符号化データを多重化して出力信号を生成するが、Ｐピクチャ１０ｂは時間的に前に存在する一枚のピクチャから予測して符号化するため、ベクトル情報Ｖｆのみを可変長符号化して出力信号を生成する。これらの処理を画像データＰ（ｔ＋１）を構成する全てのブロックに対して実行し、画像データＰ（ｔ＋１）の符号化処理を終了する。符号化処理が終了すると、記憶部２に復号画像データＲ（ｔ＋１）が記憶される。また、これと同時に画像データＰ（ｔ）及び復号画像データＲ（ｔ）は不要となるため、記憶部２から削除される。

以上のように、この実施の形態２によれば、演算部から入力される雨滴などの移動物体を除去した映像に対して、さらに符号化処理を実行する符号化部を設けるように構成したので、雨滴などの移動物体を除去した映像の符号化映像を生成することができる。

また、この実施の形態２によれば、画像処理を実行する際のブロックの探索処理と符号化処理を実行する際に用いるベクトル情報の取得処理を１つの探索部を兼用して実行するように構成したので、画像処理及び符号化処理それぞれに対応する探索部を設ける必要がなく、１台の画像処理装置で画像処理機能と符号化処理機能を実現することができる。また、画像処理装置の省スペース化を図ることができる。

この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 この発明の実施の形態１に係る画像処理装置に入力される動画像信号の構成を示す図である。 この発明の実施の形態１に係る画像処理装置に入力される動画像信号の構成を示す図である。 この発明の実施の形態１に係るブロック分割部の処理内容を示す図である。 この発明の実施の形態１に係る画像データの構成を示す図である。 この発明の実施の形態１に係るウィンドウ設定部及びブロック分割部の処理内容を示す図である。 この発明の実施の形態１に係る判定部及び演算部のデータの入出力を示す図である。 この発明の実施の形態１に係る演算部の処理内容を示す図である。 この発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。 この発明の実施の形態１に係る判定部及び演算部の動作を示すフローチャートである。 この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 この発明の実施の形態２に係る符号化部の構成を示すブロック図である。 この発明の実施の形態２に係るベクトル情報の内容を示す図である。 この発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。 この発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。 この発明の実施の形態２に係る画像処理装置の符号化処理を示す図である。

符号の説明

１ 画像処理装置、２ 記憶部、３ ブロック分割部、４ ウィンドウ設定部、５，５ａ 探索部、６ 判定部、７，７ａ 演算部、８ 制御部、９ 符号化部、１０ａ Ｉピクチャ、１０ｂ Ｐピクチャ、１１ カメラ、１２ 表示装置、２１ 画像データカウンタ、３１ ブロック数カウンタ、９１ 直交変換・量子化部、９２ 可変長符号化部、９３ 逆量子化部、９４ 逆直交変換部、９５ 加算部、Ｍ（ｔ），Ｐ（ｔ），Ｐ（ｔ−１），Ｐ（ｔ＋１），Ｐ（ｔ＋２） 画像データ、Ｒ（ｔ），Ｒ（ｔ＋１） 復号画像データ、Ｄ，Ｉ，Ｍ，Ｒ，Ｓｂ，Ｓｆ，Ｔ ブロック、Ｖｂ，Ｖｆ ベクトル情報、Ｗｂ，Ｗｆ ウィンドウ、Ｘ 矢印。

Claims (3)

1. 撮像手段が撮像した画像の動画像信号から移動物体を除去する画像処理装置において、
   前記除去する移動物体を含む対象画像の動画像信号を、所定画素サイズの対象ブロックに分割するブロック分割手段と、
   前記撮像手段の移動方向を示す移動情報及び前記対象ブロックの位置情報に基づいて、前記対象画像と時間的に前後して位置する参照画像の動画像信号に、前記対象ブロックの移動軌跡上に位置する参照ウィンドウを設定するウィンドウ設定手段と、
   前記参照ウィンドウ内で、前記対象ブロックとの特徴量の差が最小となる前記所定画素サイズの参照ブロックを特定するブロック探索手段と、
   前記対象ブロックの各画素の信号値と前記参照ブロックの各画素の信号値に基づき、前記対象ブロックに対して演算を行うか否か判定する判定手段と、
   前記判定手段の判定結果に基づき、前記対象ブロックの各画素の信号値に対して演算を行う演算手段とを備えたことを特徴とする画像処理装置。
2. 特徴量は、参照ブロックの各画素の信号値と対象ブロックの各画素の信号値との差分絶対値和であることを特徴とする請求項１記載の画像処理装置。
3. 動画像信号は、インターレース信号であることを特徴とする請求項１または請求項２記載の画像処理装置。

Images