JP2015179503A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】コントラストに高低がある場合でも、合成画像における動き物体の残像を低減する。【解決手段】コントラスト解析部１３は、入力フレーム画像のヒストグラムを生成し（Ｓ５）、このヒストグラムからコントラストを算出する（Ｓ６）。動き検出閾値設定部１２は、入力操作された動き検出レベルと算出されたコントラストを用い、動き検出閾値における閾値下限及び閾値上限を算出する（Ｓ９）。動き検出部１４は、フレーム間差分値が閾値上限より大きい場合、注目画素は大きく動いているとして、前フレーム画像を合成しないように合成比率Ｋを設定する。差分値が閾値下限より小さい場合、注目画素は静止であるとして、前フレーム画像を最大の割合で合成するように合成比率Ｋを設定する。差分値が閾値上限以下かつ閾値下限以上である場合、動き検出部１４は、注目画素の動き具合に応じた割合で前フレーム画像を入力フレーム画像に合成するように合成比率Ｋを設定する。【選択図】図１

Description

本発明は、入力フレーム画像を画像処理する画像処理装置及び画像処理方法に関する。

従来、Ｓ／Ｎを改善するために、入力フレーム画像とノイズが低減された前フレーム画像とを合成して合成画像を生成する画像処理装置が知られている（例えば、特許文献１参照）。

特許文献１に示す画像処理装置は、入力フレーム画像とノイズが低減された前フレーム画像との差分値（具体的には、輝度の差分値）を用いて、フレーム画像間の差分値が閾値より大きい場合に動きありと判定し、閾値より小さい場合に静止と判定する。更に、画像処理装置は、判定結果を基に、動きがある画像領域に対し、入力フレーム画像と合成される前フレーム画像の合成割合の値を小さく調整することで、動き物体の残像を低減する。

特開平６−２２５１７８号公報

しかし、特許文献１の構成では、入力フレーム画像のコントラストによっては、動き物体におけるフレーム画像間の輝度の差分値が一律に一定とならない場合があり、例えばコントラストの低いフレーム画像では、動き物体におけるフレーム画像間の輝度の差分値が閾値より低くなり、動き物体の検出が困難となる。このため、動き物体が静止物体と誤検出され、動き物体の残像が増大する。一方、コントラストの高いフレーム画像では、動き物体は検出され易いため、動き物体の残像は低減する。即ち、特許文献１の構成では、コントラストの高低に応じて、動き物体の残像が現れたり、消えたりすることがあった。

また、１つのフレーム画像内においてコントラストの高低が存在すると、コントラストの低い画像領域では、上述したように動き物体の検出が困難となり、同様の課題が生じる。このように、入力フレーム画像と前フレーム画像との間、又は１つの入力フレーム画像においてコントラストの高低があると、動き物体を一律に検出することが困難となり、特許文献１によるＳ／Ｎを改善するための合成画像には、動き物体の残像が現れるという課題がある。

本発明は、上述した従来の課題を解決するために、コントラストに高低がある場合でも、合成画像における動き物体の残像を低減する画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、入力フレーム画像を画像処理する画像処理装置であって、前記入力フレーム画像のコントラストを算出するコントラスト算出部と、前記入力フレーム画像に対する動き検出レベルの入力を受け付ける第１の入力操作部と、前記動き検出レベル及び前記コントラストに対応する動き検出閾値を算出する閾値算出部と、前記画像処理後の前フレーム画像を記憶する記憶部と、前記入力フレーム画像と前記前フレーム画像との差分値と、前記動き検出閾値との比較結果を基に、前記入力フレーム画像と前記前フレーム画像との合成画像を生成する合成画像生成部と、を備える、画像処理装置である。

本発明は、入力フレーム画像を画像処理する画像処理装置の画像処理方法であって、前記入力フレーム画像のコントラストを算出するステップと、前記入力フレーム画像に対する動き検出レベルの入力を受け付けるステップと、前記動き検出レベル及び前記コントラストに対応する動き検出閾値を算出するステップと、前記入力フレーム画像と、前記画像処理後の前フレーム画像との差分値と、前記動き検出閾値との比較結果を基に、前記入力フレーム画像と前記前フレーム画像との合成画像を生成するステップと、を有する、画像処理方法である。

本発明によれば、コントラストに高低がある場合でも、合成画像における動き物体の残像を低減することができる。

第１の実施形態における画像処理装置の構成を示すブロック図 コントラスト解析部によってコントラストが算出される際に用いられるヒストグラムを示すグラフ 動き検出レベル設定ＵＩを示す図 動き検出レベルに対応する動き検出閾値が設定された動き検出閾値テーブルの登録内容を示す図 合成比率Ｋを表すグラフ フレーム画像処理手順を説明するフローチャート 図６につづくフレーム画像処理手順を説明するフローチャート 第２の実施形態における画像処理装置の構成を示すブロック図 複数の領域に分割された画像における注目画素に対する閾値の設定を説明する図 複数の領域に分割された画像における注目画素に対する閾値の設定を説明する図 フレーム画像処理手順を説明するフローチャート 第３の実施形態における画像処理装置の構成を示すブロック図 領域・コントラスト設定ＵＩにおける入力操作手順を説明するフローチャート 領域・コントラスト設定ＵＩの画面を示す図 領域・コントラスト設定ＵＩの画面を示す図 領域・コントラスト設定ＵＩの画面を示す図 領域・コントラスト設定ＵＩの画面を示す図 領域・コントラスト設定ＵＩの画面を示す図 領域・コントラスト設定ＵＩの画面を示す図 フレーム画像処理手順を説明するフローチャート 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ再生直前の動画の表示例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ再生直後の動画の表示例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ複数枚合成ＮＲ処理後の動画の表示例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ複数枚合成ＮＲメニューの詳細が示された例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ複数枚合成ＮＲメニューの詳細が示された例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ複数枚合成ＮＲメニューの詳細が示された例を示す図 動画のビューアの表示領域と各画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正、複数枚合成ＮＲ及び降雪降雨除去の各画像処理後の動画の表示例を示す図

本発明に係る画像処理装置及び画像処理方法の各実施形態について、図面を参照しながら説明する。各実施形態の画像処理装置は、カメラ、レコーダ等の電子機器から出力される入力フレーム画像を画像処理する。また、本発明は、画像処理装置及び画像処理方法に限らず、コンピュータに対して画像処理方法により規定される動作を実行させるためのプログラム又はコンピュータ読み取り可能な記録媒体として表現しても良い。

（第１の実施形態）
図１は、第１の実施形態における画像処理装置１の構成を示すブロック図である。画像処理装置１は、動き検出レベル設定ＵＩ１１、動き検出閾値設定部１２、コントラスト解析部１３、動き検出部１４、画像合成部１５、差分計算部１６、平滑化処理部１７、フレームバッファ１８及び記憶部１９を有する。

記憶部１９には、入力フレーム画像、及び画像処理後の出力フレーム画像が記憶される。フレームバッファ１８には、前回画像処理が行われたフレーム画像（前フレーム画像）が記憶される。

コントラスト算出部の一例としてのコントラスト解析部１３は、記憶部１９に記憶された入力フレーム画像を入力して画像のコントラストを算出する。

動き検出レベル設定ＵＩ（ユーザインタフェース）１１は、ユーザによって指定された動き検出レベルを設定する。動き検出レベル設定ＵＩ１１の詳細については後述する。

閾値算出部の一例としての動き検出閾値設定部１２は、コントラスト解析部１３で算出されたコントラストと、動き検出レベル設定ＵＩ１１で設定された動き検出レベルとから、動き検出閾値を算出し、動き検出部１４に出力する。動き検出閾値の算出の詳細については後述する。

平滑化処理部１７は、記憶部１９から入力フレーム画像を入力し、また、フレームバッファ１８から前フレーム画像を入力し、これらの画像に対し、空間平滑化のための２次元ローパスフィルタ処理を行った結果を差分計算部１６に出力する。

差分計算部１６は、２次元ローパスフィルタ処理が行われた入力フレーム画像と前フレーム画像の画素又は領域毎の差分値（ここでは輝度差）を計算し、その結果（フレーム間差分値）を動き検出部１４に出力する。

動き検出部１４は、画素又は領域毎のフレーム間差分値を動き検出閾値と比較し、この比較結果に基づき、入力フレーム画像と前フレーム画像の合成比率Ｋを算出する。

合成画像生成部の一例としての画像合成部１５は、記憶部１９に記憶された入力フレーム画像、及びフレームバッファ１８に記憶された前フレーム画像を入力し、合成比率Ｋに従って入力フレーム画像に前フレーム画像を合成して合成画像を生成し、この合成画像である出力フレーム画像を記憶部１９に記憶するとともに、この合成画像を次回の前フレーム画像としてフレームバッファ１８に記憶する。

図２は、コントラスト解析部１３によってコントラストが算出される際に用いられるヒストグラムを示すグラフである。横軸は階調を表し、縦軸は画素数を表す。ヒストグラムの総面積は画像の総画素数である。本実施形態では、コントラストはヒストグラムの累積上限と累積下限の幅として定義される。累積上限は総画素数の９５％に当たる階調である。累積下限は総画素数の５％に当たる階調である。尚、累積上限の９５％と累積下限の５％は一例であり、それぞれ他の値に設定されてもよい。

図３は、動き検出レベル設定ＵＩ１１を示す図である。動き検出レベル設定ＵＩ１１は、表示部及び入力操作部を有するものであり、例えばタッチパネルやディスプレイ及びマウス等の入力デバイスで構成される。

動き検出レベル設定ＵＩ１１の画面には、ユーザが操作可能な、動き検出レベルを設定するスライドバー３１及び数値表示部３２が表示される。ユーザがスライドバー３１上のスライダ３１ａを操作すると、動き検出レベルが変更される。

図４は、動き検出レベルに対応する動き検出閾値が設定された動き検出閾値テーブル４１の登録内容を示す図である。この動き検出閾値テーブル４１は、動き検出閾値設定部１２に保持される。動き検出閾値設定部１２は、動き検出閾値テーブル４１を参照し、入力された動き検出レベルに対応する動き検出閾値の基準値を求める。動き検出閾値の基準値として、閾値下限と閾値上限（図５参照）の基準値が求められる。例えば、動き検出レベルが値１である場合、閾値下限と閾値上限の基準値はそれぞれ「１２７」と「２５５」に設定される。基準値の最大値は「２５５」であり、最小値は「０」である。

動き検出閾値設定部１２は、動き検出閾値の基準値として求められた、閾値下限と閾値上限の基準値に対し、コントラスト解析部１３で算出されたコントラストを用い、数式（１）に従って、動き検出閾値を調整する。

ここで、コントラスト値は画像のコントラストを値０．０〜１．０で正規化した値である。コントラスト値０．０はコントラストの最小値を示し、コントラスト値１．０はコントラストの最大値を示す。

図５は、合成比率Ｋを表すグラフである。横軸は差分値を表し、縦軸は合成比率Ｋを表す。ここで、合成比率Ｋは前フレーム画像の合成比率を表す。従って、入力フレーム画像の合成比率は「１．０−Ｋ」で表される。

画素又は領域毎のフレーム間差分値が閾値下限より小さいと、静止しているとして、合成比率Ｋは値Ｋｍａｘに設定される。Ｋｍａｘは０．０より大きく１．０より小さい値である。一方、閾値上限より大きいと、大きく動いているとして、合成比率Ｋは値０．０に設定される。

フレーム間差分値が閾値下限と閾値上限との間にある場合、合成比率Ｋはこれらの線形補間により設定される。ここでは、直線で補間したが、曲線で補間してもよい。

上記構成を有する画像処理装置１の動作を示す。図６及び図７は、フレーム画像処理手順を説明するフローチャートである。コントラスト解析部１３及び平滑化処理部１７は、記憶部１９に記憶された入力フレーム画像を読み込む（Ｓ１）。平滑化処理部１７は、入力フレーム画像に対し、空間平滑化のための２次元ローパスフィルタ処理を行う（Ｓ２）。さらに、平滑化処理部１７は、フレームバッファ１８から前フレーム画像の処理結果を読み込み（Ｓ３）、空間平滑化のための２次元ローパスフィルタ処理を行う（Ｓ４）。

コントラスト解析部１３は、入力フレーム画像のヒストグラム（図２参照）を生成し（Ｓ５）、このヒストグラムから入力フレーム画像のコントラストを算出する（Ｓ６）。さらに、コントラスト解析部１３は、このコントラストを時間軸で平滑化してコントラスト値を算出する（Ｓ７）。

動き検出閾値設定部１２は、動き検出レベル設定ＵＩ１１から、設定された動き検出レベルを読み込む（Ｓ８）。動き検出閾値設定部１２は、この動き検出レベルから得られる動き検出閾値の基準値と、ステップＳ７で算出したコントラスト値を用い、数式（１）に従って、動き検出閾値における閾値下限及び閾値上限を算出する（Ｓ９）。

差分計算部１６は、入力フレーム画像と画像処理後の前フレーム画像とにおいて同じ位置にある注目画素の画素値を読み込む（Ｓ１０）。差分計算部１６は、注目画素におけるフレーム間差分値を計算する（Ｓ１１）。

動き検出部１４は、この差分値が閾値上限より大きいか否かを判別する（Ｓ１２）。閾値上限より大きい場合、動き検出部１４は、前フレーム画像の合成比率Ｋを値０に設定する（Ｓ１３）。即ち、注目画素は大きく動いているとして、前フレーム画像を合成しないように設定される。

一方、ステップＳ１２で差分値が閾値上限以下である場合、動き検出部１４は、差分値が閾値下限より小さいか否かを判別する（Ｓ１４）。閾値下限より小さい場合、動き検出部１４は、前フレーム画像の合成比率Ｋを値Ｋｍａｘに設定する（Ｓ１５）。即ち、注目画素は静止しているとして、画像処理後の前フレーム画像を最大の割合で合成するように設定される。

また一方、ステップＳ１４で差分値が閾値下限以上である場合、動き検出部１４は、前フレーム画像の合成比率Ｋを、値０と値Ｋｍａｘとの間の補間（図５参照）により算出された、差分値に応じた値に設定する（Ｓ１６）。即ち、注目画素の動き具合に応じた割合で、前フレーム画像を入力フレーム画像に合成するように設定される。

ステップＳ１３、Ｓ１５又はＳ１６によって合成比率Ｋが設定されると、画像合成部１５は、合成比率Ｋを用いて、注目画素における入力フレーム画像と前フレーム画像を合成する（Ｓ１７）。

画像処理装置１は、入力フレーム画像の全画素について合成処理が完了したか否かを判別する（Ｓ１８）。全画素について合成処理が完了していない場合、画像処理装置１はステップＳ１０の処理に戻り、次の注目画素について同様の処理を行う。

一方、全ての画素について合成処理が完了した場合、画像合成部１５は、合成結果である合成画像を出力フレーム画像として記憶部１９に記憶するとともに、次回の前フレーム画像としてフレームバッファ１８に記憶する（Ｓ１９）。この後、画像処理装置１は本処理を終了する。

以上により、第１の実施形態の画像処理装置１では、入力フレーム画像のコントラストに応じて動き検出閾値が自動で可変されるので、フレーム間においてコントラストに高低差があっても、動き物体の検出が容易となる。従って、動き物体が検出された画素又は領域の入力フレーム画像と合成される前フレーム画像の割合を下げることで、コントラストに高低がある場合でも、合成後の画像における動き物体の残像を低減することができる。

また、ユーザが動き検出レベル設定ＵＩから動き検出レベルを入力操作することで、入力フレーム画像と前フレーム画像の合成割合が調整されるので、合成画像にユーザの意図を反映させることができる。

（第２の実施形態）
第２の実施形態では、入力フレーム画像を複数の領域に分割し、分割された領域毎にコントラストを算出する場合を示す。第２の実施形態の画像処理装置は第１の実施形態とほぼ同一の構成を有する。前記第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。

図８は、第２の実施形態における画像処理装置１Ａの構成を示すブロック図である。画像処理装置１Ａは、前記第１の実施形態と同様の構成を有する他、画像分割部２０を有する。

画像分割部２０は、入力フレーム画像を複数の領域に分割する。この分割方法は、例えば画像を同じサイズのブロックに分割してもよいし、画像中の動きベクトルや輝度分布を解析してそのグルーピングによって領域を分割してもよい。

コントラスト解析部１３は、領域毎のコントラストを算出し、動き検出閾値設定部１２は、領域毎のコントラストを用いて動き検出閾値を設定する。

図９Ａ及び図９Ｂは、複数の領域に分割された画像における注目画素に対する閾値の設定を説明する図である。入力フレーム画像５０には、３つの分割された領域Ｇ１、Ｇ２、Ｇ３が含まれる。領域Ｇ１、Ｇ２、Ｇ３では、それぞれコントラストに対応する動き検出閾値Ｔｈｄ（Ｇ１）、Ｔｈｄ（Ｇ２）、Ｔｈｄ（Ｇ３）が設定されている。

図９Ａでは、注目画素Ｐは領域Ｇ１に属しているので、注目画素Ｐの動き検出閾値Ｔｈｄ（Ｐ）は、領域Ｇ１の動き検出閾値Ｔｈｄ（Ｇ１）となる。

一方、図９Ｂでは、注目画素Ｐは分割された領域Ｇ１、Ｇ２、Ｇ３の外にある。注目画素Ｐの動き検出閾値Ｔｈｄ（Ｐ）は、注目画素Ｐに最も近い領域Ｇ３の動き検出閾値Ｔｈｄ（Ｇ３）に設定されてもよい。

また、注目画素Ｐの動き検出閾値Ｔｈｄ（Ｐ）は、注目画素Ｐの周辺にある複数の領域（ここでは、領域Ｇ１、Ｇ２、Ｇ３）の動き検出閾値Ｔｈｄ（Ｇ１）、Ｔｈｄ（Ｇ２）、Ｔｈｄ（Ｇ３）を用い、数式（２）により算出される補間値に設定されてもよい。

ここで、ｄ１、ｄ２、ｄ３はそれぞれ注目画素Ｐから領域Ｇ１、Ｇ２、Ｇ３の重心までの距離を表す。

尚、注目画素が領域の境界にある場合、動き検出閾値の急な変化を低減するため、動き検出閾値の分布に２次元ローパスフィルタ処理を行って、注目画素の動き検出閾値を算出するようにしてもよい。

図１０は、フレーム画像処理手順を説明するフローチャートである。なお、ステップＳ１０以降の処理は前記第１の実施形態と同じであるので、省略する。また、ここでは、前記第１の実施形態と異なるステップ処理について説明する。

ステップＳ４で、平滑化処理部１７は、フレームバッファ１８から読み込んだ前フレーム画像に対し、空間平滑化のための２次元ローパスフィルタ処理を行う。

この後、画像分割部２０は、入力フレーム画像中、複数の分割された領域を設定する（Ｓ４Ａ）。コントラスト解析部１３は、分割された領域毎にヒストグラムを生成し（Ｓ５Ａ）、このヒストグラムから分割された領域毎のコントラストを算出する（Ｓ６Ａ）。

ステップＳ８で、動き検出閾値設定部１２は、動き検出レベル設定ＵＩ１１から、設定された動き検出レベルを読み込むと、この動き検出レベルから得られる動き検出閾値の基準値と、ステップＳ７で算出したコントラスト値を用い、前述した数式（１）に従って、分割された領域毎の動き検出閾値における閾値下限及び閾値上限を算出する（Ｓ９Ａ）。

以上により、第２の実施形態の画像処理装置１Ａでは、入力フレーム画像中、分割された領域毎に、そのコントラストに応じて動き検出閾値が自動で可変される。これにより、１枚の入力フレーム画像の中にコントラストに高低差があっても、動き物体の検出が容易となる。従って、入力フレーム画像にコントラストの低い領域や高い領域が混在しても、動き物体の残像を低減することができる。

（第３の実施形態）
第３の実施形態では、ユーザが入力フレーム画像中の領域及びコントラストを設定する場合を示す。第３の実施形態の画像処理装置１Ｂは前記第１の実施形態とほぼ同一の構成を有する。前記第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。

図１１は、第３の実施形態における画像処理装置１Ｂの構成を示すブロック図である。画像処理装置１Ｂは、前記第１の実施形態の構成の他、領域・コントラスト設定ＵＩ２１、ヒストグラム生成部２２、及びコントラスト解析部１３の代わりにコントラスト設定部１３Ａを有する。

領域・コントラスト設定ＵＩ２１は、注目領域の選択やコントラストの設定を行うものであり、ヒストグラムの表示が可能な表示部及び入力操作部を有する。領域・コントラスト設定ＵＩ２１は、例えばタッチパネルやディスプレイ及びマウス等の入力デバイスで構成される。

ヒストグラム生成部２２は、ユーザによって指定された注目領域のヒストグラムを生成する。コントラスト設定部１３Ａは、注目領域における、ユーザによって指定されたコントラストを設定する。

ユーザは、領域・コントラスト設定ＵＩ２１の画面（図１３参照）に表示された、代表フレーム画像とそのヒストグラムを参照し、注目領域（所定の領域）を指定する。指定された注目領域の情報は、ヒストグラム生成部２２に入力される。ヒストグラム生成部２２が注目領域のヒストグラムを生成すると、領域・コントラスト設定ＵＩ２１は、注目領域のヒストグラムを代表フレームのヒストグラムに重ねて表示する。

さらに、ユーザは、注目領域のヒストグラムを参照し、この領域における累積下限及び累積上限を指定することで、指定された累積下限及び累積上限がコントラスト設定部１３Ａに入力される。コントラスト設定部１３Ａは、入力した累積下限及び累積上限の情報をもとに、注目領域のコントラストを算出する。

ユーザは、複数の注目領域を選択し、それぞれの領域におけるコントラストを指定する。設定された注目領域毎のコントラストは動き検出閾値設定部１２に入力される。

図１２は、領域・コントラスト設定ＵＩ２１における入力操作手順を説明するフローチャートである。図１３Ａ〜図１３Ｆは、領域・コントラスト設定ＵＩ２１の画面を示す図である。

まず、領域・コントラスト設定ＵＩ２１は入力フレーム画像５０を開く（Ｓ３１）。入力フレーム画像５０が開かれると、図１３Ａに示すように、領域・コントラスト設定ＵＩ２１の画面には、入力フレーム画像５０が表示される。

さらに、ヒストグラム生成部２２は入力フレーム画像５０の全領域に対応するヒストグラム６１を生成し、領域・コントラスト設定ＵＩ２１は、図１３Ｂに示すように、この生成された全領域に対応するヒストグラム６１を画面に表示する（Ｓ３２）。

コントラスト設定部１３Ａは、ヒストグラム６１のコントラスト７１を設定する（Ｓ３３）。例えば、累積下限及び累積上限がそれぞれ総画素数の２％、９８％となるように指定されることで、コントラスト７１が設定される。

領域・コントラスト設定ＵＩ２１は、ユーザによって選択された、入力フレーム画像中の注目領域５３を受け付ける（Ｓ３４）。図１３Ｃに示すように、注目領域５３が選択されると、ヒストグラム生成部２２は、注目領域５３に対応するヒストグラム６３を生成し、領域・コントラスト設定ＵＩ２１は、図１３Ｄに示すように、この生成された注目領域５３に対応するヒストグラム６３を、全領域に対応するヒストグラム６１と重なるように画面に表示する（Ｓ３５）。

コントラスト設定部１３Ａは、ヒストグラム６３のコントラスト７３を設定する（Ｓ３６）。例えば、累積下限及び累積上限がそれぞれ総画素数の２％、９８％となるように指定されることで、コントラスト７３が設定される。

領域・コントラスト設定ＵＩ２１は、全ての注目領域の選択が完了したか否かを判別する（Ｓ３７）。全ての注目領域の選択が完了していない場合、領域・コントラスト設定ＵＩ２１は、ステップ３４の処理に戻り、同様の処理を繰り返す。

図１３Ｅに示すように、２回目の注目領域５５が選択されると、領域・コントラスト設定ＵＩ２１は、ユーザによって選択された、入力フレーム画像中の注目領域５５を受け付ける（Ｓ３４）。そして、図１３Ｆに示すように、ヒストグラム生成部２２は、注目領域５５に対応するヒストグラム６５を生成し、領域・コントラスト設定ＵＩ２１は、この生成された注目領域５５に対応するヒストグラム６５を、全領域に対応するヒストグラム６１と重なるように画面に表示する（Ｓ３５）。

コントラスト設定部１３Ａは、ヒストグラム６５のコントラスト７５を設定する（Ｓ３６）。例えば、累積下限及び累積上限がそれぞれ総画素数の２％、９８％となるように指定されることで、コントラスト７５が設定される。

１回目に選択された注目領域５３は全体的に暗い領域であり、コントラスト７３は小さな値となる。一方、２回目に選択された注目領域５５は明暗のある領域であり、コントラスト７５は大きな値となる。

図１４は、フレーム画像処理手順を説明するフローチャートである。なお、ステップＳ１０以降の処理は前記第１の実施形態と同じであるので、省略する。また、ここでは、前記第１の実施形態と異なるステップ処理について説明する。

ステップＳ４で、平滑化処理部１７は、フレームバッファ１８から読み込んだ前フレーム画像に対し、空間平滑化のための２次元ローパスフィルタ処理を行う。

この後、領域・コントラスト設定ＵＩ２１は、図１２に示した手順に従って、ユーザによって選択された注目領域と、この注目領域に対応するコントラストを設定する（Ｓ６Ｂ）。

ステップＳ８で、動き検出閾値設定部１２は、動き検出レベル設定ＵＩ１１から、設定された動き検出レベルを読み込むと、この動き検出レベルから得られる動き検出閾値の基準値と、ステップＳ７で算出したコントラスト値を用い、前述した数式（１）に従って、選択された注目領域毎の動き検出閾値における閾値下限及び閾値上限を算出する（Ｓ９Ｂ）。

以上により、第３の実施形態の画像処理装置１Ｂでは、ユーザが入力フレーム画像を参照しながら、注目領域を選択し、さらに、この注目領域において動き検出閾値の算出に用いられるコントラストを指定することが可能である。

従って、入力フレーム画像にコントラストの低い領域や高い領域が混在しても、ユーザの意図を十分に反映して、動き物体の検出が容易となる。この動き物体が検出された注目領域の入力フレーム画像と合成される前フレーム画像の割合を下げることで、ユーザの意図したように、動き物体の残像を低減することができる。

尚、注目領域の指定及びコントラストの設定は、全てユーザが行わなくてもよく、前記第２の実施形態で示したように、自動で分割された領域及び設定されたコントラストに対し、ユーザがその結果を参照しながら修正することで指定及び設定を行ってもよい。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、各実施形態の画像処理装置１，１Ａ，１Ｂの表示制御部ＣＴは、記憶部１９に記憶されている動画の画像データを読み出し、各実施形態における合成比率Ｋを用いた前フレーム画像と入力フレーム画像（現フレーム画像）との画像合成（以下、「複数枚合成ＮＲ」という）処理のメニュー画面と記憶部１９から読み出した動画の画像データとをディスプレイＤＰの同一画面上に表示してもよい（図１５〜図２０参照）。なお、上述した各実施形態では、説明を省略しているが、各画像処理装置１，１Ａ，１Ｂには、画面を表示するためのディスプレイＤＰ及びディスプレイＤＰの表示を制御するための表示制御部ＣＴが更に設けられてもよい（図１、図８、図１１参照）。以下、ディスプレイＤＰの同一画面ＷＤ１〜ＷＤ６に表示された画面例について、図１５〜図２０を参照して説明する。

図１５は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ１上に表示され、かつ再生直前の動画の表示例を示す図である。図１６は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ２上に表示され、かつ再生直後の動画の表示例を示す図である。図１７は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ３上に表示され、かつ複数枚合成ＮＲ処理後の動画の表示例を示す図である。

図１５には、記憶部１９から読み出された時点で再生直前の状態における動画の画像データのビューアの表示領域ＶＩＷと、画像処理装置１，１Ａ，１Ｂが実行可能な画像処理（具体的には、空間階調補正、複数枚合成ＮＲ（Noise Reduction）、降雪降雨除去）のメニュー（画像処理メニュー）の表示領域ＭＮＵとが同一画面ＷＤ１として示されている。図１５では、これらの各画像処理メニューの詳細内容が表示されておらず、各画像処理メニューの名称だけが表示されており、画像処理装置１，１Ａ，１Ｂにおける画像処理の対象となる動画の画像データと、画像処理装置１，１Ａ，１Ｂが実行可能な画像処理のメニューの一覧との関係がユーザにとって一目で視認可能となっている。従って、ユーザは、画像処理の対象となる動画の画像データと画像処理メニューとを対比的に確認できる。

図１５〜図２０に示す画面ＷＤ１〜ＷＤ９の下段には、動画の再生、一時停止、停止、早送り、巻戻し、録画、戻し操作等に関する操作ボタンセットＢＳＴと、動画の再生タイミングを視覚的に示す再生バーＢＡＲと、動画の始点時刻及び終了時刻を示す動画時間エリアＳＴＥと、再生バーＢＡＲ内に表示されたインジケータＩＮＤが示す実際の再生時刻（つまり、始点時刻からの経過時間）を直接的に示す再生時刻エリアＣＲＴとが共通して表示される。ユーザの操作によって再生ボタンＲＰがカーソルＣＳＲにより押下されると、画像処理装置１の表示制御部ＣＴは、記憶部１９から読み出した動画の画像データを再生する（図１６〜図２１参照）。この場合には、画像処理装置１の表示制御部ＣＴは、画面ＷＤ２上において、再生ボタンＲＰを一時停止ボタンＨＬに変更して表示する。

ここで、ユーザの操作によって、例えば画像処理メニューの表示領域ＭＮＵのうち複数枚合成ＮＲのメニューバーＭＮＵ２がカーソルＣＳＲにより一度押下されると、画像処理装置１，１Ａ，１Ｂの画像合成部１５は、対応する各実施形態の方法（例えば図６及び図７の組、図１０及び図７の組、図１４及び図７の組それぞれ参照）に従って、表示領域ＶＩＷに表示された動画の画像データに複数枚合成ＮＲの処理を行う。一方、複数枚合成ＮＲのメニューバーＭＮＵ２がカーソルＣＳＲにより更にもう一度押下されると、画像処理装置１，１Ａ，１Ｂの画像合成部１５は、表示領域ＶＩＷに表示された動画の画像データに対する複数枚合成ＮＲの処理を中断する。これにより、画像処理装置１，１Ａ，１Ｂは、表示領域ＶＩＷに表示された動画の画像データを再生した状態で、ユーザの簡単な操作（つまり、メニューバーＭＮＵ２の押下の有無）により、表示領域ＭＮＵに表示されたいずれかの画像処理メニューに対応した画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。なお、画像処理装置１，１Ａ，１Ｂの表示制御部ＣＴは、カーソルＣＳＲが画像処理メニューのいずれかのメニューバー上又はその近傍にある場合には、異なる形状のカーソルＣＳＲ１を表示してもよいし、当初のカーソルＣＳＲを表示してもよい。

また、ユーザの操作によって、図１７に示す複数枚合成ＮＲのメニューバーＭＮＵ２の右端部に表示されたマーカＤＴ１がカーソルＣＳＲ１により押下されると、画像処理装置１，１Ａ，１Ｂの表示制御部ＣＴは、複数枚合成ＮＲに関する複数の入力パラメータ（例えば、ＮＲレベル、検出レベル）を設定させるための詳細な操作画面の表示領域ＭＮＵ２Ｄを展開して画面ＷＤ４上に表示する（図１８〜図２０参照）。図１８〜図２０は、それぞれ動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵ２Ｄとが同一画面ＷＤ４〜ＷＤ６上に表示され、かつ複数枚合成ＮＲメニューの詳細が示された例を示す図である。

図１８〜図２０に示すように、画像処理装置１，１Ａ，１Ｂの表示制御部ＣＴは、複数枚合成ＮＲに関する入力パラメータを設定させるための詳細な操作画面（図３参照）と同様の画面を表示領域ＭＮＵ２Ｄに表示する。図１８〜図２０に示す表示領域ＭＮＵ２Ｄでは、複数枚合成ＮＲに関する入力パラメータであるカメラ動作、ＮＲレベル、検出レベル、移動物体に平滑化フィルタを適用するか否かのチェックボックスＦＣＢ、カメラ動き検出における検出精度及び検出範囲が入力又は指定可能に表示されている。

図１８〜図２０でも同様に、ユーザがＮＲレベル、検出レベル、検出精度及び検出範囲
毎に設けられたシークバー（例えば図３に示すスライダ３１ａ参照）に対してカーソルＣＳＲの個々に左右に移動する操作により、画像処理装置１，１Ａ，１Ｂは、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、移動操作後の入力パラメータに応じた複数枚合成ＮＲの処理を行う。

図１８〜図２０に示す「ＮＲレベル」とは、前フレーム画像と現フレーム画像との合成比率Ｋを定めるために用いられるパラメータであり、フレーム画像中のノイズを低減するために用いられる。図１８〜図２０に示す「検出レベル」とは、図３に示す被写体検出動き検出レベルに対応し、動き検出閾値設定部１２における動き検出閾値の算出に用いられる。図１８〜図２０に示す「検出精度」及び「検出範囲」は、画像処理装置１，１Ａ，１Ｂがカメラ動きを検出する際の検出精度、及びカメラ動きを検出する際の検出範囲をそれぞれ示す。

ユーザの操作によって、チェックボックスＦＣＢがカーソルＣＳＲにより押下されると、画像処理装置１，１Ａ，１Ｂは、画像合成部１５において、動き検出部１４で検出した動く画素に対し、空間平滑化のための２次元ローパスフィルタ処理を行う。

図１８ではＮＲレベルが「６」となっているが、図１９ではＮＲレベルが「１５」に変更されたので、図１９に示す動画の画像データにおけるノイズ成分は、図１８に示す動画の画像データにおけるノイズ成分に比べて低減するので、ユーザは動画の内容を十分に把握できる。

図１８では検出レベルが「７」となっているが、図２０では検出レベルが「２」に変更されたので、図２０に示す動画の画像データは、図１８に示す動画の画像データに比べれば移動物体の検出レベルが低下しているので、動き検出閾値が上昇し、複数枚合成ＮＲにより移動物体の残像が現れるが、例えばユーザが特に移動物体が含まれない背景を監視する必要がある等の事情がある場合には、検出レベルを低く設定してもよい。

また、各実施形態の画像処理装置１，１Ａ，１Ｂは、記憶部１９から読み出した動画の画像データと複数枚合成ＮＲを含む複数の画像処理のメニュー画面とをディスプレイＤＰの同一画面上に表示してもよい（図２１参照）。以下、ディスプレイＤＰの同一画面ＷＤ７に表示された画面例について、図２１を参照して説明する。

図２１は、動画のビューアの表示領域ＶＩＷと各画像処理メニューの表示領域ＭＮＵ１，ＭＮＵ２，ＭＮＵ３とが同一画面ＷＤ７上に表示され、かつ空間階調補正、複数枚合成ＮＲ及び降雪降雨除去の各画像処理後の動画の表示例を示す図である。図２１では、ユーザの操作により、空間階調補正のメニューバーＭＮＵ１、複数枚合成ＮＲのメニューバーＭＮＵ２、及び降雪降雨除去のメニューバーＭＮＵ３がそれぞれカーソルＣＳＲ１により押下されたことで、画像処理装置１，１Ａ，１Ｂによりそれぞれのメニューバーに対応する画像処理が施された動画の画像データが表示領域ＶＩＷに表示されている。つまり、本実施形態の画像処理装置１，１Ａ，１Ｂは、図１５〜図２０を参照して説明した単一の画像処理（例えば複数枚合成ＮＲ）に限定されず、動画の画像データを表示領域ＶＩＷに表示しながら、ユーザの簡易な操作に応じて複数の画像処理を実行でき、複数の画像処理結果をユーザに対して直感的かつ視覚的に示すことができる。

なお、空間階調補正とは、所定のパラメータ（例えば、補正方式、補正強度、色強調度、明るさ及び補正範囲）の入力又は指定に応じて、対応する別のパラメータ（例えば、重み付け係数、重み付け範囲、ヒスト上限クリップ量、ヒスト下限クリップ量、ヒスト分配係数設定値、分配開始・終了位置、画像ブレンド率、色ゲイン）に変換し、変換後に得られたパラメータを用いて、入力フレームに対して局所ヒストグラムの生成及び整形し、更に、トーンカーブを生成して階調変換及び色強調を行うための画像処理である。また、降雪降雨除去とは、入力されたフレームの画像中の動領域（つまり、動きのある領域）が、降雪又は降雨を除去するための補正パラメータに応じた指定サイズ以上であるか否かに応じて、フィルタ処理後の画像又は現在フレームの画像における対応位置の画像を動領域の画像として用いる画像処理である。

また図２１において、図１８と同様に、ユーザの操作によって、図１７に示すマーカＤＴ１に対応する空間階調補正のメニューバーＭＮＵ１、複数枚合成ＮＲのメニューバーＭＮＵ２、及び降雪降雨除去のメニューバーＭＮＵ３の各マーカがカーソルＣＳＲ１により押下されると、画像処理装置１，１Ａ，１Ｂの表示制御部ＣＴは、空間階調補正、複数枚合成ＮＲ、及び降雪降雨除去に関するそれぞれの複数の入力パラメータを設定させるための詳細な操作画面の表示領域ＭＮＵ１Ｄ等を展開して画面上に表示する。なお、空間階調補正、及び降雪降雨除去に関するそれぞれの複数の入力パラメータを設定させるための詳細な操作画面の表示領域の図示は省略している。例えば、ユーザの操作によって、空間階調補正では、上述した補正方式、補正強度、色強調度、明るさ及び補正範囲）がそれぞれ入力又は指定される。また、降雪降雨除去では、降雪又は降雨を除去するための補正パラメータ（つまり、補正強度）が入力又は指定される。

これにより、画像処理装置１，１Ａ，１Ｂは、表示領域ＶＩＷに表示された動画の画像データを再生した状態で、ユーザの簡単な操作（つまり、複数の画像処理に関するメニューバーＭＮＵ１，ＭＮＵ２，ＭＮＵ３の押下の有無）により、表示領域ＭＮＵ１，ＭＮＵ２，ＭＮＵ３の押下操作に対応した画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。また、画像処理装置１，１Ａ，１Ｂは、複数の画像処理における各パラメータを設定するための詳細な操作画面の表示領域（例えば表示領域ＭＮＵ２Ｄ）に表示されたいずれかのパラメータの変更操作に応じた画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。

本発明は、コントラストに高低がある場合でも、合成画像における動き物体の残像を低減する画像処理装置及び画像処理方法に有用である。

１、１Ａ、１Ｂ 画像処理装置
１１ 動き検出レベル設定ＵＩ
１２ 動き検出閾値設定部
１３ コントラスト解析部
１３Ａ コントラスト設定部
１４ 動き検出部
１５ 画像合成部
１６ 差分計算部
１７ 平滑化処理部
１８ フレームバッファ
１９ 記憶部
２０ 画像分割部
２１ 領域・コントラスト設定ＵＩ
２２ ヒストグラム生成部
３１ スライドバー
３１ａ スライダ
３２ 数値表示部
４１ 動き検出閾値テーブル
５０ 入力フレーム画像
５３、５５ 注目領域
６１、６３、６５ ヒストグラム
７１、７３、７５ コントラスト
ＣＴ 表示制御部
ＤＰ ディスプレイ
ＷＤ１、ＷＤ２、ＷＤ３、ＷＤ４、ＷＤ５、ＷＤ６、ＷＤ７ 画面

Claims (7)

1. 入力フレーム画像を画像処理する画像処理装置であって、
   前記入力フレーム画像のコントラストを算出するコントラスト算出部と、
   前記入力フレーム画像に対する動き検出レベルの入力を受け付ける第１の入力操作部と、
   前記動き検出レベル及び前記コントラストに対応する動き検出閾値を算出する閾値算出部と、
   前記画像処理後の前フレーム画像を記憶する記憶部と、
   前記入力フレーム画像と前記前フレーム画像との差分値と、前記動き検出閾値との比較結果を基に、前記入力フレーム画像と前記前フレーム画像との合成画像を生成する合成画像生成部と、を備える、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記入力フレーム画像を領域毎に分割する画像分割部、を更に備え、
   前記コントラスト算出部は、
   前記画像分割部により分割された領域毎に、前記入力フレーム画像のコントラストを算出し、
   前記閾値算出部は、
   前記画像分割部により分割された領域毎に、前記動き検出閾値を算出する、
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記入力フレーム画像に対する所定領域の選択と、前記所定領域のコントラストの指定を受け付ける第２の入力操作部、を更に備え、
   前記閾値算出部は、
   前記第２の入力操作部により選択された前記所定領域毎に、前記動き検出閾値を算出する、
   画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記入力フレーム画像と前記動き検出レベルの操作画面を含む画像合成処理のメニュー画面とを同一画面上に表示する表示部、を更に備える、
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記入力フレーム画像と前記動き検出レベルの操作画面を含む画像合成処理を有する複数の画像処理のメニュー画面とを同一画面上に表示する表示部、を更に備える、
   画像処理装置。
6. 請求項４又は５に記載の画像処理装置であって、
   前記閾値算出部は、
   前記画像合成処理のメニュー画面に対する前記動き検出レベルの変更操作に応じて、前記動き検出閾値を算出し、
   前記合成画像生成部は、
   前記閾値算出部により算出された前記動き検出閾値に応じて、前記入力フレーム画像と前記前フレーム画像との合成画像を生成する、
   画像処理装置。
7. 入力フレーム画像を画像処理する画像処理装置の画像処理方法であって、
   前記入力フレーム画像のコントラストを算出するステップと、
   前記入力フレーム画像に対する動き検出レベルの入力を受け付けるステップと、
   前記動き検出レベル及び前記コントラストに対応する動き検出閾値を算出するステップと、
   前記入力フレーム画像と、前記画像処理後の前フレーム画像との差分値と、前記動き検出閾値との比較結果を基に、前記入力フレーム画像と前記前フレーム画像との合成画像を生成するステップと、を有する、
   画像処理方法。

Images