JP2018200506A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 複数の画像データにおいて、照明による輝度変動の影響を抑制しつつ動体領域を検出する。【解決手段】 Ｎ枚（Ｎ＞３を満たす自然数）の画像データのうちの１つである基準画像データにおける動体領域を検出する画像処理装置であって、前記Ｎ枚の画像データそれぞれについて、着目画素について、前記着目画素を含む複数の画素からなる局所領域における平均輝度と前記基準画像データ以外の画像データそれぞれにおける前記着目画素の平均輝度とに輝度差ありと判定され、かつ前記着目画素に対応する平均輝度の標準偏差が所定の閾値以上である場合に、前記着目画素は動体領域に含まれる画素であると判定することを特徴とする。【選択図】 図２

Description

本発明は、連続撮影して得られた複数の画像データにおいて動体領域を検出するための画像処理技術に関するものである。

連続撮影により取得した複数の画像データにおいて同座標の画素の輝度の差分を用いて、撮影シーンに含まれる動く被写体（動体）を検出する技術が知られている。具体的には、画像データ間の同座標における輝度の差分を閾値と比較し、差分が閾値よりも大きければ動体を含む画素として検出する。ただし、蛍光灯のフリッカ、照明装置の明滅、太陽光や雲の移動等により明るさが変動する場合、同座標の差分値を用いるだけでは照明による輝度変動も誤って動体領域として検出してしまう。そこで特許文献１では、画像を複数画素から成るブロック単位に分割し、ブロック毎に直交変換を行い、ＡＣ成分の水平方向の総和と垂直方向の総和の比率に基づいて動体領域を検出する手法が開示されている。照明による輝度変動は、主にＤＣ成分が変動し、ＡＣ成分はあまり変動しない。特許文献１に示される手法によれば、照明の変動による動体領域の誤検出を低減している。

特開２００２−２５９９８５号公報

しかしながら、画像データにおけるノイズが多い場合、照明の輝度変動もＡＣ成分の変動が大きくなってしまう。その結果特許文献１に開示された方法では、ノイズが多い画像データは動体領域の誤検出が増えてしまう場合がある。また、動体領域が水平もしくは垂直に移動する場合、ＡＣ成分の水平方向の総和と垂直方向の総和の比率は変わらないため、動体として検出できない。そこで本発明は、照明変動による輝度変化であるのか動体領域であるのかを高精度に判別する。

上記課題を解決するために本発明は、Ｎ枚（Ｎ＞３を満たす自然数）の画像データを用いて、前記Ｎ枚の画像データのうちの１つである基準画像データにおける動体領域を検出する画像処理装置であって、前記Ｎ枚の画像データを取得する取得手段と、前記Ｎ枚の画像データそれぞれについて、着目画素を含む複数の画素からなる局所領域における平均輝度を、前記着目画素の平均輝度として算出する第１の算出手段と、前記基準画像データにおける前記着目画素の平均輝度と、前記基準画像データ以外の画像データそれぞれにおける前記着目画素の平均輝度とに、第１の閾値以上の輝度差があるか否かを判定する輝度差判定手段と、前記Ｎ枚の画像データそれぞれにおける前記着目画素に対応する平均輝度の標準偏差を算出する第２の算出手段と、前記着目画素の平均輝度の標準偏差と第２の閾値と比較する比較手段と、前記輝度差判定手段による判定結果と前記比較手段による比較の結果とに基づいて、前記着目画素が動体領域に含まれる画素か否かを判定する動体判定手段とを有し、前記動体判定手段は、前記着目画素について前記輝度差判定手段により輝度差ありと判定され、かつ前記標準偏差が前記第２の閾値以上である場合に、前記着目画素は動体領域に含まれる画素であると判定することを特徴とする。

本発明によれば、複数の画像データにおいて、照明による輝度変動の影響を抑制しつつ動体領域を検出することができる。

第１実施形態における画像処理装置のハードウェア構成を示す図である。 第１実施形態における画像処理装置の論理構成を示す模式図である。 第１実施形態における画像処理の流れを示すフローチャートである。 第１実施形態における局所領域決定を説明するための図である。 第１実施形態における判定処理の流れを示すフローチャートである。 第１実施形態における合成処理の流れを示すフローチャートである。 第２実施形態における画像処理装置の論理構成を示す模式図である。 第２実施形態における画像処理の流れを示すフローチャートである。

以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態では、連続撮影して取得したＮ枚（ＮはＮ＞３を満たす自然数）の画像データを用いて基準画像データにおける動体領域を検出し、検出した結果に応じて基準画像データにおけるノイズ低減処理を施す画像処理装置について説明する。具体的には、動体領域には、ＮｏｎＬｏｃａｌＭｅａｎｓによるノイズ低減処理を、非動体領域には基準画像データと連続する画像データ（参照画像データ）とで対応する画素の輝度の加算平均を用いたノイズ低減処理を施す。なお、連続撮影したＮ枚の画像データのうち、先頭の画像データを基準画像データとし、基準画像データ以外の画像データを参照画像データとする。本実施形態では、説明を簡略化するために画像データ数ＮをＮ＝４、扱う全ての画像データを８ｂｉｔ、三脚を用いて撮影したものとする。なお、画像データ数を表す単位として、枚を用いる。また、動体とは、４枚の画像データを取得した瞬間に動きのあった被写体を意味するものとする。

まず第１実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。図１は本実施形態における画像処理装置のハードウェア構成を示す図である。画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８を備え、各構成部はメインバス１０９によって相互に接続されている。

ＣＰＵ１０１は、画像処理装置内の各部を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能するメモリである。また、ＨＤＤ１０３は、ＣＰＵ１０１によって実行されるプログラム群を格納しているメモリである。なお、ＨＤＤ１０３は、フラッシュメモリなどの他の記憶媒体に置き換えてもよい。

汎用インターフェース（Ｉ／Ｆ）１０４はＵＳＢコネクタを備えるインターフェースであり、撮像装置１０５や入力装置１０６、外部メモリ１０７が汎用Ｉ／Ｆ１０４を介してメインバス１０９に接続されている。撮像装置１０５は画像撮影機能を備えたカメラであり、撮影した画像データを画像処理装置に対して出力する。１回の撮影で４回連続して撮影する連写モードを有する。入力装置１０６は、マウス、キーボードなどの入力装置であり、ユーザは入力装置１０６を介して画像処理装置に対して指示を入力することができる。外部メモリ１０７は、ＨＤＤやメモリーカードなどの記録媒体であり、画像処理装置から出力されたデータを保存することができる。モニタ１０８は画像処理装置に備えつけられた液晶ディスプレイであり、画像データやユーザインタフェースなどを表示することができる。メインバス１０９は、画像処理装置内の各構成部を相互に接続するシステムバスである。

以下、本実施形態における画像処理について図２を用いて説明する。図２は本実施形態の画像処理装置の論理構成を示すブロック図である。なお、本実施形態ではソフトウェアにより実行される論理構成を例に説明するが、各構成の一部またはそのすべてを、専用の回路によって実現することもできる。

図２において、画像データ入力部２０１は、連続して撮影された４つの画像データを画像処理装置に入力する。画像データはＣＰＵ１０１からの指示に基づき、撮像装置１０５あるいはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像をＨＤＤ１０３などの記憶装置に一旦記憶した後で入力しても構わない。パラメータ入力部２０２は、画像処理に用いる複数のパラメータを画像処理装置に入力する。パラメータはＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインタフェース（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６で直接指定しても構わない。パラメータは、平均輝度算出部２０３が用いる局所領域のサイズと、判定処理部２０４が用いる閾値とがある。パラメータの詳細な説明については後述する。

平均輝度算出部２０３は、ＣＰＵ１０１からの指示を受け、複数の画像データとパラメータを取得し、画像データにおいてパラメータが示す局所領域のサイズに従って局所領域に含まれる各画素の輝度を平均する。平均輝度算出部２０３は、画像データにおける平均輝度を示した平均輝度マップを生成する。本実施形態では、４つの画像データが入力されているため、４つの平均輝度マップが生成される。生成した平均輝度マップはＲＡＭ１０２に記憶される。なお、平均輝度マップの詳細は後述する。

判定処理部２０４は、ＣＰＵ１０１からの指示を受け、画像データ、平均輝度マップおよびパラメータを取得し、基準画像データにおける動体を含む領域（動体領域）を検出する。検出した動体領域は動体領域マップとして、ＲＡＭ１０２に記憶される。合成処理部２０５は、ＣＰＵ１０１からの指示を受け、画像データ、動体領域マップおよびパラメータを取得し、合成画像データを生成する。基準画像データにおける各画素について、動体であるか否かに応じて異なる処理によりノイズ低減処理された輝度を算出する。生成した合成画像データはＲＡＭ１０２に記憶される。

画像データ出力部２０６は、合成処理部２０５が生成した合成画像データをモニタ１０８やＨＤＤ１０３になどに出力する。なお、出力先はこれらに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリに出力してもよい。

以下、図２を用いて説明した画像処理装置の論理構成における各処理の詳細について、図３に示すフローチャートを用いて説明する。なお、図３に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に格納されたプログラムを実行することによって実現される。また、図２に示す各構成部の一部または全部を、その機能を有する専用の処理回路などとして実現してもよい。

ステップＳ３０１において画像データ入力部２０１は、撮像装置１０５が連写モードで連続撮影して取得した複数の画像データを画像処理装置に入力する。本実施形態では、４つの画像データのうち最初に撮影された画像データを基準画像データとし、後続の３つの画像データを参照画像データとする。

ステップＳ３０２においてパラメータ入力部２０２が、後に続く処理に必要なパラメータを画像処理装置に入力する。本実施形態において入力するパラメータは、平均輝度マップを生成する際に必要な局所領域のサイズ、輝度差判定用のパラメータ閾値ｔｈ、ばらつき判定用のパラメータ閾値ｔｈ２を含む。

ステップＳ３０３において平均輝度算出部２０３は、基準画像データと各参照画像データそれぞれについて平均輝度マップを生成する。平均輝度算出部２０３は、処理対象画像データにおける着目画素について、パラメータが示すサイズの局所領域を、着目画素を含むように設定し、局所領域に含まれる各画素の輝度の平均値を注目画素の平均輝度として算出する。従って平均輝度マップは、画像データの局所領域における平均値を画素毎に持つマップである。これを４つの全の画像データについて生成する。具体的には、各画像データにおいて着目画素と周辺画素から成る局所領域における平均値をＲＧＢ毎に算出する。局所領域のサイズＳ１はパラメータに基づいて決定され、ここではＳ１＝５とし、５画素×５画素の場合を例に図４を用いて説明する。図４（ａ）において黒色のブロックで示される画素４０１は着目画素、灰色のブロックで示される画素群４０２は周辺画素、太線で囲われた領域４０３は着目画素４０１に対して設定された局所領域を表している。局所領域の形状は、矩形領域に限らず、任意の形状でもよく、例えば図４（ｂ）に示すような形状でもよい。局所領域のサイズが大きすぎると、局所領域内に異なる被写体を含みやすくなるため、動体判定精度がさがってしまうため、大きくても１５画素×１５画素くらいの大きさが望ましい。

ステップＳ３０４において判定処理部２０４は、ステップＳ３０３で生成した平均輝度マップに基づいて、基準画像データにおける画素毎に動体を表す画素か否かを判定する。判定処理部２０４は、判定結果に応じて動体領域を検出し、動体領域マップを生成する。判定処理の詳細については後述する。

ステップＳ３０５において合成処理部２０５は、ステップＳ３０４で生成した動体領域マップに基づいて基準画像データと各参照画像データを合成し、合成画像データを生成する。合成処理の詳細については後述する。ステップＳ３０６において画像データ出力部２０６が、ステップＳ３０５において生成された合成画像データをモニタ１０８などに出力する。以上が本実施形態の画像処理装置で行われる処理フローである。

以下、ステップＳ３０４で行われる判定処理と、ステップＳ３０５で行われる合成処理の詳細を説明する。本実施形態において判定処理部２０４がステップＳ３０４において実行する判定処理について図５用いて説明する。図５は、判定処理の流れを示すフローチャートである。

ステップＳ５０１において判定処理部２０４は、ステップＳ３０１で入力した基準画像データにおいて、処理対象とする着目画素を選択する。ステップＳ５０２において判定処理部２０４は、平均輝度マップを参照し着目画素の平均輝度と、各参照画像データにおいて着目画素と同座標にある画素（参照画素）との平均輝度とに差分があるか否かを判定する。具体的にはまず、着目画素と参照画素それぞれの画素位置に対応するＲＧＢごとの平均輝度を平均輝度マップから取得する。そして着目画素の平均輝度から各参照画素の平均輝度を減算し、ＲＧＢごとの差分値を算出する。次に、３つの差分値と、ステップＳ３０２で入力した輝度差判定用のパラメータ閾値ｔｈとを比較して差分値が１つでも閾値以上である場合、判定処理部２０４は輝度差ありの候補とする。閾値ｔｈは、撮影時のＩＳＯ感度に応じたノイズ分散値σ２から算出した標準偏差σよりも大きいことが望ましく、例えばｔｈ＝ασ（α＝１．５）のように設定する。そして、着目画素において、参照画像データにおける対応画素と輝度差ありの候補とされた数が参照画像データ数の半数以上である場合、最終的に着目画素を輝度差ありの画素として判定する。着目画素が輝度差ありである場合はステップＳ５０３へ進み、そうでない場合はステップＳ５０４へ進む。なお、参照画像データ数の半数以上としたが、これに限らず参照画像データ数のｘ％以上（ただし、ｘ≧５０）であれば輝度差ありとして判定するなど、閾値は任意に決めてよい。

ステップＳ５０３において判定処理部２０５は、ステップＳ５０２において輝度差ありと判定された画素に対し、平均輝度のばらつきに基づいて、動体による輝度変動であるのか、照明による輝度変動であるのかを判定する。図５（ｂ）は、ばらつき判定処理の詳細なフローチャートである。ステップＳ６０１において判定処理部２０４は、ステップＳ３０２において入力したばらつき判定用のパラメータ閾値ｔｈ２を取得する。閾値ｔｈ２は、撮影時のＩＳＯ感度に応じたノイズ分散値σ２と、局所領域内のＲＧＢごとの総画素数に基づいて算出することが望ましく、例えばＲの場合はβσ２／√Ｎｒ（β＝３．０）のように設定する。ステップＳ６０２において判定処理部２０４は、参照画像データから、ステップＳ５０１において選択した基準画像データの着目画素と同座標にある画素を参照画素として選択する。本実施形態では、３つの参照画素が選択される。ステップＳ６０３において判定処理部２０４は、着目画素と全参照画素それぞれの画素位置に対応する平均輝度を平均輝度マップから取得し、ＲＧＢ毎に標準偏差σＲ、σＧ、σＢ、を式（１）から算出する。

Ｍは局所領域に含まれる画素数、ｒ、ｇ、ｂはそれぞれＲＧＢ値であり、

は局所領域に含まれる画素の平均値を示している。

ステップＳ６０４において判定処理部２０４は、ステップＳ６０３において算出した３つの標準偏差σＲ、σＧ、σＢと閾値ｔｈ２とを比較する。３つの標準偏差σＲ、σＧ、σＢのうち１つでも閾値以上である場合はステップＳ６０５へ進み、そうでない場合はステップＳ６０６へ進む。ステップＳ６０５において判定処理部２０４は、着目画素は動体領域であると判定し、動体領域マップの着目画素と同座標の画素に１を出力する。ステップＳ６０６におい判定処理部２０４は、着目画素は静止領域であると判定し、動体領域マップの着目画素と同座標の画素に０を出力する。以上でステップＳ５０３のばらつき判定処理を完了する。

ステップＳ５０４において判定処理部２０４は、基準画像データの全画素についてＳ５０２、Ｓ５０３の処理が完了したのかを判定し、完了していれば判定処理を終了し、そうでなければステップＳ５０１へ進む。以上がステップＳ３０４の判定処理の詳細である。

以下、本実施形態において合成処理部２０５がステップＳ３０５において実行する合成処理について図６を用いて説明する。図６は、合成処理の詳細な流れを示すフローチャートである。ステップＳ７０１において合成処理部２０５は、基準画像データにおいて処理対象とする画素を着目画素として選択する。

ステップＳ７０２において、動体領域マップを参照し、着目画素が動体領域であるか否かを判定する。着目画素が動体領域である場合はステップＳ７０４へ進み、そうでない場合はステップＳ７０３へ進む。

ステップＳ７０３において、着目画素と３つの参照画素それの輝度を加算平均し、計算結果を着目画素のノイズ低減処理後の輝度として出力画像データに出力する。ステップＳ７０４において、基準画像データに対してＮｏｎＬｏｃａｌＭｅａｎｓを適用し、計算結果を着目画素のノイズ低減処理後の輝度として出力画像データに出力する。ステップＳ７０５において、全画素がステップＳ７０２からＳ７０４の処理を終了したか否かを判定し、完了している場合は合成処理を終了し、そうでない場合はステップＳ７０１へ進む。以上がステップＳ３０６の合成処理の詳細である。

以上本実施形態によれば、連続撮影して取得した複数の画像データ間で着目画素を含む局所領域の平均輝度差があり、かつ各画像データにおける平均輝度がばらついている場合にのみ、動体領域の画素として判定される。連続撮影して取得した複数の画像データ間で着目画素を含む局所領域の平均輝度差がない場合、または平均輝度差があってもＲＧＢごとの平均輝度にばらつきがない場合は、動体領域として判定されない。本実施形態では、着目画素を含む局所領域の平均輝度を用いて着目画素が動体か否かを判定している。これにより、ノイズを多く含む画像データであっても、ノイズから受ける影響を低減し、動体判定の精度を高めることができる。さらに、動体の方が、蛍光灯のフリッカや照明装置の明滅になどの照明変動よりも、平均輝度差が大きくなる傾向になる。そこで、基準画像データと参照画像データ間における対応する局所領域における平均輝度差のばらつきがあるか否かを判定することにより、高精度に動体を判定することができる。

なお本実施形態では、動体として検出された領域については、ＮｏｎＬｏｃａｌＭｅａｎｓ法を適用する形態について説明したが、ＮｏｎＬｏｃａｌＭｅａｎｓに限るものではない。動体として検出された領域については、エッジが含まれる可能性が高いため、ＮｏｎＬｏｃａｌＭｅａｎｓのようにエッジ保存型ノイズ低減処理を適用することが望ましい。エッジ保存型ノイズ低減処理としては、ＮｏｎＬｏｃａｌＭｅａｎｓ以外にも、バイラテラレルフィルタを用いた処理などがある。

＜第２実施形態＞
第１実施形態では、着目画素を含む局所領域における平均輝度を用いて動体判定することにより、ノイズによる影響を低減していることを説明した。一般に画像データにおいて、平坦部ではより大きい局所領域に含まれる画素を平均するほど、ノイズの影響を低減できる。一方、局所領域を大きくしすぎると、エッジ部を含む場合異なる被写体の画素の輝度を混在して平均することになってしまうため、動体判定の精度が落ちてしまう。そこで本実施形態では、平均輝度を算出する際、平坦部では局所領域のサイズＳ１をエッジ部と比べて大きくする方法について説明する。なお、第２実施形態については、第１実施形態と同じ構成、処理については説明を省略する。

図７は、本実施形態における画像処理装置の論理構成を示すブロック図である。図７の画像データ入力部８０１、パラメータ入力部８０２、判定処理部８０５、合成処理部８０６、画像データ出力部８０７は、画像データ入力部２０１、パラメータ入力部２０２、判定処理部２０４、合成処理部２０５、画像データ出力部２０６と同様である。

エッジ強度算出部８０３は、ＣＰＵ１０１からの指示を受け、画像データとパラメータを取得し、パラメータに基づいて画像データごとに各画素のエッジ強度を示したエッジ強度マップを生成する。生成したエッジ強度マップはＲＡＭ１０２に記憶される。なお、エッジ強度マップの詳細は後述する。平均輝度算出部８０４は、ＣＰＵ１０１からの指示を受け、画像データ、パラメータ、エッジ強度マップを取得し、パラメータとエッジ強度に基づいて画像データごとに各画素の平均輝度を示した平均輝度マップを生成する。生成した平均輝度マップはＲＡＭ１０２に記憶される。なお、平均輝度マップの詳細は後述する。以下、図７で説明した画像処理装置の論理構成における各処理の詳細について、図８に示すフローチャートを用いて説明する。なお、図８に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に格納されたプログラムを実行することによって実現される。なお、図８に示す各構成部の一部または全部の役割を果たす専用の処理回路などを設けてもよい。

図８（ａ）に示すフローチャートにおいて、ステップＳ９０１、Ｓ９０２、Ｓ９０５〜Ｓ９０７は、それぞれステップＳ３０１、Ｓ３０２、Ｓ３０４〜Ｓ３０６と同様である。ステップＳ９０３においてエッジ強度算出部８０３は、基準画像データからエッジ強度マップを生成する。エッジ強度マップは、基準画像データの局所領域における分散値と、予め算出した感度毎のノイズ分散値との比率を画素ごとに持つマップである。以下、エッジ強度マップの生成方法について具体的に説明する。まず、基準画像データにおいて着目画素と近傍の画素からなる局所領域を設定する。局所領域のサイズＳ１は、第１実施形態のステップＳ３０３で説明したようにパラメータに従って決定される。次に、局所領域におけるＲＧＢごとの分散値ＶＲ、ＶＧ、ＶＢ、を、式（２）を用いて算出する。

ここで、Ｍは局所領域に含まれる画素数、ｒ、ｇ、ｂはそれぞれＲＧＢ値であり、

は局所領域に含まれる画素の平均値を示している。そして、これら分散値Ｖを、撮影時のＩＳＯ感度に応じたノイズ分散値σ２で割ることで分散値の比率を算出し、これを着目画素のエッジ強度Ｅとする。具体的には、式（３）により算出する。エッジ強度は値が大きいほど、鮮鋭度が高く、逆に小さいほど鮮鋭度が低いことを示す指標である。

この処理を基準画像データの全画素について行うことでエッジ強度マップを生成する。なお、エッジ強度の算出方法はこれに限らず、ソーベルフィルタやラプラシアンフィルタなどを使用して算出するなど、エッジ強度に相当する値が算出できれば何でもよい。また、本実施形態では画素毎にＲＧＢそれぞれのエッジ強度を持つが、３つのエッジ強度のうち、最大値や最小値のみを代表のエッジ強度として１つだけエッジ強度を持たせてもよい。

ステップＳ９０４において平均輝度算出部８０４は、基準画像データと各参照画像データそれぞれについて平均輝度マップを生成する。図８（ｂ）は、平均輝度マップ生成処理の詳細な流れを示すフローチャートである。ステップＳ１００１において平均輝度算出部８０４が、ステップＳ３０２で入力された平均輝度マップ生成用のパラメータｔｈ３を取得する。ステップＳ１００２において平均輝度算出部８０４が、ステップＳ９０１で入力した基準画像データから処理対象とする着目画素を選択する。

ステップＳ１００３において平均輝度算出部８０４が、エッジ強度マップに基づいて平均輝度を算出する局所領域のサイズを決定する。エッジ強度が小さい場合、エッジ強度マップを生成したときのサイズＳ１よりも大きいサイズＳ２で平均輝度を算出する。具体的にはまず、エッジ強度マップの各画素とその周辺領域を含む局所領域（ここでは９×９画素のブロックとする）についてエッジ強度がパラメータｔｈ３以下である画素数をカウントする。次に、局所領域内の総画素数のｙ％（ここではｙ＝８０）以上である場合、着目画素は平坦部であると判断し、サイズＳ２＞サイズＳ１となるようにサイズＳ２を決定する。

ステップＳ１００４において平均輝度算出部８０４が、ステップＳ１００２で決定した局所領域のサイズＳに基づいて平均輝度を算出する。ステップＳ１００５は、全画素がステップＳ１００２〜Ｓ１００４の処理を終了したか否かを判定し、完了している場合は合成処理を終了し、そうでない場合はステップＳ１００１へ進む。なお、本実施形態では、サイズＳ１、Ｓ２の２種類のサイズを用いて局所領域の平均輝度を算出したが、より細かく閾値を設定して複数のサイズを使用して各サイズに応じて平均輝度を算出して平均輝度マップを生成してもよい。

＜その他の実施形態＞
本実施形態では、連続撮影して得た画像データの先頭画像データを基準画像データとしたが、これに限定されない。例えば、各画像データのエッジ強度の総和が最も大きい画像データを基準画像データとしてもよい。

また本実施形態では、１回の撮影で４回連続して撮影する連写モードにより複数の画像データを取得する例を説明した。しかしながら例えば、動画を撮影し複数のフレームを画像データとして取得してもよい。この場合は、時系列的に連続していることが望ましい。あるいは、連写モードではなく、１回の撮影で画像処理のために複数枚画像を取得するような構成であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (7)

1. Ｎ枚（Ｎ＞３を満たす自然数）の画像データを用いて、前記Ｎ枚の画像データのうちの１つである基準画像データにおける動体領域を検出する画像処理装置であって、
   前記Ｎ枚の画像データを取得する取得手段と、
   前記Ｎ枚の画像データそれぞれについて、着目画素を含む複数の画素からなる局所領域における平均輝度を、前記着目画素の平均輝度として算出する第１の算出手段と、
   前記基準画像データにおける前記着目画素の平均輝度と、前記基準画像データ以外の画像データそれぞれにおける前記着目画素の平均輝度とに、第１の閾値以上の輝度差があるか否かを判定する輝度差判定手段と、
   前記Ｎ枚の画像データそれぞれにおける前記着目画素に対応する平均輝度の標準偏差を算出する第２の算出手段と、
   前記着目画素の平均輝度の標準偏差と第２の閾値と比較する比較手段と、
   前記輝度差判定手段による判定結果と前記比較手段による比較の結果とに基づいて、前記着目画素が動体領域に含まれる画素か否かを判定する動体判定手段とを有し、
   前記動体判定手段は、前記着目画素について前記輝度差判定手段により輝度差ありと判定され、かつ前記標準偏差が前記第２の閾値以上である場合に、前記着目画素は動体領域に含まれる画素であると判定することを特徴とする画像処理装置。
2. 前記比較手段は、前記輝度差判定手段により輝度差があると判定された画素に対してのみ、前記着目画素の平均輝度の標準偏差と第２の閾値と比較することを特徴とする請求項１に記載の画像処理装置。
3. さらに前記基準画像データにおいて、画素ごとにエッジ強度を算出する第３の算出手段を有し、
   前記第１の算出手段は、前記着目画素の局所領域のサイズを、前記第３の算出手段によって算出された前記着目画素のエッジ強度に応じて設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第３の算出手段は、前記基準画像データが撮影された際に設定された感度ごとのノイズ分散と前記基準画像データの局所領域ごとに算出したノイズ分散との比率により前記エッジ強度を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記Ｎ枚の画像データは、連続撮影によって取得された画像であることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. Ｎ枚（Ｎ＞３を満たす自然数）の画像データを用いて、前記Ｎ枚の画像データのうちの１つである基準画像データにおける動体領域を検出する画像処理方法であって、
   前記Ｎ枚の画像データを取得し、
   前記Ｎ枚の画像データそれぞれについて、着目画素を含む複数の画素からなる局所領域における平均輝度を、前記着目画素の平均輝度として算出し、
   前記基準画像データにおける前記着目画素の平均輝度と、前記基準画像データ以外の画像データそれぞれにおける前記着目画素の平均輝度とに、第１の閾値以上の輝度差があるか否かを判定するし、
   前記Ｎ枚の画像データそれぞれにおける前記着目画素に対応する平均輝度の標準偏差を算出し、
   前記着目画素の平均輝度の標準偏差と第２の閾値と比較し、
   前記着目画素について前記輝度差判定手段により輝度差ありと判定され、かつ前記標準偏差が前記第２の閾値以上である場合に、前記着目画素は動体領域に含まれる画素であると判定することを特徴とする画像処理方法。
7. コンピュータを請求項１乃至５の何れか一項に記載された画像処理装置として機能させるためのプログラム

Images