JP2019101977A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像間の画素値の差分に基づく動体領域の検出精度を向上させる技術を提供する。【解決手段】第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成する縮小手段と、第１の基準画像の画素値と第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、第２の基準画像の画素値と第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得する取得手段と、第１の基準画像、第１の参照画像、第２の基準画像、及び第２の参照画像の少なくともいずれかに基づいて、エッジ度を取得する取得手段と、エッジ度に基づいて第１の動体尤度及び第２の動体尤度の合成比率を決定する決定手段と、決定された合成比率に従って第１の動体尤度と第２の動体尤度とを合成することにより合成動体尤度を生成する合成手段と、を備える。【選択図】図６

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

近年、複数枚の画像を合成し、合成画像を記録するデジタルカメラやデジタルビデオカメラといった撮像装置が数多く製品化されている。これらの撮像装置の中には、異なるタイミングで撮影した複数枚の画像を合成することにより、ランダムノイズを低減した合成画像を生成する機能を持つ撮像装置がある。これによりユーザは、合成しない１枚の画像よりもランダムノイズを低減した合成画像を得ることができる。

しかしながら、複数枚の画像を撮影中に被写体が移動した場合、移動した被写体が合成画像において多重像になってしまうことがある。多重像の発生を抑制するために、被写体の移動が検出された領域については、合成処理を禁止する技術が開示されている。特許文献１には、手ぶれ量に応じて決めた縮小率で縮小した複数枚の画像間におけるフレーム間差分絶対値に基づき、動体領域を検出する技術が開示されている。また、特許文献２には、複数枚の画像の位置合わせ後に残存する位置のずれに応じて縮小画像を選択し、選択した複数枚の縮小画像のフレーム間差分絶対値に基づき、動体領域を検出する技術が開示されている。

フレーム間差分絶対値に基づく動体領域検出においては、例えば、高感度で撮影した画像の場合、ランダムノイズによりフレーム間差分絶対値が大きくなる。そのため、移動被写体とランダムノイズとを区別することが困難となり、ランダムノイズの大きい領域を動体領域として誤検出する可能性がある。

そこで、特許文献１では、手ぶれ量を基に画像縮小率を変更することにより、手ぶれによる静止被写体の位置のズレや、ランダムノイズの影響を軽減し、移動被写体領域の検出精度を向上させている。また、特許文献２では、複数枚の画像の位置合わせ後に残存する位置のずれに応じて縮小画像を選択することにより、手ぶれによる静止被写体の位置のズレや、ランダムノイズの影響を軽減し、移動被写体領域の検出精度を向上させている。

特開２０１３−６２７４１号公報 特許第５３９８６１２号公報

しかしながら、縮小画像間のフレーム間差分絶対値に基づき動体領域を検出する場合、縮小画像間で検出した動体領域を元の解像度まで拡大処理することにより、移動被写体周辺の静止領域まで動体領域として検出されてしまうことがある。また、画像を縮小することにより、小さい被写体の画素値の振幅が低くなってしまうため、小さい移動被写体の検出に失敗する可能性がある。

本発明はこのような状況に鑑みてなされたものであり、画像間の画素値の差分に基づく動体領域の検出精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成する縮小手段と、前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得する取得手段と、前記第１の基準画像、前記第１の参照画像、前記第２の基準画像、及び前記第２の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置のエッジ度を取得する取得手段と、前記撮影範囲の各位置について、前記エッジ度に基づいて前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する決定手段と、前記撮影範囲の各位置について、前記決定された合成比率に従って前記第１の動体尤度と前記第２の動体尤度とを合成することにより合成動体尤度を生成する合成手段と、を備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、画像間の画素値の差分に基づく動体領域の検出精度を向上させることが可能となる。

撮像装置１００の構成を示すブロック図。 画像処理部１０７が具備する合成画像生成部２００の構成を示す図。 合成画像生成部２００が実行する処理のフローチャート。 位置合わせ処理について説明する図。 合成動体尤度と基準画像の合成比率ｗとの関係を示す図。 第１の実施形態に係る、動体領域検出部２０２の構成を示す図。 第１の実施形態に係る、動体領域検出部２０２が実行する合成動体尤度算出処理のフローチャート。 動体尤度算出カーブを示す図。 エッジ度算出カーブを示す図。 動体尤度の合成比率の算出カーブを示す図。 等倍サイズの（縮小前の）基準画像及び参照画像の概念図。 （Ａ）（Ｂ）縮小された画像データの概念図、（Ｃ）（Ｄ）動体尤度の概念図、（Ｅ）（Ｆ）エッジ度の概念図、（Ｇ）動体尤度の合成比率の概念図、（Ｈ）合成動体尤度の概念図。 高感度撮影時の動体尤度の合成比率の算出カーブを示す図。 ３つの異なる解像度での動体尤度、及び最終的な合成動体尤度を示す概要図。 第２の実施形態に係る、動体領域検出部２０２が実行する合成動体尤度算出処理のフローチャート。 第２の実施形態に係る、動体領域検出部２０２の構成を示す図。 各階層における基準画像と参照画像との間のＳＡＤを示す図。 ｘ１／４階層のＳＡＤの合成比率を決定する処理を説明する図。 ｘ１／１階層のＳＡＤの合成比率を決定する処理を説明する図。 合成比率変換カーブの設定方法について説明する図。 ＩＳＯ感度に応じて合成比率変換カーブを変更する処理の具体例を説明する図。 図１５のＳ１５０４におけるＳＡＤの差の算出処理の詳細について説明する図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
図１は、画像処理装置の一例である撮像装置１００の構成を示すブロック図である。図１において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群を含み、被写体像を後述の撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像信号（画像データ）をＲＡＭ１０３に出力する。また、Ａ／Ｄ変換部１０６は、制御部１０１が決定した増幅率（感度情報）に基づき、アナログ画像信号又はデジタル画像信号を増幅する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述する合成画像生成部２００を具備し、ＲＡＭ１０３に記憶されている複数の画像データを合成し、合成画像を生成する。

記録部１０８は着脱可能なメモリカード等である。画像処理部１０７で処理された画像データは、ＲＡＭ１０３を介して、記録部１０８に記録画像として記録される。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３及び記録部１０８に記録した画像データや、ユーザからの指示を受け付けるためのユーザインタフェースなどを表示する。

次に、画像処理部１０７の動作について、詳細に説明を行う。本実施形態では、後述する合成動体尤度に基づいて２枚の画像を合成することにより、ランダムノイズが低減した合成画像を生成する例について説明する。

図２を参照して、画像処理部１０７が具備する合成画像生成部２００の構成について説明する。合成画像生成部２００は、ＲＡＭ１０３に記憶されている２枚の画像を合成し、合成画像を生成する。合成画像生成部２００は、位置合わせ部２０１、動体領域検出部２０２、及び画像合成部２０３を含む。

次に、図３を参照して、合成画像生成部２００が実行する処理について説明する。Ｓ３０１で、制御部１０１は、ＲＡＭ１０３に記憶されている複数の画像から、合成の基準となる基準画像、及び基準画像に対して合成を行う参照画像を選択する。例えば、制御部１０１は、撮像装置１００のシャッターが押下された直後に撮影された１枚目の画像を基準画像として選択し、２枚目以降の画像を参照画像として選択する。合成画像生成部２００は、選択された基準画像及び参照画像をＲＡＭ１０３から取得する。

Ｓ３０２で、位置合わせ部２０１は、基準画像と参照画像との間の動きベクトルを検出し、動きベクトルに基づいて参照画像を幾何変換することにより、参照画像の位置を基準画像と合わせる。

ここで、図４を参照して、位置合わせ処理について説明する。図４（Ａ）は基準画像を示し、図４（Ｂ）は参照画像を示し、図４（Ｃ）は位置合わせが行われた参照画像を示す。図４（Ａ）〜図４（Ｃ）に示す３つの画像は、以下に説明するように被写体の位置が異なるなどの相違はあるが、いずれも所定の撮影範囲を含んでいる。

図４（Ｂ）の参照画像は、図４（Ａ）の基準画像とは異なる時刻に撮影されているため、手ぶれ等により図４（Ａ）の基準画像と位置がずれている。位置合わせ部２０１は、このような位置のずれを位置合わせ処理により補正する。位置を合わせるために、まず、位置合わせ部２０１は、基準画像と参照画像との間の大局的な動きを示す動きベクトルを算出する。動きベクトルの算出方法としては、例えば、ブロックマッチング法が挙げられる。次に、位置合わせ部２０１は、算出した動きベクトルに基づき、参照画像を幾何変換するための係数である、式（１）に示すような幾何変換係数Ａを算出する。

位置合わせ部２０１は、幾何変換係数Ａを用いて、参照画像に対して式（２）に示すような幾何変換を行うことにより、図４（Ｃ）の位置合わせ済み参照画像を生成する。なお、参照画像をＩ（ｘ座標,ｙ座標）、位置合わせ済み参照画像をＩ’（ｘ’座標,ｙ’座標）とする。

このような位置合わせ処理により、図４（Ｃ）の位置合わせ済み参照画像のように、基準画像と参照画像の静止被写体（例えば、建物や木）の位置を合わせることができる。

図３に戻り、Ｓ３０３で、動体領域検出部２０２は、基準画像と位置合わせ済み参照画像（以下、単に「参照画像」とも呼ぶ）とに基づいて動体領域を検出し、合成動体尤度を算出する。本実施形態では、動体領域は、動体尤度と呼ばれる多値で表現されるデータで表すものとする。動体領域検出部２０２の詳細、及び合成動体尤度算出処理の詳細については後述する。

Ｓ３０４で、画像合成部２０３は、式（３）で示すように、合成動体尤度に基づいて決定される基準画像の合成比率ｗに応じて、基準画像と参照画像とを合成し、合成画像を生成する。
Ｐ ＝ ｗ × Ｐｂａｓｅ ＋ （１−ｗ）× Ｐｒｅｆ ・・・（３）
なお、Ｐｂａｓｅは基準画像の画素値を表し、Ｐｒｅｆは参照画像の画素値を表し、ｗは基準画像の合成比率を表し、Ｐは合成画像の画素値を表す。

ここで、図５を参照して、基準画像の合成比率ｗの決定方法について説明する。図５は、合成動体尤度と基準画像の合成比率ｗとの関係を示す図である。図５の例では、合成動体尤度が大きいほど、基準画像の合成比率ｗも大きくなる。図５の例では、合成動体尤度が高い動体領域については、基準画像の合成比率が例えば１００％（ｗ＝１）に設定される。そのため、動体領域の合成処理を実質的に禁止し、多重像の発生を抑制することができる。即ち、合成動体尤度が高い場合、合成画像の画素値として基準画像の画素値が用いられる。一方、合成動体尤度が低い静止領域については、基準画像の合成比率が例えば５０％（ｗ＝０．５）に設定される。そのため、基準画像と参照画像とを均等に合成し、ランダムノイズを低減することができる。図５から理解できるように、合成動体尤度が小さい場合、基準画像の画素値の合成比率と参照画像の画素値の合成比率との差が小さくなる。

次に、図６を参照して、動体領域検出部２０２の構成について説明する。動体領域検出部２０２は、動体尤度算出部６００、６０１、６０２、エッジ度算出部６１０、６１１、拡大処理部６２０、６２１、６２２、６２３、合成比率算出部６３０、６３１、動体尤度合成部６４０、６４１、及び縮小処理部６５０を有する。動体領域検出部２０２は、基準画像と参照画像との間のフレーム間差分絶対値に基づき、合成動体尤度を算出する。

次に、図７を参照して、動体領域検出部２０２が実行する合成動体尤度算出処理について説明する。Ｓ７０１で、動体領域検出部２０２は、基準画像及び参照画像を取得する。基準画像及び参照画像の例を、図４（Ａ）及び図４（Ｃ）に示す。図４（Ａ）は基準画像を示す図であり、図４（Ｃ）は参照画像（位置合わせ済み参照画像）を示す図である。基準画像と参照画像とは異なる時刻に撮影されているため、撮影中に移動した被写体の位置は異なる。図４（Ａ）及び図４（Ｃ）の例では、図４（Ａ）の基準画像の人４１０は、図４（Ｃ）の人４２０の位置に移動し、図４（Ａ）の基準画像の人４１１は、図４（Ｃ）の参照画像の人４２１の位置に移動している。動体領域検出部２０２は、このような移動している領域を動体領域として検出する。

Ｓ７０２で、縮小処理部６５０は、基準画像及び参照画像に対して縮小処理を行うことにより、縮小された基準画像及び参照画像を生成する。具体的には、縮小処理部６５０は、縦横の画素数が１／４倍に縮小された基準画像（以下、「１／４サイズ基準画像」とも呼ぶ）及び参照画像（以下、「１／４サイズ参照画像」とも呼ぶ）を生成する。また、縮小処理部６５０は、基準画像及び参照画像に対して縮小処理を行うことにより、縦横の画素数が１／１６倍に縮小された基準画像（以下、「１／１６サイズ基準画像」とも呼ぶ）及び参照画像（以下、「１／１６サイズ参照画像」とも呼ぶ）も生成する。なお、以下では、縮小前の基準画像及び参照画像を、それぞれ「等倍サイズ基準画像」及び「等倍サイズ参照画像」とも呼ぶ。

図１１、図１２（Ａ）、及び図１２（Ｂ）を参照して、縮小処理の詳細について説明する。図１１は、等倍サイズの（縮小前の）基準画像及び参照画像の概念図である。以下では、説明を簡単にするために、図１１に示す基準画像１１００及び参照画像１１０１に基づいて各種処理の説明を行う。図１１において、破線１１０２は、基準画像１１００の画素値の例を示し、実線１１０３は、参照画像１１０１の画素値の例を示す。縮小処理部６５０は、平滑化処理及び画素間引き処理により、基準画像１１００及び参照画像１１０１を縮小する。利用可能な縮小方法として、例えば、バイリニア縮小法やバイキュービック縮小法が挙げられる。

図１２（Ａ）に１／１６サイズの画像データ、図１２（Ｂ）に１／４サイズの画像データを示す。図１２（Ａ）の破線１２００は、１／１６サイズ基準画像の画素値の例を示し、図１２（Ａ）の実線１２０１は、１／１６サイズ参照画像の画素値の例を示す。また、図１２（Ｂ）の破線１２０２は、１／４サイズ基準画像の画素値の例を示し、図１２（Ｂ）の実線１２０３は、１／４サイズ参照画像の画素値の例を示す。図１２（Ａ）及び図１２（Ｂ）において、水平座標は、図１１に示す縮小前の水平座標と対応するように拡大して図示されている。これは、後述する図１２（Ｃ）〜（Ｈ）においても同様である。

図１２（Ｂ）に示す１／４サイズ基準画像の画素値１２００は、縮小処理により、図１１に示す基準画像１１００の画素値１１０２よりも平滑化されている。また、図１２（Ａ）に示す１／１６サイズ基準画像の画素値１２００は、縮小処理により、図１２（Ｂ）に示す１／４サイズ基準画像の画素値１２０２よりも更に平滑化されている。

図７に戻り、Ｓ７０３で、動体尤度算出部６００、６０１、６０２は、対応する解像度（サイズ）の基準画像と参照画像との間のフレーム間差分絶対値を画素毎に算出し、フレーム間差分絶対値に基づいて動体尤度を算出する。換言すると、動体尤度算出部６００、６０１、６０２は、基準画像及び参照画像が含む所定の撮影範囲の各位置についてフレーム間差分絶対値を算出し、動体尤度を算出する。具体的には、動体尤度算出部６００は、等倍サイズ基準画像と等倍サイズ参照画像のフレーム間差分絶対値を画素毎に算出し、図８（Ａ）に示すような動体尤度算出カーブに基づき等倍サイズ動体尤度を算出する。また、動体尤度算出部６０１は、１／４サイズ基準画像と１／４サイズ参照画像のフレーム間差分絶対値を画素毎に算出し、図８（Ｂ）に示すような動体尤度算出カーブに基づき１／４サイズ動体尤度を算出する。また、動体尤度算出部６０２は、１／１６サイズ基準画像と１／１６サイズ参照画像のフレーム間差分絶対値を画素毎に算出し、図８（Ｃ）に示すような動体尤度算出カーブに基づき１／１６サイズ動体尤度を算出する。

１／１６サイズ動体尤度及び１／４サイズ動体尤度の例を図１２（Ｃ）及び（Ｄ）に示す。図１２（Ｃ）に示す１／１６サイズ動体尤度は、図１２（Ａ）に示す１／１６サイズの画像データに基づいて算出された動体尤度である。図１２（Ｄ）に示す１／４サイズ動体尤度は、図１２（Ｂ）に示す１／４サイズの画像データに基づいて算出された動体尤度である。

なお、図８（Ａ）〜（Ｃ）に示すように画像データの解像度（サイズ）に応じて動体尤度算出カーブの形状を変えている理由は、ランダムノイズを動きと誤検出する可能性を低減するためである。基準画像と参照画像との間のフレーム間差分絶対値は、被写体の動きだけではなく、ランダムノイズによっても大きくなる。ここで、１／４サイズの画像データや１／１６サイズの画像データは、縮小処理時の平滑化処理により等倍サイズの画像データよりもランダムノイズが低減されている。そのため、ランダムノイズがより低減されている、より低解像度の画像データのための動体尤度算出カーブほど、閾値ＴＨ１及びＴＨ２を小さい値にする。一方、ランダムノイズがより多い、より高解像度の画像データのための動体尤度算出カーブほど、閾値ＴＨ１及びＴＨ２を大きい値にする。

具体的には、図８（Ａ）のように、等倍サイズの動体尤度算出カーブの場合は、ランダムノイズを動きと誤検出しないように、閾値ＴＨ１及びＴＨ２を比較的大きい値とする。また、図８（Ｃ）のように、１／１６サイズの動体尤度算出カーブの場合は、ランダムノイズは低減されているので、被写体の動きを精度よく検出するため、閾値ＴＨ１及びＴＨ２を比較的小さい値とする。

このように、フレーム間差分絶対値を算出する画像データの解像度に応じて、動体尤度算出カーブの閾値を変えることにより、ランダムノイズによる動きの誤検出を低減し、被写体の動きを精度よく検出することが可能となる。

図７に戻り、Ｓ７０４で、エッジ度算出部６１０、６１１は、対応する解像度（サイズ）の基準画像と参照画像のエッジ強度に基づき、画素毎にエッジ度を算出する。即ち、エッジ度算出部６１０、６１１は、基準画像及び参照画像が含む所定の撮影範囲の各位置についてエッジ度を算出する。

以下、エッジ度の算出方法について詳細に説明する。但し、本実施形態のエッジ度の算出方法は以下に示す具体例に限定されない。撮影範囲の各位置についてエッジの状態（エッジの有無やコントラストの強度など）を示す指標となる値を算出可能な方法であれば、任意の算出方法を採用可能である。

まず、エッジ強度の算出方法について説明する。エッジ強度は、例えば、ソーベルフィルタ処理により算出する。ソーベルフィルタ処理について説明する。まず、注目画素を中心とした上下左右の９つの画素値に対して、式（４）に示す係数をそれぞれ乗算し、乗算結果を合計することにより、垂直方向のエッジ強度Ｓｖを算出する。同様に、注目画素を中心とした上下左右の９つの画素値に対して、式（５）に示す係数をそれぞれ乗算し、乗算結果を合計することにより、水平方向のエッジ強度Ｓｈを算出する。そして、式（６）に示すように、垂直方向のエッジ強度Ｓｖと水平方向のエッジ強度Ｓｈの２乗和平方根により、エッジ強度Ｅを算出する。

エッジ度算出部６１０は、１／４サイズ基準画像と１／４サイズ参照画像の画素毎にエッジ強度を算出し、画素毎に、１／４サイズ基準画像のエッジ強度と１／４サイズ参照画像のエッジ強度のうちの大きい方を選択する。そして、エッジ度算出部６１０は、図９に示すようなエッジ度算出カーブに基づき、選択したエッジ強度からエッジ度を算出する。これにより、１／４サイズのエッジ度が得られる。また、エッジ度算出部６１１は、１／１６サイズ基準画像と１／１６サイズ参照画像の画素毎にエッジ強度を算出し、画素毎に、１／１６サイズ基準画像のエッジ強度と１／１６サイズ参照画像のエッジ強度のうちの大きい方を選択する。そして、エッジ度算出部６１１は、図９に示すようなエッジ度算出カーブに基づき、選択したエッジ強度からエッジ度を算出する。これにより、１／１６サイズのエッジ度が得られる。

１／１６サイズのエッジ度及び１／４サイズのエッジ度の例を、それぞれ図１２（Ｅ）及び図１２（Ｆ）に示す。図１２（Ｅ）に示す１／１６サイズエッジ度は、図１２（Ａ）に示す１／１６サイズの画像データに基づいて算出されたエッジ度である。図１２（Ｆ）に示す１／４サイズエッジ度は、図１２（Ｂ）に示す１／４サイズの画像データに基づいて算出されたエッジ度である。

なお、上の説明では、エッジ度算出部６１０、６１１は、基準画像のエッジ強度と参照画像のエッジ強度のうち大きい方を選択し、エッジ度算出カーブに基づき、選択したエッジ強度からエッジ度を算出するものとした。しかしながら、エッジ度の算出方法はこれに限定されない。例えば、エッジ度算出部６１０、６１１は、画素毎に基準画像と参照画像のエッジ強度の平均値を求め、エッジ度算出カーブに基づき、エッジ強度の平均値からエッジ度を算出してもよい。或いは、エッジ度算出部６１０、６１１は、画素毎に基準画像のエッジ強度のみを算出し、エッジ度算出カーブに基づき、基準画像のエッジ強度からエッジ度を算出してもよい。

図７に戻り、Ｓ７０５で、動体領域検出部２０２は、拡大処理部６２０、６２２、及び合成比率算出部６３０、６３１を用いて、画素毎に（即ち、所定の撮影範囲の各位置について）、エッジ度に基づき等倍サイズ合成比率及び１／４サイズ合成比率を算出する。Ｓ７０５の処理の詳細は後述する。

Ｓ７０６で、動体領域検出部２０２は、拡大処理部６２１、６２３、及び動体尤度合成部６４０、６４１を用いて、画素毎に（即ち、所定の撮影範囲の各位置について）、小さいサイズから順に動体尤度を合成する。この合成は、等倍サイズ合成比率及び１／４サイズ合成比率に従って行われる。

ここで、図１０及び図１２を参照して、Ｓ７０５及びＳ７０６の処理の詳細について説明する。まず、１／１６サイズ動体尤度及び１／４サイズ動体尤度の合成に関係する処理について説明する。拡大処理部６２２は、１／１６サイズエッジ度を縦横４倍に拡大する。この拡大により、１／１６サイズエッジ度は、１／４サイズ相当の解像度を持つようになる。合成比率算出部６３１は、拡大された１／１６サイズエッジ度に基づき、１／４サイズ合成比率を算出する。１／４サイズ合成比率は、拡大された１／１６サイズエッジ度と同様、１／４サイズ相当の解像度を持つ。

ここで、１／４サイズ合成比率の算出カーブの例を図１０（Ｂ）に示す。合成比率算出部６３１は、１／４サイズ合成比率の算出カーブに基づき、拡大された１／１６サイズエッジ度から１／４サイズ合成比率を算出する。１／４サイズ合成比率の算出カーブは、図１０（Ｂ）に示すように、エッジ度が大きいほど１／４サイズ動体尤度の合成比率が高くなるように設計されている。これにより、エッジ度が小さい平坦部では、１／１６サイズ動体尤度の合成比率が高くなり、エッジ度が大きいエッジ部では、１／４サイズ動体尤度の合成比率が高くなる。１／１６サイズの画像データは、縮小処理時の平滑化処理により、１／４サイズの画像データよりもランダムノイズが低減されている。そのため、１／１６サイズ動体尤度の方が、１／４サイズ動体尤度よりも、ランダムノイズを動きとして誤検出してしまう可能性が低い。従って、エッジ度が小さい平坦部では、ランダムノイズの悪影響を受けにくい１／１６サイズ動体尤度の合成比率を高くすることにより、ランダムノイズの悪影響を受けにくい合成動体尤度を生成することができる。

１／４サイズ合成比率の例を図１２（Ｇ）に示す。図１２（Ｇ）に示す１／４サイズ合成比率は、図１２（Ｅ）に示す１／１６サイズエッジ度に基づき算出された合成比率である。１／４サイズ合成比率は、１／１６サイズエッジ度が小さい領域で０％を示している。そのため、エッジ度が小さい平坦部では、１／１６サイズ動体尤度の合成比率が１００％となり、ランダムノイズによる悪影響を抑制することができる。一方、移動被写体の輪郭（移動被写体と背景との境界）はエッジ度が大きいため、１／４サイズ動体尤度の合成比率が高くなる。そのため、１／４サイズ合成動体尤度は、単純に縦横を４倍に拡大した１／１６サイズ動体尤度に比べ、移動被写体の輪郭により正確に対応した値となる。

拡大処理部６２３は、１／１６サイズ動体尤度を縦横４倍に拡大する。この拡大により、１／１６サイズ動体尤度は、１／４サイズ相当の解像度を持つようになる。動体尤度合成部６４１は、１／４サイズ合成比率に基づき、１／４サイズ動体尤度と拡大された１／１６サイズ動体尤度とを合成し、１／４サイズ合成動体尤度を生成する。この合成は、下記の式（７）に従って行われる。
ＭＣ４ ＝ ｗｍ４×Ｍ４＋（１−ｗｍ４）×Ｍ１６ ・・・（７）
ここで、Ｍ４は１／４サイズ動体尤度を表し、Ｍ１６は拡大された１／１６サイズ動体尤度を表し、ｗｍ４は１／４サイズ合成比率を表し、ＭＣ４は１／４サイズ合成動体尤度を表す。

１／４サイズ合成動体尤度の例を図１２（Ｈ）に示す。図１２（Ｈ）に示す１／４サイズ合成動体尤度は、図１２（Ｇ）に示す１／４サイズ合成比率に基づき、図１２（Ｃ）に示す１／１６サイズ動体尤度（拡大後）と図１２（Ｄ）に示す１／４サイズ動体尤度とを合成することにより得られたものである。図１２（Ｈ）に示す１／４サイズ合成動体尤度は、図１２（Ｃ）に示す１／１６サイズ動体尤度よりもエッジ付近のコントラストが鮮鋭になっている。これは、移動被写体の輪郭近傍で１／１６サイズエッジ度（図１２（Ｅ）参照）が高くなった影響により、１／４サイズ合成比率（図１２（Ｇ）参照）が高くなったためである。

次に、１／４サイズ動体尤度及び１／４サイズ合成動体尤度の合成に関係する処理について説明する。拡大処理部６２０は、１／４サイズエッジ度を縦横４倍に拡大する。この拡大により、１／４サイズエッジ度は、等倍サイズ相当の解像度を持つようになる。合成比率算出部６３０は、拡大された１／４サイズエッジ度に基づき、等倍サイズ合成比率を算出する。等倍サイズ合成比率は、拡大された１／４サイズエッジ度と同様、等倍サイズ相当の解像度を持つ。

ここで、等倍サイズ合成比率の算出カーブの例を図１０（Ａ）に示す。合成比率算出部６３０は、等倍サイズ合成比率の算出カーブに基づき、拡大された１／４サイズエッジ度から等倍サイズ合成比率を算出する。等倍サイズ合成比率の算出カーブは、図１０（Ａ）に示すように、エッジ度が中程度の所定範囲内の場合に等倍サイズ動体尤度の合成比率が高くなるように設計されている。このような設計を行う理由は２つある。

１つ目の理由は、エッジ度が大きくなる高コントラストエッジの微小な位置ズレや被写体の動きを過敏に動きとして検出することを抑制するためである。等倍サイズの基準画像及び参照画像においては、コントラストが高いエッジの位置が微小にでもずれていると、動体尤度が大きくなる。このような領域について合成動体尤度が高くなり、図３のＳ３０４においてこのような領域に対する合成処理が行われない場合、ノイズ低減がなされない。そのため、最終的に得られる合成画像において、微小に位置がずれている高コントラストエッジがノイジーになってしまう。そこで、図１０（Ａ）に示すように、高コントラストエッジ領域については、等倍サイズ動体尤度ではなく、より低解像度（サイズ）の動体尤度の合成比率が高くなるように、等倍サイズ合成比率の算出カーブは設計されている。

２つ目の理由は、エッジ度が小さい被写体の動きを検出するためである。エッジ度が小さい被写体としては、例えば、低コントラストエッジを持つ被写体、細い線を持つ被写体、ドット状の小さい被写体などが挙げられる。低コントラストエッジ領域では、被写体が移動しても、フレーム間差分絶対値は比較的小さい。縮小処理を行うことによりフレーム間差分絶対値が更に小さくなるため、１／４サイズ動体尤度や１／１６サイズ動体尤度にはこのような被写体の動きが含まれていない可能性がある。そこで、エッジ度が小さい被写体の動きは、等倍サイズ動体尤度に基づいて判定する必要がある。そこで、図１０（Ａ）に示すように、エッジ度が中程度の所定範囲（第２の範囲）内にある低コントラストエッジ領域に対して、等倍サイズ動体尤度の合成比率が高く設定されている。一方、エッジ度が小さい所定範囲（第１の範囲）内にある平坦部については、１／４サイズ動体尤度及び１／１６サイズ動体尤度に基づく１／４サイズ合成動体尤度の合成比率が高く設定されている。同様に、エッジ度が大きい所定範囲（第３の範囲）内にある高コントラストエッジについては、１／４サイズ動体尤度及び１／１６サイズ動体尤度に基づく１／４サイズ合成動体尤度の合成比率が高く設定されている。これにより、ランダムノイズの悪影響を受けにくい等倍サイズ合成動体尤度を生成することができる。

なお、合成比率算出部６３０は、図１０（Ａ）に示す算出カーブの代わりに図１０（Ｂ）に示す算出カーブを用いてもよい。同様に、合成比率算出部６３１は、図１０（Ｂ）に示す算出カーブの代わりに図１０（Ａ）に示す算出カーブを用いてもよい。

拡大処理部６２１は、１／４サイズ合成動体尤度を縦横４倍に拡大する。この拡大により、１／４サイズ動体尤度は、等倍サイズ相当の解像度を持つようになる。動体尤度合成部６４０は、等倍サイズ動体尤度の合成比率に基づき、等倍サイズ動体尤度と拡大された１／４サイズ合成動体尤度とを合成し、等倍サイズ合成動体尤度を生成する。この合成は、下記の式（８）に従って行われる。
ＭＣ１ ＝ ｗｍ１×Ｍ１＋（１−ｗｍ１）×ＭＣ４’ ・・・（８）
ここで、Ｍ１は等倍サイズ動体尤度を表し、ＭＣ４’は拡大された１／４サイズ合成動体尤度を表し、ｗｍ１は等倍サイズ動体尤度の合成比率を表し、ＭＣ１は等倍サイズ合成動体尤度を表す。

こうして得られた等倍サイズ合成動体尤度、図３のＳ３０４において基準画像の合成比率ｗを決定するために用いられる。

ところで、上での説明では、等倍サイズ、１／４サイズ、及び１／１６サイズの異なる３種類の解像度（サイズ）の画像データに基づき最終的な合成動体尤度（等倍サイズ合成動体尤度）を算出するものとした。しかしながら、合成動体尤度を算出するための画像データの解像度の組み合わせはこれに限定されない。例えば、倍率（縮小率）は１／４倍に限らず、１／２倍でもよい。また、解像度の種類は３種類に限定されず、例えば４種類以上の解像度の画像データ、又は異なる２種類の解像度の画像データに基づいて合成動体尤度を算出してもよい。

また、上の説明では、等倍サイズ合成比率の算出カーブのみが、図１０（Ａ）に示すように、エッジ度が中程度の所定範囲である低コントラストエッジ領域に対して、等倍サイズ動体尤度の合成比率を高くするように設計されているものとした。しかしながら、合成比率の算出カーブの設計はこれに限定されない。例えば、合成動体尤度を算出する際に、より高解像度画像から所定数の解像度の動体尤度を合成する場合は、図１０（Ａ）のような合成比率の算出カーブを用いてもよい。具体例として、等倍サイズの次に小さい画像データの倍率（縮小率）が１／２倍であって、異なる５種類の解像度の画像データに基づいて合成動体尤度を算出する場合を考える。この場合、等倍サイズ合成動体尤度及び１／２サイズ合成動体尤度を算出する際は、図１０（Ａ）のような合成比率の算出カーブを用いてもよい。また、これ以外の倍率（例えば、１／４サイズ及び１／８サイズ）の合成動体尤度を算出する際は、図１０（Ｂ）のような合成比率の算出カーブを用いてもよい。

また、合成比率算出部６３０、６３１が用いる合成比率の算出カーブは、撮影時の感度情報に応じて変更してもよい。感度が高い場合の合成比率の算出カーブの例を図１３に示す。感度が高い場合、基準画像及び参照画像のランダムノイズの度合いが大きくなる（振幅が高くなる）ため、ランダムノイズを動きと誤検出する可能性が上昇する。そのため、ランダムノイズの影響を受けにくい、より低解像度の画像データに基づいて算出した動体尤度の合成比率を高くする。図１３（Ｂ）は、基準画像及び参照画像が高感度で撮影された場合に、合成比率算出部６３１が使用する１／４サイズ合成比率の算出カーブの例を示す。図１０（Ｂ）と比較すると、１／４サイズ合成比率の上限が５０％に制限されている。これにより、エッジ度が大きい場合でも１／１６サイズ動体尤度の合成比率が５０％となる。従って、より低解像度の画像データに基づいて算出した動体尤度の合成比率が高くなる。図１３（Ａ）は、基準画像及び参照画像が高感度で撮影された場合に、合成比率算出部６３０が使用する等倍サイズ合成比率の算出カーブの例を示す。図１０（Ａ）と比較すると、等倍サイズ合成比率の上限が５０％に制限されている。これにより、低コントラストエッジの場合でも１／４サイズ動体尤度の合成比率が５０％となる。従って、より低解像度の画像データに基づいて算出した動体尤度の合成比率が高くなる。なお、基準画像及び参照画像の撮影時の感度が相異なる場合、合成比率算出部６３０、６３１は、基準画像及び参照画像の少なくとも一方の撮影時の感度に基づいて算出カーブを変更してもよい。

また、上の説明では、より低解像度の画像データで算出したエッジ度を拡大して動体尤度の合成比率を算出するものとしたが、合成比率の算出方法はこれに限定されない。例えば、図６において、合成比率算出部６３１は、エッジ度算出部６１１が算出する１／１６サイズエッジ度を縦横４倍に拡大したエッジ度とエッジ度算出部６１０が算出する１／４サイズエッジ度の両方に基づき、合成比率を算出してもよい。この場合、例えば、合成比率算出部６３１は、１／１６サイズエッジ度を縦横４倍に拡大したエッジ度と１／４サイズエッジ度の平均、又はどちらか大きい方のエッジ度に基づき、合成比率を算出する。このような方法で合成比率を算出することにより、エッジ近傍のエッジ度がより大きくなるため、エッジ近傍において１／４サイズ動体尤度の合成比率が高くなる。そのため、移動被写体の輪郭により正確に沿った合成動体尤度を算出することができる。更に一般化すると、エッジ度算出部６１０は、等倍サイズ基準画像、等倍サイズ参照画像、１／４サイズ基準画像、及び１／４サイズ参照画像の少なくともいずれかに基づいて、合成比率算出部６３０が使用するエッジ度を算出することができる。また、エッジ度算出部６１１は、１／４サイズ基準画像、１／４サイズ参照画像、１／１６サイズ基準画像、及び１／１６サイズ参照画像の少なくともいずれかに基づいて、合成比率算出部６３１が使用するエッジ度を算出することができる。

また、上の説明では、エッジ度を算出する際に、エッジ強度の算出元となった画像データの種類に関わらず同一のエッジ度算出カーブ（図９参照）を使用するものとした。しかし、エッジ度算出カーブは様々な条件に応じて変化してもよい。例えば、動体尤度算出カーブと同様に、エッジ強度の算出元となった画像データの解像度に応じて、エッジ度算出カーブを変えてもよい。例えば、図８の動体尤度算出カーブと同様に、ランダムノイズがより低減されている、より低解像度のエッジ度算出カーブほど、エッジ度算出カーブの閾値を小さい値にする。一方、ランダムノイズが低減されていないより高解像度のエッジ度算出カーブほど、エッジ度算出カーブの閾値を大きい値にする。このように、エッジ強度の算出元となった画像データの解像度に応じてエッジ度算出カーブを変えることにより、ランダムノイズをエッジと誤検出してしまうことを抑制することができる。

また、上の説明では、等倍サイズ合成動体尤度を、ランダムノイズを低減するために基準画像及び参照画像を合成する際に使用するものとしたが、等倍サイズ合成動体尤度の用途はこれに限定されない。例えば、異なる露出で撮影した複数の画像を合成することによりダイナミックレンジを拡大するＨＤＲ合成機能のために等倍サイズ合成動体尤度を使用してもよい。この場合、異なる露出で撮影した基準画像と参照画像の明るさレベルを合わせ、動体領域検出部２０２に入力することにより、等倍サイズ合成動体尤度を算出することができる。

以上説明したように、第１の実施形態によれば、撮像装置１００は、基準画像及び参照画像から、縮小された基準画像及び参照画像を生成する。そして、撮像装置１００は、基準画像と参照画像の差分に基づいて第１の動体尤度を生成し、縮小された基準画像と参照画像の差分に基づいて第２の動体尤度を生成する。そして、撮像装置１００は、撮影範囲の各位置のエッジ度に基づいて決定される合成比率に従って第１の動体尤度と第２の動体尤度とを合成する。これにより、画像間の画素値の差分に基づく動体領域の検出精度を向上させることが可能となる。

［第２の実施形態］
第１の実施形態では、エッジ度に基づいて決定される合成比率に従って動体尤度を合成する構成について説明した。一方、第２の実施形態では、上位階層の動体尤度と下位階層の動体尤度との差に基づいて決定される合成比率に従って動体尤度を合成する構成について説明する。ここで言う「階層」とは、基準画像及び参照画像に関する特定の倍率（縮小率）を意味する。

第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。但し、図２の動体領域検出部２０２の詳細な構成は、第１の実施形態では図６に示す構成であったが、第２の実施形態では図１６に示す構成である。また、図３のＳ３０３において実行される処理は、第１の実施形態では図７に示す処理であったが、第２の実施形態では図１５に示す処理が実行される。また、図３のＳ３０４における画像合成処理は、第１の実施形態では図７に示す処理により生成される合成動体尤度に従って行われたが、第２の実施形態では図１５に示す処理により生成される合成動体尤度に従って行われる。以下、主に第１の実施形態と異なる点について説明する。

最初に、図４及び図１４を参照して、階層動体検出の概要を説明する。図１４は、３つの異なる解像度での動体尤度、及び最終的な合成動体尤度を示す概要図である。本実施形態では、撮像装置１００は、基準画像の画素値と参照画像の画素値との差分に基づく動体尤度として、基準画像と参照画像との間の差分絶対値和（ＳＡＤ）を用いるものとする。しかしながら、撮像装置１００は、第１の実施形態と同様の動体尤度を用いてもよい。即ち、撮像装置１００は、基準画像と参照画像との間のフレーム間差分絶対値を画素毎に算出し、図８（Ａ）〜（Ｃ）に示す動体尤度算出カーブに従って動体尤度を算出してもよい。

撮像装置１００は、図４（Ａ）の基準画像及び図４（Ｃ）の位置合わせ済み参照画像について、各階層のＳＡＤを算出する（図１４の「ｘ１／１６階層のＳＡＤ」、「ｘ１／４階層のＳＡＤ」、及び「ｘ１／１階層（等倍階層）のＳＡＤ」参照）。そして、撮像装置１００は、各階層のＳＡＤを合成することにより、合成ＳＡＤ（合成動体尤度）を生成する（図１４の「合成ＳＡＤ」参照）。なお、図１４において、白色の領域は、フレーム間で差分が発生し、動体領域として検出された領域を表わす。また、「ｘ１／１６階層」、「ｘ１／４階層」、及び「ｘ１／１階層（等倍階層）」は、それぞれ、第１の実施形態で述べた１／１６サイズ、１／４サイズ、等倍サイズに対応する。

図１４において、位置１４０１〜１４０４は、同じ背景領域の位置を表し、位置１４１１〜１４１４は、同じ人領域の位置を表わす。位置１４０１〜１４０３を見ると、解像度が高い階層ほど背景領域に多くの差分が検出されていることが分かる。これは、ノイズが画像データに乗ることで、被写体が動かなくても画像間の差分が検出されていることが要因である。逆に解像度が低い階層では、ノイズによる耐性が強く、ノイズが差分情報として検出されにくくなる。しかしながら、解像度が荒くなることで、動きが発生している領域については、実際よりも大きな領域が検出されやすい。例えば、位置１４１１では、位置１４１３に比べて大きな動体領域が検出されている。中間解像度に対応する位置１４０２や位置１４１２では、ノイズの耐性がやや強く、動体領域の輪郭も移動被写体の輪郭に比較的沿っている。即ち、中間解像度の階層は、高解像度の階層と低解像度の階層との間の特徴を持つ。これらの異なる階層のＳＡＤを合成することで、図１４の「合成ＳＡＤ」に示すような情報を得ることができる。これにより、ノイズ耐性が強く、かつ移動被写体の輪郭に沿った動体領域を検出することが可能となる。

次に、図１５及び図１６を参照して、動体領域検出部２０２が実行する合成動体尤度算出処理について説明する。Ｓ１５０１で、動体領域検出部２０２は、図７のＳ７０１と同様に、基準画像及び参照画像を取得する。

Ｓ１５０２で、縮小処理部１６５０は、基準画像及び参照画像に対して縮小処理を行うことにより、縮小された基準画像及び参照画像を生成する。具体的には、縮小処理部１６５０は、図７のＳ７０２と同様に、１／４サイズ基準画像、１／４サイズ参照画像、１／１６サイズ基準画像、及び１／１６サイズ参照画像を生成する。

Ｓ１５０３で、ＳＡＤ算出部１６１１、１６１２、１６１３は、対応する解像度（サイズ）の基準画像と参照画像との間のＳＡＤを算出する。例えば、ＳＡＤ算出部１６１１、１６１２、１６１３は、着目画素周辺の画素（例えば、着目画素周辺の３ｘ３画素）も含めた差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を算出する。

Ｓ１５０４で、動体領域検出部２０２は、拡大処理部１６２１、１６２２、及びＳＡＤ算出部１６１２、１６１３を用いて、階層間のＳＡＤの差を算出する。具体的には、拡大処理部１６２１、１６２２は、ＳＡＤ算出部１６１２、１６１３により算出されたＳＡＤを縦横４倍に拡大する。この拡大により、ＳＡＤ算出部１６１２により算出されたＳＡＤは、等倍サイズ相当の解像度を持ち、ＳＡＤ算出部１６１３により算出されたＳＡＤは、１／４サイズ相当の解像度を持つようになる。次に、合成比率算出部１６３１、１６３２は、階層間のＳＡＤの差を算出する。具体的には、合成比率算出部１６３１は、ＳＡＤ算出部１６１１により算出されたＳＡＤと、ＳＡＤ算出部１６１２により算出され拡大処理部１６２１により拡大されたＳＡＤとの差を算出する。また、合成比率算出部１６３２は、ＳＡＤ算出部１６１２により算出されたＳＡＤと、ＳＡＤ算出部１６１３により算出され拡大処理部１６２２により拡大されたＳＡＤとの差を算出する。Ｓ１５０４における算出処理の詳細については、図２１を参照して後述する。

Ｓ１５０５で、合成比率算出部１６３１、１６３２は、Ｓ１５０４において算出されたＳＡＤの差に基づく閾値判定を行うことにより、合成比率を算出する。

Ｓ１５０６で、動体領域検出部２０２は、拡大処理部１６２３、１６２４、及びＳＡＤ合成部１６４１、１６４２を用いて、下位階層から順にＳＡＤを合成する。具体的には、拡大処理部１６２３は、ＳＡＤ算出部１６１３により算出されたＳＡＤを縦横４倍に拡大する。この拡大により、ＳＡＤ算出部１６１３により算出されたＳＡＤは、１／４サイズ相当の解像度を持つようになる。そして、ＳＡＤ合成部１６４２は、ＳＡＤ算出部１６１２により算出されたＳＡＤと、ＳＡＤ算出部１６１３により算出され拡大処理部１６２３により拡大されたＳＡＤとを合成することにより、１／４サイズ合成ＳＡＤを生成する。この合成は、合成比率算出部１６３２により算出された合成比率に従って行われる。次に、拡大処理部１６２４は、ＳＡＤ合成部１６４２により生成された１／４サイズ合成ＳＡＤを縦横４倍に拡大する。この拡大により、１／４サイズ合成ＳＡＤは、等倍サイズ相当の解像度を持つようになる。そして、ＳＡＤ合成部１６４１は、ＳＡＤ算出部１６１１により算出されたＳＡＤと、拡大処理部１６２４により拡大された１／４サイズ合成ＳＡＤとを合成することにより、等倍サイズ合成ＳＡＤを生成する。この合成は、合成比率算出部１６３１により算出された合成比率に従って行われる。こうして生成された等倍サイズ合成ＳＡＤは、図３のＳ３０４における合成処理のために使用される。

上記の合成比率に従うＳＡＤの合成処理は、例えば下記の式（９）に従って実行することができる。
上位階層ＳＡＤ×合成比率＋下位階層ＳＡＤ×（１−合成比率） ・・・（９）
ここで、０≦合成比率≦１である。また、「上位階層ＳＡＤ」は、合成対象の２階層のうち解像度が大きい画像データの階層のＳＡＤを意味し、「下位階層ＳＡＤ」は、合成対象の２階層のうち解像度が小さい画像データの階層のＳＡＤを意味する。但し、下位階層と更に下位の階層との間でＳＡＤの合成が行われる場合、「下位階層ＳＡＤ」は、下位階層の合成ＳＡＤに対応する。

式（９）の合成比率は、階層間のＳＡＤの差が大きいほど大きくなるように決定される。従って、式（９）の合成処理によれば、階層間のＳＡＤの差が大きいほど、得られる合成ＳＡＤにおける上位階層ＳＡＤの重みが大きくなる。

次に、図１７、図１８Ａ、及び図１８Ｂを参照して、合成比率算出部１６３１、１６３２の動作について詳細に説明する。なお、各階層の基準画像及び参照画像の画素値については、第１の実施形態と同様、図１１及び図１２（Ａ）〜（Ｂ）に示す画素値を用いる。図１７（Ａ）は、ｘ１／１階層における基準画像と参照画像との間のＳＡＤ１７１３を示す。図１７（Ｂ）は、ｘ１／４階層における基準画像と参照画像との間のＳＡＤ１７２３を示す。図１７（Ｃ）は、ｘ１／１６階層における基準画像と参照画像との間のＳＡＤ１７３３を示す。

合成比率算出部１６３２は、ｘ１／１６階層のＳＡＤとｘ１／４階層のＳＡＤとを合成するための合成比率を算出する。このときの合成比率は、ｘ１／１６階層のＳＡＤとｘ１／４階層のＳＡＤの差に基づいて算出される。なお、前述の通り、ｘ１／１６階層のＳＡＤは、拡大処理部１６２２により縦横４倍に拡大される。図１８Ａに示すように、合成比率算出部１６３２は、ｘ１／１６階層のＳＡＤ１７３３とｘ１／４階層のＳＡＤ１７２３との差１８１１を算出する。なお、差１８１１は厳密には差分絶対値であるが、単純化のため「差」と表記するものとする。ＳＡＤの差１８１１が大きい領域では、下位階層（ｘ１／１６階層）において実際よりも広い動体領域が検出されている可能性がある。そのため、合成比率算出部１６３２は、ＳＡＤの差１８１１が大きい領域では上位階層（ｘ１／４階層）の合成比率が大きくなるように制御する。これは、合成比率変換カーブ１８２１を用いることにより実現可能である。合成比率変換カーブ１８２１は、ＳＡＤの差に関して下限閾値１８２２及び上限閾値１８２３を持ち、これら２つの閾値の間で０％から１００％の値を持つ。合成比率算出部１６３２は、合成比率変換カーブ１８２１に従って、ＳＡＤの差１８１１を合成比率１８３１に変換する。

同様に、合成比率算出部１６３１は、ｘ１／４階層のＳＡＤとｘ１／１階層のＳＡＤとを合成するための合成比率を算出する。このときの合成比率は、ｘ１／４階層のＳＡＤとｘ１／１階層のＳＡＤの差に基づいて算出される。なお、前述の通り、ｘ１／４階層のＳＡＤは、拡大処理部１６２１により縦横４倍に拡大される。図１８Ｂに示すように、合成比率算出部１６３１は、ｘ１／４階層のＳＡＤ１７２３とｘ１／１階層のＳＡＤ１７１３との差１８５１を算出する。なお、差１８５１は厳密には差分絶対値であるが、単純化のため「差」と表記するものとする。ＳＡＤの差１８５１が大きい領域では、下位階層（ｘ１／４階層）において実際よりも広い動体領域が検出されている可能性がある。そのため、合成比率算出部１６３１は、ＳＡＤの差１８５１が大きい領域では上位階層（ｘ１／１階層）の合成比率が大きくなるように制御する。これは、合成比率変換カーブ１８６１を用いることにより実現可能である。合成比率変換カーブ１８６１は、ＳＡＤの差に関して下限閾値１８６２及び上限閾値１８６３を持ち、これら２つの閾値の間で０％から１００％の値を持つ。合成比率算出部１６３１は、合成比率変換カーブ１８６１に従って、ＳＡＤの差１８５１を合成比率１８７１に変換する。

なお、図２１を参照して後述する通り、ＳＡＤの差１８１１、１８５１は、着目画素の周辺画素（周辺位置の画素）のＳＡＤも含めて算出される。そのため、図１８Ａにおいて、特定の水平座標におけるＳＡＤの差１８１１は、その座標におけるｘ１／４階層のＳＡＤ１７２３とｘ１／１６階層のＳＡＤ１７３３の差に必ずしも一致しない。同様に、図１８Ｂにおいて、特定の水平座標におけるＳＡＤの差１８５１は、その座標におけるｘ１／１階層のＳＡＤ１７１３とｘ１／４階層のＳＡＤ１７２３の差に必ずしも一致しない。

解像度の低い基準画像及び参照画像に基づいて算出されたＳＡＤを用いると、移動被写体の輪郭よりも外側まで動体領域として検出される。上述のように上位階層のＳＡＤと下位階層のＳＡＤの差が大きい領域について上位階層のＳＡＤの合成比率を大きくすることにより、移動被写体の輪郭にフィットさせた動体領域を高精度で検出することが可能となる。

なお、合成比率算出部１６３１、１６３２は同一形状の合成比率変換カーブを用いてもよいが、図１８Ａ及び図１８Ｂに示すように異なる形状の合成比率変換カーブを用いてもよい。各解像度のＳＡＤをみると、より解像度が低い階層ほどＳＡＤの大きい領域（動体領域）が移動被写体のエッジ周辺に広がる傾向があり、より解像度の高い階層ほどＳＡＤの大きい領域（動体領域）がエッジ周辺に広がらずエッジにフィットする傾向がある。この傾向に鑑み、合成比率算出部１６３２が用いる合成比率変換カーブを、合成比率算出部１６３１が用いる合成比率変換カーブと比べて、上位階層の合成比率がより高くなるように設定する。

図１９を参照して、合成比率変換カーブの設定方法について説明する。図１９は、合成比率変換カーブの３つのパターンを示している。符号１９０１は、初期設定時の合成比率変換カーブ、符号１９０２は、上位階層の合成比率がより高くなるように構成された合成比率変換カーブ、符号１９０３は、上位階層の合成比率がより低くなるように構成された合成比率変換カーブを示す。ｘ１／１階層の合成比率をより高くしたい場合、合成比率算出部１６３１は、合成比率変換カーブの形状を符号１９０１で示す形状から符号１９０２で示す形状に変更する。これを実現するには、例えば、合成比率算出部１６３１は、下限閾値１８２２を下限閾値１８６２よりも低い値に設定し、上限閾値１８２３を上限閾値１８６３よりも低い値に設定する。これにより、小さなＳＡＤの差が発生した場合でも、合成比率算出部１６３２は、合成比率算出部１６３１と比べて上位階層の重みが高くなるように制御することができる。これにより、解像度毎に最適な合成比率変換カーブを用いることが可能となる。

また、ＩＳＯ感度に応じて合成比率変換カーブの形状を変更してもよい。感度が低い場合にはノイズが少なくなるため、合成比率算出部１６３１、１６３２は、下限閾値及び上限閾値をより小さな値に設定する。反対に、感度が高い場合にはノイズが多くなるため、合成比率算出部１６３１、１６３２は、下限閾値及び上限閾値をより大きな値に設定する。

図２０を参照して、ＩＳＯ感度に応じて合成比率変換カーブを変更する処理の具体例を説明する。図２０（Ａ）は、合成比率変換カーブの初期設定を規定するパラメータを示す。図２０（Ｂ）は、このパラメータを変更した時に閾値調整が必要な項目を示す。撮影感度をＩＳＯ８００からＩＳＯ４００に下げると、ノイズに対する耐性が向上する。そのため、符号２００１により示すように、合成比率算出部１６３１、１６３２は、合成比率変換カーブの下限閾値及び上限閾値を小さい値に設定する（図１９の符号１９０１の形状から符号１９０２の形状に変更する）。反対に、撮影感度をＩＳＯ８００からＩＳＯ１６００に上げると、ノイズに対する耐性が低下する。そのため、符号２００２により示すように、合成比率算出部１６３１、１６３２は、合成比率変換カーブの下限閾値及び上限閾値を大きい値に設定する（図１９の符号１９０１の形状から符号１９０３の形状に変更する）。なお、基準画像及び参照画像の撮影時の感度が相異なる場合、合成比率算出部１６３１、１６３２は、基準画像及び参照画像の少なくとも一方の撮影時の感度に基づいて合成比率変換カーブを変更してもよい。

次に、図２１を参照して、図１５のＳ１５０４におけるＳＡＤの差の算出処理の詳細について説明する。図２１（Ａ）及び図２１（Ｂ）は、動体領域を含んだ基準画像及び参照画像の概念図である。前述の通り、合成比率算出部１６３１、１６３２は、上位階層のＳＡＤと拡大された下位階層のＳＡＤの差を算出する。このとき、合成比率算出部１６３１、１６３２は、着目画素だけでなく、着目画素の周囲画素のＳＡＤも加味してＳＡＤの差を算出する。図２１では、説明を簡単にするために、ＳＡＤの差を２値で表現する（差が大きい領域は１、差が小さい領域は０）。以下では、ｘ１／４階層のＳＡＤとｘ１／１６階層のＳＡＤの差に関して説明を行うが、ｘ１／１階層のＳＡＤとｘ１／４階層のＳＡＤの差に関しても同様である。

上位階層（ｘ１／４階層）のＳＡＤは、動体領域の検出範囲が相対的に小さいため、人物内部などのテクスチャが少なくなりやすい。そのため、ＳＡＤの値は小さくなりやすいため、動体領域の検出漏れが発生しやすい。例えば、領域２１１１と領域２１１３の差分として、図２１（Ｃ）及び図２１（Ｄ）に示すＳＡＤ２１２１が算出される。反対に、下位階層（ｘ１／１６階層）では動体領域の検出範囲が相対的に大きいため、ＳＡＤが大きくなりやすい。例えば、領域２１０１と領域２１０３の差分として、図２１（Ｃ）及び図２１（Ｄ）に示すＳＡＤ２１２２が算出される。その後、着目画素についてｘ１／１６階層のＳＡＤ（拡大後）とｘ１／４階層のＳＡＤの差を算出した場合、図２１（Ｃ）に示す差２１３１が得られる。差２１３１によれば、階層間のＳＡＤの差が大きい。そのため、差２１３１に基づいて合成比率を決定すると、ｘ１／４階層のＳＡＤの重みが大きくなる。その結果、移動被写体の内部など、動体領域のうちフレーム間差分が小さくなる部分について、動体領域の検出漏れが発生する可能性がある。

そこで、合成比率算出部１６３２は、図２１（Ｄ）に示すように、着目画素の周辺画素のＳＡＤも含めて、ｘ１／４階層のＳＡＤとｘ１／１６階層のＳＡＤの差を算出する。具体的には、合成比率算出部１６３２は、ｘ１／４階層のＳＡＤとｘ１／１６階層のＳＡＤそれぞれについて、着目画素及び周辺画素のＳＡＤの平均値を算出し、平均値同士の差の絶対値を算出する。これにより、図２１（Ｄ）に示す差２１３２が得られる。差２１３２は、階層間のＳＡＤに差がないことを示す。そのため、差２１３２に基づいて合成比率を決定すると、ｘ１／１６階層のＳＡＤの重みが大きくなる。その結果、動体領域の検出漏れが抑制される。

なお、合成比率算出部１６３２は、着目画素の周辺画素のＳＡＤを参照する代わりに、メディアンフィルタやローパスフィルタをそれぞれの階層のＳＡＤに掛ける処理を行い、その後、階層間のＳＡＤの差を算出してもよい。

以上説明したように、第２の実施形態によれば、撮像装置１００は、基準画像及び参照画像から、縮小された基準画像及び参照画像を生成する。そして、撮像装置１００は、基準画像と参照画像の差分に基づいて第１の動体尤度を生成し、縮小された基準画像と参照画像の差分に基づいて第２の動体尤度を生成する。そして、撮像装置１００は、第１の動体尤度と第２の動体尤度の差に基づいて決定される合成比率に従って第１の動体尤度と第２の動体尤度とを合成する。これにより、画像間の画素値の差分に基づく動体領域の検出精度を向上させることが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、２０２…動体領域検出部、６００、６０１、６０２…動体尤度算出部、６１０、６１１…エッジ度算出部、６３０、６３１…合成比率算出部、６４０、６４１…動体尤度合成部、６５０…縮小処理部

Claims (17)

1. 所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成する縮小手段と、
   前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得する取得手段と、
   前記第１の基準画像、前記第１の参照画像、前記第２の基準画像、及び前記第２の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置のエッジ度を取得する取得手段と、
   前記撮影範囲の各位置について、前記エッジ度に基づいて前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する決定手段と、
   前記撮影範囲の各位置について、前記決定された合成比率に従って前記第１の動体尤度と前記第２の動体尤度とを合成することにより合成動体尤度を生成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記エッジ度が第１の範囲より大きく第３の範囲より小さい第２の範囲にある場合、前記エッジ度が前記第１の範囲又は前記第３の範囲にある場合よりも前記第１の動体尤度の合成比率が大きくなるように、前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記エッジ度が大きいほど前記第１の動体尤度の合成比率が大きくなるように、前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、前記エッジ度に加えて前記第１の基準画像及び前記第１の参照画像の少なくとも一方のランダムノイズの度合いに基づいて、前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記第１の基準画像及び前記第１の参照画像の少なくとも一方のランダムノイズの度合いとして、前記第１の基準画像及び前記第１の参照画像の少なくとも一方の撮影時の感度を用いる
   ことを特徴とする請求項４に記載の画像処理装置。
6. 所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成し、前記第１の基準画像及び前記第１の参照画像それぞれを前記第１の倍率より小さい第２の倍率で縮小することにより第３の基準画像及び第３の参照画像を生成する縮小手段と、
   前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得し、前記第３の基準画像の画素値と前記第３の参照画像の画素値の差分に基づいて第３の動体尤度を取得する取得手段と、
   前記第１の基準画像、前記第１の参照画像、前記第２の基準画像、及び前記第２の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置の第１のエッジ度を取得し、前記第２の基準画像、前記第２の参照画像、前記第３の基準画像、及び前記第３の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置の第２のエッジ度を取得する取得手段と、
   前記撮影範囲の各位置について、前記第２のエッジ度に基づいて前記第２の動体尤度及び前記第３の動体尤度の第１の合成比率を決定する決定手段と、
   前記撮影範囲の各位置について、前記決定された第１の合成比率に従って前記第２の動体尤度と前記第３の動体尤度とを合成することにより第１の合成動体尤度を生成する合成手段と、
   を備え、
   前記決定手段は、前記撮影範囲の各位置について、前記第１のエッジ度に基づいて前記第１の動体尤度及び前記第１の合成動体尤度の第２の合成比率を決定し、
   前記合成手段は、前記撮影範囲の各位置について、前記決定された第２の合成比率に従って前記第１の動体尤度と前記第１の合成動体尤度とを合成することにより第２の合成動体尤度を生成する
   ことを特徴とする画像処理装置。
7. 所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成する縮小手段と、
   前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得する取得手段と、
   前記撮影範囲の各位置について、前記第１の動体尤度と前記第２の動体尤度の差に基づいて前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する決定手段と、
   前記撮影範囲の各位置について、前記決定された合成比率に従って前記第１の動体尤度と前記第２の動体尤度とを合成することにより合成動体尤度を生成する合成手段と、
   を備えることを特徴とする画像処理装置。
8. 前記決定手段は、前記第１の動体尤度と前記第２の動体尤度の差分絶対値が大きいほど前記第１の動体尤度の合成比率が大きくなるように、前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記第１の動体尤度と前記第２の動体尤度の差に加えて前記第１の基準画像及び前記第１の参照画像の少なくとも一方の撮影時の感度に基づいて、前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する
   ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記決定手段は、前記撮影範囲の各位置について、前記位置及びその周辺位置に対応する前記第１の動体尤度及び前記第２の動体尤度に基づいて、前記第１の動体尤度と前記第２の動体尤度の差を算出する
    ことを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成し、前記第１の基準画像及び前記第１の参照画像それぞれを前記第１の倍率より小さい第２の倍率で縮小することにより第３の基準画像及び第３の参照画像を生成する縮小手段と、
    前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得し、前記第３の基準画像の画素値と前記第３の参照画像の画素値の差分に基づいて第３の動体尤度を取得する取得手段と、
    前記撮影範囲の各位置について、前記第２の動体尤度と前記第３の動体尤度の差に基づいて前記第２の動体尤度及び前記第３の動体尤度の第１の合成比率を決定する決定手段と、
    前記撮影範囲の各位置について、前記決定された第１の合成比率に従って前記第２の動体尤度と前記第３の動体尤度とを合成することにより第１の合成動体尤度を生成する合成手段と、
    を備え、
    前記決定手段は、前記第１の動体尤度と前記第２の動体尤度の差に基づいて前記第１の動体尤度及び前記第１の合成動体尤度の第２の合成比率を決定し、
    前記合成手段は、前記撮影範囲の各位置について、前記決定された第２の合成比率に従って前記第１の動体尤度と前記第１の合成動体尤度とを合成することにより第２の合成動体尤度を生成する
    ことを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれか１項に記載の画像処理装置と、
    前記第１の基準画像及び前記第１の参照画像を生成する撮像手段と、
    を備えることを特徴とする撮像装置。
13. 画像処理装置が実行する画像処理方法であって、
    所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成する縮小工程と、
    前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得する取得工程と、
    前記第１の基準画像、前記第１の参照画像、前記第２の基準画像、及び前記第２の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置のエッジ度を取得する取得工程と、
    前記撮影範囲の各位置について、前記エッジ度に基づいて前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する決定工程と、
    前記撮影範囲の各位置について、前記決定された合成比率に従って前記第１の動体尤度と前記第２の動体尤度とを合成することにより合成動体尤度を生成する合成工程と、
    を備えることを特徴とする画像処理方法。
14. 画像処理装置が実行する画像処理方法であって、
    所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成し、前記第１の基準画像及び前記第１の参照画像それぞれを前記第１の倍率より小さい第２の倍率で縮小することにより第３の基準画像及び第３の参照画像を生成する縮小工程と、
    前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得し、前記第３の基準画像の画素値と前記第３の参照画像の画素値の差分に基づいて第３の動体尤度を取得する取得工程と、
    前記第１の基準画像、前記第１の参照画像、前記第２の基準画像、及び前記第２の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置の第１のエッジ度を取得し、前記第２の基準画像、前記第２の参照画像、前記第３の基準画像、及び前記第３の参照画像の少なくともいずれかに基づいて、前記撮影範囲の各位置の第２のエッジ度を取得する取得工程と、
    前記撮影範囲の各位置について、前記第２のエッジ度に基づいて前記第２の動体尤度及び前記第３の動体尤度の第１の合成比率を決定する決定工程と、
    前記撮影範囲の各位置について、前記決定された第１の合成比率に従って前記第２の動体尤度と前記第３の動体尤度とを合成することにより第１の合成動体尤度を生成する合成工程と、
    を備え、
    前記決定工程では、前記撮影範囲の各位置について、前記第１のエッジ度に基づいて前記第１の動体尤度及び前記第１の合成動体尤度の第２の合成比率を決定し、
    前記合成工程では、前記撮影範囲の各位置について、前記決定された第２の合成比率に従って前記第１の動体尤度と前記第１の合成動体尤度とを合成することにより第２の合成動体尤度を生成する
    ことを特徴とする画像処理方法。
15. 画像処理装置が実行する画像処理方法であって、
    所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成する縮小工程と、
    前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得する取得工程と、
    前記撮影範囲の各位置について、前記第１の動体尤度と前記第２の動体尤度の差に基づいて前記第１の動体尤度及び前記第２の動体尤度の合成比率を決定する決定工程と、
    前記撮影範囲の各位置について、前記決定された合成比率に従って前記第１の動体尤度と前記第２の動体尤度とを合成することにより合成動体尤度を生成する合成工程と、
    を備えることを特徴とする画像処理方法。
16. 画像処理装置が実行する画像処理方法であって、
    所定の撮影範囲を含んだ第１の基準画像及び第１の参照画像それぞれを第１の倍率で縮小することにより第２の基準画像及び第２の参照画像を生成し、前記第１の基準画像及び前記第１の参照画像それぞれを前記第１の倍率より小さい第２の倍率で縮小することにより第３の基準画像及び第３の参照画像を生成する縮小工程と、
    前記撮影範囲の各位置について、前記第１の基準画像の画素値と前記第１の参照画像の画素値の差分に基づいて第１の動体尤度を取得し、前記第２の基準画像の画素値と前記第２の参照画像の画素値の差分に基づいて第２の動体尤度を取得し、前記第３の基準画像の画素値と前記第３の参照画像の画素値の差分に基づいて第３の動体尤度を取得する取得工程と、
    前記撮影範囲の各位置について、前記第２の動体尤度と前記第３の動体尤度の差に基づいて前記第２の動体尤度及び前記第３の動体尤度の第１の合成比率を決定する決定工程と、
    前記撮影範囲の各位置について、前記決定された第１の合成比率に従って前記第２の動体尤度と前記第３の動体尤度とを合成することにより第１の合成動体尤度を生成する合成工程と、
    を備え、
    前記決定工程では、前記第１の動体尤度と前記第２の動体尤度の差に基づいて前記第１の動体尤度及び前記第１の合成動体尤度の第２の合成比率を決定し、
    前記合成工程では、前記撮影範囲の各位置について、前記決定された第２の合成比率に従って前記第１の動体尤度と前記第１の合成動体尤度とを合成することにより第２の合成動体尤度を生成する
    ことを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。