JP2013255080A - 撮像装置、合成画像生成方法、及び、プログラム - Google Patents

Abstract

【課題】周辺減光（シェーディング）が発生しても好適に画素加算処理を実現させること。
【解決手段】シェーディング補正部６１は、連写された複数の撮像画像のデータに対してシェーディング補正を施す。基準画像選択部６２は、その中から基準画像のデータを選択する。差分取得部６３は、基準画像とそれ以外の複数の撮像画像との差分を画素毎に取得する。動体検出値算出部５４は、画素毎に取得された差分と、画素毎のシェーディング補正量とに基づいて、動体検出値を画素毎に算出する。画素加算画像生成部６５は、基準画像以外の複数の撮像画像のデータを画素加算することで、画素加算画像のデータを生成する。αブレンディング部６６は、動体検出値に応じた合成比率で、画素加算画像と基準画像の各データを合成することで、合成画像のデータを生成する。
【選択図】図２

Description

本発明は、撮像装置及びプログラムに関する。

従来より、高速連写により得られた複数の画像について、各々の位置合わせした後に画素加算平均することにより１枚の画像を生成する手法、即ちいわゆるマルチプレーン加算手法が知られている（例えば特許文献１参照）。
このようなマルチプレーン加算手法において、位置合わせの際には、被写体の位置、手振れ等による画角の変化を考慮し、ブレが最少になるように画素加算するのが一般的である。

一方において、近年、コンパクトでかつ高倍率を謳うカメラ用のレンズシステムが登場してきている。
このようなレンズシステムにおいては、ズームレンズが広角側に移動した状態で撮影された画像には周辺減光（以下、「シェーディング」とも呼ぶ）が発生するため、後段の処理において増感補正（以下、「シェーディング補正」と呼ぶ）をすることで、当該シェーディングを打ち消す手法が採用されている。

特開２００６−２９０８２７号公報

しかしながら、撮影された画像の周辺部においてシェーディング補正が行なわれると、補正した箇所においてノイズが目立つ画像が生成される。
従って、高速連写により得られた複数の画像においてシェーディング補正をした場合、上述のマルチプレーン加算手法を適用すると、シェーディング補正により生じたノイズは動体ブレと誤認識される可能性が高い。その結果、後段の画素加算処理において不都合が生じる場合がある。

本発明は、このような状況に鑑みてなされたものであり、周辺減光（シェーディング）が発生しても好適に画素加算処理を実現させることを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、撮像手段と、この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、この補正手段によって補正された、連続的に撮像された画像から第１の画像を選択する選択手段と、この選択手段によって選択された第１の画像とそれ以外の複数の画像との差分を画素毎に取得する差分取得手段と、この差分取得手段によって画素毎に取得された差分と、前記補正手段によるシェーディング補正の画素毎の補正量とに基づいて、画像に含まれる動体検出の指標となる動体検出値を算出する算出手段と、前記動体検出値に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段と、を備えることを特徴とする。

上記目的を達成するため、本発明の別の態様の撮像装置は、撮像手段と、この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、この撮像制御手段によって連続的に撮像された画像から第１の画像を選択する選択手段と、前記補正手段によりシェーディング補正された画像の各々における動体の検出の精度を制御する動体検出制御手段と、前記動体検出制御手段によって制御された動体の検出の精度に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段と、を備えることを特徴とする。

本発明によれば、周辺減光（シェーディング）が発生しても好適に画素加算処理を実現させることができる。

本発明の撮像装置の一実施形態のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、マルチプレーン撮影処理を実行するための機能的構成を示す機能ブロック図である。 シェーディング補正の手法の一例を説明する図である。 αマップ画像のデータの生成手法の一例を説明する図である。 図２の機能的構成を有する図１の撮像装置が実行するマルチプレーン撮影処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。

撮像装置１は、例えばデジタルカメラとして構成される。
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、フォーカスレンズやズームレンズ等の各種レンズで構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
なお、本実施形態の光学レンズ部としては、［背景技術］の欄で上述したカメラ用のレンズシステムが採用されている。このため、詳細については後述するが、本実施形態でもシェーディング補正が実行される。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
本明細書では、このような撮像部１７の出力信号を、「撮像画像のデータ」と呼んでいる。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給され、必要に応じて記憶部２０に記憶される。

入力部１８は、電源ボタン、レリーズボタン等、各種ボタンで構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、マルチプレーン撮影処理を実行するための機能的構成を示す機能ブロック図である。
ここでいう「マルチプレーン撮影処理」とは、いわゆる高速連写により複数の撮像画像を繰り返し連続して撮像し、当該複数の撮像画像のデータに対して、シェーディング補正を施した上で、さらにマルチプレーン加算方式に従った画像処理を施し、その結果得られる合成画像のデータを記録するまでの一連の処理をいう。

マルチプレーン撮影処理が実行される場合、ＣＰＵ１１においては、撮像制御部５１と、差分補正値演算部５２と、差分補正値要否判別部５３と、動体検出値算出部５４と、合成要否判別部５５と、α値設定部５６と、記憶制御部５７と、が機能する。
なお、撮像制御部５１乃至記憶制御部５７がＣＰＵ１１で機能することは例示に過ぎない。即ち、撮像制御部５１乃至記憶制御部５７の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素（画像処理部１４等）に移譲させることも可能である。

また、マルチプレーン撮影処理が実行される場合、画像処理部１４においては、シェーディング補正部６１と、基準画像選択部６２と、差分取得部６３と、切替部６４と、画素加算画像生成部６５と、αブレンディング部６６と、が機能する。
なお、シェーディング補正部６１乃至αブレンディング部６６が画像処理部１４で機能することは例示に過ぎない。即ち、シェーディング補正部６１乃至αブレンディング部６６の機能の少なくとも一部を、画像処理部１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも可能である。

また、マルチプレーン撮影処理が実行される場合、記憶部２０の一領域として、撮像画像記憶部７１が設けられる。なお、撮像画像記憶部７１が記憶部２０の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア３１の一領域として設けられてもよい。

撮像制御部５１は、ユーザによる入力部１８（図１）に対する各種操作等に応じて各種撮像条件を設定し、これらの各種撮像条件に基づいて撮像部１７の撮像動作を制御する。
このような撮像条件の１つとして、例えば本実施形態では、撮像感度、より具体的にはＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度が採用されており、当該撮像感度を設定する撮像感度設定部５１１が撮像制御部５１に設けられている。なお、撮像感度設定部５１１による撮影感度設定は必ずしもユーザによる各種操作等に応じて設定されるものではなく、撮像されている画像の状態（明るさ）等を判断し、自動的に設定するようにしてもよい。

また、例えば、入力部１８の図示せぬレリーズボタンが押下されて撮像画像の記録指示がなされると、撮像部１７は、撮像制御部５１による制御の下、いわゆる連写動作を行い複数の撮像画像を連続して撮像し、当該複数の撮像画像のデータを出力して撮像画像記憶部７１に一旦記憶させる。

シェーディング補正部６１は、撮像画像記憶部７１に記憶された複数の撮像画像のデータの各々に対して、シェーディング補正を施す。

図３は、シェーディング補正の手法の一例を説明する図である。
図３（Ａ）は、シェーディング補正量の関係を示す図である。図３（Ｂ）は、シェーディング補正の対象となる撮像画像の例を示す図である。
本実施形態では、図３（Ｂ）に示すように、撮像画像内にシェーディング中心Ｃが設定される。このシェーディング中心Ｃの位置は、特に限定されないが、本実施形態では撮像画像の２つの対角線の交点であるものとする。
図３（Ａ）に示すように、このシェーディング中心Ｃからの距離ｄが長くなる程、シェーディング補正量が増加していくように、シェーディング補正がなされる。具体的には、撮像画像を構成する各画素のうち処理対象として注目すべき画素（以下、「注目画素」と呼ぶ）の画素値に対して、所定のシェーディング補正量がゲインとして乗算されることで、注目画素の画素値が補正される。
この場合、注目画素の位置がシェーディング中心Ｃであれば、シェーディング補正量が「１」となり、注目画素の画素値は変化しない（１倍に補正される）。
しかしながら、シェーディング中心Ｃから注目画素の距離ｄが長くなる程、即ち注目画素の位置が撮像画像の周辺になる程、シェーディング補正量が増加していくので、それに応じて注目画素の画素値も増加していくように、シェーディング補正がなされる。

図２に戻り、基準画像選択部６２は、撮像画像記憶部７１に記憶された複数の撮像画像のデータ、即ち、連写により連続的に撮像された複数の撮像画像のデータの中から、基準画像のデータを選択する。基準画像の選択手法は、特に限定しないが、本実施形態では、複数の撮像画像を撮影順に並べた場合に中央付近に位置する１枚が、基準画像として選択される。

差分取得部６３は、撮像画像記憶部７１に記憶された複数の撮像画像のデータのうち、基準画像とそれ以外の撮像画像の各々について、対応する画素毎に、画素値の差分を取得する。

ここで、理想的には、動体が存在しない領域では画素値の差分は０になり、動体が存在する領域では画素値の差分は大きくなる。このように、画素値の差分は、動体検出の指標になる。このため、従来のマルチプレーン撮影処理では、画素値の差分がそのまま、当該画素における動体検出の有無を示す指標値（以下、「動体検出値」と呼ぶ）として採用されていた。

しかしながら、従来のマルチプレーン撮影処理においてシェーディング補正（図３（Ａ）、（Ｂ））が行われると、撮像画像の周辺領域（シェーディング中心Ｃから注目画素の距離ｄが長い領域）では、画素値が増加するように補正される。このため、撮像画像の周辺領域ではノイズが増幅され、そのノイズにより画素値の差分が大きくなる傾向になる。
このように、画素値の差分がそのまま動体検出値として採用されるならば、撮像画像の周辺領域において、動体が存在しない場合でもノイズの影響で画素値の差分が大きくなり、動体の誤検出が多発するおそれがある。
マルチプレーン方式では、動体が検出された領域については、後述の画素加算画像は合成されずに（或いは透過度が高い状態で合成されて）、基準画像単体が採用される（或いは基準画像の透過度が低い状態で合成される）。その結果、撮像画像の周辺領域では、動体の誤検出がなされると、強いノイズを含む基準画像単体がそのまま残り、最終的に得られる合成画像の画質が劣化してしまう。

そこで本実施形態では、動体の誤検出を防止して画質の劣化を防止すべく、差分補正値演算部５２と、差分補正値要否判別部５３と、動体検出値算出部５４とがＣＰＵ１１において機能する。

差分補正値演算部５２は、差分取得部６３により取得された各画素値の差分を補正する値（以下、「差分補正値」と呼ぶ）として、シェーディング補正に応じた値を演算する。
差分補正値要否判別部５３は、撮像制御部５１において用いられた撮像条件に基づいて、動体検出値の演算に差分補正値が必要か否かを判断する。具体的な判断手法については、後述する図５のステップＳ３，Ｓ６の処理として説明する。
動体検出値算出部５４は、差分補正値要否判別部５３により差分補正値が必要と判断された場合、差分取得部６３により取得された各画素値の差分を、差分補正値を用いて補正し、補正後の各値を動体検出値としてそれぞれ出力する。これに対して、動体検出値算出部５４は、差分補正値要否判別部５３により差分補正値が不要と判断された場合、差分取得部６３により取得された各画素値の差分をそのまま、動体検出値として出力する。

次に、差分補正値要否判別部５３により差分補正値が必要と判断された場合における具体的な動体検出値の算出手法を説明する。
従来、基準画像における座標（ｘ，ｙ）に位置する画素の画素値をＢａｓｅ（ｘ，ｙ）、この基準画像の合成対象となる対象画像における座標（ｘ，ｙ）に位置する画素の画素値をＮｓｔ（ｘ，ｙ）、そしてその座標における画素値の差分（動体検出値）をＳａｂｕｎ（ｘ，ｙ）とすると、その関係は以下の式（１）のようになる。
Ｓａｂｕｎ（ｘ，ｙ）＝Ｂａｓｅ（ｘ，ｙ）−Ｎｓｔ（ｘ，ｙ）
ｉｆ（Ｓａｂｕｎ（ｘ，ｙ）＜ｔｈ）Ｓａｂｕｎ（ｘ，ｙ）＝０ ・・・（１）
つまり、差分値が閾値ｔｈよりも小さい場合には、Ｓａｂｕｎ（ｘ，ｙ）は０になる。

しかしシェーディング補正により、画像の周辺方向に向かってノイズが多く発生するようになると、基準画像と対象画像におけるその周辺方向に向かう画素値の差分は実際よりも大きくなる。
したがってこのケースを考慮し、差分補正値Ｈｏｓｅｉ（ｘ，ｙ）を用意し、上記式（１）をベースに下記式（２）を新たに用意する。
Ｓａｂｕｎ（ｘ，ｙ）＝Ｂａｓｅ（ｘ，ｙ）−Ｎｓｔ（ｘ，ｙ）／Ｈｏｓｅｉ（ｘ，ｙ）
ｉｆ（Ｓａｂｕｎ（ｘ，ｙ）＜ｔｈ）Ｓａｂｕｎ（ｘ，ｙ）＝０ ・・・（２）
つまり、差分値が閾値ｔｈよりも小さい場合には、Ｓａｂｕｎ（ｘ，ｙ）は０になる。

ここで、本実施形態の差分補正値Ｈｏｓｅｉ（ｘ，ｙ）は、シェーディング補正量に応じて大きくなる値、即ちシェーディング中心Ｃから距離ｒが長くなる程大きくなる値が採用される。そして画像の周辺部において、ノイズの影響で大きくなった画素値の差分（＝Ｂａｓｅ（ｘ，ｙ）−Ｎｓｔ（ｘ，ｙ）が、大きな値となった差分補正値Ｈｏｓｅｉ（ｘ，ｙ）により除算されるので、結果として、式（１）で算出された値よりも小さくなったものが動体検出値Ｓａｂｕｎ（ｘ，ｙ）として算出されることになる。動体検出値Ｓａｂｕｎ（ｘ，ｙ）が小さくなることは、その分だけ、シェーディング補正により生じたノイズに起因する動体の誤検出が抑制されることを意味する。

図２に戻り、合成要否判別部５５は、動体検出値算出部５４により算出された動体検出値と所定の閾値（閾値ｔｈとは異なる値）とを比較することによって、マルチプレーン方式の合成の要否、即ち後述する画素加算画像と基準画像との合成の要否を判断する。
具体的には、合成要否判別部５５は、動体検出値が当該所定の閾値よりも大きい対象画像が存在する場合、動体の動きが大きすぎて適切な合成ができない可能性が高いため、合成しないと判断する。これに対して、合成要否判別部５５は、全ての対象画像において動体検出値が当該所定の閾値以下の場合、合成すると判断する。
合成要否判別部５５の判断結果は、α値設定部５６、切替部６４、画素加算画像生成部６５の各々に通知される。

合成しないと合成要否判別部５５により判断された場合、切替部６４は、出力先を記憶制御部５７側に切り替える。また、α値設定部５６及び画素加算画像生成部６５は、その処理の実行を禁止する。
これにより、基準画像選択部６２により選択された基準画像のデータは、後述する画素加算画像のデータと合成されずに単体で、切替部６４を介して記憶制御部５７に供給される。
記憶制御部５７は、基準画像のデータを記録用としてリムーバブルメディア３１に記憶させる。

これに対して、合成すると合成要否判別部５５により判断された場合、切替部６４は、出力先をαブレンディング部６６側に切り替える。また、α値設定部５６及び画素加算画像生成部６５は、その処理の実行が可能な状態にする。

α値設定部５６は、撮像画像記憶部７１に記憶された複数の撮像画像のデータのうち、基準画像以外の撮像画像（各対象画像）のデータについての、画素単位の動体検出値に基づいて、α値を画素単位で設定する。
α値とは、基準画像と後述の画素加算画像との合成の際に用いられる、透過度を示す値である。このようなα値を用いた合成は「αブレンド」とも呼ばれている。
ここで、このようなα値の２次元の分布状態を示すマップ、即ち各α値を各画素値として有する、撮像画像と同一解像度の画像を、「αマップ画像」と呼ぶ。本実施形態では、α値設定部５６は、α値の設定結果として、αマップ画像のデータを生成し、αブレンディング部６６に供給する。

図４は、αマップ画像のデータの生成手法の一例を説明する図である。
図４の例では、６枚の連写がなされて、３枚目の撮像画像が基準画像として選択されている。
この場合、上述したように、ｎ枚目（ｎは３を除く１乃至６の整数値）の対象画像と基準画像との差分が差分補正値で除算された値が、ｎ枚目の動体検出値（以下「第ｎ動体検出値」と呼ぶ）として演算されている。
そこで、α値設定部５６は、これらの第１動体検出値乃至第６動体検出値の平均値を各画素毎に演算し、各画素毎の平均値を各α値とするαマップ画像のデータを生成し、αブレンディング部６６に供給する。

図２に戻り、画素加算画像生成部６５は、撮像画像記憶部７１に記憶された複数の撮像画像のデータのうち、基準画像以外の各撮像画像（各対象画像）のデータについて、各画素値を加算平均することで、当該加算平均値を画素値として有する画像（以下、「画素加算画像」と呼ぶ）のデータを生成する。

αブレンディング部６６は、画素加算画像生成部６５により生成された画素加算画像のデータと、基準画像選択部６２により選択されて切替部６４を介して供給された基準画像のデータとを、α値設定部５６により生成されたαマップ画像のデータを用いて合成（αブレンディング）することで、合成画像のデータを生成する。
具体的には、αブレンディング部６６は、次の式（３）に示すαブレンディングを画素単位で実行することで、合成画像のデータを生成する。
合成画像＝（１−α）×画素加算画像＋α×基準画像 ・・・（３）

ここで、α値は、上述したように、撮像画像記憶部７１に記憶された複数の撮像画像のデータのうち、基準画像以外の撮像画像（各対象画像）のデータの各々の動体検出値の平均値が採用されている。
動体検出値は、対象画像と基準画像との単なる差分ではなく、当該差分が差分補正値で除算された値である。そして、差分補正値は、シェーディング補正量に応じて大きくなるように設定される。
従って、シェーディング補正量が大きくなる撮像画像の周辺部においては、α値が小さくなるように設定されるので、式（３）より基準画像の影響（その周辺部に生じているノイズの影響）が小さくなるように合成される。その結果、周辺部におけるノイズの影響が小さくなった、高画質の合成画像のデータが得られることになる。

換言すると、従来においては、α値の設定の指標となる動体検出値は、シェーディング中心Ｃであろうと、そこから距離ｄが離れた周辺部であろうと、対象画像と基準画像との単なる差分が一律に用いられていた。
この場合、対象画像と基準画像とにシェーディング補正がかけられると、シェーディング中心Ｃに対して、周辺部の画素値が増幅されるので、その差分も増幅されることと等価になる。このような増幅された差分値を動体検出値に用いることは、動体の検出精度を必要以上に上げる（過敏に反応させる）ことを意味し、その結果、ノイズ成分に起因する差分も増幅されて、動体として誤検出されてしまう。
逆に、周辺部の動体の誤検出を抑制しようとして、撮像画像全体の動体の検出精度を単純に下げてしまうと、今度は、シェーディング中心Ｃにおいて実際に存在する動体を検出できなくなる場合もある。

そこで、本実施形態では、撮像装置１は、対象画像と基準画像との差分を、シェーディング補正量に応じた差分補正値で除算した値を、動体検出値として用いている。これにより、周辺部における動体の検出精度を適切なレベルまで下げつつ、シェーディング中心Ｃにおける動体の検出精度を維持するように制御している。
即ち、本実施形態では、差分補正値演算部５２、差分補正値要否判別部５３、差分取得部６３及び動体検出値算出部５４は、シェーディング補正された撮像画像における動体検出の精度を制御する動体検出精度制御部１０１として機能している、と把握することができる。
本実施形態をこのように把握した場合、動体検出精度制御部１０１により、シェーディング補正がなされた対象画像と基準画像についての動体検出の精度が適切に制御された状態で、画素加算画像と基準画像との各データが合成される。その結果、周辺部におけるノイズの影響が小さくなると共に、シェーディング中心では適切な合成が行われ、高画質の合成画像のデータが得られることになる。

記憶制御部５７は、このようにしてαブレンディング部６６により生成された合成画像のデータを、記録用のデータとしてリムーバブルメディア３１に記憶させる。

なお、α値設定部５６、画素加算画像生成部６５及びαブレンディング部６６は、合成画像のデータを生成する合成画像生成部１０２として機能していると把握することもできる。

次に、図５を参照して、上述の図２の機能的構成の撮像装置１が実行するマルチプレーン撮影処理について説明する。
図５は、図２の機能的構成を有する図１の撮像装置１が実行するマルチプレーン撮影処理の流れを説明するフローチャートである。

マルチプレーン撮影処理は、ユーザによる入力部１８の所定の操作がなされた後、ユーザによる入力部１８のレリーズボタンの押下操作を契機として開始され、次のような処理が実行される。

ステップＳ１において、撮像部１７は、撮像制御部５１の制御の下、連写により複数枚の撮像画像のデータを取得して、撮像画像記憶部７１に記憶させる。
このとき、撮像制御部５１において、ズーム倍率や撮像感度等の各種撮像条件が設定されるものとする。なお、撮像感度については、撮像感度設定部５１１により設定される。

ステップＳ２において、シェーディング補正部６１は、ステップＳ１の処理で取得された複数の撮像画像の各データについてシェーディング補正を施す。

ステップＳ３において、差分補正値要否判別部５３は、ズーム倍率は所定値以下か否か、即ち広角寄りか否かを判定する。
ズーム倍率が所定値を超えている場合、即ち広角寄りでない場合、動体検出値の算出に差分補正値は不要であるとして、ステップＳ３においてＮＯであると判定されて、処理はステップＳ９に進む。ただし、ステップＳ９以降の処理については後述する。
これに対して、ズーム倍率が所定値以下の場合、即ち広角寄りである場合、動体検出値の算出に差分補正値は必要であるとして、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、差分補正値演算部５２は、ステップＳ２のシェーディング補正に応じた差分補正値を設定する。

ステップＳ５において、基準画像選択部６２は、ステップＳ１の処理で取得された複数の撮像画像のデータの中から１つを、基準画像のデータとして選択する。

ステップＳ６において、差分補正値要否判別部５３は、ステップＳ１の処理時点で設定した撮像感度は、ＩＳＯ３２００相当以上か否かを判定する。
ＩＳＯ３２００相当未満である場合には、動体検出値の算出に差分補正値は不要であるとして、ステップＳ６においてＮＯであると判定されて、処理はステップＳ１０に進む。ただし、ステップＳ１０以降の処理については後述する。
これに対して、ズーム倍率が所定値以下であり撮像感度がＩＳＯ３２００相当以上である場合には、シェーディング補正により撮像画像の周辺部のノイズの影響が大きくなっていることが予想され、従来のように単純な画素値の差分を動体検出値として採用すると、ノイズに起因する動体の誤検出が生ずる可能性が高い。そこで、このような場合には、動体検出値の算出に差分補正値は必要であるとして、ステップＳ６においてＹＥＳであると判定されて、次のようなステップＳ７以降の処理が実行されることで、シェーディング補正された撮像画像における動体検出の精度が適切に制御される。

即ち、ステップＳ７において、差分取得部６３は、ステップＳ１の処理で取得された複数の撮像画像のデータのうち、ステップＳ５の処理で取得された基準画像とそれ以外の撮像画像（対象画像）の各々について、対応する画素毎に、画素値の差分を求め、さらに、動体検出値算出部５４は、当該差分を差分補正値で除算した値を、動体検出値として算出する。

ステップＳ８において、合成要否判別部５５は、動体検出値が閾値以上の対象画像のデータがあるか否かを判定する。

動体検出値が閾値以上の対象画像のデータがある場合、合成は不要であるとして、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ１１に進む。
処理がステップＳ１１に進む過程で、切替部６４は、出力先を記憶制御部５７側に切り替える。また、α値設定部５６及び画素加算画像生成部６５は、その処理の実行を禁止する。これにより、ステップＳ５の処理で選択された基準画像のデータは、画素加算画像のデータと合成されずに単体で、切替部６４を介して記憶制御部５７に供給される。
ステップＳ１１において、記憶制御部５７は、記録対象として基準画像のみを選択する。ステップＳ１５において、記憶制御部５７は、基準画像のデータを記録用としてファイル化して、リムーバブルメディア３１に保存させる。
これにより、マルチプレーン撮影処理が終了となる。

これに対して、動体検出値が閾値以上の対象画像のデータがない場合、合成は必要であるとして、ステップＳ８においてＮＯであると判定されて、処理はステップＳ１２に進み、次のような一連の処理が実行される。

即ち、ステップＳ１２において、α値設定部５６は、ステップＳ１の処理で取得された複数の撮像画像のデータのうち、基準画像以外の撮像画像（各対象画像）のデータについての、画素単位の動体検出値に応じた、α値を画素単位で設定する。即ちαマップ画像のデータが生成される。

ステップＳ１３において、画素加算画像生成部６５は、基準画像以外の各撮像画像（各対象画像）のデータ同士を画素加算して、画素加算画像のデータを生成する。

ステップＳ１４において、αブレンディング部６６は、画素加算画像と基準画像との各データを、αマップ画像のデータを用いてαブレンディングすることで、合成画像のデータを生成する。

ステップＳ１５において、記憶制御部５７は、合成画像のデータを記録用としてファイル化して、リムーバブルメディア３１に保存させる。
これにより、マルチプレーン撮影処理が終了となる。

以上、ズーム倍率が所定値以下（広角寄り）であって、かつ撮像感度がＩＳＯ３２００相当以上の場合におけるマルチプレーン撮影処理の流れについて説明した。
次に、それ以外の場合におけるマルチプレーン撮影処理の流れについて説明する。

先ず、ズーム倍率が所定値を超えている場合、即ち広角寄りでない場合には、周辺減光（シェーディング）が発生しにくいため、従来と同様に、画素値の差分を動体検出値として採用しても特に問題は生じない。
そこで、このような場合には、ステップＳ３においてＮＯであると判定されて、処理がステップＳ９に進み、次のような一連の処理が実行される。

即ち、ステップＳ９において、基準画像選択部６２は、ステップＳ１の処理で取得された複数の撮像画像のデータの中から１つを、基準画像のデータとして選択する。

ステップＳ１０において、差分取得部６３は、ステップＳ１の処理で取得された複数の撮像画像のデータのうち、ステップＳ９の処理で選択された基準画像とそれ以外の撮像画像（対象画像）の各々について、対応する画素毎に、画素値の差分を求め、動体検出値算出部５４は、当該差分をそのまま動体検出値として算出する。

ステップＳ８において、合成要否判別部５５は、動体検出値が閾値以上の対象画像のデータがあるか否かを判定する。

動体検出値が閾値以上の対象画像のデータがある場合、合成は不要であるとして、ステップＳ８においてＹＥＳであると判定されて、ステップＳ１１において記録対象として基準画像のみが選択され、ステップＳ１５において基準画像のデータが記録用としてファイル化されてリムーバブルメディア２３に保存される。
これにより、マルチプレーン撮影処理が終了となる。

これに対して、動体検出値が閾値以上の対象画像のデータがない場合、合成は必要であるとして、ステップＳ８においてＮＯであると判定されて、処理はステップ１２に進む。
ステップＳ１２において、α値が画素単位で設定されることでαマップ画像のデータが生成され、ステップＳ１３において、画素加算画像のデータが生成され、ステップＳ１４において、画素加算画像と基準画像の各データが、αマップ画像のデータを用いてαブレンディングされることで、合成画像のデータが生成される。
そして、ステップＳ１５において、合成画像のデータが記録用としてファイル化されて、リムーバブルメディア３１に保存される。
これにより、マルチプレーン撮影処理が終了となる。

次に、ズーム倍率が所定値以下（広角寄り）であるが、撮像感度がＩＳＯ３２００相当未満である場合におけるマルチプレーン撮影処理について説明する。
撮像感度がＩＳＯ３２００相当未満と低い場合には、換言すると明るい撮影環境の場合には、シェーディング補正後の撮像画像周辺のノイズの影響は低いと判断できるため、従来と同様に、画素値の差分を動体検出値として採用しても特に問題は生じない。
そこで、このような場合には、ステップＳ６においてＮＯであると判定されて、処理がステップＳ１０に進み、ズーム倍率が所定値を超えている場合における上述した処理と同様の処理が実行される。

なお、ステップＳ６における撮像感度と比較される閾値として、ＩＳＯ３２００相当が採用されているのは、単なる例示である。即ち、設計者等が、シェーディング補正後の撮像画像周辺のノイズの影響をどこまで考慮するのかに応じて、撮像感度と比較される閾値を自在に設定してもよい。

以上説明したように、本実施形態の撮像装置１は、撮像部１７と、撮像制御部５１と、シェーディング補正部６１と、基準画像選択部６２と、差分取得部６３と、動体検出値算出部５４と、合成画像生成部１０２とを備える。
撮像制御部５１は、撮像部１７に対し連続的に撮像画像のデータを取得するよう制御する。
シェーディング補正部６１は、連続的に撮像された撮像画像のデータに対してシェーディング補正を施す。
基準画像選択部６２は、シェーディング補正された、連続的に撮像された撮像画像のデータから基準画像（第１の画像）のデータを選択する。
差分取得部６３は、連続的に撮像された撮像画像のうち、選択された基準画像（第１の画像）とそれ以外の複数の画像との差分を画素毎に取得する。
動体検出値算出部５４は、差分取得部６３によって画素毎に取得された差分と、シェーディング補正の画素毎の補正量とに基づいて、画像に含まれる動体検出の指標となる動体検出値を算出する。
合成画像生成部１０２は、動体検出値に基づいて、基準画像（第１の画像）とそれ以外の複数の撮像画像との各データを合成した合成画像のデータを生成する。

このようにして、周辺減光（シェーディング）が発生しても好適に画素加算処理を実現可能になる。
即ち、従来の手法では、画素毎に取得された差分そのものが、動体検出値として採用されていた。このため、シェーディング補正がなされると、撮像画像の周辺ではノイズが生じ、そのノイズの影響で、実際には動体が存在しないのに、動体検出値が大きな値になり動体の誤検出が生じていた。このため、撮像画像の周辺領域では、動体が存在しない場合であっても動体が検出されたとして、ノイズを強く含む基準画像が採用され（その合成比率が高くされ）、最終的な合成画像の画質が劣化していた。
これに対して、本実施形態では、動体検出値としては、画素毎に取得された差分のみならず、シェーディング補正の画素毎の補正量も考慮されて、動体検出値が算出されるので、従来生じていた動体の誤検出を抑制することが可能になる。その結果、例えば、撮像画像の周辺領域では、動体の誤検出も抑制される（動体検出値が低くなる）ので、ノイズが抑制された画素加算画像の合成比率が大きくなるように合成され、高画質の合成画像が得られるようになる。

本実施形態の撮像装置１の合成部１０２は、画素加算画像生成部６５と、α値設定部５６と、αブレンディング部６６とを有している。
画素加算画像生成部６５は、基準画像以外の複数の撮像画像を画素加算して画素加算画像のデータを生成する。
α値設定部５６は、この画素加算画像のデータに対して、画素毎に算出された動体検出値に応じたα値（透過度）を画素毎に設定する。
αブレンディング部６６は、画素毎に設定されたα値（透過度）に基づいて、画素加算画像と基準画像（第１の画像）との各データをブレンディングする。
このように、動体検出値に応じてα値（透過度）が画素毎に適切に設定されるので、画素単位で合成比率を変化させた細かな合成が可能になり、合成画像の画質向上に寄与する。

本実施形態のα値設定部５６は、複数の対象画像（基準画像以外の撮像画像）毎の動体検出値を平均化してα値を設定することができる。
このように動体検出値を平均化することにより、動体検出の信頼性が向上し、その結果、より好適な合成が実現し、その結果、合成画像の画質向上に寄与する。

本実施形態の撮像装置１は、撮像制御部５１の制御による撮像時の撮像感度を設定する撮像感度設定部５１１と、撮像感度設定手段によって設定された撮像感度が所定の値以上か否かを判別する差分補正値要否判別部５３とをさらに備えている。
そして、動体検出値算出部５４は、撮影感度が所定の値以上と判別されると、シェーディング補正の画素毎の補正量に応じて、画素毎に取得された差分を補正することで動体検出値を算出し、撮影感度が所定の値以上でないと判別されると、画素毎に取得された差分を動体検出値として算出することができる。
このように、撮像感度が所定の値（例えばＩＳＯ３２００相当）未満と低い場合には、換言すると明るい撮影環境の場合には、シェーディング補正後の撮像画像周辺のノイズの影響は低いと判断できるため、従来と同様に、画素値の差分を動体検出値として採用することで、無駄な処理の削減等して全体の処理の効率化を図ることが可能になる。

本実施形態の撮像装置１の合成画像生成部１０２は、動体検出値が所定範囲内の場合に、画素加算画像と基準画像（第１の画像）の各データを合成して、合成画像のデータを生成することができる。
即ち、動体検出値が所定範囲を超えている場合には、合成自体が上手くいかないおそれがあるが、このおそれをなくすべく、例えば合成をせずに基準画像を最終出力とすることで、最終画像（記録される画像）の破綻を防止し、最終画像の画質を一定レベルで維持することが可能になる。

本実施形態の撮像装置１は、合成要否判別部５５と記憶制御部５７とをさらに備える。
合成要否判別部５５は、動体検出値所定範囲内か否かを判別する。
記憶制御部５７は、動体検出値が所定範囲内と判別されると合成画像を、動体検出値が所定範囲内でないと判別されると基準画像（第１の画像）を、記録するよう制御する。
上述したように、動体検出値が所定範囲を超えている場合には、合成自体が上手くいかないおそれがあるが、そのような場合であっても、基準画像（第１の画像）のデータは確実に記録される。
このように、いかなる状況であっても、一定以上の画質を有する撮像画像のデータを確実に記録することが可能になる。

また、本実施形態の撮像装置１は、撮像部１７と、撮像制御部５１と、シェーディング補正部６１と、基準画像選択部６２と、動体検出精度制御部１０１と、合成画像生成部１０２とを備える。
撮像制御部５１は、撮像部１７に対し連続的に撮像画像のデータを取得するよう制御する。
シェーディング補正部６１は、連続的に撮像された撮像画像のデータに対してシェーディング補正を施す。
基準画像選択部６２は、シェーディング補正された、連続的に撮像された撮像画像のデータから基準画像（第１の画像）のデータを選択する。
動体検出精度制御部１０１は、シェーディング補正された撮像画像のデータの各々における動体の検出の精度を制御する。
合成画像生成部１０２は、動体検出精度制御部１０１によって制御された動体の検出の精度に基づいて、基準画像（第１の画像）とそれ以外の複数の撮像画像の各データを合成することで、合成画像のデータを生成する。

このようにして、このようにして、周辺減光（シェーディング）が発生しても好適に画素加算処理を実現可能になる。
即ち、従来においては、シェーディング補正がかけられると、シェーディング中心に対して、周辺部の画素値が増幅される。従って、周辺部においては、このような増幅された画素値に基づいて動体の検出がなされるが、これは、動体の検出精度を必要以上に上げる（過敏に反応させる）ことを意味し、その結果、ノイズ成分に起因する差分値も増幅された結果として、動体として誤検出されてしまう。逆に、周辺部の動体の誤検出を抑制しようとして、画像全体の動体の検出精度を下げると、今度は、シェーディング中心において実際に存在する動体を検出できなくなる場合もある。
そこで、本実施形態の撮像装置１には、シェーディング補正された撮像画像のデータの各々における動体の検出の精度を制御する動体検出精度制御部１０１が設けられている。
これにより、例えば、周辺部における動体の検出精度を適切なレベルまで下げつつ、シェーディング中心における動体の検出精度は下げずに維持するような制御等も容易に可能になる。
その結果、本実施形態では、動体検出精度制御部により、シェーディング補正がなされた画像の動体検出の精度が適切に制御された状態で、基準画像（第１の画像）と画素加算画像の各データが合成される。その結果、周辺部におけるノイズの影響が小さくなると共に、シェーディング中心では適切な合成が行われ、画質良好の合成画像のデータが得られることになる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、動体検出精度制御部１０１により精度が制御された動体の検出結果は、上述の実施形態では、マルチプレーン加算方式に従った画像処理に用いられたが、その用途は特にこれに限定されない。例えば、動画像における被写体の追尾処理等各種各様の画像処理に、動体検出精度制御部１０１により精度が制御された動体の検出結果を用いることが可能である。

また、本発明が適用される撮像装置として、本実施形態ではデジタルスチルカメラに適用しているが、特にこれに限定されず、撮像画像を撮像する撮像機能と、撮像画像を通信により受信する受信機能とのうち少なくとも一方を有する電子機器一般に適用することができる。具体的には例えば、本発明は、スマートフォン、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、
この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、
この補正手段によって補正された、連続的に撮像された画像から第１の画像を選択する選択手段と、
この選択手段によって選択された第１の画像とそれ以外の複数の画像との差分を画素毎に取得する差分取得手段と、
この差分取得手段によって画素毎に取得された差分と、前記補正手段によるシェーディング補正の画素毎の補正量とに基づいて、画像に含まれる動体検出の指標となる動体検出値を算出する算出手段と、
前記動体検出値に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記合成画像生成手段は、
前記それ以外の複数の画像を画素加算して画素加算画像を得る画素加算手段と、
この画素加算手段によって得られた画素加算画像に対して、前記算出手段によって画素毎に算出された動体検出値に応じた透過度を画素毎に設定する設定手段と、
この設定手段によって画素毎に設定された透過度に基づいて、前記画素加算画像と前記第１の画像とをブレンディングするブレンディング手段と、
を含むことを特徴とする付記１に記載の撮像装置。
［付記３］
前記設定手段は、前記算出手段によって算出された動体検出値を平均化して透過度を設定する、
ことを特徴とする付記２に記載の撮像装置。
［付記４］
前記撮像制御手段の制御による撮像時の撮像感度を設定する撮像感度設定手段と、
前記撮像感度設定手段によって設定された撮像感度が所定の値以上か否かを判別する第１の判別手段と、
をさらに備え、
前記算出手段は、
前記第１の判別手段によって前記撮影感度が所定の値以上と判別されると、前記補正手段によるシェーディング補正の画素毎の補正量に応じて、前記差分取得手段によって画素毎に取得された差分を補正することで前記動体検出値を算出し、
前記第１の判別手段によって前記撮影感度が所定の値以上でないと判別されると、前記差分取得手段によって画素毎に取得された差分を前記動体検出値として算出する、
ことを特徴とする付記１乃至３の何れか１つに記載の撮像装置。
［付記５］
前記合成画像手段は、前記算出手段によって算出された動体検出値が所定範囲内の場合に、前記画素加算画像と前記第１の画像とを合成することで、合成画像を生成する、
ことを特徴とする付記１乃至４の何れか１つに記載の撮像装置。
［付記６］
前記算出手段によって算出された動体検出値が所定範囲内か否かを判別する第２の判別手段と、
この第２の判別手段によって前記動体検出値が所定範囲内と判別されると前記合成画像生成手段によって生成された合成画像を、前記第２の判別手段によって前記動体検出値が所定範囲内でないと判別されると前記第１の画像を、記録するよう制御する記録制御手段と、
をさらに備えることを特徴とする付記１乃至５の何れか１つに記載の撮像装置。
［付記７］
撮像手段を備える撮像装置を制御するコンピュータを、
この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段、
この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段、
この補正手段によって補正された、連続的に撮像された画像から第１の画像を選択する選択手段、
この選択手段によって選択された第１の画像とそれ以外の複数の画像との差分を画素毎に取得する差分取得手段、
この差分取得手段によって画素毎に取得された差分と、前記補正手段によるシェーディング補正の画素毎の補正量とに基づいて、画像に含まれる動体検出の指標となる動体検出値を算出する算出手段、
前記動体検出値に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段、
として機能させることを特徴とするプログラム。
［付記８］
撮像手段と、
この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、
この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、
この撮像制御手段によって連続的に撮像された画像から第１の画像を選択する選択手段と、
前記補正手段によりシェーディング補正された画像の各々における動体の検出の精度を制御する動体検出制御手段と、
前記動体検出制御手段によって制御された動体の検出の精度に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段と、
を備えることを特徴とする撮像装置。
［付記９］
撮像手段を備える撮像装置を制御するコンピュータを、
この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、
この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段、
この撮像制御手段によって連続的に撮像された画像から第１の画像を選択する選択手段、
前記補正手段によりシェーディング補正された画像の各々における動体の検出の精度を制御する動体検出制御手段、
前記動体検出制御手段によって制御された動体の検出の精度に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・入力部、１９・・・出力部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、５１・・・撮像制御部、５２・・・差分補正値演算部、５３・・・差分補正値要否判別部、５４・・・動き検出値算出部、５５・・・合成要否判断部、５６・・・α値設定部、５７・・・記憶制御部、６１・・・シェーディング補正部、６２・・・基準画像選択部、６３・・・差分取得部、６４・・・切替部、６５・・・画素加算画像生成部、６６・・・αブレンディング部、１０１・・・動体検出精度制御部、１０２・・・合成画像生成部

本発明は、撮像装置、合成画像生成方法、及び、プログラムに関する。

上記目的を達成するため、本発明の一態様の撮像装置は、撮像手段と、この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、この補正手段によりシェーディング補正された画像の各々における動体の検出の精度を制御する動体検出制御手段と、この動体検出制御手段によって制御された動体の検出の精度に基づいて、前記連続的に撮像された複数の画像を合成した合成画像を生成する合成画像生成手段と、を備えることを特徴とする。

上記目的を達成するため、本発明の別の態様の撮像装置は、撮像手段と、この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、この補正手段によりシェーディング補正された画像における動体の検出結果の精度を判定する判定手段と、この判定手段による結果に基づいて、前記連続的に撮像された複数の画像を合成した合成画像を生成する合成画像生成手段と、を備えることを特徴とする。

動体検出値が閾値以上の対象画像のデータがある場合、合成は不要であるとして、ステップＳ８においてＹＥＳであると判定されて、ステップＳ１１において記録対象として基準画像のみが選択され、ステップＳ１５において基準画像のデータが記録用としてファイル化されてリムーバブルメディア３１に保存される。
これにより、マルチプレーン撮影処理が終了となる。

これに対して、動体検出値が閾値以上の対象画像のデータがない場合、合成は必要であるとして、ステップＳ８においてＮＯであると判定されて、処理はステップＳ１２に進む。
ステップＳ１２において、α値が画素単位で設定されることでαマップ画像のデータが生成され、ステップＳ１３において、画素加算画像のデータが生成され、ステップＳ１４において、画素加算画像と基準画像の各データが、αマップ画像のデータを用いてαブレンディングされることで、合成画像のデータが生成される。
そして、ステップＳ１５において、合成画像のデータが記録用としてファイル化されて、リムーバブルメディア３１に保存される。
これにより、マルチプレーン撮影処理が終了となる。

特開２００６−１４８５５０号公報

Claims (9)

1. 撮像手段と、
   この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、
   この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、
   この補正手段によって補正された、連続的に撮像された画像から第１の画像を選択する選択手段と、
   この選択手段によって選択された第１の画像とそれ以外の複数の画像との差分を画素毎に取得する差分取得手段と、
   この差分取得手段によって画素毎に取得された差分と、前記補正手段によるシェーディング補正の画素毎の補正量とに基づいて、画像に含まれる動体検出の指標となる動体検出値を算出する算出手段と、
   前記動体検出値に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記合成画像生成手段は、
   前記それ以外の複数の画像を画素加算して画素加算画像を得る画素加算手段と、
   この画素加算手段によって得られた画素加算画像に対して、前記算出手段によって画素毎に算出された動体検出値に応じた透過度を画素毎に設定する設定手段と、
   この設定手段によって画素毎に設定された透過度に基づいて、前記画素加算画像と前記第１の画像とをブレンディングするブレンディング手段と、
   を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記算出手段によって算出された動体検出値を平均化して透過度を設定する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像制御手段の制御による撮像時の撮像感度を設定する撮像感度設定手段と、
   前記撮像感度設定手段によって設定された撮像感度が所定の値以上か否かを判別する第１の判別手段と、
   をさらに備え、
   前記算出手段は、
   前記第１の判別手段によって前記撮影感度が所定の値以上と判別されると、前記補正手段によるシェーディング補正の画素毎の補正量に応じて、前記差分取得手段によって画素毎に取得された差分を補正することで前記動体検出値を算出し、
   前記第１の判別手段によって前記撮影感度が所定の値以上でないと判別されると、前記差分取得手段によって画素毎に取得された差分を前記動体検出値として算出する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記合成画像手段は、前記算出手段によって算出された動体検出値が所定範囲内の場合に、前記画素加算画像と前記第１の画像とを合成することで、合成画像を生成する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記算出手段によって算出された動体検出値が所定範囲内か否かを判別する第２の判別手段と、
   この第２の判別手段によって前記動体検出値が所定範囲内と判別されると前記合成画像生成手段によって生成された合成画像を、前記第２の判別手段によって前記動体検出値が所定範囲内でないと判別されると前記第１の画像を、記録するよう制御する記録制御手段と、
   をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 撮像手段を備える撮像装置を制御するコンピュータを、
   この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段、
   この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段、
   この補正手段によって補正された、連続的に撮像された画像から第１の画像を選択する選択手段、
   この選択手段によって選択された第１の画像とそれ以外の複数の画像との差分を画素毎に取得する差分取得手段、
   この差分取得手段によって画素毎に取得された差分と、前記補正手段によるシェーディング補正の画素毎の補正量とに基づいて、画像に含まれる動体検出の指標となる動体検出値を算出する算出手段、
   前記動体検出値に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段、
   として機能させることを特徴とするプログラム。
8. 撮像手段と、
   この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、
   この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段と、
   この撮像制御手段によって連続的に撮像された画像から第１の画像を選択する選択手段と、
   前記補正手段によりシェーディング補正された画像の各々における動体の検出の精度を制御する動体検出制御手段と、
   前記動体検出制御手段によって制御された動体の検出の精度に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段と、
   を備えることを特徴とする撮像装置。
9. 撮像手段を備える撮像装置を制御するコンピュータを、
   この撮像手段に対し連続的に画像を取得するよう制御する撮像制御手段と、
   この撮像制御手段によって連続的に撮像された画像に対してシェーディング補正を施す補正手段、
   この撮像制御手段によって連続的に撮像された画像から第１の画像を選択する選択手段、
   前記補正手段によりシェーディング補正された画像の各々における動体の検出の精度を制御する動体検出制御手段、
   前記動体検出制御手段によって制御された動体の検出の精度に基づいて、前記第１の画像と前記それ以外の複数の画像とを合成した合成画像を生成する合成画像生成手段、
   として機能させることを特徴とするプログラム。

Images