JP2023125905A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 露光時間の短い複数枚の画像の合成枚数制御により、領域毎に異なる被写体ブレの再現を行う際、合成枚数の少なくなる静止領域のノイズが悪化し、画質を損なう場合がある。
【解決手段】 画像を取得する画像取得手段と、前記画像内で複数の被写体領域を決定する領域決定手段と、所定の撮影条件で撮像を行う撮像手段から得られた複数枚の画像を合成する合成手段と、を有し、前記合成手段は、前記複数の被写体領域の特徴にそれぞれ対応した、異なる被写体ブレの補正特性を有し、前記複数の被写体領域毎に、前記異なる被写体ブレの補正特性を参照して、合成処理を行うことを特徴とする画像処理装置。
【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、動きブレを維持したい領域と抑制したい領域が混在する撮影において、局所的なノイズ悪化を抑えつつ、領域毎に適した被写体ブレを再現するための画像処理技術に関する。

従来、スポーツシーンや日常のスナップなど、局所的な動き被写体が含まれる撮影シーンにおいて、動きブレを抑えた表現をする被写体領域と、動きに応じたブレを残す領域を混在させることで、シーンの臨場感や、動き被写体の躍動感を強調した画像表現を行うものがある。このような表現を行うために、特許文献１に記載の先行技術では、時系列で連続する複数枚の画像から、移動体に関する情報を評価して動きブレ強度を決定し、領域毎に、合成枚数を変化させて、異なる動きブレを付与した画像を生成するものが提案されている。

特開２０１９－１１０３８６号公報 特開２００２－７７７１１号公報 特開２００９－１０４２２８号公報

ここで、特許文献１に記載の先行技術では、所定の露光時間で撮影された複数枚の画像を参照し、動きブレを低減したい領域ほど、画像の合成枚数を少なく、動きブレを付与したい領域ほど、加算平均等の画像の合成枚数を多くする制御が行われる。したがって、ブレを抑えたい被写体領域は、ブレを付与したい被写体領域に対して、相対的にノイズが多くなり、最終的に得られる画質の品位が損なわれるという課題があった。そこで、本発明の画像処理装置では、動きブレを維持したい領域と抑制したい領域が混在する撮影において、局所的なノイズ悪化を抑えつつ、領域毎に適した被写体ブレを再現する画像処理を提供することを目的としている。

上記の課題を鑑みて、本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像内で複数の被写体領域を決定する領域決定手段と、所定の撮影条件で撮像を行う撮像手段から得られた複数枚の画像を合成する合成手段と、を有し、前記合成手段は、前記複数の被写体領域の特徴にそれぞれ対応した、異なる被写体ブレの補正特性を有し、前記複数の被写体領域毎に、前記異なる被写体ブレの補正特性を参照して、合成処理を行うことを特徴とする。

動きブレを維持したい領域と抑制したい領域が混在する撮影において、局所的なノイズ悪化を抑えながら、領域毎に適した被写体ブレを再現することができる。

実施例１におけるデジタルカメラの構成を説明するための図。 実施例１における撮影制御パラメータ生成部の構成を説明するための図。 実施例１における撮影制御パラメータ生成部の動作を説明するためのフローチャート。 実施例１における連続的に撮影された画像を説明するための図。 実施例１における表示用画像にシーン認識結果を重畳した効果を説明するための図。 従来技術における動きベクトルの算出方法を説明するためのフローチャート。 従来技術における動きベクトルの算出方法を説明するための図。 実施例１における時刻ｔの画像に動きベクトルを重畳した図。 実施例１における動きベクトルにかける補正ゲインを説明するための図。 実施例１における本撮影画像を説明するための図。

(実施例１)
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は撮像装置であり、撮像装置の一例としてのデジタルカメラに本発明を適用した例を説明する。

図１は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させることで、画像データが取得（画像取得）される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用した画像データをＲＡＭ１０３に出力する。また、画像処理部１０７は、後述する画像合成処理部２００を具備し、ＲＡＭ１０３に記憶されている画像データのシーンを認識したり、画像データを用いた動き解析結果や、被写体の移動方向の推定結果に基づき、デジタルカメラ１００における撮影パラメータを生成したりする。なお、画像処理部１０７が生成した撮影制御パラメータは制御部１０１に出力され、制御部１０１よりデジタルカメラ１００が備える各ブロックの動作が制御される。

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。表示部１０９は、ＬＣＤ等の表示デバイスであり、撮像部１０５で取り込まれた被写体像をスルー表示することで電子ビューファインダー機能を構成できる。また、記録媒体１０８に記録された画像を再生表示したりするなど、デジタルカメラ１００における各種の情報提示を行う。そして、画像処理部１０７における画像データのシーン認識結果に基づくアイコン表示などを画像に重畳させて表示することもできる。

操作入力部１１０は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザ入力インタフェースを含み、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。また表示部１０９がタッチパネルセンサを備えている態様においては、操作入力部１１０は、表示部１０９に対してなされたタッチ操作を検出するインタフェースとしても機能する。

以上、デジタルカメラ１００の構成と、基本動作について説明した。

次に、本発明実施例１の特徴である画像処理部１０７の動作について、詳細に説明を行う。本発明実施例１では、ゴルフのスウィングを行う被写体の撮影を例に説明を行う。ここでは、顔領域には動きブレがないが、スウィングしている領域には動きブレが出るよう、領域毎に異なるブレの制御を行いつつ、局所的なノイズが悪化しないような画像を得るための処理について記載する。

まず、画像処理部１０７が具備する画像合成処理部２００の構成例について、図２を参照して説明する。図２は、画像合成処理部２００の構成例を示す図である。

画像合成処理部２００は、被写体領域決定部２０１、特徴抽出部２０２、撮影パラメータ生成部２０３、領域別合成特性決定部２０４、位置合わせ処理部２０５、合成処理部２０６より構成される。画像合成処理部２００は、撮像部１０５が撮像しＲＡＭ１０３に記録した画像データ２０７、２０８を入力し、画像合成結果２０９を出力する。

また、画像データ２０７は、撮影準備中にユーザが被写体を表示部で認識しながら撮影タイミングを決めるためのライブビュー動作中に撮影される画像であり、画像データ２０８は、ユーザが撮影指示を行った後の、本撮影中に、撮影される画像である。画像データ２０７と２０８を撮像する際の撮像部の撮像制御は同じでもよい。または、ライブビュー動作中に撮影パラメータ生成部２０３で決定される、絞り、シャッタースピード、ＩＳＯ感度を含む撮影パラメータに基づき、２０８の撮影時に、撮像制御を変更してもよい。

次に、画像合成処理部２００の処理について、図３のフローチャートを用いて説明する。

Ｓ３０１で、ユーザはデジタルカメラ１００の電源を入れ、構図合わせなどの準備撮影を開始する。制御部１０１は、準備撮影中に所定のフレームレートを維持して連続的に画像を撮影する。撮影した画像を表示部１０９に表示し、ユーザは表示された画像を見ながら構図合わせなどを行う。本実施例におけるフレームレートは毎秒１２０枚とする。つまり撮像部１０５は１／１２０秒ごとに１枚の画像を撮影する。また、この時のシャッタースピードは可能な限り短くなるように設定される。連続的に撮影された画像の例を図４に示す。時刻ｔにおける画像を４０１、時刻ｔ＋１における画像を４０２とする。また、図４はゴルフのスウィングをしている人物を撮影しようとしている様子を表している。人物被写体４０３の顔および体の中心は被写体の動きが少なく、スイングしているゴルフクラブの先端の領域４０４は、動き量が多いものの、短い露光時間で撮影しているため撮影画像に大きなブレは発生していない。

Ｓ３０２で、被写体領域決定処理部２０１は、制御部１０１の制御の下、Ｓ３０１において撮影した（取得された）画像データ２０７を参照し、最終的な、出力画像の動きブレとノイズの再現特性を決定するための基準とする、代表的な被写体領域の決定を行う。例えば、本実施例のゴルフのシーンであれば、図５に示すように、ゴルフをしている人物の顔の領域を第１の代表領域５０３と設定し、スイングされているゴルフクラブの先端近傍の領域を第２の被写体領域５０４と設定する。

被写体領域の決定方法の一例としては、表示部に表示された撮影画像をユーザが見ながら、所定の領域をタッチして決める方法がある。具体的には、撮影準備中に、ユーザが表示部において、画像の一部をタッチすると、図５に示すように、タッチされた領域を含む所定の大きさの矩形の枠５０３、５０４が、重畳表示される。そして、当該領域内の画像に対して、機械学習などの既知の画像認識処理を適用し、設定された被写体領域の属性を判別する。また、例えば特許文献２で開示されているような手法で、人物被写体や、ゴルフなど特定のスポーツの特徴を持つ被写体を検出対象に設定して、複数の被写体領域を決定してもよい。

いずれの場合も、領域情報の属性、例えば、人物領域、ゴルフのクラブ、などの情報を、複数の代表被写体領域の情報として、ＲＡＭ１０３に保持するものとする。

次に、Ｓ３０３では、特徴抽出部２０２が、制御部１０１の制御の下、画像データ２０７を参照し、Ｓ３０３で選択された被写体領域内の画像の特徴から、領域毎の合成特性を決めるための画像特徴量を算出する。本実施例では、被写体領域の動き量とノイズ量に基づいて、合成特性を制御することで、最終的な出力画像において、動き被写体領域の躍動感を出しつつ、静止被写体領域のノイズが良好なレベルで再現することを目的としている。したがって、特徴抽出部２０２は、図２に示すように、内部に、動きベクトル算出部２０２２と、ノイズ量算出部２０２１を有し、それぞれ、選択された領域の画像特徴量として、動きベクトルの情報と、ノイズ量を求める。

まず、動きベクトル算出部２０２２での動きベクトル算出処理について、図６、図７及び図８を参照して詳しく説明する。

動きベクトルとは、連続的に撮影された画像２０７の画像間での、被写体領域の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。図６は、動きベクトル算出部２０２２による動きベクトル及び動きベクトル信頼度の算出処理を示すフローチャートである。図７は、ブロックマッチング法による動きベクトルの算出方法を示す図である。なお、本実施例では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

図６のＳ６０１において、動きベクトル算出部２０２２には、時間的に隣接する２枚の撮影画像が入力される。本実施例では、動きベクトル算出部２０２２は、図４の時刻ｔにおける撮影画像を基準フレームに設定し、時刻ｔ＋１の撮影画像を参照フレームに設定する。

図６のＳ６０２において、動きベクトル算出部２０４は、図７のように、基準フレーム７０１において、Ｎ×Ｎ画素の基準ブロック７０２を配置する。

本実施例では、基準ブロック７０２を配置する領域を、Ｓ３０２において、被写体領域決定処理部２０２が設定した、代表被写体領域に設定することで、撮影パラメータを生成するために必要な動き情報だけを効率よく解析することができる。特に後述するＳ６０４の相関演算は処理負荷が大きい演算内容であるので、必要な領域のみで演算を行うことによって、より高速に撮影パラメータを生成することが可能となる。

図６のＳ６０３において、動きベクトル算出部２０２２は、図７のように、参照フレーム７０３に対し、基準フレーム７０１の基準ブロック７０２の中心座標と同座標７０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲７０５として設定する。探索範囲７０５の設定もＳ６０２と同じく、被写体領域決定処理部２０２が設定した、代表被写体領域の周囲に限定する。

図６のＳ６０４において、動きベクトル算出部２０２２は、基準フレーム７０１の基準ブロック７０２と、参照フレーム７０３の探索範囲７０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック７０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック７０２及び参照ブロック７０６の画素に対するフレーム間差分絶対値和に基づき算出する。つまり、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図７の例では、参照ブロック７０６が最も相関が高いことを示しているとする。

図６のＳ６０５において、動きベクトル算出部２０２２は、Ｓ６０４で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出し、その動きベクトルの相関値を動きベクトル信頼度とする。図７の例の場合、参照フレーム７０３の探索範囲７０５の中で、基準フレーム７０１の基準ブロック７０２の中心座標に対応した同座標７０４と、参照ブロック７０６の中心座標に基づき動きベクトルが求められる。つまり、同座標７０４から参照ブロック７０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。また、その動きベクトル算出時における参照ブロック７０６との相関演算結果である相関値が動きベクトル信頼度として求められる。なお、動きベクトル信頼度は、基準ブロックと参照ブロックとの相関値が高いほど高くなる。

図６のＳ６０６において、動きベクトル算出部２０２２は、基準フレーム７０１において基準ブロック７０２を配置すべき対象箇所、つまり本実施例では被写体領域決定処理部２０２が設定した、代表被写体領において動きベクトルを算出したか否か判定する。動きベクトル算出部２０４は、すべての対象箇所において動きベクトルを算出したと判定した場合は動きベクトル算出の処理を終了する。一方、対象箇所の動きベクトルを算出していないと判定した場合には、Ｓ６０２に処理を戻して以降の処理を繰り返す。また、本実施例では、基準ブロック７０２は顔領域とゴルフクラブの領域に含まれるすべての画素における１画素ごとに動きベクトルと動きベクトル信頼度を算出し、動きベクトル信頼度に基づいて、信頼度の高い動きベクトルを平均して、各領域を代表する動きベクトルを求める構成とした。

以上のような処理に基づき算出した撮影画像間の動きベクトルを図８（ａ）に示す。図８（ａ）における矢印が動きベクトルを示し、矢印の長さが動きベクトルの大きさ、矢印の方向が動きベクトルの方向を示す。８０１が人物被写体４０３の顔領域の動きベクトルであり、８０２がゴルフクラブの領域の動きベクトルである。ゴルフクラブを高速にスウィングしているため、顔領域よりもフレーム間での移動量が大きくなっていることがわかる。

次に、ノイズ量算出部２０２１でのノイズ量算出処理について説明する。

ノイズ量算出部２０２１では、画像２０７において、Ｓ３０２で被写体領域決定部２０２が設定した、代表被写体領域内の画素値を参照し、領域内の画素値の分散をノイズ量として算出する。具体的には、第１の代表被写体領域５０３、第２の代表被写体領域５０４に対応する、ノイズ量Ｎ（Ａ１）、Ｎ（Ａ２）を、それぞれ、式（１）、（２）によって算出する。
Ｎ（Ａ１）＝１／ｎ１ Σ（ｘｉ１－ｘ＿ａｖｅ１）＾２・・・（１）
Ｎ（Ａ２）＝１／ｎ２ Σ（ｘｉ２－ｘ＿ａｖｅ２）＾２・・・（２）

ここで、ｎ１，ｎ２は、各代表被写体領域内の画素数であり、ｘｉ１、ｘｉ２は、各代表被写体領域内の画素値、ｘ１＿ａｖｅ、ｘ２＿ａｖｅは、各代表被写体領域内の画素の平均値である。

以上、Ｓ３０３で算出した、代表被写体領域毎の、動きベクトル情報と、ノイズ量は、後段の処理で、合成処理の枚数を決定する際に用いられる。

次に、Ｓ３０４では、代表被写体領域内の画像の特徴量に基づき、領域別合成特性決定部２０４が制御部１０１の制御の下、本撮影中に、合成処理の特性を決定するための基準領域を推定する処理を行う。まず、Ｓ３０２で決定した、代表被写体領域の属性と、Ｓ３０３で算出した、代表被写体領域の動きベクトル量と方向から、代表被写体領域の近傍の領域で、本撮影時に、代表被写体領域と同程度とみなせる動き量が発生する被写体領域を推定する。この処理は、既知の機械学習などの認識処理を適用してもよい。また、代表被写体領域の属性に基づいて、所定の期間、代表被写体領域の動きが、動きベクトルの方向に連続して発生するように、動きベクトルの対応点を拡張して、所定の動き量が発生する被写体領域を推定してもよい。図８（ｂ）に、推定された領域の一例を示す。第１の基準領域８０３は、第１の代表被写体領域５０３に対応し、人物被写体の顔の動きと同程度の動き量が発生すると推定される被写体領域である。第２の基準領域８０４は、第２の代表被写体領域５０３に対応し、ゴルフクラブを高速にスイングした際の動き量が発生すると推定される被写体領域である。これらの推定された領域は、後段で、領域毎に異なる合成処理の特性を決定する際の基準領域として参照される。また、基準領域毎に、個々の基準領域の領域名と、基準領域内の代表点の画素位置の情報を対応づけて、ＲＡＭ１０３に記憶する。基準領域内の代表点の一例としては、基準領域内の各画素位置の動きベクトルを参照し、基準領域内で、最も動きが大きい領域、または最も動き量が小さい領域を代表点に設定する。図８（ｃ）に、基準領域と代表点の一例を示す。図８（ｂ）のシーンにおける第1の基準領域８０３の代表点はＡ１であり、その一座標はＡ１（ｘ１，ｙ１）となっている。また、図８（ｂ）のシーンにおける第２の基準領域８０４の代表点はＡ２であり、その一座標はＡ２（ｘ２，ｙ２）となっている。

次に、Ｓ３０５では、Ｓ３０３で解析された、代表被写体領域内の画像の特徴量に基づき、制御部１０１の制御の下、撮影パラメータ生成部２０３が本撮影に適用する撮影パラメータを決定する（撮影条件決定）。具体的にはシャッタースピード、絞り値、ＩＳＯ感度の設定と、最終出力画像を得るためのトータルの露光時間、および、合成処理の枚数が決定される。ここで、シャッタースピードは、第１の代表被写体領域である顔領域のブレを軽減するよう、高速なシャッタースピードを設定される。また、絞り値は、第１の代表被写体領域および、第２の代表被写体領域であるゴルフのスイングしているクラブの領域が、被写界深度内に入る絞り値を設定される。ＩＳＯ感度については、前記のシャッタースピード、絞り値の条件下で、第１の代表被写体領域、及び、第２の代表被写体領域を含む画面内の平均的な明るさのレベルが、所定のレベルとなるように設定される。また、最終出力画像を得るためのトータルの露光時間は、Ｓ３０３で求めた動きベクトルの情報と、ノイズ量を参照し、第２の代表被写体領域の動きブレが所望の動きブレ量となるよう表現され、かつ、ブレを少なく再現したい、第１の代表被写体領域のノイズ量を抑えるような露光時間に基づいて決定される。さらに、トータルの露光時間を、前記シャッタースピードで除した値が、合成に用いる画像の撮影枚数となる。

次に、Ｓ３０６では、Ｓ３０５で決定した撮影パラメータに基づいて、撮像部１０５で最終出力画像を生成するための本撮影を行い、本撮影に用いる画像２０８を撮影する。

例えば、シャッタースピードが、１／５００秒、絞り値が、Ｆ８、ＩＳＯ感度がＩＳＯ１２８００の画像を、１０枚連続で撮影する。また、連続した画像の撮影コマの間は、なるべく期間が空かないように撮像部１０５を駆動制御するものとする。

図９は、連続して撮影された画像２０８の各画像の撮影順番を示した図になる。後段の位置合わせ処理では、先頭の画像１５０１を、位置合わせの基準としているが、代表被写体領域の動き量に基づき、先頭以外の画像を位置合わせの基準に設定してもよい。

次に、Ｓ３０７では、Ｓ３０４で決定した、基準領域の属性情報を参照し、画素位置ごとに、制御部１０１の制御の下、合成特性の算出処理を行う。

まず、Ｓ３０６で連続撮影された画像２０８を順次入力し、画像内の画素位置毎に、当該画素が複数の基準領域のいずれの領域に該当するかを、画素間距離に基づいて判定する。ここで、図８（ｃ）に示すように、第１の基準領域の代表点の画素位置をＡ１（Ｘ１，Ｙ１）、第２の基準領域の代表点の画素位置をＡ２（Ｘ２，Ｙ２）、入力画像における着目画素Ｐの画素位置をＰ（Ｘｐ,Ｙｐ）とする。このとき画素Ｐと第１の基準領域との画素間距離Ｄ１、画素Ｐと第２の基準領域との画素間距離Ｄ２、は、式（３）、（４）で算出される。
Ｄ１＝｜Ｘｐ－Ｘ１｜＋｜Ｙｐ－Ｙ１｜・・・（３）
Ｄ２＝｜Ｘｐ－Ｘ１｜＋｜Ｙｐ－Ｙ１｜・・・（４）

次に、画素間距離Ｄ1,Ｄ２と、あらかじめ定められた閾値ＴＨｍｉｎを参照し、着目画素における合成特性を制御するための合成指標Ｍを、式（５）～（８）によって、算出する。
Ｍ＝０ （Ｄ１＜Ｄ２ かつ Ｄ１＜ＴＨｍｉｎ）・・・（５）
Ｍ＝１０２３ （Ｄ２＜Ｄ１ かつ Ｄ２＜ＴＨｍｉｎ）・・・（６）
Ｍ＝Ｄ１／(Ｄ１＋Ｄ２) （Ｄ１＜Ｄ２ かつ Ｄ１≧ＴＨｍｉｎ）・・・（７）
Ｍ＝１０２３－Ｄ２／(Ｄ１＋Ｄ２) （Ｄ２＜Ｄ１ かつ Ｄ２≧ＴＨｍｉｎ）・・・（８）

例えば着目画素が、第１の基準領域８０３に含まれる画素位置の場合、式（５）により、合成指標Ｍ＝０が設定される。一方、着目画素Ｐが、第２の基準領域８０４に含まれる画素位置の場合、式（６）により、合成指標Ｍ＝１０２３が設定される。また、図８（ｃ）に示すように、着目画素Ｐが、第１の基準領域８０３と第２の基準領域８０４のいずれにも含まれない中間の画素領域に位置する場合には、式（７）または式（８）により、合成指標Ｍが１～１０２３までの値が設定される。

以上のように算出された画素毎の合成指標Ｍに基づき、後段の合成処理において、第１の基準領域８０３の代表点に近い画素ほど、第１の基準領域８０３に基づく合成処理の適用度合いを大きくし、第２の基準領域８０４の代表点に近い画素ほど、第２の基準領域８０４に基づく合成処理の適用度合いが大きくなるよう、後段の位置合わせ処理、及び、合成処理を制御するものとする。

ここで、領域毎に合成処理の特性を変えることの狙いについて説明する。

薄暗い環境で撮影が行われる場合などでは、撮影対象の代表的な被写体領域を被写界深度内に収め、かつ、顔領域がブレないようにするために、高速なシャッタースピードを設定すると、ＩＳＯ感度が高い値になる場合がある。例えば、シャッタースピードが、１／５００秒、絞り値が、Ｆ８、ＩＳＯ感度がＩＳＯ１２８００となるような場合である。このような条件で撮影された複数枚の画像を用いて、動き領域の動きブレを再現し、静止領域をなるべくノイズ少なく再現する画像を生成するためには、静止領域においても、複数枚の画像を合成しないと、静止領域のみノイズレベルが相対的に悪くなる。

例えば、１／５０秒で、所望の動きブレとなるような場合、１／５００秒で撮影された画像を１０枚、加算平均することになり、動き領域では、合成後（加算平均後）の画像のノイズレベルは、１／√１０に減衰される。したがって、動きブレを抑制したい被写体領域においても、同程度の加算平均を行い、ノイズレベルを低減しないと、動き領域と静止領域の境界で、ノイズ段差が発生し、画質を損なってしまう。また、静止領域は、手ブレと微小な被写体ブレによる像の局所的な位置のずれを補正してから合成処理を行う必要があるが、動きを再現したい領域では、手ブレのみを補正し、局所的な被写体ブレは、補正せずに合成を行いたい。したがって、本発明では、ブレの再現とノイズ抑圧が所望の程度になるよう、画面内の領域毎に、異なる補正特性で合成処理を実施する構成としている。

Ｓ３０８では、画素位置毎に、Ｓ３０７で決定された合成特性に基づいて、合成に先立ち、制御部１０１の制御の下、位置合わせ処理部２０５が位置のずれの補正量を決定し、位置合わせ（位置補正）処理を行う。

Ｓ３０７で、合成特性の指標Ｍ＝０～５１１が設定された画素は、第１の基準領域８０３の近傍の画素である。したがって、位置合わせ処理部２０５は第１の代表被写体領域である顔のブレを軽減するよう、手ブレ成分に加えて、被写体の局所的な像のブレを検出し、位置合わせを行う。一方、Ｓ３０７で、合成特性の指標Ｍ＝５１２～１０２３が設定された画素は、第２の基準領域８０４の近傍の画素である。したがって、位置合わせ処理部２０５は第２の代表被写体領域であるゴルフのスイングの領域での動きブレを再現するよう、手ブレ成分のみ、すなわち、画像全体の画角の位置ずれ量に基づいて、位置合わせ補正を行う。位置合わせ処理の具体的例としては、特許文献３に記載の公知技術適用することができるが、これに限られるものではない。

Ｓ３０９では、画素位置毎に、Ｓ３０７で決定された合成特性に基づいて、制御部１０１の制御の下、合成処理部２０６が合成処理を行う。Ｓ３０７で、合成特性の指標Ｍ＝０～５１１が設定された画素は、第１の代表被写体領域である顔のブレを軽減し、かつ、ノイズを低減する合成特性を優先し、Ｓ３０８で位置合わせを適用された画像を参照し、所定の枚数加算平均を行う。また、Ｓ３０３で算出されたノイズ量に基づき、合成前の画像において、第１の代表被写体領域のノイズ量が第２の代表被写体領域のノイズ量よりも大きい場合がある。この場合動きブレを再現するための加算平均と同等の加算平均では、ノイズ差がついてしまうため、合成後の画像に対して、画素毎に、着目画素の近傍の画像を参照した平滑化処理を適用してもよい。

Ｓ３０７で、合成特性の指標Ｍ＝５１２～１０２３が設定された画素は、第２の代表被写体領域であるゴルフのスイングの領域での動きブレを再現することを優先する。そこでＳ３０８では第１の代表被写体領域とは異なる位置合わせを適用された画像を参照し、所定の枚数加算平均を行う。

以上の処理を、連続して撮影された本画像２０８を参照し、すべての画素位置において適用、出力結果を記録媒体１０８に記録して、一連の処理を終了する。

図１０に出力画像の例を示す。人物被写体の顔部分には動きブレは発生していない。一方、クラブ領域には動きブレが発生していて躍動感のある画像を撮影することができている。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録媒体
１０９ 表示部
１１０ 操作入力部

Claims (17)

1. 画像を取得する画像取得手段と、
   前記画像内で複数の被写体領域を決定する領域決定手段と、
   所定の撮影条件で撮像を行う撮像手段から得られた複数枚の画像を合成する合成手段と、を有し、
   前記合成手段は、前記複数の被写体領域の特徴にそれぞれ対応した、異なる被写体ブレの補正特性を有し、前記複数の被写体領域毎に、前記異なる被写体ブレの補正特性を参照して、合成処理を行うことを特徴とする画像処理装置。
2. 前記複数の被写体領域の特徴は、前記複数の被写体領域におけるそれぞれの動き量、ノイズ量の少なくとも一方に基づいて決定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の撮影条件を決定する撮影条件決定手段を有し、
   前記撮影条件決定手段は、前記画像内の前記複数の被写体領域の属性と、前記複数の被写体領域内の動き量に基づいて、前記複数の被写体領域毎に、前記異なる被写体ブレの補正特性に対応した露光時間と合成枚数を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記被写体領域の属性は画像認識処理によって判別されることを特徴とする請求項３に記載の画像処理装置。
5. 前記合成手段は、前記複数枚の画像間の局所的な位置のずれを補正する位置補正手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記合成手段は、前記位置補正手段によって前記局所的な位置のずれを補正した後の前記複数枚の画像を合成することを特徴とする請求項５に記載の画像処理装置。
7. 前記位置補正手段は、第１の被写体領域と、前記第１の被写体領域に隣接する被写体領域における前記画像の特徴の少なくともいずれかに基づいて、前記局所的な位置のずれの補正量を決定することを特徴とする、請求項６に記載の画像処理装置。
8. 前記合成手段は、第１の被写体領域と、前記第１の被写体領域に隣接する被写体領域とのノイズレベルの差に基づいて、前記第１の被写体領域における合成枚数を決定することを特徴とする、請求項１乃７のいずれか１項に記載の画像処理装置。
9. 前記第１の被写体領域は前記複数の被写体領域のうち被写体ブレを抑えたい領域であることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記第１の被写体領域は前記複数の被写体領域のうち被写体ブレを再現したい領域であることを特徴とする請求項７または８に記載の画像処理装置。
11. 前記複数の被写体領域は、前記画像の特徴量をもとに決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記所定の撮影条件はシャッタースピード、絞り値、ＩＳＯ感度、露光時間および合成枚数の少なくとも１つを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記画像を表示する表示手段を有し、
    前記複数の被写体領域はユーザが前記表示手段にて決定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 光学系を介して結像された被写体像を撮像し、前記画像を出力する撮像手段と、
    請求項１乃至１３のいずれか１項に記載の画像処理装置を有する撮像装置。
15. 画像を取得する画像取得工程と、
    前記画像内の複数の被写体領域を決定する領域決定工程と、
    所定の撮影条件で撮像を行う撮像手段から得られた複数枚の画像を合成する合成工程と、を有し、
    前記合成工程は、前記複数の被写体領域の特徴にそれぞれ対応した、異なる被写体ブレの補正特性を有し、前記複数の被写体領域毎に、前記異なる被写体ブレの補正特性を参照して、合成処理を行うことを特徴とする画像処理装置の制御方法。
16. 請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
17. 請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images