JP2016009998A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】流し撮りによる効果に応じて撮影条件を切り替えることができるようにする。
【解決手段】撮像画面内を複数のブロックに分け、各ブロックで動きがあるか否かを判定して動き情報を検出するとともに、角速度センサを用いて撮像装置自体の動き情報も検出する。そして、これらの情報から画面内を被写体領域と背景領域とに分け、背景領域におけるコントラスト値を算出する。次に、高コントラストと判定されたブロックが背景領域内で占める割合が閾値より高い場合は、撮像装置の移動量が小さいほど露光時間を長くするように撮影条件を設定し、閾値以下である場合は、露光時間が異なるように複数枚撮影する撮影条件を設定する。
【選択図】図１

Description

本発明は、特に、流し撮りなどの撮影条件で撮影を行うために用いて好適な撮像装置、撮像方法及びプログラムに関する。

従来、流し撮りでは、動いている被写体がぶれず、背景がぶれるようにする。これにより、被写体のスピード感をより表現できるように撮影することができる。そこで、光学系及び撮像画面内の画像情報に基づいて、撮像装置が被写体を追従しているか否かを判定し、その判定結果に応じて露光時間を変更する撮像装置が知られている（特許文献１参照）。また、撮像装置のぶれ量の検出に加え、撮影レンズの焦点状態を検出し、その焦点状態の出力が所定時間内で変化しているか否かに応じて流し撮り判定を行って、判定結果に応じて露出時間を切り替える撮像装置も知られている（特許文献２参照）。

特開２０１０−２５０１５６号公報 特開２００１−４２３７９号公報

しかしながら、上述の特許文献１及び２に開示された従来技術では、撮像装置の動きが流し撮り状態である場合において、流し撮りに好適な露光時間を設定したとしても、背景のぶれ具合の程度が低く、流し撮りによる効果が十分に得られない場合がある。また、流し撮りに好適な露光時間では、被写体がよりぶれやすくなってしまう場合もある。

本発明は前述の問題点に鑑み、流し撮りによる効果に応じて撮影条件を切り替えることができるようにすることを目的としている。

本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段により生成された画像データを被写体領域と背景領域とに分割する分割手段と、前記分割手段によって分割された背景領域のコントラスト値を算出する算出手段と、前記算出手段により算出された前記背景領域のコントラスト値に応じて、流し撮りによる撮影条件を切り替えるように制御する制御手段と、を有することを特徴とする。

本発明によれば、流し撮りによる効果に応じて撮影条件を切り替えることができる。

実施形態に係る撮像装置の内部構成例を示すブロック図である。 実施形態に係る撮像装置による撮影動作の処理手順の一例を示すフローチャートである。 ブロックごとの動きベクトルを説明するための図である。 撮像画面内を被写体領域と背景領域とに切り分ける処理手順の一例を示すフローチャートである。 各ブロックのコントラスト値を算出する処理手順の一例を示すフローチャートである。 流し撮りによる効果が得られるか否かを判定する処理手順の一例を示すフローチャートである。

以下、本発明に係る実施形態について図面を参照しながら詳細に説明する。なお、以下に説明する実施形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。本実施形態では、撮像装置としてデジタルカメラを用いた場合について説明する。

図１は、本実施形態に係る撮像装置１００の内部構成例を示すブロック図である。
図１において、操作部１０１は、撮像装置１００の操作者が撮像装置１００に対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。制御部１０２は、図１に示す各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。なお、操作部１０１には、シャッターボタンも含まれており、このシャッターボタンが半押しの場合には、信号ＳＷ１が操作部１０１から制御部１０２に対して通知される。また、シャッターボタンが全押しされている場合には、信号ＳＷ２が操作部１０１から制御部１０２に対して通知される。

撮像素子１０３は、光電変換機能を備えたＣＣＤセンサやＣＭＯＳセンサ等であり、レンズ１１９及び露出機構１２０を介して入射される光を受け、その光量に応じた電荷を出力する。ＡＦ処理部１０８は、被写体に焦点を合わせるようレンズ１１９を動作させる。ＡＥ処理部１０９は、画面が最適な露出になるように露出機構１２０を制御する。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号（以下、画像データ）として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データに対して各種の画像処理を行い、処理済みの画像データを出力する。画像処理部１０５は、例えば、Ａ／Ｄ変換部１０４から受けた画像データをＹＵＶ画像信号に変換して出力する。

動き検出部１１５は、撮像画面内（背景及び被写体）を複数のブロック（小領域）に分け、各ブロックで動きがあるか否かを判定する。また各ブロックにおいて、動きの方向、動き量等の動き情報を動きベクトルとして算出する。また、動き検出部１１５は、不図示の角速度センサを用いて撮像装置１００自体の動き量等の動き情報も算出する。また、後述する被写体／背景分割部１０６の出力に基づき、撮像画面内における背景の動き情報と被写体（背景以外）の動き情報とをそれぞれ算出する。

コントラスト算出部１１７は、撮像画面内におけるエッジ成分を抽出し、抽出したエッジ成分を基にコントラスト値を算出する。また、動き検出部１１５の場合と同じ条件で、撮像画面内を所定の大きさの範囲で複数個のブロック（小領域）として分け、各ブロックにて高コントラストか否かを判定する。

被写体／背景分割部１０６は、動き検出部１１５で得られた動きベクトルによる動き情報と、角速度センサを用いた撮像装置１００自体の動き情報とを比較する。また、各々の動きベクトルにおいて、撮像装置１００自体の動きによる動きベクトルであるか否かを判定する。そして、撮像装置１００自体の動きによる動きベクトルである場合には背景と判定し、そうでない場合には被写体による動きと判定する。この判定結果を基に、背景と判定されたブロックを背景の領域とし、被写体の動きと判定されたブロックを被写体の領域とすることにより撮像画面内で被写体と背景とに分割する。

流し撮り判定部１１６は、上述した背景の動き情報、被写体の動き情報、及び撮像装置１００の動き情報を用いて、流し撮り動作を行っているか否かを判定する。流し撮り効果判定部１１８は、コントラストの情報を用いて、流し撮りによる効果が得られるか否かを判定する。

ＥＦ処理部１１０は、制御部１０２によりフラッシュが必要と判定され、制御部１０２からフラッシュオンの指示を受けると、フラッシュ部１１１を制御し、フラッシュ部１１１を発光させる。表示部１０７は、液晶画面などにより構成されており、画像処理部１０５による処理済みの画像データに基づいた画像を表示する。

圧縮方式変換部１１２は、画像処理部１０５から出力された画像データの圧縮方式をＪＰＥＧなどの圧縮方式に変換し、画像記録部１１３に出力する。画像記録部１１３は、圧縮方式変換部１１２から出力された圧縮方式変換済みの画像データを、撮像装置１００内の不図示のメモリや、撮像装置１００に挿入されている外部メモリなどに記録する。外部接続部１１４は、撮像装置１００をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースとして機能する。

次に、撮像装置１００における撮影動作について説明する。まず、撮像装置１００の操作者が、操作部１０１に含まれている電源スイッチをオンに操作すると、制御部１０２は電源スイッチのオンを検知し、撮像装置１００を構成する各部に電源を供給する。撮像装置１００を構成する各部に電源が供給されると不図示のシャッターが開くので、撮像素子１０３には、レンズ１１９及び露出機構１２０を介して光が入光される。そして、撮像素子１０３に溜まった電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。また、撮像装置１００が再生モードから撮影モードに切り替わった場合も同様の処理を行う。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、画像データとして出力する。次に、画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データに対して各種画像処理を行い、処理済みの画像データを出力する。

本実施形態では、時系列的に得られた２枚の画像（現在の撮像画像、及びそれよりも前に撮影された画像）を複数個のブロック（小領域）に分けて各々比較し、その差分情報から被写体及び背景の動き情報（位置、動きの範囲、動き量）を検出する。なお、被写体及び背景を切り分ける際には、被写体／背景分割部１０６は、動き検出部１１５で得られた動き情報、及び角速度センサによる動き情報を基に、被写体領域及び背景領域に分割する。

次に、流し撮り判定部１１６は、上述した動き情報に基づき、現在行われている撮影が流し撮り動作か否かを判定する。そして、現在行われている撮影が流し撮り動作でないと判定した場合には、制御部１０２は、非流し撮りシーンに適した露出制御値に変更する。一方、現在行われている撮影が、流し撮り状態であると判定した場合には、詳細は後述するが、制御部１０２は、流し撮りモードに設定し、流し撮り効果判定部１１８の判定結果に応じて本露光時の撮影条件を制御する。

続いて、流し撮り効果判定部１１８は、コントラスト算出部１１７にて判定された各ブロックのコントラストの高低に対し、背景領域において高コントラストと判定されたブロックの割合が、予め設定された所定の割合より大きいか否かを判定する。その結果、背景領域において高コントラストと判定されたブロックの割合が、予め設定された所定の割合より大きい場合は、流し撮りによる効果ありと判定する。一方、背景領域において高コントラストと判定されたブロックの割合が、予め設定された所定の割合以下である場合は、流し撮りによる効果なしと判定する。

次に、画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データに対して各種画像処理を行い、処理済みの画像データを生成する。また、画像処理部１０５は、処理済みの画像データを表示部１０７に出力し、表示部１０７に、この処理済みの画像データに基づいた画像をリアルタイムに表示する。そして、操作部１０１から制御部１０２に対して、シャッターボタンの半押しを示す信号ＳＷ１が通知されるまで、上述した処理を繰り返す。

一方、操作部１０１から制御部１０２に対して信号ＳＷ１が通知されると、その時点における画像を用いてＡＦ処理及びＡＥ処理を行い、制御部１０２は、撮影に最適な合焦状態、及び、露出設定条件を取得する。そして、操作部１０１から制御部１０２に対して、シャッターボタンの全押しを示す信号ＳＷ２が通知されるまで、信号ＳＷ１が通知される前の処理を繰り返す。

一方、操作部１０１から制御部１０２に対して信号ＳＷ２が通知されると、制御部１０２は、フラッシュを発光するか否かを判定する。なお、フラッシュを発光するか否かについては、操作者が操作部１０１を操作することによって予め設定しておき、その設定データを読み取ることにより判定するようにしてもよい。また、撮像画像の明るさを検知して、その明るさに基づいて判定するようにしてもよい。

制御部１０２が、フラッシュを発光すると判定した場合には、制御部１０２はＥＦ処理部１１０を制御し、フラッシュ部１１１にプリ発光を行わせ、発光量の算出や撮像画像におけるフラッシュの重み付けなどの処理を行うように指示する。そして、ＥＦ処理部１１０は、プリ発光を行うことにより算出された本発光量でフラッシュ部１１１を発光させ、フラッシュを伴った撮影を行う。

一方、制御部１０２が、フラッシュを発光しないと判定した場合には、上述したような発光量の演算を行わずに以下の処理に移行する。まず、被写界からの入射光がレンズ１１９及び露出機構１２０を介して撮像素子１０３に入射されるので、撮像素子１０３を構成する不図示の光電変換素子には、入射した光の光量に応じた電荷が溜まる。そして、撮像素子１０３に溜まった電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、画像データとして出力する。次に、画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データに対して各種の画像処理を行い、処理済みの画像データを出力する。圧縮方式変換部１１２は、画像処理部１０５から出力された画像データの圧縮方式をＪＰＥＧなどの圧縮方式に変換し、画像記録部１１３に出力する。画像記録部１１３は、圧縮済みの画像データを所定のメモリに記録する処理を行う。

以上説明した処理により、流し撮り状態であるか否かの判定に加え、流し撮りによる効果が得られる状況であるか否かを判定し、その判定結果に応じて撮影条件を切り替えることができる。

次に、動き検出を用いた流し撮り判定及び流し撮り効果判定の制御について説明する。
図２は、本実施形態に係る撮像装置１００による撮影動作の処理手順の一例を示すフローチャートである。
まず、電源がＯＮにされる、もしくは撮影モードに切り替えられると、処理を開始する。そして、ステップＳ２０１において、動き検出部１１５は、角速度センサから撮像装置１００自体の動き情報を取得する。本実施形態では一例として、ピッチ方向あるいはヨー方向どちらか一つ以上の角速度を出力する角速度センサとし、その出力結果を動き情報とする。

続いてステップＳ２０２において、動き検出部１１５は、図３に示すように時系列的に得られた２枚の画像Ｐ１、Ｐ２をそれぞれ複数個のブロックに分割する。ここで、画像Ｐ１は、現在の撮像画像を表し、画像Ｐ２は、それよりも前に撮影された画像を表している。また、複数個のブロックに分割する際には、ブロックの数及び位置は２枚の画像間で一致させるようにする。なお、図３に示す例では、画面全体にブロックを隙間なく配置させるようにしたが、画面の一部の領域だけでもよく、また、ブロック同士が接しない配置としてもよい。

そして、２枚の画像間の位置が一致している各ブロックで、輝度によるテンプレートマッチングを行い、動きベクトルを算出する。例えば、画像Ｐ１のブロックＡと画像Ｐ２のブロックＢとでテンプレートマッチングを行うと、画像Ｐ３に示すような動きベクトルが算出される。なお、全ブロックで動きベクトルを算出すると画像Ｐ４に示すような結果が得られる。

また、テンプレートマッチングの一例として、本実施形態では各ブロック内の輝度情報を使用する。具体的には、画像Ｐ１のブロックＡと画像Ｐ２のブロックＢとの画素ごとの輝度値の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）を算出する。さらに、ブロックＢの位置を周辺に少しずつずらしながらそれぞれでＳＡＤを算出する。そして、ＳＡＤが一番小さい値の領域がブロックＡと類似した領域とみなし、これらの位置の差を動きベクトルとする。

次に、ステップＳ２０３において、撮像画面内を被写体領域と背景領域とに切り分ける。この処理の詳細については図４を用いて後述する。

そして、ステップＳ２０４において、流し撮り判定部１１６は、ステップＳ２０３にて切り分けられた被写体領域及び背景領域、さらに各々の動き情報に基づいて、撮像装置１００が流し撮り動作を行っているか否かを判定する。

流し撮り動作の判定方法としては、一例として、ステップＳ２０３で分割した被写体領域及び背景領域の動きベクトルをもとに判定を行う。例えば、被写体領域の動きベクトルが小さく、かつ背景領域の動きベクトルが大きい状態、すなわち、背景領域と被写体領域との動きベクトルの差が所定値を超えている状態が所定時間続いている場合には、流し撮り動作を行っているとみなす。また、角速度センサから出力されたピッチ方向あるいはヨー方向の出力結果を使用してもよい。例えば、ピッチ方向あるいはヨー方向の出力結果の値が一定値に近く、かつ所定以上の出力値となった場合は、撮像装置１００は静止しておらず等角速度の運動をしているとみなし、この場合に流し撮り動作を行っているとみなす。

次に、ステップＳ２０５において、コントラスト算出部１１７は、撮像画面内で分割された複数の領域においてコントラスト値を算出する。この処理の詳細については図５を用いて後述する。

ステップＳ２０６においては、流し撮り効果判定部１１８は、撮像画像が流し撮りによる効果を得られるか否か判定する。この処理の詳細についても図６を用いて後述する。また、ステップＳ２０６においては、撮像画像が流し撮りによる効果を得られるか否か判定した後に、その判定結果について表示部１０７にアイコンでユーザーに通知してもよい。ここで、通知の手段としてアイコンを挙げたが、所定の音や光等によって通知してもよい。これにより、流し撮り効果のある背景であるのかユーザーが予め参考にすることができ、流し撮り効果があると事前に把握した背景の箇所に合わせて、シャッターボタンを操作するなどの対応が可能になる。また、判定結果を通知する場合には、どちらか一方の判定結果の場合にのみ通知を行うようにしてもよい。

次に、ステップＳ２０７において、制御部１０２は、操作部１０１から信号ＳＷ１が通知されたか否かを判定する。この判定の結果、信号ＳＷ１が通知された場合はステップＳ２０９へ進み、信号ＳＷ１が通知されていない場合はステップＳ２０１に戻り、処理を繰り返す。

ステップＳ２０８においては、制御部１０２は、ステップＳ２０４の直近の判定結果が流し撮り動作であるか否かを判定する。この判定の結果、流し撮り動作である場合はステップＳ２０９へ進み、流し撮り動作でない場合はステップＳ２１２へ進む。

ステップＳ２０９においては、制御部１０２は、ステップＳ２０６の直近の判定結果が流し撮り効果があるという結果であるか否かを判定する。この判定の結果、流し撮り効果があるという結果である場合はステップＳ２１０へ進み、流し撮り効果がないという結果である場合はステップＳ２１１へ進む。

ステップＳ２１０においては、制御部１０２は、流し撮り効果があるシーンに適した撮影条件を設定する。本実施形態では一例として、算出された撮像装置１００の移動量が小さいほど露光時間を長くするように撮影を行う撮影条件を設定する。ただし、設定した露光時間で適正露出を超える場合には、適正露出を満たした上で最長の露光時間に改めて設定する。

また、流し撮り効果があるシーンに適した撮影条件として、ステップＳ２０８で流し撮り動作でないと判定された場合の非流し撮りシーンに適した撮影条件に比べて、ノイズリダクションの処理が強めに設定されてもよい。具体的には例えばローパスフィルタ処理のタップ数がより多く設定される。また、流し撮り効果があるシーンに適した撮影条件として、ステップＳ２０８で流し撮り動作でないと判定された場合の非流し撮りシーンに適した撮影条件に比べて、絞りがより開放側に設定されてもよい。これは流し撮りとして背景がより流れているように見せるために、被写界深度を浅く設定して背景をぼけやすくするためである。

一方、ステップＳ２１１においては、制御部１０２は、流し撮り効果がないシーンに適した撮影条件を設定する。本実施形態では一例として、露光時間が異なるように複数枚撮影する撮影条件を設定する。これは、流し撮り効果がないシーンに適した撮影条件として、流し撮り効果を目的としない第１の撮影条件と流し撮り効果がより顕著に出るような第２の撮影条件とが設定されるものであり、失敗画像だけが保存される状況を防ぐためのものである。例えば、少なくともステップＳ２１０で設定する露光時間より更に長い露光時間（第２の撮影条件）と、ステップＳ２１０で設定する露光時間より短めに設定した露光時間とで撮影する撮影条件（第１の撮影条件）を設定する。

また、流し撮り効果がないシーンに適した第２の撮影条件として、ステップＳ２１０で設定する露光時間より更に長い露光時間で撮影される画像に対して、流し撮り効果があるシーンに適した撮影条件に比べてさらにノイズリダクションの処理が強めに設定される。さらに、流し撮り効果を目的としない第１の撮影条件として、ステップＳ２１０で設定する露光時間より短い露光時間で撮影される画像に対して、流し撮り効果があるシーンに適した撮影条件に比べてノイズリダクションの処理は弱めに設定される。また、流し撮り効果がないシーンに適した第２の撮影条件として、ステップＳ２１０で設定する露光時間より更に長い露光時間で撮影される画像に対して、流し撮り効果があるシーンに適した撮影条件に比べて、絞りがさらにより開放側に設定されてもよい。ここで、流し撮り効果を目的としない第１の撮影条件として、ステップＳ２１０で設定する露光時間より短い露光時間で撮影される画像に対しては、露光時間、ノイズリダクションの設定共にステップＳ２１２で設定される非流し撮りシーンに適した撮影条件に相当する同等の撮影条件に設定されてもよい。

また、ステップＳ２１２においては、制御部１０２は、非流し撮りシーンに適した撮影条件を設定する。本実施形態では一例として、ステップＳ２１０で設定する露光時間より短い露光時間で撮影する撮影条件を設定する。

次に、ステップＳ２１３においては、制御部１０２は、信号ＳＷ２が操作部１０１から通知されたか否かを判定する。この判定の結果、信号ＳＷ２が通知された場合は、ステップＳ２１４において、ステップＳ２１０〜Ｓ２１２の何れかにて設定された撮影条件で撮影を行う。すなわち、設定された撮影条件で撮影し、上述した一連の記録処理を行う。一方、信号ＳＷ２が通知されていない場合は、信号ＳＷ２が通知されるまでの間、ステップＳ２０１〜Ｓ２１２の処理を繰り返し、随時撮影条件を更新していく。

なお、本実施形態では流し撮り動作を判定する方法について説明したが、操作部１０１により所定の撮影モードに設定された場合には、設定された条件で流し撮りと判定するようにしてもよい。例えば所定の撮影条件で撮影して所定の画像処理を行う流し撮りモードを有する撮像装置において、流し撮りモードに設定されている場合には、ステップＳ２０８において、常に「流し撮り動作である」とみなす。

＜被写体／背景切り分け＞
続いて、撮像画面内を被写体領域と背景領域とに切り分ける方法について説明する。
図４は、図２のステップＳ２０３において、被写体／背景分割部１０６により撮像画面内を被写体領域と背景領域とに切り分ける処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、ステップＳ２０２において算出した動きベクトルを、ステップＳ２０１で取得した撮像装置１００の動きと比較する。そして、ステップＳ４０２において、動きベクトルが撮像装置１００の動きに即しているか否かを判定する。

動きベクトルが撮像装置１００の動きに即しているか否かを判定する方法として、本実施形態では一例として、角速度センサから出力されたヨー方向の値と動きベクトルの左右方向の成分とを比較する。そして、ヨー方向の値と動きベクトルの左右方向の成分とでそれぞれ所定値以下の値となった場合を静止とみなしたとき、左方向、静止、右方向どの動きに属しているのかを算出する。その結果、角速度センサの出力結果が左（右）方向で動きベクトルの算出結果が右（左）方向の場合、またはヨー方向の値と動きベクトルの左右方向の成分とのどちらも静止とみなした場合に、動きベクトルが撮像装置１００の動きに即しているとみなす。また、角速度センサについてはピッチ方向及びヨー方向を組み合わせて、動きベクトルについては左右方向及び上下方向の成分を組み合わせてもよい。例えば、２方向から角度を算出して比較する方法でもよい。また、角速度センサの出力結果と動きベクトルの大きさとを考慮してもよい。

ステップＳ４０２の判定の結果、動きベクトルが撮像装置１００の動きに即している場合は、ステップＳ４０３において、その動きベクトルは撮像装置１００の動きによって発生した動きベクトルであるとみなす。そして、ステップＳ４０５において、その動きベクトルを算出しているブロックを背景領域とみなす。

一方、ステップＳ４０２の判定の結果、動きベクトルが撮像装置１００の動きに即したものでない場合は、ステップＳ４０４において、その動きベクトルは被写体の動きによって発生した動きベクトルであるとみなす。そして、ステップＳ４０６において、その動きベクトルを算出しているブロックを被写体領域とみなす。

次に、ステップＳ４０７において、全てのブロックにおいて動きベクトルの判定を行ったか否かを判定する。この判定の結果、全てのブロックにおいて判定を行った場合は処理を終了し、まだ判定していないブロックが存在する場合はステップＳ４０１に戻り、処理を繰り返す。

なお、本実施形態では撮像装置１００の動き情報と、画像内の動きベクトルとを比較しているが、画像内の動きベクトルのみで被写体領域と背景領域とを切り分けてもよい。この場合、背景領域の動きベクトルを算出する方法として、図３に示した画像内の複数ブロックのうち、画面端に接しているブロックそれぞれの動きベクトルの大きさおよび角度を算出する。そして、一番頻度の高い動きベクトルの大きさおよび角度を背景領域の動きベクトルとし、この情報を撮像装置の動き情報とみなして図４に示す処理を行う。

＜コントラスト値算出＞
続いて、撮像画面内で分割された複数の領域においてコントラスト値を算出する処理について説明する。
図５は、図２のステップＳ２０５において、コントラスト算出部１１７により各ブロックのコントラスト値を算出する処理手順の一例を示すフローチャートである。なお、撮像画面内を複数個のブロックに分ける処理は、ステップＳ２０２にて既に行われており、この処理で分けられたブロックごとに以下の処理を行う。

まず、ステップＳ５０１において、コントラスト算出部１１７は、撮像画面から分割されたブロックに対して、画素間の輝度変化が大きくなるほど値が大きくなるハイパスフィルタをかける。次に、ステップＳ５０２において、ハイパスフィルタによって算出された信号値を積算して画素間の輝度値の差の絶対値の和（ＳＡＤ）を求めることにより、そのブロックのコントラスト値を算出する。

そして、ステップＳ５０３において、全てのブロックにおいてコントラスト値を算出したか否かを判定する。この判定の結果、全てのブロックにおいてコントラスト値を算出した場合は処理を終了し、まだ算出していないブロックが存在する場合はステップＳ５０１に戻り、処理を繰り返す。

＜流し撮り効果の判定＞
続いて、撮像画像が流し撮りによる視覚的な効果を得られるか否か（効果があるかないか）を画像信号に基づいて判定する処理について説明する。ここで、流し撮りによる効果を得られない、とは流し撮りによる視覚的な効果が撮影結果においてより出にくい、ということを意味し、必ずしも流し撮りによる効果が全く得られないというわけではない。流し撮りによる効果とは、例えば被写体のスピード感が十分に出ている画像であるかということであり、背景が低コントラストで高周波成分の少ない画像である場合には、流し撮りによる効果が出にくい。また、主被写体と背景とのコントラストがあまりついていない場合や、主被写体が背景に対して所定割合より大きい場合や所定割合より小さい場合にも効果が十分に得られない可能性がある。このように流し撮りによる効果があるかないかについて、本実施形態では、主被写体の存在する主被写体領域と背景の存在する背景領域の少なくとも１つの画像を評価することで判定する。以下では、背景領域のコントラストがあるか否かを判定する処理を例示する。
図６は、図２のステップＳ２０６において、流し撮りによる効果が得られるか否かを判定する処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、コントラスト算出部１１７は、対象となるブロックが背景領域内のブロックであるか否かを判定する。この判定の結果、背景領域内のブロックである場合はステップＳ６０２へ進み、背景領域内のブロックでない場合はステップＳ６０５へ進む。

次に、ステップＳ６０２において、コントラスト算出部１１７は、算出したコントラスト値が予め設定された値より高いか否かを判定する。この判定の結果、コントラスト値の方が高い場合は、ステップＳ６０３へ進み、コントラスト算出部１１７は、そのブロックは高コントラストのブロックと判定する。一方、ステップＳ６０２の判定の結果、コントラスト値が予め設定された値以下である場合は、ステップＳ６０４へ進み、コントラスト算出部１１７は、そのブロックは低コントラストのブロックと判定する。

そして、ステップＳ６０５において、コントラスト算出部１１７は、全てのブロックにおいてステップＳ６０１〜Ｓ６０４の処理を行ったか否かを判定する。この判定の結果、全てのブロックにおいて処理が終了した場合はステップＳ６０６へ進み、まだ判定していないブロックが存在する場合はステップＳ６０１に戻り、処理を繰り返す。

次に、ステップＳ６０６において、流し撮り効果判定部１１８は、高コントラストと判定された背景領域内のブロックが背景領域内で占める割合を算出する。そして、その算出された割合が、予め設定された閾値より高いか否かを判定する。この判定の結果、算出された割合が予め設定された閾値より高い場合は、ステップＳ６０７へ進み、流し撮り効果判定部１１８は、撮像画像は流し撮りによる効果があると判定する。一方、ステップＳ６０６の判定の結果、算出された割合が予め設定された閾値以下である場合は、ステップＳ６０８へ進み、流し撮り効果判定部１１８は、撮像画像は流し撮りによる効果がないと判定する。

なお、本実施形態では、流し撮り状態であるか否かを、撮像装置の動き、背景の動きの有無、被写体の動き量によって判定しているが、必ずしもこれらの条件全てを判定しなくてもよい。少なくとも、背景の動きの有無と被写体の動き量との関係を取得できれば、流し撮り状態か否かを判定することができる。また、ステップＳ２１１において設定された撮影条件に従って露光時間の長い画像データが生成された場合に、その画像データに対して図５と同様の手順でコントラスト値を算出するようにしてもよい。そして、画像処理部１０５は、低コントラストと判定されたブロックに対して、コントラスト値を高くする処理を行うようにしてもよい。
また、前述したように、流し撮りによる効果があるかないかの判定処理については、背景領域のコントラストを判定する処理に限らず、主被写体の存在する主被写体領域と背景の存在する背景領域の少なくとも１つの画像を評価することで判定することができる。例えば、主被写体領域と背景領域との間で、コントラスト、輝度の類似性（輝度の差分をとるなど）、色の類似性（色、色差の差分をとるなど）の少なくとも１つを評価してもよい。また、主被写体領域の大きさあるいは画像全体に置ける背景領域に対する割合を算出して、第１の基準よりも大きい場合には、背景領域が少なく、効果がないと判定したり、第１の基準よりも小さい第２の基準より小さい場合には、主被写体領域が小さすぎて効果がないと判定したりしてもよい。また、主被写体領域が画像端にのみ存在する場合には効果がない、など、主被写体領域が適切な領域に存在するか否かを判定することで流し撮りの効果があるかないかを判定してもよい。また、上述した様々な画像の解析手法の少なくとも２つを用いて解析し、解析結果を組み合わせて判定に用いてもよい。

以上のように本実施形態によれば、流し撮り状態であるか否かを判定するとともに、流し撮りによる効果が得られる状況であるか否かを判定するようにした。これにより、その判定結果に応じて撮影条件を適切に切り替えることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２ 制御部
１０３ 撮像素子
１０６ 被写体／背景分割部
１１７ コントラスト算出部

Claims (24)

1. 被写体を撮像して画像データを生成する撮像手段と、
   前記画像データの被写体領域及び背景領域の少なくとも１つの領域を解析する解析手段と、
   前記解析手段による解析結果に応じて、流し撮りによる撮影条件を切り替えるように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記解析手段による解析結果に基づいて、画像データが流し撮り効果のある画像データであるか否かを判定する判定手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段によって画像データが流し撮り効果のある画像データでないと判定される場合、前記判定手段により流し撮り効果のある画像データであると判定される場合の撮影条件に比べて露光時間が短い撮像画像が生成されるように前記流し撮りによる撮影条件を切り替えることを特徴とする請求項２に記載の撮像装置。
4. 前記判定手段によって画像データが流し撮り効果のある画像データでないと判定される場合、前記判定手段により流し撮り効果のある画像データであると判定される場合の撮影条件に比べて露光時間が長い撮像画像が生成されるように前記流し撮りによる撮影条件を切り替えることを特徴とする請求項２に記載の撮像装置。
5. 前記判定手段によって画像データが流し撮り効果のある画像データでないと判定される場合、前記判定手段により流し撮り効果のある画像データであると判定される場合の露光時間とは異なる複数の露光時間の撮像画像が生成されるように前記流し撮りによる撮影条件を切り替えることを特徴とする請求項２に記載の撮像装置。
6. 前記解析手段は、前記背景領域のコントラスト値を算出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記解析手段は、前記被写体領域と前記背景領域との輝度の差分、色の差分、色差の差分の少なくともいずれかを算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記解析手段は、前記被写体領域の大きさを求めることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記流し撮りによる撮影条件とは、撮像する時の絞り値、撮像画像に対するノイズリダクションの処理のパラメータ、コントラスト値を上げる処理のパラメータの少なくともいずれかであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記撮像手段によって生成された画像データに基づいて画面内の動き情報を検出する動き検出手段と、
    前記動き検出手段によって検出された動き情報に基づいて、前記被写体領域と前記背景領域とに分割する分割手段と、
    をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記動き検出手段は、さらにセンサにより前記撮像装置の動き情報も検出し、
    前記分割手段は、さらに前記撮像装置の動き情報に基づいて、前記被写体領域と前記背景領域とに分割することを特徴とする請求項１０に記載の撮像装置。
12. 前記分割手段は、前記画像データの画面内の動き情報と、前記撮像装置の動き情報とを比較して、前記撮像装置の動きにより検出された動きベクトルを有する領域を前記背景領域として分割することを特徴とする請求項１１に記載の撮像装置。
13. 前記動き検出手段は、前記画像データの画面内における複数の領域で動きベクトルを算出することによって動き情報を検出することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
14. 前記動き検出手段によって検出された動き情報に基づいて、前記撮像手段によって生成された画像データが流し撮りによるものであるか否かを判定する動作判定手段をさらに有し、
    前記制御手段は、前記動作判定手段により流し撮りによるものと判定された場合に、前記撮影条件を切り替えるように制御することを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
15. 被写体を撮像して画像データを生成する撮像手段と、
    前記撮像手段によって生成された画像データに基づいて前記撮像手段によって生成された画像データが流し撮りによるものであるか否かを判定する動作判定手段と、
    前記動作判定手段の判定結果に基づいて前記撮像手段による撮像の撮影条件を切り替えるように制御する制御手段と、
    を有することを特徴とする撮像装置。
16. 前記動作判定手段は、背景領域と被写体領域との動きベクトルの差が所定値を超えている状態が所定時間続いている場合に流し撮りと判定することを特徴とする請求項１５に記載の撮像装置。
17. 前記動作判定手段は、撮影モードに応じて判定を行うことを特徴とする請求項１５または１６に記載の撮像装置。
18. 前記制御手段は、前記動作判定手段により流し撮りによるものでないと判定された場合の撮影条件に比べて、ノイズリダクションの処理を強くするように撮影条件を切り替えることを特徴とする請求項１５乃至１７のいずれか１項に記載の撮像装置。
19. 前記制御手段は、前記判定手段により流し撮りによるものでないと判定された場合の撮影条件に比べて、絞りを開放側に設定した撮影条件に切り替えることを特徴とする請求項２に記載の撮像装置。
20. 前記判定手段による判定結果を通知する通知手段をさらに有することを特徴とする請求項２に記載の撮像装置。
21. 前記通知手段は、表示部にアイコンを表示することにより通知することを特徴とする請求項２０に記載の撮像装置。
22. 前記解析手段は、ある領域内における画素間の輝度値の差の絶対値の和（ＳＡＤ）を算出することを特徴とする請求項１乃至２１のいずれか１項に記載の撮像装置。
23. 被写体を撮像して画像データを生成する撮像工程と、
    前記画像データの被写体領域及び背景領域の少なくとも１つの領域を解析する解析工程と、
    前記解析工程おいての解析結果に応じて、流し撮りによる撮影条件を切り替えるように制御する制御工程と、
    を有することを特徴とする撮像方法。
24. 被写体を撮像して画像データを生成する撮像工程と、
    前記画像データの被写体領域及び背景領域の少なくとも１つの領域を解析する解析工程と、
    前記解析工程おいての解析結果に応じて、流し撮りによる撮影条件を切り替えるように制御する制御工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images