JP2014146850A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 面間ＨＤＲと面内ＨＤＲとを適切に切り替えて利用することが可能な撮像装置およびその制御方法を提供する
【解決手段】 例えば、撮像装置または被写体の動き量が予め定められた閾値未満のときには面間ＨＤＲを用いてＨＤＲ画像を生成し、動き量が予め定められた閾値以上のときには面内ＨＤＲを用いてＨＤＲ画像を生成するように切り替える。
【選択図】 図２

Description

本発明は、撮像装置およびその制御方法に関し、特に複数枚の画像を合成する機能を有する撮像装置およびその制御方法に関する。

露光量が異なる複数枚の連続撮像画像出力を合成して１枚の画像を生成することで、画像のダイナミックレンジの拡大を図るＨＤＲ(High Dynamic Range)技術を搭載した撮像装置が知られている。ＨＤＲ技術は静止画に限らず動画にも適用可能であるが、１フレームを複数枚の画像から生成するため、撮影フレームレートよりも記録フレームレートは減少する。例えば撮影フレームレート６０ＦＰＳの場合、長い露光時間と短い露光時間で交互に撮影した２フレームの画像を合成して１フレームの記録画像を生成する場合、記録フレームレート３０ＦＰＳのＨＤＲ動画を生成することが可能である。このような、連続して撮影された複数の画像を合成するＨＤＲ技術を、本明細書では面間ＨＤＲと呼ぶ。

一方で、所定の単位領域（例えば行）ごとに露光時間（電荷蓄積時間）を異ならせて読み出しを行うことで、１フレーム分の撮影によって露光量の異なる複数の画像を取得し、ダイナミックレンジを拡大した画像を得る技術が提案されている（特許文献１）。この技術でも、複数の画像を用いる点では面間ＨＤＲと共通だが、１フレーム分の撮影で得られる画素情報から複数の画像を得ているため、本明細書では面内ＨＤＲと呼ぶ。

面内ＨＤＲでは、異なる露光量の画像が１フレームの撮影で得られるため、撮影者あるいは主被写体が動いているような場合には、面間ＨＤＲに比べて合成に用いる複数の画像間における像ブレ量が少なく、有利であるといえる。

特開２０１２−１０５２２５号公報

しかしながら、面内ＨＤＲでは、１画面（１フレーム）分の撮影で２つの画像を生成するため、個々の画像の解像度は通常の撮影で得られる画像より低下する。例えば行単位で電荷蓄積時間を長短２段階で切り替えて撮影した場合、電荷蓄積時間の長い行から得られる画像と、電荷蓄積時間の短い行から得られる画像の垂直解像度は、通常撮影で得られる画像の1/2となってしまう。そのため、画素補間などを行わなければ、面内ＨＤＲで得ることの可能な合成画像の最大解像度は、面間ＨＤＲで得ることが可能な合成画像の最大解像度より低い。また、合成元の画像の解像度が低いことから、被写体の輝度レベルなどによっては合成後の画像の解像感が面間ＨＤＲで得られる画像より低下する場合もある。

このように面間ＨＤＲと面内ＨＤＲにはそれぞれ長所と短所があるが、それらを適切に切り替えて使用する技術は提案されていなかった。本発明はこのような従来技術の課題に鑑みてなされたものであり、面間ＨＤＲと面内ＨＤＲとを適切に切り替えて利用することが可能な撮像装置およびその制御方法の提供を目的とする。

上述の目的は、撮像装置であって、予め定められた単位領域ごとに電荷蓄積時間を設定可能な撮像素子と、異なる露出条件での撮影で得られる複数の画像を合成して１枚の合成画像を生成する合成手段と、撮像装置および被写体の少なくとも一方の動きを検出する検出手段と、検出手段により検出された動きの量に応じて、撮像素子の動作を制御する制御手段とを有し、制御手段は、（ａ）動きの量が予め定められた閾値未満のときに、撮像素子に共通した電荷蓄積時間を設定する第１の露光制御を用いた複数フレームの撮影により、複数の画像を得るように撮像素子の動作を制御し、（ｂ）動きの量が予め定められた閾値以上のときに、単位領域に応じて複数の異なる電荷蓄積時間を設定する第２の露光制御を用いた１フレームの撮影により、複数の画像が得られるように撮像素子の動作を制御する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、面間ＨＤＲと面内ＨＤＲとを適切に切り替えて利用することが可能な撮像装置およびその制御方法が得られる。

第１の実施形態の動画撮像装置のブロック図 第１の実施形態の動画撮像装置におけるＨＤＲ動画記録のフローチャート 第１の実施形態の動画撮像装置における面間ＨＤＲ動画記録のフローチャート 第１の実施形態の動画撮像装置における面内ＨＤＲ動画記録のフローチャート 第１の実施形態の動画撮像装置における面内ＨＤＲ動画記録の露光・読み出し制御例 撮影したＨＤＲ画像の表示例 第２の実施形態の動画撮像装置におけるＨＤＲ動画記録のフローチャート

（第１の実施形態）
以下、本発明の例示的な実施形態を添付図面に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る撮像装置の機能構成例を示すブロック図である。ここで撮像装置１００は動画撮影機能を有するデジタルスチルカメラであるものとするが、動画撮影機能を有する任意の撮像装置およびこのような撮像装置を備える任意の電子機器に本発明は適用可能である。このような電子機器の非限定的な例には、ゲーム機、携帯電話、パーソナルコンピュータ、タブレット端末、ドライブレコーダなどが含まれる。なお、便宜上、撮像装置１００はレンズ一体型であるものとして説明するが、レンズ交換可能な構成であってもよい。

撮像装置１００は、ズームレンズ１１０、装置ブレを補正するシフトレンズ１１１、焦点調節用のフォーカスレンズ１１２を含んだ撮像レンズを備える。メカニカルシャッタ１１３および絞り１１４は、撮像素子１１５の露光量を調節する。タイミング発生部１１６は撮像素子１１５の駆動やサンプリングに必要なタイミングパルスを発生する。

画像処理部１１７は、撮像素子１１５から出力される画像信号に対する各種の処理をはじめ、圧縮符号化や復号の処理、ＡＦ評価値の算出、ＨＤＲ画像の生成など、様々な画像処理を実行する。図１において画像処理部１１７は、以下の回路を有している。撮像素子１１５の駆動に用いる同期信号を発生するＳＳＧ回路、撮像素子１１５の出力画像信号に前処理を適用する前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、縮小回路、ラスタブロック変換回路及び、圧縮回路。なお、これら各種の回路は、専用のハードウェアによって実現されても、ソフトウェア的に実現されてもよい。

ＳＳＧ回路は、タイミング発生部１１６から撮像素子１１５の駆動クロックを受信して、水平及び、垂直同期信号を発生し、タイミング発生部１１６および撮像素子１１５に出力する。前処理回路は、画像信号を行単位で輝度積分回路と信号処理回路とに分配する。前処理回路はさらに、チャネル間のデータ補正等も行う。

ＡＦ評価値演算回路では、設定された複数の焦点検出領域（ＡＦ領域）内の画像信号の輝度成分に対して水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。

信号処理回路では、撮像素子１１５の出力する画像信号に色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号（Ｙ）を生成するとともに、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号（ＵＶ）を生成する。信号処理回路は、生成したＹＵＶ形式の画像データをメモリ部１２３に書き込む。また、信号処理回路では、生成したＹＵＶ形式の画像データの輝度信号（Ｙ）をレベル毎に集計し、画像データ毎の輝度分布データを生成する。

画像合成回路では、メモリ部１２３に保存されたＲＧＢ形式の撮像画像、あるいはその撮像画像に対して信号処理をＹＵＶ形式の画像データを複数取得し、画素単位で設定された係数を乗じて加算することにより合成画像を生成する。

縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３がバッファメモリとして用いられて実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。

露出制御部１１８はシステム制御部１２１の制御に従ってメカニカルシャッタ１１３および絞り１１４の動作を制御する。レンズ制御部１１９はシステム制御部１２１の制御に従ってズームレンズ１１０の倍率やフォーカスレンズ１１２の位置を制御し、ズームレンズ１１０の視野に含まれる被写体の像を撮像素子１１５上に結像させる。加速度センサ１８１は、撮像装置１００の動きを検出し、システム制御部１２１に出力する。システム制御部１２１は、加速度センサ１８１の出力に基づき、撮像装置１００の動きを相殺する方向へシフトレンズ１１１をレンズ制御部１１９を通じて駆動し、像ブレを光学的に補正する。

レリーズスイッチ１２０は、撮像装置１００が有する入力デバイス群に含まれ、記録開始指示をシステム制御部１２１に入力する。システム制御部１２１は例えばＣＰＵとそのインターフェイス回路、ＤＭＡＣ（Direct Memory Access Controller）、バスアービター等で構成され、撮像装置１００の動作全体を制御する。システム制御部１２１の有する ＣＰＵが実行するプログラムは、不揮発性記憶装置の一例としてのフラッシュメモリ１２２に記憶されている。また、メモリ部１２３はＤＲＡＭ等からなり、システム制御部１２１のＣＰＵが実行するプログラムを展開したり、ＣＰＵが処理途中のデータを一時保存したりするために用いられる。

インタフェース部１２４は記録媒体２００とのインタフェース、コネクタ１２５は記録媒体２００のコネクタ２０３と物理的および電気的に接続する。記録媒体着脱検知スイッチ１２６は記録媒体２００のコネクタ１２５への着脱を検出する。

記録媒体２００は例えば半導体メモリカードであり、半導体メモリである記録部２０１、撮像装置１００とのインタフェース２０２、コネクタ１２５に対応したコネクタ２０３、媒体記録禁止スイッチ２０４から構成される。

マイクロフォン１２７は入力された音声を音声信号に変換する。Ａ／Ｄ変換器１２８はマイクロフォン１２７が出力する音声信号をデジタル音声信号に変換する。音声処理部１２９は、デジタル音声信号に所定の音声処理を施して音声ビットストリームを出力する。

電源制御部１３０は、電池検出回路やＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源コネクタ１３１は一次電池あるいは二次電池あるいはＡＣアダプター等からなる電源１３２と電気的に接続する。動画ボタン１８０は、ユーザが撮像装置１００に動画記録の開始および一時停止を指示するためのボタンである。

再生回路１５０は画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換して表示装置であるモニタ１５１に転送する。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、再生回路１５０はＤ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、再生回路１５０はＹ信号とＲＧＢ信号を生成し、モニタ１５１に出力する。撮像素子１１５で連続的に撮影した動画データを逐次処理してモニタ１５１で表示することにより、モニタ１５１を電子ビューファインダー（ＥＶＦ）として機能させることができる。

本実施形態の撮像装置１００では、撮像素子１１５が、一般的な原色ベイヤー配列のカラーフィルターを搭載したＣＭＯＳイメージセンサーであることを想定している。ベイヤー配列とは、縦横２ｘ２の４画素を１単位として、Ｒ（レッド）１画素・Ｇ（グリーン）２画素・Ｂ（ブルー）１画素を規則的に並べたものである。

撮像素子１１５は、面内ＨＤＲモード時には、所定の単位領域（ここでは２ライン（行））ごとに電荷蓄積時間を例えば適正露出より長時間および短時間となるように交互に切り替えながら電荷を蓄積し、読み出しおよび転送を行うことが可能な構成を有する。

本実施形態では記録フレームレートを６０ＦＰＳとし、ＨＤＲ動画記録時は、適正露光量に対して１段オーバー及び１段アンダーの露光量で得られる２画像を合成するものとする。また、自動ＨＤＲ動画撮像モードでは１２０ＦＰＳ以上の高速読み出しが可能なモードを使用するものとする。ただし撮影フレームレートは１２０ＦＰＳまたは６０ＦＰＳの可変設定とする。そして、面間ＨＤＲを用いる場合には撮影フレームレートを１２０ＦＰＳとし、撮像素子１１５に共通した電荷蓄積時間を設定する露光制御（第１の露光制御）を用いて１段オーバーおよび１段アンダーの露出条件で連続撮影した２フレームの画像を取得する。そして、これら２フレームの画像を合成してＨＤＲ動画の１フレームを生成する。なお、連続撮影する複数フレームの数は、合成枚数に応じて変化する。

一方、面内ＨＤＲを用いる場合は撮影フレームレートを６０ＦＰＳに切り替え、撮像素子１１５の単位領域に応じて電荷蓄積時間を設定する露光制御（第２の露光制御）を用い、１フレームの撮影によって１段オーバーおよび１段アンダーの露光量の画像を取得する。この場合、１段オーバーの電荷蓄積時間が設定された複数の単位領域から１段オーバーの露光量の画像を、１段アンダーの電荷蓄積時間が設定された複数の単位領域から１段アンダーの露光量の画像を取得する。このように、１フレームの撮影で得られた２枚の画像を合成してＨＤＲ動画の１フレームを生成する。

前述のように、加速度センサ１８１から得られる撮像装置１００の動きを検知し、それを打ち消すようレンズ制御部１１９によりシフトレンズ１１１を制御すれば像ブレ補正を行うことは可能である。しかし面間ＨＤＲ動画の場合、連続撮影しているとはいえ互いに異なる時間に撮影された画像であるため、単一画像よりも像ブレの影響を大きく受ける。連続撮影した画像間で、シフトレンズ１１１の駆動では吸収できない量の像ブレが発生した場合には画像間で画角ズレが発生するため、合成で得られるＨＤＲ画像にも輪郭ボケが発生し、画質が低下する。そのため、本実施形態では加速度センサ１８１の出力に応じて面内ＨＤＲと面間ＨＤＲを動的に切り替えながらＨＤＲ動画フレームを生成することを特徴とする。

図２は本実施形態の撮像装置における、ＨＤＲ動画撮影時のＨＤＲ方式切り替え動作に係る動作を説明するフローチャートである。図２を含め、以下で説明するフローチャートの各ステップにおける処理は、システム制御部１２１がフラッシュメモリ１２２に格納されたプログラムをメモリ部１２３に展開して実行することにより実現される。

ここでは、撮像装置がＨＤＲ動画撮影モードに設定され、撮影スタンバイの状態にあるものとする。まず、システム制御部１２１は、動画ボタン１８０の状態を監視し（Ｓ２０１）、押下が検出された場合は処理をＳ２０２に進める。
Ｓ２０２でシステム制御部１２１は、画像処理部１１７のＳＳＧ回路内の撮像同期信号の設定を行う。さらにシステム制御部１２１は、撮像素子１１５及びタイミング発生部１１６に対し、初期化及び動画用のタイミング設定を含む撮像駆動設定を行う。

次に、システム制御部１２１は、加速度センサ１８１の出力を基に、撮像装置１００の単位時間当たりの動き量Ｍを検出する（Ｓ２０３）。システム制御部１２１は、検出した動き量Ｍが予め定めた閾値Ｍｔ以上か否かを判定し（Ｓ２０４）、動き量Ｍが閾値Ｍｔ未満であれば面間ＨＤＲ動画処理を行い（Ｓ２０５）、ＨＤＲ動画フレームを面内ＨＤＲにより生成してＳ２０７に処理を進める。一方、Ｓ２０３で検出した動き量Ｍが閾値Ｍｔ以上であった場合、システム制御部１２１は面内ＨＤＲ動画処理を行い（Ｓ２０６）、ＨＤＲ動画フレームを面内ＨＤＲにより生成してＳ２０７に処理を進める。
Ｓ２０５における面間ＨＤＲ動画処理およびＳ２０６における面内ＨＤＲ動画処理の詳細については後述する。

Ｓ２０７において、システム制御部１２１は、動画ボタン１８０が再押下されたか（動画記録停止指示が入力されたか）否かを調べ、再押下されていなければＳ２０３へ戻りＨＤＲ動画記録を継続する。動画ボタン１８０の再押下が検出されれば、システム制御部１２１は動画記録を停止し（Ｓ２０８）、ＨＤＲ動画処理を終了する。

なお、図２の例では簡単化のため、検出された動き量Ｍを閾値Ｍｔと比較した結果に基づいて直ちにＨＤＲ動画フレームの生成方法が切り替わる構成について説明したが、頻繁に切り替わりが発生することが好ましくない場合も考えられる。この場合、面間ＨＤＲを用いてＨＤＲ動画フレームを生成している際に、動き量Ｍが閾値Ｍｔ以上である状態がある一定期間続くまでは面内ＨＤＲの使用に切り替えないようにするなど、切り替わりに時定数を設定することができる。また、面間ＨＤＲから面内ＨＤＲへの切り替わりと、面内ＨＤＲから面間ＨＤＲへの切り替わりとで時定数を異ならせてもよい。

図３はＳ２０５の面間ＨＤＲ動画処理の詳細を示すフローチャートである。
Ｓ３０１でシステム制御部１２１は、撮影フレームレートを１２０ＦＰＳ、記録フレームレートを６０ＦＰＳに設定する。具体的には、システム制御部１２１は、画像処理部１１７内のＳＳＧ回路への撮像同期信号設定と、撮像素子１１５及びタイミング発生部１１６へのタイミング設定によりフレームレートの設定を行う。

Ｓ３０２でシステム制御部１２１は、適正露光量より１段オーバーとなる電荷蓄積時間Exp_long及び１段アンダーとなる電荷蓄積時間Exp_shortを算出する。適正露出条件は直前に撮影された画像の平均輝度と予め用意したプログラム線図とから決定することが可能であり、この適正露出条件から絞り値、シャッタースピード、感度のいずれかを１段変化させた条件を用いることができる。ここでは、被写界深度を変化させないよう、シャッタースピード（電荷蓄積時間）を適正露出条件から変化させている。

Ｓ３０３でシステム制御部１２１は、撮像素子１１５に対して共通の電荷蓄積時間Exp_longを設定し、オーバー画像の撮影ならびに読み出し動作を行う（Ｓ３０４）。次にシステム制御部１２１は、撮像素子１１５に対して共通の電荷蓄積時間Exp_shortを設定し（Ｓ３０５）、アンダー画像の撮影ならびに読み出しを行う（Ｓ３０６）。Ｓ３０４およびＳ３０６で読み出された画像データはそれぞれ一旦メモリ部１２３に格納される。このように、面間ＨＤＲでは、１フレームの撮影ごとに撮像素子１１５に共通する電荷蓄積時間を異ならせて設定し、複数フレームを撮影することで、合成元となる複数の画像を取得する。

Ｓ３０７でシステム制御部１２１は、メモリ部１２３に格納されたオーバー画像とアンダー画像とを読み出し、画像処理部１１７の画像合成回路を用いてＨＤＲ動画フレームを生成する。ＨＤＲ画像フレームを生成するための合成処理は公知の任意の方法を用いることが可能であるが、例えばオーバー画像及びアンダー画像を複数のブロックに分割し、ブロック内の画素の輝度レベルに応じてブロックごとに合成比率を決定することができる。さらに、システム制御部１２１は生成したＨＤＲ動画フレームを画像処理部１１７に入力し、内部の信号処理回路、ラスタ−ブロック変換回路、圧縮回路で処理した後、記録用画像としてメモリ部１２３に格納する。

Ｓ３０８でシステム制御部１２１は、記録用画像をメモリ部１２３から読み出し、記録媒体２００に書き込む。
なお、ここでは１回の面間ＨＤＲ動画処理において１枚のＨＤＲ動画フレームの生成ならびに記録を行うものとしたが、より多くのＨＤＲ動画フレームの生成、記録を行うようにしてもよい。

図４はＳ２０６の面内ＨＤＲ動画処理の詳細を示すフローチャートである。
Ｓ４０１でシステム制御部１２１は、撮影フレームレートおよび記録フレームレートを６０ＦＰＳに設定する。具体的には、システム制御部１２１は、画像処理部１１７内のＳＳＧ回路への撮像同期信号設定と、撮像素子１１５及びタイミング発生部１１６へのタイミング設定によりフレームレートの設定を行う。

また、システム制御部１２１は、撮像素子１１５を所定の単位領域ごとに、電荷蓄積時間を設定可能とするためのモード設定も行う（Ｓ４０２）。ここでは、単位領域が２ラインであるとする。

Ｓ４０３でシステム制御部１２１は、Ｓ３０２と同様にして、適正の露出量より１段オーバーとなる電荷蓄積時間Exp_long及び１段アンダーとなる電荷蓄積時間Exp_shortを算出する。
Ｓ４０４でシステム制御部１２１は、撮像素子１１５に対し、単位領域（ここでは２ライン）ごとに電荷蓄積時間Exp_longおよびExp_shortを設定し、１フレーム分の撮影および読み出し動作を行う（Ｓ４０５）。これにより、オーバー画像およびアンダー画像が撮影される。Ｓ４０５で読み出された画像データはオーバー画像を構成するラインの画素データとアンダー画像を構成するラインの画素ごとにそれぞれ一旦メモリ部１２３に格納される。

Ｓ４０６でシステム制御部１２１は、メモリ部１２３に格納されたオーバー画像とアンダー画像とを読み出し、画像処理部１１７の画像合成回路を用いてＨＤＲ動画フレームを生成する。さらに、システム制御部１２１は生成したＨＤＲ動画フレームを画像処理部１１７に入力し、内部の信号処理回路、ラスタ−ブロック変換回路、圧縮回路で処理した後、記録用画像としてメモリ部１２３に格納する。

Ｓ４０７でシステム制御部１２１は、記録用画像をメモリ部１２３から読み出し、記録媒体２００に書き込む。
なお、ここでは１回の面内ＨＤＲ動画処理において１枚のＨＤＲ動画フレームの生成ならびに記録を行うものとしたが、より多くのＨＤＲ動画フレームの生成、記録を行うようにしてもよい。

図５は面内ＨＤＲ動画処理時に撮像素子１１５から読み出されるオーバー画像およびアンダー画像の露光および読み出し制御の例を示すタイミングチャートである。ここでは、撮像素子１１５の８ライン分の制御について示している。本実施形態では２ラインごとにオーバー露光（電荷蓄積時間Exp_long）とアンダー露光（電荷蓄積時間Exp_short）を交互に繰り返しながら１フレーム分の露光と読み出しを実行する。図５ではライン１，２，５，６，・・・，４ｎ＋１，４ｎ＋２がオーバー露光されるライン、ライン３，４，７，８，・・・４ｎ＋３，４（ｎ＋１）がアンダー露光されるラインである（ｎ＝０，１，２，．．．）。

オーバー露光されるラインから得られる画素情報をまとめるとオーバー画像が、アンダー露光されるラインから得られる画素情報をまとめるとアンダー画像が得られる。ただし、垂直解像度は通常撮影時（面間ＨＤＲにおける１フレームの撮影時）に得られる画像の１／２となる。このように、面間ＨＤＲでは記録フレームレートが撮影フレームレート／（合成枚数）となるが、合成に用いる画像の垂直解像度が高く、面内ＨＤＲでは記録フレームレートを撮影フレームレートと同一に保つことができるが、合成に用いる画像の垂直解像度が低い。

面内ＨＤＲは撮像装置や被写体の動きの影響を受けづらいが、合成に用いる画像の垂直解像度が低い。一方、面間ＨＤＲは撮像装置や被写体の動きの影響を受けやすいが、合成に用いる画像間で動きのない（もしくは無視できる程度の動きのある）場合に部分については画質のよいＨＤＲ画像を生成できる。このような特性を踏まえ、ＨＤＲ動画記録中、撮像装置１００の動きが、面間ＨＤＲの実施に適していないと判断される場合には面内ＨＤＲ動画に切り替える。

図２のフローチャートでは、撮像装置の動き量Ｍが閾値Ｍｔ以上の場合に、面内ＨＤＲを使用するようにしている。ここで、閾値Ｍｔは、撮像装置１００が手振れ補正機能を有する場合には、手振れ補正が可能な動き量かどうかの閾値として定めてもよい。なお、手振れ補正可能な動き量は一定量とは限らないため、予めマージンを取った固定値としてもよいし、判定時点における補正可能量に応じて動的に定めてもよい。なお、手振れ補正機能を考慮した閾値を定める場合には、動き量だけでなく動きの方向も考慮して例えば方向別に閾値を定めてもよい。閾値は手振れ補正機能の有無やその性能、レンズの画角など撮像装置や撮影条件に応じて変化しうるため、予め実験などによって決定しておく。判定時の条件に応じて閾値を変化させる場合も、条件に応じた閾値を予め決定しておくか、条件から閾値を算出するためのテーブルや算出式を用意しておく。

なお、撮像装置１００の動きは、例えばジャイロセンサ等、加速度センサ１８１以外の構成により検出してもよい。ジャイロセンサを用いた場合には上下左右の角度ブレに加え、回転方向のブレに関しても検出することができる。

また、異なる時間に撮影された（例えば連続的に撮影された）画像から撮像装置および被写体の少なくとも一方の動き量を検出し、この動き量に応じて面間ＨＤＲと面内ＨＤＲとの切り替えを行ってもよい。動き量は、異なる時間に撮影された画像間の差分を画像処理部１１７の信号処理回路を算出したり、動画の動き補償符号化に用いられるようなマッチング手法などを用いて検出することができる。検出された動き量が面間ＨＤＲによる合成画像に影響を与えると判断される閾値以上であれば面間ＨＤＲを、閾値未満であれば面間ＨＤＲを用いるように切り替えを行うことができる。なお、この方法では視野内の一部の移動（例えば動体）の検出も可能であるため、撮像装置１００の動き量の検出と併用してもよい。撮像装置１００が例えば静止していても、高速で移動する動体が検出された場合には面内ＨＤＲを用いるようにすることで、合成後のＨＤＲ画像の移動体領域部分の違和感を低減することができる。

画像から撮像装置や被写体の動き量を検出する方法は、加速度センサやジャイロセンサを必要としないため、このようなセンサを有さない撮像装置でも実施可能なうえ、コストを抑制することも可能である。

このように、本実施形態によれば、ＨＤＲ動画記録時に、撮像装置および被写体の少なくとも一方の動き量を検出し、動き量が閾値以上の場合には面内ＨＤＲを用い、閾値未満の場合には面間ＨＤＲを用いるように切り替える。そのため、撮像装置や被写体の動きが大きい場合には動きの影響が抑制されたＨＤＲ動画が記録でき、また、動きが小さい場合には解像度のＨＤＲ動画が記録できるため、ユーザが意識することなく、全体として質の高いＨＤＲ動画を記録することが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、ＨＤＲ画像を生成する際の合成比率に応じて面内ＨＤＲと面間ＨＤＲとを切り替える（選択する）ことを特徴とする。

面内ＨＤＲでは、１回の撮影（撮像素子の各画素が１回読み出される動作）により、露出条件の異なる複数枚の画像を取得するため、取得する画像の枚数（１枚のＨＤＲ画像を生成するために用いる画像の枚数）が多いほど、各画像の解像度が低下する。そして、合成後のＨＤＲ画像の解像度は、合成元の画像をどのような比率で合成したかによって変化する。ＨＤＲ画像の各画素を生成する際に用いる合成元画像の合成比率は、画素の輝度レベルと、ＨＤＲ撮影時の露光条件に応じて変化する。本実施形態のように、適正露出条件に対して±１段の露出条件で撮影したオーバー画像およびアンダー画像を合成元画像として用いる場合、適正露出に相当する輝度レベルの画素を生成する際の合成比率はオーバー画像、アンダー画像とも等しく、５０％程度となる。

図６（ａ）〜（ｃ）は、それぞれ白・黒・グレーに塗られた三角形の積み木のＨＤＲ画像を面内ＨＤＲ方式で生成した例を、図６（ｄ）〜（ｆ）は（ａ）〜（ｃ）の一部６０１〜６０３を拡大した状態（形状のみに着目したもの）を、それぞれ模式的に示している。

ここで、各ＨＤＲ画像を生成した際のオーバー画像とアンダー画像の合成比率は以下の様になっているものとする。
積み木の色 ： 合成比率
（ａ） 白 ： アンダー９０％、オーバー１０％
（ｂ） 黒 ： アンダー１０％、オーバー９０％
（ｃ） グレー ： アンダー５０％、オーバー５０％

図６（ｄ）〜（ｆ）から、アンダー画像とオーバー画像の合成比率に偏りのある白の積み木（ａ）と黒の積み木（ｂ）では解像感が低下するのに対し、合成比率が等しいグレーの積み木（ｃ）では解像感は良好に保たれたままであることがわかる。このように、面内ＨＤＲを用いて生成したＨＤＲ画像は、合成比率の偏りによって解像感が低下する。

従って、本実施形態では、面内ＨＤＲで生成したＨＤＲ画像の解像感が低下すると判断される程度に合成比率が偏っている場合には、面間ＨＤＲを用いるように切り替える。
図７は本実施形態の撮像装置における、ＨＤＲ動画撮影時のＨＤＲ方式切り替え動作に係る動作を説明するフローチャートである。図７において、図２と同様の処理については同じ参照数字を付して説明は省略する。Ｓ２０７において動画ボタンが再押下されていない場合、システム制御部１２１は、処理をＳ７０１に進め、Ｓ２０５またはＳ２０６で生成されたＨＤＲ画像における所定領域を検出する。所定領域は例えば主被写体領域であってよく、具体的には顔領域であってよい。システム制御部１２１はＨＤＲ画像を画像処理部１１７に入力し、公知の顔検出処理を実行することにより顔領域の有無、顔領域の大きさ、位置、信頼度などの情報を取得する。主被写体領域が検出されなかった場合、システム制御部１２１は処理をＳ２０３へ戻す。

主被写体領域が検出できた場合、システム制御部１２１は主被写体領域におけるオーバー画像とアンダー画像の合成比率の比Ｓが、所定の２つの閾値（Ｓ１、Ｓ２）の範囲内か（Ｓ１≦Ｓ≦Ｓ２か）を調べる（Ｓ７０９）。なお、合成比率または合成比率の比は、Ｓ２０５およびＳ２０６における画像合成処理時（Ｓ３０７、Ｓ４０６）にメモリ部１２３に記憶しておくことができる。なお、合成比率の比は、（オーバー画像の合成比率）／（アンダー画像の合成比率）もしくは（アンダー画像の合成比率）／（オーバー画像の合成比率）として求めることができる。

なお、ここでの判定は合成元画像の合成比率（使用割合）に偏りがあるかどうかの判定であるため、他の方法を用いてもよい。例えば、合成比率の合計が１００％である場合には、最大合成比率と最小合成比率の差によって判定してもよいし、合成元画像が２枚であれば、一方の合成比率が非常に大きいか非常に小さい場合に合成比率に偏りがあると判定してもよい。ここで、ある領域に関する合成比率は、その領域内に含まれる個々の画素についての合成比率の平均値などの統計値として算出することができる。また、主被写体領域が見つからない場合には、所定領域として、画像の中央部分の固定領域など、画質低下が目立ちやすい領域について同様の判定を行ってもよい。また、ＨＤＲ画像中の合成比率の偏りがある画素の割合など、特定の領域における合成比率に限定せずに判定を行ってもよい。ただし、処理負荷が増大するため、効果とのバランスを考えて実施する。

合成比率の比が２つの閾値の範囲内であれば、システム制御部１２１は処理をＳ２０３へ戻す。一方、合成比率の比が２つの閾値の範囲外（Ｓ＜Ｓ１またはＳ＞Ｓ２）の場合、システム制御部１２１は、処理をＳ２０５へ進め、面間ＨＤＲ動画処理を実行させる。これは、合成元画像の合成比率に偏りがあり、面内ＨＤＲを用いた場合に解像感の低下が生じると考えられるためである。Ｓ２０７において動画ボタンが再押下されていた場合、システム制御部１２１は動画記録を停止し（Ｓ２０８）、処理を終了する。

このように、本実施形態では、オーバー画像およびアンダー画像の合成比率に偏りがあると判定される場合には面間ＨＤＲを用いてＨＤＲ動画フレームを生成するようにすることで、解像感の低下を抑制した高品質のＨＤＲ動画を記録することを可能にする。

（他の実施形態）
第２の実施形態では、主被写体領域の合成比率によるＨＤＲ方式の選択を、第１の実施形態で説明した動きによるＨＤＲ方式の選択と組み合わせた場合についてのみ説明したが、主被写体領域の合成比率によるＨＤＲ方式の選択を単独で実施してもよい。
また、主被写体領域の検出と合成比率の比の判定（Ｓ７０１，Ｓ７０２）の処理を、面内ＨＤＲが選択されている場合にのみ実施するようにしてもよい。

上述の実施形態では説明および理解を容易にするため、記録されるＨＤＲ動画の解像度について言及しなかった。しかし、面内ＨＤＲおよび面間ＨＤＲのいずれによってＨＤＲ動画フレームが生成される場合でも、記録されるＨＤＲ動画フレームの解像度（画素数）が等しいことは言うまでもない。従って、必要に応じて、面間ＨＤＲで生成された動画フレームの画素数を低下させたり、面内ＨＤＲで生成された動画フレームの画素数を増加させたりする。

また、上述の実施形態では、動きによるＨＤＲ方式の選択、主被写体領域の合成比率によるＨＤＲ方式の選択について言及した。上述したＨＤＲ方式の選択は、各々のＨＤＲ方式にメリット、デメリットがあるから必要になるものであるが、面内ＨＤＲの解像度の低下については、高画素数の撮像素子では問題にならない場合が考えられる。例えば撮像素子１１５が有効画素数９８０万画素（３８４０×２５６０）を超えるような撮像素子であれば、ＨＤ動画の解像度（１９２０×１０８０）２画面分のデータを１フレームの撮影で得ることが可能である。そこで、ＨＤＲ方式の選択の際に、記録または表示画素数（解像度）の設定情報を参照して、面内ＨＤＲであっても解像度の低下が問題にならない設定である場合は、面内ＨＤＲ方式を選択するように制御してもよい。この記録または表示画素数（解像度）の設定情報の確認とそれによるＨＤＲ方式の判定のステップは、図２の例えばＳ２０４の動き量の判定時に合わせて設定情報の取得と設定情報に基づく判定がなされても良い。また、Ｓ２０２の撮像駆動設定において本設定情報に基づいて判定がなされても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮像装置であって、
   予め定められた単位領域ごとに電荷蓄積時間を設定可能な撮像素子と、
   異なる露出条件での撮影で得られる複数の画像を合成して１枚の合成画像を生成する合成手段と、
   前記撮像装置および被写体の少なくとも一方の動きを検出する検出手段と、
   前記検出手段により検出された前記動きの量に応じて、前記撮像素子の動作を制御する制御手段とを有し、
   前記制御手段は、
   （ａ）前記動きの量が予め定められた閾値未満のときに、
   前記撮像素子に共通した電荷蓄積時間を設定する第１の露光制御を用いた複数フレームの撮影により、前記複数の画像を得るように前記撮像素子の動作を制御し、
   （ｂ）前記動きの量が予め定められた閾値以上のときに、
   前記単位領域に応じて複数の異なる電荷蓄積時間を設定する第２の露光制御を用いた１フレームの撮影により、前記複数の画像が得られるように前記撮像素子の動作を制御する、
   ことを特徴とする撮像装置。
2. さらに、前記撮像装置の動きによる像ブレを補正する像ブレ補正手段を有し、
   前記閾値が、前記像ブレ補正手段が補正可能な前記装置の動きの量に基づいて定められることを特徴とする請求項１記載の撮像装置。
3. 撮像装置であって、
   予め定められた単位領域ごとに電荷蓄積時間を設定可能な撮像素子と、
   異なる露出条件での撮影で得られる複数の画像を合成して１枚の合成画像を生成する合成手段と、
   前記合成画像の所定領域に関する前記複数の画像の合成比率を取得する取得手段と、
   前記取得手段により取得された前記合成比率に応じて、前記撮像素子の動作を制御する制御手段とを有し、
   前記制御手段は、
   （ａ）前記合成比率に偏りがあると判定されるときに、
   前記撮像素子に共通した電荷蓄積時間を設定する第１の露光制御を用いた複数フレームの撮影により、前記複数の画像を得るように前記撮像素子の動作を制御し、
   （ｂ）前記合成比率に偏りがあると判定されないときに、
   前記単位領域に応じて複数の異なる電荷蓄積時間を設定する第２の露光制御を用いた１フレームの撮影により、前記複数の画像が得られるように前記撮像素子の動作を制御する、
   ことを特徴とする撮像装置。
4. 前記所定領域が、予め定められた主被写体の領域であることを特徴とする請求項３記載の撮像装置。
5. 前記所定領域が顔領域であることを特徴とする請求項４記載の撮像装置。
6. 前記制御手段は、前記第１の露光制御を行う場合、前記撮像素子の撮影フレームレートを、前記複数の画像の枚数に応じて増加させることを特徴とする、請求項１から請求項５の何れか１項に記載の撮像装置。
7. 予め定められた単位領域ごとに電荷蓄積時間を設定可能な撮像素子を有する撮像装置の制御方法であって、
   前記撮像装置は、前記撮像装置および被写体の少なくとも一方の動きを検出する検出手段をさらに有し、前記制御方法が、
   制御手段が、
   （ａ）前記動きの量が予め定められた閾値未満のときに、
   前記撮像素子に共通した電荷蓄積時間を設定する第１の露光制御を用いた複数フレームの撮影により、露光量の異なる複数の画像を得るように前記撮像素子の動作を制御し、
   （ｂ）前記動きの量が予め定められた閾値以上のときに、
   前記単位領域に応じて複数の異なる電荷蓄積時間を設定する第２の露光制御を用いた１フレームの撮影により前記露光量の異なる複数の画像が得られるように前記撮像素子の動作を制御する制御ステップと、
   合成手段が、前記露光量の異なる複数の画像を合成して１枚の合成画像を生成する合成ステップと、
   を有することを特徴とする撮像装置の制御方法。
8. 予め定められた単位領域ごとに電荷蓄積時間を設定可能な撮像素子と、
   異なる露出条件での撮影で得られる複数の画像を合成して１枚の合成画像を生成する合成手段と、を有する撮像装置の制御方法であって、
   取得手段が、前記合成画像の所定領域に関する前記複数の画像の合成比率を取得する取得ステップと、
   制御手段が、
   （ａ）前記合成比率に偏りがあると判定されるときに、
   前記撮像素子に共通した電荷蓄積時間を設定する第１の露光制御を用いた複数フレームの撮影により、露光量の異なる複数の画像を得るように前記撮像素子の動作を制御し、
   （ｂ）前記合成比率に偏りがあると判定されないときに、
   前記単位領域に応じて複数の異なる電荷蓄積時間を設定する第２の露光制御を用いた１フレームの撮影により前記露光量の異なる複数の画像が得られるように前記撮像素子の動作を制御する制御ステップと、
   を有することを特徴とする撮像装置の制御方法。
9. コンピュータに、請求項７または８に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
10. コンピュータに、請求項７または８に記載の撮像装置の制御方法の各ステップを実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。