JP2018056941A - 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。 - Google Patents

Abstract

【課題】被写体の動きの不自然が抑制された動画像が再生可能となるような動画像データを生成することができない。【解決手段】動画像を撮像する撮像装置であって、被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、所定のフレームレートの１フレーム間に、被写体が第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、被写体が第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子と、第１画像信号に基づく第１画像データ、第２画像信号に基づく第２画像データ、第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、合成画像データに基づいて動画像を生成する制御部とを備える。【選択図】図２

Description

本発明は、撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置に関する。

従来から、複数のカメラモジュールを備える電子機器において、それぞれのカメラモジュールにて生成された画像データを合成した合成画像データを生成するものが知られている（たとえば特許文献１）。好適に画像を生成することができない場合があった。

特開２０１６−９９５９８号公報

第１の態様によれば、動画像を撮像する撮像装置であって、被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子と、前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、前記合成画像データに基づいて前記動画像を生成する制御部とを備える。
第２の態様によれば、表示装置は、第１の態様の撮像装置であって、前記表示部を更に備える。
第３の態様によれば、電子機器は、第１または第２の態様の撮像装置を備える。
第４の態様によれば、動画像を撮像する撮像方法であって、被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行い、前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行い、前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、前記合成画像データに基づいて前記動画像を生成する。
第５の態様によれば、動画像を撮像する撮像装置のコンピュータに実行させるプログラムであって、被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行い、前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行い、前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、前記合成画像データに基づいて前記動画像を生成するコンピュータに実行させる。
第６の態様によれば、動画像を撮像する撮像装置であって、被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子と、外部の電子機器と通信を行う第１通信部と、前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとを前記外部機器に前記第１通信部を介して送信する第１制御部とを備える。
第７の態様によれば、撮像システムは、第６の態様の撮像装置と、前記第１画像データと前記第２画像データと前記第３画像データとを受信する第２通信部と、前記第１画像データと前記第２画像データと前記第３画像データとを合成し、合成画像データを生成する第２制御部とを備える画像処理装置とを備える。
第８の態様によれば、表示システムは、第７の態様の撮像システムであって、前記画像処理装置は、前記合成画像データに基づく合成画像を表示する表示部を更に備える。
第９の態様によれば、画像処理装置は、被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子とを有する撮像装置から、前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとを受信する通信部と、前記第１画像データと前記第２画像データと前記第３画像データとに基づいて合成画像データを生成し、動画像を生成する制御部とを備える。
第１０の態様によれば、表示装置は、第９の態様の画像処理装置であって、前記動画像を表示する表示部をさらに備える。

第１の実施の形態に係る撮像装置の外観の一例を示す図である。 第１の実施の形態に係る撮像装置の要部構成の一例を示すブロック図である。 第１撮像素子および第２撮像素子による露光時間とフレームレートとの関係を模式的に示すタイミングチャートである。 被写体の移動と、第１撮像素子および第２撮像素子による露光時間との関係を模式的に示すタイミングチャートである。 第１の実施の形態に係る撮像装置の動画像を撮像する際の動作を説明するフローチャートである。 第１の実施の形態の変形例１に係る撮像装置の要部構成の一例を示すブロック図である。 第１の実施の形態の変形例１において、第１撮像素子の露光時間と、第２撮像素子の露光開始の時刻と、フレームレートとの関係を模式的に示すタイミングチャートである。 第１の実施の形態の変形例１における撮像装置の動画像を撮像する際の動作を説明するフローチャートである。 第１の実施の形態の変形例２において、第１撮像素子の露光時間と、第２撮像素子の露光開始の時刻と、フレームレートとの関係を模式的に示すタイミングチャートである。 第１の実施の形態の変形例３において、第１撮像素子の露光時間と、第２撮像素子の露光開始の時刻と、フレームレートとの関係を模式的に示すタイミングチャートである。 第１の実施の形態の変形例４に係る撮像装置の要部構成の一例を示すブロック図である。 第１の実施の形態の変形例４の別の例に係る撮像装置の外観を模式的に示す図である。 第１の実施の形態の変形例４の別の例に係る撮像装置の要部構成を模式的に示す図である。 第２の実施の形態において、表示器に再生表示される画像と、ＨＤＲ画像データの露光時間と、ハイライト画像データの露光時間との関係を模式的に示すタイミングチャートである。 第２の実施の形態の撮像装置の動画像の再生表示の動作を説明するフローチャートである。 第２の実施の形態の変形例２において、第１撮像素子の露光時間と、第２撮像素子の露光開始の時刻と、フレームレートとの関係を模式的に示すタイミングチャートである。 第２の実施の形態の変形例２において、表示器に再生表示される画像と、ベース画像データの露光時間と、ハイライト画像データの露光時間との関係を模式的に示すタイミングチャートである。 第３の実施の形態において、第１撮像素子および第２撮像素子による露光時間と、フレームレートとの関係を模式的に示すタイミングチャートである。 第３の実施の形態の撮像装置の動画像を撮像する際の動作を説明するフローチャートである。 第３の実施の形態の変形例１に係る撮像装置１の構成を模式的に示す図である。

＜第１の実施の形態＞
図面を参照しながら、第１の実施の形態による撮像装置について説明する。
図１は撮像装置１の外観を例示する図であり、図１（ａ）は正面斜視図、図１（ｂ）は背面斜視図である。図２は、図１に示す撮像装置１の要部構成を説明するブロック図である。
図１に示すように、撮像装置１の本体２の正面には、第１撮像ユニット３と第２撮像ユニット４とが配置される。撮像装置１の本体２の背面には、表示器５が配置される。
なお、説明の都合上、撮像装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系で説明を行うが、それに限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、撮像装置１の本体２の矩形表面の長辺方向に設定され、Ｙ軸は、撮像装置１の本体２の矩形表面の短辺方向に設定され、Ｚ軸は、矩形表面に垂直な方向（すなわち、後述する第１撮像ユニット３および第２撮像ユニット４の光軸）に設定されている。

第１撮像ユニット３および第２撮像ユニット４は、たとえば図１に示すようにＸ方向に沿って配置される。なお、第１撮像ユニット３と第２撮像ユニット４とは、Ｙ方向に沿って配置されても良いし、Ｘ方向またはＹ方向に対して所定の角度を有して配置されても良い。
第１撮像ユニット３は、図２に示すように、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含む撮像レンズ３１と第１撮像素子３２とを備える。なお、図１では撮像レンズ３１を１枚のレンズで代表して表している。第１撮像素子３２は、撮像面上において行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。第１撮像素子３２は、後述する制御部６（図２参照）の制御に応じて駆動して、撮像レンズ３１を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。

第２撮像ユニット４は、第１撮像ユニット３と同様に、撮像レンズ４１と第２撮像素子４２とを備える。第２撮像素子４２は、撮像レンズ４１を通過した被写体像を撮像し、撮像して得た画像信号を出力する。第２撮像素子４２は、第１撮像素子３２と同様に、行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。第２撮像素子４２は、制御部６の制御に応じて駆動して、撮像レンズ４１を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。

第１撮像素子３２および第２撮像素子４２は、各画素ごとにメモリ（不図示）を備えることにより、グローバルシャッタ動作による撮像が可能である。すなわち、第１撮像素子３２および第２撮像素子４２は、それぞれ、撮像面の全領域で光電変換により生成した電荷を一括して同じタイミングにてメモリ（不図示）へ転送する、または、生成した電荷を電気信号に変換した後、一括して同じタイミングにてメモリ（不図示）へ転送する。グローバルシャッタ動作により、第１撮像素子３２の全画素について露光開始と終了の時刻を揃え、第２撮像素子４２の全画素について露光開始と終了の時刻を揃えて撮像を行うことができる。
なお、第１撮像素子３２および第２撮像素子４２は、グローバルシャッタを搭載するものに限定されない。たとえば、第１撮像素子３２および第２撮像素子４２は、撮像面の一部の領域（たとえば、所定の行）ごとに順次電荷蓄積および画像信号の出力を行う、いわゆるローリングシャッタ動作を行ってもよい。

第１撮像素子３２および第２撮像素子４２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。第１撮像素子３２および第２撮像素子４２がカラーフィルタを通して被写体像を撮像するため、第１撮像素子３２および第２撮像素子４２から出力される画像信号はＲＧＢ表色系の色情報を有する。
なお、第１撮像素子３２および第２撮像素子４２の撮像面の一部の領域または全領域に焦点検出用画素が配置されても良い。この場合、焦点検出用画素から出力される対の光像に応じた信号を加算した信号が画像信号として使用される。

表示器５は、たとえば液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器５は、後述する制御部６の制御に基づいて駆動され、制御部６で生成された画像データに対応する画像の表示を行う。表示器５には、撮像装置１の各種動作を設定するためのメニュー画面が表示される。

次に、図２を参照しながら、撮像装置１の制御系の構成について説明する。撮像装置１は、制御部６と、操作検出部７とを備える。制御部６は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、撮像装置１の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、制御部６内の後述する記憶部６５に記憶されている。

制御部６は、撮像条件設定部６１と、撮像素子制御部６２と、画像処理部６３と、表示制御部６４と、記憶部６５とを備える。撮像条件設定部６１は、第１撮像ユニット３と第２撮像ユニット４とのそれぞれに対して、撮像を行う際の撮像条件、たとえば露光時間（シャッター速度）、絞り、ＩＳＯ感度を設定する。撮像素子制御部６２は、撮像条件設定部により設定された撮像条件にて撮像が行われるように、第１撮像素子３２および第２撮像素子４２の動作を制御する。なお、本実施の形態においては、図２に示すように、撮像素子制御部６２は、第１撮像素子３２の動作を制御する第１撮像素子制御部６２１と、第２撮像素子４２の動作を制御する第２撮像素子制御部６２２とを機能として備えるものとして説明を行うが、この例に限定されない。すなわち、制御部６が撮像素子制御部６２を備えることなく、制御部６が第１撮像素子制御部６２１と第２撮像素子制御部６２２とを備える構成としても良い。

画像処理部６３は、第１撮像素子３２から出力された画像信号に各種の画像処理を施して、第１画像データを生成する。画像処理部６３は、第２撮像素子４２から出力された画像信号に各種の画像処理を施して、第２画像データ、第３画像データを生成する。画像処理部６３は、生成された第１画像データと第２画像データと第３画像データとを合成して、被写体の輝度の再現性を拡大させるハイダイナミックレンジ（ＨＤＲ）処理の施された合成画像データ（以後、ＨＤＲ画像データ）を生成する。表示制御部６４は、画像処理部６３で生成された各種の画像データ、すなわち第１画像データや第２画像データやＨＤＲ画像データの画像を表示器５に表示させる。記憶部６５は、たとえば不揮発性メモリであり、第１画像データ、第２画像データ、ＨＤＲ画像データを記憶する。
なお、上述した撮像条件設定部６１や撮像素子制御部６２や画像処理部６３や表示制御部６４の詳細については、説明を後に行う。

操作検出部７は、例えば表示器５に積層されて設けられるタッチパネル等により構成され、ユーザの指等が表示器５の画面に接触するタップ操作が行われると、その座標を制御部６に出力する。ユーザの操作が操作検出部７に検出されることにより、例えば撮像装置１に対する撮影指示や、各種の設定等の選択指示または決定指示や、画像を表示器５に再生、表示させるための再生モードの選択指示や、撮像装置１による撮影を静止画撮影モードと動画撮影モードとの間で切り替える指示を行うことができる。この場合、制御部６は、表示器５に、上記の各指示に応じたアイコン等を表示させる。ユーザは、所望する指示に従って、表示器５に表示されたアイコンに対してタップ操作を行うと、制御部６は、操作検出部７により検出された座標に基づいて、何れの指示が行われたかを判定し、指示の内容に応じて各部に指示信号を出力する。

なお、操作検出部７としてタッチパネル等により構成されるものに限定されず、ユーザインタフェースとして利用し得る種々の構成を用いることができる。たとえば、ユーザによる操作はボタン等を押下操作することにより行われ、操作検出部７はユーザのボタン操作を検出するものでも良い。または、操作検出部７は、ユーザの動作、たとえば手を振ったり、予め決められているジェスチャー等を検出しても良い。この場合、操作検出部７は撮像装置により構成することができる。また、操作検出部７は、ユーザの声を検出するマイク等の集音装置により構成されても良い。

上述した構成を有する撮像装置１が、動画の撮像処理を行う場合に行う動作について説明する。本実施の形態の撮像装置１は、第１撮像素子３２および第２撮像素子４２から出力された画像信号に基づいて、ＨＤＲ処理の施された動画像データを生成する。
撮像装置１は、第１撮像ユニット３の第１撮像素子３２が撮像を行って出力した第１画像信号に基づいて、黒潰れを抑制した明るい画像データを第１画像データとして生成する。撮像装置１は、第２撮像ユニット４の第２撮像素子４２が複数回の撮像を行って出力した第２画像信号、第３画像信号に基づいて、白飛びを抑制した暗い画像データを第２画像データ、第３画像データとして生成する。すなわち、第１撮像素子３２がオーバー露光で撮像を行うことにより、被写体の暗部、すなわち低輝度領域の再現性を高めた第１画像データが生成される。第２撮像素子４２がアンダー露光で撮像を行うことにより、被写体の明部、すなわち高輝度領域の再現性を高めた第２画像データ、第３画像データが生成される。撮像装置１は、低輝度領域の再現性を高めた画像データである第１画像データと、高輝度領域の再現性を高めた画像データである第２画像データおよび第３画像データとに基づいて、合成画像データを生成し、この合成画像データに基づいて、動画像を生成する。

以下の説明では、撮像装置１は、動画像のフレームレートの１フレームの間において、第１画像信号を生成するための露光時間と、第２画像信号および第３画像信号を生成するための露光時間とを異ならせて、第１撮像ユニット３と第２撮像ユニット４とに撮像を行わせる場合を例に挙げる。なお、撮像装置１は、第１撮像素子３２と第２撮像素子４２との間で、ＩＳＯ感度すなわちゲイン（増幅率）を異ならせても良い。この場合、撮像装置１は、第１画像データの平均輝度が、第２画像データおよび第３画像データの平均輝度よりも小さくなるように、第１撮像素子３２の第１ゲインと、第２撮像素子４２の第２ゲインおよび第３ゲインとを設定する。撮像装置１は、第１ゲインで増幅された第１画像信号から第１画像データを生成し、第２ゲインおよび第３ゲインでそれぞれ増幅された第２画像信号および第３画像信号を用いて第２画像データおよび第３画像データを生成する。
また、撮像装置１は、第２撮像ユニット４からの出力に基づいて第１画像データを生成し、第１撮像ユニット３からの出力に基づいて第２画像データおよび第３画像データを生成してもよい。

以下、撮像条件設定部６１による第１画像信号の撮像時における第１撮像素子３２の露光時間である第１露光時間の設定と、第２画像信号および第３画像信号の撮像時における第２撮像素子４２の露光時間である第２露光時間および第３露光時間の設定とについて説明する。本実施の形態では、第２露光時間と第３露光時間とは、第１露光時間よりも短く設定する。以下、詳細に説明する。
なお、以下の説明においては、動画像のフレームレートを６０ｆｐｓであるものとする。また、以下の説明においては、黒潰れの発生を抑え被写体の低輝度領域の再現性を高めた画像データ、すなわち第１画像データをベース画像データ、白飛びの発生を抑え被写体の高輝度領域の再現性を高めた画像、すなわち第２画像データおよび第３画像データをハイライト画像データと呼ぶ。

撮像条件設定部６１は、ベース画像データを撮像するための第１撮像素子３２の露光時間については、動画像のフレームレートに基づいて、動画再生時の被写体の動きが不自然に不連続になることを抑制できる程度の露光時間に設定する。この場合、撮像条件設定部６１は、フレームレートの１／４〜１／１の時間を第１撮像素子３２の露光時間として設定するのが良い。なお、撮像条件設定部６１によって、フレームレートの１／２よりも長い時間が露光時間として設定された場合には、第１撮像素子３２により露光されたベース画像データにおいては、撮像装置１に対して相対的に移動している被写体のブレが大きくなる。このように、各フレームにおける露光時間が長く設定されて生成された動画像は、スピード感や躍動感のある動画像として再生することができる。

本実施の形態においては、撮像条件設定部６１は、たとえばフレームレートの６０ｆｐｓの１フレームの時間１／６０ｓに対して１／２の時間である１／１２０ｓを第１撮像素子３２の露光時間に設定する場合を例に挙げて説明する。なお、露光時間が１／１２０ｓでは露光量が不足する場合、すなわち黒潰れが発生する可能性がある場合には、撮像条件設定部６１は、第１撮像素子３２のＩＳＯ感度を、たとえば１２８００等の値に変更しても良い。すなわち、第１撮像素子３２は、露光時間１／１２０ｓで露光を行い、画像信号を出力する際の増幅率（ゲイン値）を大きくすればよい。なお、以下の説明においては、撮像条件設定部６１は、第１撮像素子３２のＩＳＯ感度を８００に設定したものとする。

撮像条件設定部６１は、ハイライト画像データの露光時における第２撮像素子４２の撮像条件を、被写体の白飛びが抑制されるように露光時間とＩＳＯ感度とを設定する。この場合、撮像条件設定部６１は、第２撮像素子４２の露光時間を、第１撮像素子３２の露光時間（１／１２０ｓ）よりも短い時間に設定する。本実施の形態では、撮像条件設定部６１は、第２撮像素子４２の露光時間を、たとえば１／２０００ｓに設定したものとして説明を行う。また，撮像条件設定部６１は、第２撮像素子４２のＩＳＯ感度を、たとえば１００に設定したものとして説明を行う。なお、撮像が行われる環境等の条件によって撮像条件設定部６１は、第２撮像素子４２のＩＳＯ感度を、たとえば８００等の値に変更しても良い。

撮像素子制御部６２は、撮像条件設定部６１により上記のように設定された第１撮像素子３２と第２撮像素子４２とに対する撮像条件にて、第１撮像素子３２と第２撮像素子４２とに露光を行わせる。すなわち、第１撮像素子制御部６２１は、撮像条件設定部６１により設定された露光時間（１／１２０ｓ）にて露光が行われるように、第１撮像素子３２に電荷蓄積の開始と終了、すなわち露光開始と露光終了を指示する信号を出力する。第１撮像素子制御部６２１は、撮像条件設定部６１により設定されたＩＳＯ感度（８００）となるように、第１撮像素子３２の増幅回路（不図示）による増幅率を設定する。第２撮像素子制御部６２２は、撮像条件設定部６１により設定された露光時間（１／２０００ｓ）にて露光が行われるように、第２撮像素子４２に電荷蓄積の開始と終了、すなわち露光開始と露光終了を指示する信号を出力する。第２撮像素子制御部６２２は、撮像条件設定部６１により設定されたＩＳＯ感度（１００）となるように、第２撮像素子４２の増幅回路（不図示）による増幅率を設定する。

図３は、第１撮像素子３２および第２撮像素子４２による露光時間と、フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。なお、以下の説明においては、動画像の再生時のフレームレートである６０ｆｐｓを記録用フレームレートまたは再生用フレームレート、第１撮像素子３２および第２撮像素子４２が撮像を行う際のフレームレートを撮像用フレームレートと呼ぶ。

図３（ａ）は、第１撮像素子３２による露光時間と記録用フレームレートとの関係を示す。第１撮像素子制御部６２１は、時刻ｔ１−１にて第１撮像素子３２に露光開始を指示し、時刻ｔ１−１から露光時間の１／１２０ｓが経過した時刻ｔ１−２にて第１撮像素子３２に露光終了を指示する。この時刻ｔ１−１〜ｔ１−２の間で第１撮像素子３２により撮像して出力された画像信号に基づいて、画像処理部６３により第１フレーム目のベース画像データが生成される。時刻ｔ１−１から１／６０ｓ経過した時刻ｔ２−１にて、第１撮像素子制御部６２１は、第１撮像素子３２に、第２フレーム目のベース画像データの露光開始を指示し、以後、動画像の撮像の終了まで同様の処理を繰り返す。この場合、第１撮像素子３２は、ベース画像データを１／６０ｓごと、すなわち６０ｆｐｓのフレームレートにて撮像している。すなわち、第１撮像素子３２においては、撮像用フレームレートと記録用フレームレートとが等しい。
上記のようにして生成されたベース画像データは、記憶部６５に保存される。

図３（ｂ）は、第２撮像素子４２による露光時間と記録用フレームレートとの関係を示す。第２撮像素子制御部６２２は、記録用フレームレートの１フレームの間、すなわち第１撮像素子３２による撮像開始から次フレームの撮像開始までの間に、第２撮像素子４２に、第１露光時間よりも短い第２露光時間および第３露光時間での撮像を行い、第２画像信号および第３画像信号を出力させる。すなわち、第２撮像素子制御部６２２は、第１撮像素子３２の露光時間の間に、第２撮像素子４２に複数回の露光および画像信号の出力を行わせる。画像処理部６３は、画像信号が出力される毎に、出力された画像信号に基づいて、ハイライト画像データを生成する。第２撮像素子制御部６２２は、第１撮像素子３２が露光を行っていない間、すなわち時刻ｔ１−２〜時刻ｔ２−１までの間には、第２撮像素子４２に対しても撮像を行わせない。なお、第１撮像素子３２の露光時間（１／１２０ｓ）の間に第２撮像素子４２が最低でも２回の露光を行うように、第２撮像素子制御部６２２は第２撮像素子４２を制御する。本実施の形態においては、第２撮像素子制御部６２２は、第１撮像素子３２の露光時間の間に第２撮像素子４２が３回の露光を行って、画像処理部６３により３フレームのハイライト画像データが生成されるように、第２撮像素子４２を制御する場合を例に挙げる。すなわち、第１撮像素子３２の露光時間である１／１２０ｓの間に、第２撮像素子４２は、１／２４０ｓごとに露光時間１／２０００ｓにて３回の露光を行う。

第２撮像素子制御部６２２は、時刻ｔ１−１にて第２撮像素子４２に露光開始を指示し、時刻ｔ１−１から露光時間の１／２０００ｓが経過した時刻ｔ１−３にて第２撮像素子４２に露光終了を指示する。この時刻ｔ１−１〜ｔ１−３の間で第２撮像素子４２により撮像され、画像処理部６３により生成された画像が、第１フレーム目のハイライト画像データである。時刻ｔ１−１から１／２４０ｓが経過した時刻ｔ１−４では、第２撮像素子制御部６２２は、第２撮像素子４２に露光開始を指示し、時刻ｔ１−４から露光時間の１／２０００ｓが経過した時刻ｔ１−５にて第２撮像素子４２に露光終了を指示する。この時刻ｔ１−４〜ｔ１−５の間で第２撮像素子４２により撮像され、画像処理部６３により生成された画像が、第２フレーム目のハイライト画像データである。時刻ｔ１−４から１／２４０ｓが経過した時刻ｔ１−６では、第２撮像素子制御部６２２は、第２撮像素子４２に露光開始を指示し、時刻ｔ１−６から露光時間の１／２０００ｓが経過した時刻ｔ１−２にて第２撮像素子４２に露光終了を指示する。この時刻ｔ１−６〜ｔ１−２の間で第２撮像素子４２により撮像され、画像処理部６３により生成された画像が、第３フレーム目のハイライト画像データである。時刻ｔ１−１から１／６０ｓ経過、すなわち時刻ｔ１−６から１／３０ｓ経過した時刻ｔ２−１にて、第２撮像素子制御部６２２は、第２撮像素子４２に、第４フレーム目のハイライト画像データの露光開始を指示し、以後、動画の撮像の終了まで同様の処理を繰り返す。
上記のようにして生成されたハイライト画像データは、記憶部６５に保存される。
なお、第２撮像素子４２によって行われる第２露光時間での撮像から第４露光時間での撮像までの時間は、第１撮像素子３２のフレームレートのうち１つのフレームレートの時間より長くなっている。

上述したように、第２撮像素子４２は、記録用フレームレートの１フレームの間に、第１フレーム〜第３フレームまでのハイライト画像データを撮像する。すなわち、第２撮像素子４２の撮像用フレームレートは１８０ｆｐｓとなる。ただし、第２撮像素子４２は、時刻ｔ１−１〜ｔ１−２までの間は１／２４０ｓの短間隔にて撮像を行い、時刻ｔ１−２〜ｔ２−１までの間は撮像を行わないので、次の第４フレームのハイライト画像データは１／１２０ｓの長間隔にて撮像される。第２撮像素子４２の撮像用フレームレートでは、ハイライト画像データが一定の間隔で撮像されない。

図４を参照しながら、第２撮像素子４２が、ベース画像データの露光時間である時刻ｔ１−１〜ｔ１−２の間に短間隔で複数のハイライト画像データを撮像する理由について説明する。図４（ａ）は、被写体が撮像装置１に対して等速にて第１撮像ユニット３および第２撮像ユニット４の光軸と交わる方向に移動している場合における、被写体の移動量Ｌと時刻ｔとの関係を表す。図４（ｂ）、（ｃ）は、図３と同様の図であり、それぞれ、第１撮像素子３２による露光時間および時刻ｔとの関係と、第２撮像素子４２による露光時間および時刻ｔとの関係を模式的に表す。

まず、第２撮像素子４２が、ベース画像データの露光時間である時刻ｔ１−１〜ｔ１−２の間に１つのハイライト画像データのみを撮像した場合の不都合を説明する。
図４（ａ）に示すように、第１撮像素子３２の露光時間ｔ１−１〜ｔ１−２の間に、被写体は距離（Ｌ２−Ｌ１）だけ移動する。すなわち、第１撮像素子３２により撮像されたベース画像データにおいては、距離（Ｌ２−Ｌ１）だけ移動する被写体が比較的大きくブレた状態で記録される。これに対して、第２撮像素子４２の露光時間ｔ１−１〜ｔ１−３の間には、被写体の移動量は、上記の距離（Ｌ２−Ｌ１）に比べて小さな距離（Ｌ３−Ｌ１）であり、ハイライト画像データにおいては、距離（Ｌ３−Ｌ１）だけ移動する被写体が比較的小さくブレた状態で記録される。したがって、ハイライト画像データに基づく画像を動画像として再生した場合、被写体が滑らかに移動せず、不連続で不自然に移動するものとなる。

さらに、１フレーム目のハイライト画像データの露光終了の時刻ｔ１−３から次フレーム目のハイライト画像データの露光開始の時刻ｔ２−１までの間に、被写体が距離（Ｌ７−Ｌ３）だけ移動する。被写体が距離（Ｌ７−Ｌ３）だけ移動する間にハイライト画像データの撮像は行われないので、このような画像を動画像として再生した場合、被写体の位置がＬ３からＬ７へ急激に変化することになり、動画像上において、被写体の動きが不連続な不自然なものとなる。

上記のような被写体動きが不連続な不自然な動画像となることを抑制するために、本実施の形態では、時刻ｔ１−１〜ｔ１−２の間に短間隔で複数のハイライト画像データを撮像する。図４（ａ）に示すように、露光時間ｔ１−１〜ｔ１−３の間に距離（Ｌ３−Ｌ１）だけ移動する被写体が記録されたハイライト画像データに加えて、次の２つのハイライト画像データが生成される。すなわち、露光時間ｔ１−４〜ｔ１−５の間に距離（Ｌ５−Ｌ４）だけ移動する被写体が記録されたハイライト画像データと、露光時間ｔ１−６〜ｔ１−２の間に距離（Ｌ２−Ｌ６）だけ移動する被写体が記録されたハイライト画像データとが生成される。すなわち、第２撮像素子４２により撮像された第１〜第３フレームのハイライト画像データでは、撮像装置１に対して相対的に移動している被写体の軌跡上において、時刻ｔ１−１〜ｔ１−３、時刻ｔ１−４〜ｔ１−５、時刻ｔ１−６〜ｔ１−２における被写体が、それぞれ記録される。こうして、第１〜第３フレームのハイライト画像データにおいては、画像上において被写体が移動している。

画像処理部６３は、第１〜第３フレームの３つのハイライト画像データを加算し平均を算出することにより、１つの画像データ（以後、加算平均画像データと呼ぶ）を生成する。なお、画像処理部６３は、３つのハイライト画像データの加算平均により加算平均画像データを生成するものに代えて、第２撮像素子４２から出力された画像信号の加算平均を算出した後、各種の画像処理を行うことにより加算平均画像データを生成しても良い。

加算平均画像データでは、３つの異なる時刻における被写体、すなわち位置の異なる被写体が加算されることになる。このため、加算平均画像データでは、撮像装置１に対して相対的に移動する被写体の軌跡に沿った異なる３つの位置のそれぞれに、ブレの少ない被写体が存在することになる。また、加算平均画像データでは、３つのハイライト画像データが平均されているため、加算平均画像データは、それぞれのハイライト画像データにおける明るさ（輝度）と同一の明るさとなる。すなわち、加算平均画像データでは、ハイライト画像データと同様に、白飛びの発生を抑制した画像となる。これにより、加算平均画像データ上では、移動する被写体を時刻ｔ１−１〜ｔ１−２の間を露光時間として撮像したベース画像データ上に発生する被写体のボケと類似するボケが、白飛びが抑制された状態で擬似的に作り出される。

以後、画像処理部６３は、記録用フレームレートにおける第２フレーム以後についても、短間隔にて撮像された複数のハイライト画像データを用いて、同様にして、加算平均画像データを生成する。これにより、６０ｆｐｓのフレームレートにて、露光時間が時間ｔ１−１〜ｔ１−２に相当する加算平均画像データが生成される。
画像処理部６３は、生成した加算平均画像データと、ベース画像データとを合成して、ＨＤＲ画像データを生成する。この場合、たとえば、画像処理部６３は、画像上の高輝度領域については加算平均画像データの重み付けを大きくし、低輝度領域についてはベース画像データの重み付けを大きくして合成を行う。この合成により、ＨＤＲ画像データでは、低輝度や中輝度の被写体については、オーバー露光にて撮像されたベース画像データにより鮮明に記録される。ＨＤＲ画像データでは、白飛びの発生する可能性のある高輝度の被写体については、アンダー露光にて撮像されたハイライト画像データに基づく加算平均画像データにより鮮明に記録される。これにより、ＨＤＲ画像データは、全体として広いダイナミックレンジを有する画像となる。

画像処理部６３は、記録用フレームレートの第２フレーム以後についても、同様にして生成した加算平均画像データと、ベース画像データとを合成して、ＨＤＲ画像データを生成する。これにより、フレームレートが６０ｆｓｐであり露光時間ｔ１−１〜ｔ１−２のＨＤＲ画像データが動画像データとして生成される。生成されたＨＤＲ画像データ、すなわち動画像データは記憶部６５に保存される。

図５に示すフローチャートを参照して、第１の実施の形態による撮像装置１の撮像動作を説明する。図５のフローチャートに示す各処理は、制御部６でプログラムを実行して行われる。このプログラムは記憶部６５に記憶されており、操作検出部７により動画像の撮像を指示する操作が行われたことが検出されると、制御部６により起動され、実行される。
ステップＳ１において、撮像条件設定部６１は第１撮像素子３２と第２撮像素子４２の撮像条件を設定してステップＳ２へ進む。ステップＳ２においては、撮像素子制御部６２は、設定された撮像条件に基づいて、第１撮像素子３２と第２撮像素子４２とに、記録フレームレートにおける１つのフレームの撮像を指示してステップＳ３へ進む。

ステップＳ３においては、画像処理部６３は、第１撮像素子３２から出力された画像信号からベース画像データを生成し、第２撮像素子４２から画像信号が複数回出力されるごとにハイライト画像データを生成してステップＳ４へ進む。ステップＳ４では、画像処理部６３は、複数のハイライト画像データから加算平均画像データを生成し、加算平均画像データとベース画像データとを合成して、ＨＤＲ画像データを生成してステップＳ５へ進む。

ステップＳ５では、制御部６は、生成されたベース画像データと、複数のハイライト画像データと、ＨＤＲ画像データとを記憶部６５に記憶してステップＳ６へ進む。ステップＳ６では、動画像の撮像が終了か否かを判定する。動画像の撮像を終了する場合、すなわちユーザにより動画像の撮像を終了する操作が行われたことが操作検出部７により検出された場合には、ステップＳ６が肯定判定されて処理を終了する。動画像の撮像を終了しない場合、すなわちユーザによる動画像の撮像を終了する操作が行われていない場合には、ステップＳ６が否定判定されてステップＳ２に戻る。

ユーザにより動画の再生を指示する操作を行ったことが操作検出部７により検出されると、表示制御部６４は、上述したようにして生成され記憶部６５に保存されたＨＤＲ画像データを記憶部６５から読み出して、表示器５に動画として再生表示させる。上述したようにＨＤＲ画像データは、画像処理部６３によって、複数のハイライト画像データの加算平均により生成された加算平均画像データとベース画像データとによって生成されている。すなわち、ＨＤＲ画像データでは、高輝度の被写体は露光時間１／１２０ｓに相当する時間で撮像され、低輝度・中輝度の被写体は露光時間１／１２０ｓで撮像されている。このため、表示制御部６４は、被写体の動きが不自然に不連続になることが抑制された動画を表示器５に表示させる。

動画を再生する際のフレームレートを速くした場合、たとえばフレームレート６０ｆｐｓから４倍速の２４０ｆｐｓに変更した場合を説明する。この場合、表示制御部６４は、あるフレームのＨＤＲ画像データと、次フレームのＨＤＲ画像データとの間の間隔、すなわち時刻ｔ１−２〜ｔ２−１までの時間（１／１２０ｓ）を１／４倍の時間にする。これにより、あるフレームと次フレームとの間の間隔が短くなるので、被写体の動きを連続的に再生することができる。

動画を再生する際のフレームレートを遅くしたスロー再生、たとえば１／４倍速に変更した場合を説明する。この場合、表示制御部６４は、あるフレームのＨＤＲ画像データと、次フレームのＨＤＲ画像データとの間の間隔である時刻ｔ１−２〜ｔ２−１までの時間（１／１２０ｓ）を４倍の時間にする。この場合、あるフレームと次フレームとの間の間隔が長くなるので、被写体の動きが不連続となり、不自然な動画が再生されることとなる。このため、上述したように、撮像条件設定部６１は、フレームレートに対して１／４〜１／１の時間を露光時間として設定すると良い。

第１の実施の形態では、画像処理部６３は、第１撮像素子３２から出力された画像信号に基づくベース画像データと、第１撮像素子３２の露光時間よりも短い露光時間で第２撮像素子４２が複数回の撮像をし、出力された複数の画像信号から生成された複数のハイライト画像データとを合成してＨＤＲ画像データを生成し、動画像データを生成する。したがって、被写体の動きが不連続で不自然な発生することを抑制したダイナミックレンジの大きな動画像を生成することができる。

第１の実施の形態では、第２撮像素子４２は、第１撮像素子３２の撮像開始から次の撮像開始の間に、第１撮像素子３２の露光時間よりも短い露光時間で複数回の撮像を行い、画像信号を出力する。したがって、加算平均画像データ上では、移動する被写体がベース画像データ上に発生する被写体のボケと類似するボケが記録されるため、ＨＤＲ処理の際に加算処理画像データとベース画像データとを合成する際に位置合わせ等の処理が不要になり処理負荷を低減できる。

第１の実施の形態では、記録用フレームレートの１フレームの間に、第１撮像素子３２が撮像を行い、第２撮像素子４２は第１撮像素子３２の露光時間よりも短い露光時間で複数回の撮像を行い、画像信号を出力する。したがって、第１撮像素子３２と第２撮像素子４２とが撮像を行う時間が重複するので、異なる時間で撮像が行われて生成された複数の画像データを合成する場合と比較して被写体の位置合わせ等の処理が不要になり処理負荷を低減できる。
記録用フレームレートが第１撮像素子３２の撮像用フレームレートと等しくなるため、同一のフレームレートの１フレームの間に２つの撮像素子が順次撮像を行う場合と比較して、記録用フレームレートの高速化が可能となり、被写体の動きの不連続さが抑制された動画像を生成することも可能になる。

第１の実施の形態では、第１撮像素子３２の露光時間は、記録用フレームレートの１フレームの時間の半分よりも長い露光時間である。これにより、動きのある被写体を撮像して生成された画像データの間隔を短くできるので、動画像として再生する際に、被写体の動きが不連続になり不自然なものとなることを抑制できる。

第１の実施の形態では、画像処理部６３は、設定されたＩＳＯ感度にて増幅された画像信号を用いることにより、ハイライト画像データの平均輝度よりも小さな平均輝度のベース画像データを生成する。これにより、黒潰れの発生を抑制したベース画像データと、白飛びの発生を抑制したハイライト画像データとにより、明暗の差がある被写体の高輝度の領域および低輝度の領域の階調が再現されたダイナミックレンジの大きな画像を生成することができる。

＜第１の実施の形態の変形例１＞
図６〜図７を参照しながら、第１の実施の形態の変形例１の撮像装置について説明する。本変形例１の撮像装置は、被写体の撮像装置に対する相対的な動き量の大きさに基づいて、１つの記録用フレームレート内において第２画像データが撮像される個数（回数）を制御する。以下、詳細に説明する。

図６は、変形例１の撮像装置１の要部構成を説明するブロック図である。変形例１の撮像装置１の制御部６は、図２に示す第１の実施の形態における撮像装置１の制御部６とは異なり、動き検出部６６を備える。動き検出部６６は、画像処理部６３により生成された複数のベース画像データまたは複数のハイライト画像データを用いて、被写体自身の動き量または撮像装置１の動き量、すなわち撮像装置１に対して相対的に移動する被写体の動き量を検出する。他の構成については、図２に示す第１の実施の形態の撮像装置１と同様の構成が変形例１の撮像装置１にも適用される。すなわち、撮像装置１は、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを有している。制御部６は、撮像条件設定部６１と、撮像素子制御部６２と、画像処理部６３と、表示制御部６４と、記憶部６５と、動き検出部６６とを備える。
なお、以下の説明においては、動き検出部６６が第２画像データであるハイライト画像データを用いて被写体の動き量を検出する場合を例に挙げる。

図７は、第１撮像素子３２の露光時間と、第２撮像素子制御部６２２が第２撮像素子４２へ露光開始を指示する時刻と、記録用フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。なお、以下の説明においては、第２撮像素子４２の露光時間とＩＳＯ感度とは、第１の実施の形態において説明した場合と同様に、撮像条件設定部６１によって、露光時間を１／２０００ｓ、ＩＳＯ感度を１００に設定されたものとする。

図７（ａ）は、第１の実施の形態の図３（ｂ）の場合と同様に、第２撮像素子制御部６２２により動作を制御された第２撮像素子４２が、第１撮像素子３２の露光時間の間にハイライト画像データの撮像を３回行う場合を示す。時刻ｔ１−１〜ｔ１−３の間に撮像されたハイライト画像データと、時刻ｔ１−４〜ｔ１−５の間に撮像されたハイライト画像データと、時刻ｔ１−６〜ｔ１−２の間に撮像されたハイライト画像データとのうち少なくとも２つのハイライト画像データを用いて、動き検出部６６は、被写体の動き量を検出する。たとえば、動き検出部６６は、時刻ｔ１−１〜ｔ１−３の間に撮像されたハイライト画像データと、時刻ｔ１−６〜ｔ１−２の間に撮像されたハイライト画像データとを用いるものとする。動き検出部６６は、２つのハイライト画像データの差分を算出し、算出した差分を動き量として検出する。

動き検出部６６は、検出した動き量が所定の第１閾値ｔｈ１よりも大きい場合には、被写体の動き量が大きいと判定する。動き検出部６６は、動き量が所定の第２閾値ｔｈ２（＜第１閾値ｔｈ１）よりも小さい場合には、被写体の動き量が小さいと判定する。第２撮像素子制御部６２２は、動き検出部６６によって検出された被写体の動き量の大小に基づいて、記録用フレームレートの次フレーム以降において、１フレーム中にハイライト画像データを撮像する個数（回数）を決定する。

被写体の動き量が第１閾値ｔｈ１よりも大きい場合には、第２撮像素子制御部６２２は、１フレーム中にハイライト画像データを撮像する個数（回数）を増加する。
図７（ｂ）は、ハイライト画像データを撮像する個数（回数）を増加させた場合に、第２撮像素子制御部６２２が第２撮像素子４２へ撮像指示を行う時刻を模式的に示す。図７（ｂ）に示す例では、第２撮像素子制御部６２２は、１／２４０ｓの間隔でハイライト画像データの撮像指示を３回行った後、さらに、１／２４０ｓが経過してから４回目のハイライト画像データの撮像指示を第２撮像素子４２へ行う。すなわち、この場合には、第２撮像素子４２は、２４０ｆｐｓの撮像用フレームレートにてハイライト画像データの撮像を行う。
なお、被写体の動き量が第１閾値ｔｈ１よりも大きい場合に第２撮像素子４２にハイライト画像データを４回撮像させるものに限られず、５回以上撮像させても良い。この場合、たとえば、第２撮像素子制御部６２２は、被写体の動き量と第１閾値ｔｈ１との差が所定値を超えるごとに、ハイライト画像データを撮像させる回数を１回または複数回ずつ増加させて良い。

画像処理部６３は、記録用フレームレートの１フレームに対応する１／６０ｓの間に撮像された４個のハイライト画像データを、第１の実施の形態の場合と同様にして、加算し平均を算出することにより、１フレームの加算平均画像データを生成する。画像処理部６３は、この加算平均画像データとベース画像データとをＨＤＲ処理による合成して、ＨＤＲ画像データを動画像データとして生成する。
複数のハイライト画像データにより大きな動き量を有する被写体が撮像されているため、記録用フレームレートにおけるあるフレームとその次のフレームとの間で、ハイライト画像データの撮像間隔が短くなる。これにより、加算平均画像データ間で被写体の動きの不連続性が低減されている。したがって、これらのハイライト画像データの加算平均画像データとベース画像データを合成して生成されたＨＤＲ画像データにおいては、被写体の動きの不連続性が抑制される。
なお、生成されたハイライト画像データと、加算平均画像データとは、記憶部６５に保存される。

被写体の動き量が第２閾値ｔｈ２よりも小さい場合には、第２撮像素子制御部６２２は、記録フレームレートの１フレーム中にハイライト画像データを撮像する個数（回数）を減らす。
図７（ｃ）は、ハイライト画像データを撮像する個数（回数）を減らした場合に、第２撮像素子制御部６２２が第２撮像素子４２へ撮像指示を行う時刻を模式的に示す。図７（ｃ）に示す例では、第２撮像素子制御部６２２は、第１撮像素子３２の露光時間のうちの中央付近にてハイライト画像データの撮像指示を１回行う。すなわち、第２撮像素子制御部６２２は、第１撮像素子３２が露光を開始した時刻から、１／２４０ｓ経過した後に、第２撮像素子４２に露光開始を指示する。
なお、被写体の動き量が第２閾値ｔｈ２よりも小さい場合に第２撮像素子４２にハイライト画像データを１回撮像させるものに限られず、２回撮像させても良い。すなわち、第２撮像素子制御部６２２は、被写体の動き量の検出を行ったときの撮像回数（図７（ａ）に示す場合は３回）よりも少ない回数でハイライト画像データを撮像させて良い。

被写体の動き量が第２閾値ｔｈ２以上第１閾値ｔｈ１以下の場合には、第２撮像素子制御部６２２は、第２撮像素子４２によるハイライト画像データの撮像回数を変更しない。
なお、上記の第１閾値ｔｈ１および第２閾値ｔｈ２は、試験等の結果に基づいて決定され、予め記憶部６５に記憶されている。第１閾値ｔｈ１は、所定の撮像回数（上記の例では３回）では被写体の動きが不連続な画像が生成されるような被写体の動き量に基づいて決定され、第２閾値ｔｈ２は、所定の撮像回数（上記の例では３回）による画像上で被写体の動き量がゼロと見なせる程度に小さな被写体の動き量に基づいて決定される。

図８に示すフローチャートを参照して、第１の実施の形態の変形例１の撮像装置１の撮像動作を説明する。図８のフローチャートにおけるステップＳ１１〜ステップＳ１６までの各処理は、図５のフローチャートにおけるステップＳ１〜ステップＳ６までの処理が適用される。ステップＳ１６が否定判定される場合、すなわち動画像の撮像を終了しない場合には、ステップＳ１７へ進む。

ステップＳ１７においては、動き検出部６６は、検出した被写体の動き量が第１閾値ｔｈ１より大きいか否かを判定する。動き量が第１閾値ｔｈ１よりも大きい場合には、ステップＳ１７が肯定判定されステップＳ１８へ進む。ステップＳ１８では、第２撮像素子制御部６２２は、次フレームにおける第２撮像素子４２の撮像回数を増やす設定をしてステップＳ１２へ戻る。

動き量が第１閾値ｔｈ１以下の場合には、ステップＳ１７が否定判定されてステップＳ１９へ進む。ステップＳ１９では、動き検出部６６は、検出した動き量が第２閾値ｔｈ２よりも小さいか否かを判定する。動き量が第２閾値ｔｈ２よりも小さい場合には、ステップＳ１９が肯定判定されてステップＳ２０へ進む。ステップＳ２０では、第２撮像素子制御部６２２は、次フレームにおける第２撮像素子４２の撮像回数を減らす設定をしてステップＳ１２へ戻る。動き量が第２閾値ｔｈ２以上の場合には、ステップＳ１９が否定判定されてステップＳ１２へ戻る。なお、記録用フレームレートの第１フレームの撮像が行われた場合には、上記のステップＳ１７〜ステップＳ２０の処理をスキップしてステップＳ１２へ戻る。また、ステップＳ１８またはステップＳ２０の後にステップＳ１２の処理を行う場合には、第２撮像素子制御部６２２は、ステップＳ１８またはステップＳ２０にて設定された撮像回数だけ第２撮像素子４２に撮像を行わせる。

また、撮像装置１は、被写体の動き量が第１閾値ｔｈ１より大きい場合に第２撮像素子４２による撮像回数を増加させ、被写体の動き量が第２閾値ｔｈ２より小さい場合に第２撮像素子４２による撮像回数を減少させるものとした。しかし、撮像装置１は、被写体の動き量に基づいて、第２撮像素子４２の撮像回数の増加と減少との処理の一方を行う者であっても良い。
また、撮像装置１が姿勢検出装置やブレ検出装置等を備える場合には、動き検出部６６は、姿勢検出装置やブレ検出装置からの検出信号を用いて、撮像装置１自体の動きを検出することにより、撮像装置１に対する相対的な被写体の動き量を検出しても良い。

第１の実施の形態の変形例１では、第２撮像素子４２は、第１撮像素子３２の撮像開始から次の撮像開始の間に、第１撮像素子３２の露光時間よりも短い露光時間での撮像と画像信号の出力とを、検出された動き量に基づく回数実行する。これにより、被写体の動き量が大きい場合であっても、生成された画像上で被写体の動きが不連続になることを抑制することができる。被写体の動き量が小さい場合には、第２撮像素子４２の撮像回数を減らして、第２撮像素子４２の処理負荷を低減することができる。

なお、上述した変形例１の撮像装置１では、被写体の動き量に基づいて、第２撮像素子４２によるハイライト画像データの撮像回数を変更する場合を例に挙げたが、ハイライト画像データの撮像回数を変更せず、記憶部６５に保存するハイライト画像データの個数を変更してもよい。以下、詳細に説明する。

図７（ｄ）のタイミングチャートは、記録用フレームレートの１フレーム間に、第２撮像素子４２によりハイライト画像データを、たとえば４回撮像する場合を一例として示す。すなわち、図７（ｄ）に示す例では、１／２４０ｓごとに第２撮像素子４２によるハイライト画像データの撮像が行われ、画像処理部６３により４つのハイライト画像データが生成される。

動き検出部６６は、上述した処理と同様の処理を行って、動き量を検出する。検出した動き量が上記の第１閾値ｔｈ１よりも大きい場合には、画像処理部６３により生成された４つのハイライト画像データが記憶部６５に記憶される。検出した動き量が上記の第２閾値ｔｈ２以上第１閾値ｔｈ１以下の場合には、画像処理部６３により生成された４つのハイライト画像データのうち、たとえば３つのハイライト画像データが記憶部６５に記憶される。この場合、たとえば、第１撮像素子３２の露光時間である時刻ｔ１−１〜ｔ１−２の間に撮像された３つのハイライト画像データが記憶部６５に記憶されると良い。

検出した動き量が上記の第２閾値ｔｈ２よりも小さい場合には、画像処理部６３により生成された４つのハイライト画像データのうち、たとえば２つのハイライト画像データが記憶部６５に記憶される。記憶部６５には、たとえば、第１撮像素子３２の露光開示時、すなわち時刻ｔ１−１〜ｔ１−３に撮像されたハイライト画像データと、第１撮像素子３２の露光終了時、すなわち時刻ｔ１−６〜ｔ１−２に撮像されたハイライト画像データが記憶される。なお、記憶部６５に記憶されるハイライト画像データは、上記の例に限定されない。時刻ｔ１−１〜ｔ１−３に撮像されたハイライト画像データと時刻ｔ１−４〜ｔ１−５に撮像されたハイライト画像データが記憶部６５に記憶されても良いし、時刻ｔ１−４〜ｔ１−５に撮像されたハイライト画像データと時刻ｔ１−６〜ｔ１−２に撮像されたハイライト画像データとが記憶されても良い。
これにより、被写体の動き量が第２閾値ｔｈ２よりも小さい場合には、記憶部６５に記憶されるハイライト画像データの個数を減らすことができるので、類似したハイライト画像データを記憶することによる記憶部６５の容量の消費を抑制できる。

＜第１の実施の形態の変形例２＞
図９を参照しながら、第１の実施の形態の変形例２の撮像装置について説明する。本変形例２の撮像装置においては、第２撮像素子の露光開始を指示する時刻が第１の実施の形態の場合とは異なる。すなわち、本変形例２の撮像装置では、第２撮像素子による第３露光時間での撮像は、第２露光時間での撮像よりも後の時刻で行われるが、第３露光時間での撮像は、記録用フレームレートの１フレームの半分の時刻（すなわち後半の期間内）に開始される。
変形例２においては、図２に示す第１の実施の形態の撮像装置１と同様の構成を適用することができる。なお、変形例２の撮像装置１は、変形例１と同様の構成を適用することができる。すなわち、制御部６は、上述した各構成に加えて動き検出部６６（図６参照）を備えても良い。以下、詳細に説明する。

図９は、第１撮像素子３２の露光時間と、第２撮像素子制御部６２２が第２撮像素子４２へ露光開始を指示する時刻と、記録用フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。なお、以下の説明においては、第２撮像素子４２の露光時間とＩＳＯ感度とは、第１の実施の形態において説明した場合と同様に、撮像条件設定部６１によって、露光時間を１／２０００ｓ、ＩＳＯ感度を１００に設定されたものとする。また、図９においては、第１撮像素子３２が露光を行っている間に、第２撮像素子４２が撮像を行う回数が２回の場合を例に挙げる。

図９（ａ）は、第２撮像素子制御部６２２が、第１撮像素子３２の露光開始時と露光終了時とにそれぞれ第２撮像素子４２に露光開始を指示する場合を模式的に示す。図９（ａ）に示す例では、第２撮像素子４２による第２露光時間での露光である１回目の露光の開始時刻は、第１撮像素子３２による第１露光時間による露光の開始時刻と同時である。第１撮像素子３２が露光を開始する時刻ｔ１−１において、第２撮像素子制御部６２２は、第２撮像素子４２に露光開始を指示する。時刻ｔ１−１から露光時間の１／２０００ｓが経過した時刻ｔ１−３において、第２撮像素子制御部６２２は、第２撮像素子４２に露光終了を指示する。これにより、第２撮像素子４２により１回目のハイライト画像データの撮像が行われる。なお、第２撮像素子４２による第１回目の撮像時の露光開始時刻と第１撮像素子３２による露光開始時刻とが同時であるものに限られない。撮像素子制御部６２は、第２撮像素子４２の第１回目の露光時間の期間に第１撮像素子３２の露光開始時刻となるように、第１撮像素子３２と第２撮像素子４２とを制御して良い。すなわち、撮像素子制御部６２は、第１撮像素子３２による露光時間と第２撮像素子４２による第１回目の露光時間とが一部で重複する期間を有するように制御すれば良い。言い換えれば、撮像素子制御部６２は、第１露光時間での撮像の撮像開始が、第２露光時間での撮像の間に行われるようにしてもよい。

第２撮像素子４２による第３露光時間での露光である２回目の露光の終了時刻は、第１撮像素子３２による第１露光時間による露光の終了時刻と同時である。第１回目のハイライト画像データの撮像が行われた後、第１撮像素子３２による露光が終了する時刻ｔ１−２から１／２０００ｓだけ早い時刻ｔ１−６にて、第２撮像素子制御部６２２は、第２撮像素子４２に露光開始を指示し、時刻ｔ１−２にて、第２撮像素子４２に露光終了を指示する。これにより、第２撮像素子４２により第２回目のハイライト画像データの撮像が行われる。なお、第２撮像素子４２による第２回目の撮像時の露光終了時刻と第１撮像素子３２による露光終了時刻とが同時であるものに限られない。撮像素子制御部６２は、第２撮像素子４２の第２回目の露光時間の期間に第１撮像素子３２の露光終了時刻となるように、第１撮像素子３２と第２撮像素子４２とを制御して良い。すなわち、撮像素子制御部６２は、第１撮像素子３２による露光時間と第２撮像素子４２による第２回目の露光時間とが一部で重複する期間を有するように制御すれば良い。言い換えれば、撮像素子制御部６２は、第１露光時間での撮像の露光終了は、第３露光時間の撮像の間に行われるようにしてもよい。
画像処理部６３は、以上のようにして生成された２つのハイライト画像データを加算平均することにより、加算平均画像データを生成する。加算平均画像データでは、第１撮像素子３２による露光開始時刻近傍の被写体と露光終了時刻近傍とにおける被写体が記録される。記録用フレームレートにおける第２フレーム目以降についても、第２撮像素子制御部６２２は、同様の処理を行うことにより、第２撮像素子４２にハイライト画像データの撮像を行わせる。

画像処理部６３は、第１の実施の形態の場合と同様にして、加算平均画像データとベース画像データとをＨＤＲ処理により合成して、ＨＤＲ画像データを動画像データとして生成する。この場合も、生成されたハイライト画像データと、ベース画像データと、ＨＤＲ画像データとは記憶部６５に記憶される。

第１の実施の形態の変形例２の撮像装置１の撮像動作を説明する。変形例２の撮像装置１の撮像動作における各処理は、図５のフローチャートに示す第１の実施の形態の撮像装置１の撮像動作における各処理が適用できる。ただし、ステップＳ２において、第２撮像素子制御部６２２は、第１撮像素子３２による露光開始時と露光終了時との２回の時刻にて第２撮像素子４２に撮像を行わせる。

第１の実施の形態の変形例２では、第２撮像素子４２による一方の撮像は、他方の撮像よりも後の時間に行われる。これにより、撮像装置１に対して相対的に移動する被写体の軌跡上における異なる点における被写体が加算平均画像データ上に記録できるので、ベース画像データ上における被写体のブレに類似するブレを短い露光時間で撮像した場合でも記録でき、ＨＤＲ処理の際の合成が容易になる。

第１の実施の形態の変形例２では、第２撮像素子４２による一方の撮像は、記録用フレームレートの１フレームの半分の時刻よりも後に露光が開始される。これにより、記録用フレームレートの次フレームにおける第２撮像素子４２による露光開始までの時間を短くできるので、ハイライト画像データ間で被写体の動きが不連続となることを抑制できる。

第１の実施の形態の変形例２では、第２撮像素子４２による１回目の撮像の露光開始時刻は、第１撮像素子３２による撮像の露光開始時刻と同時であり、第２撮像素子４２の１回目の撮像の露光終了時刻は、第１撮像素子３２による撮像の露光終了時刻と同時である。これにより、第１撮像素子３２による露光開始時と露光終了時とにおける被写体が、加算平均画像データ上に記録されるので、ＨＤＲ処理により合成を行う際に被写体の位置合わせ等の処理が不要となり、処理負荷を低減できる。

なお、第１撮像素子３２の露光開始時と露光終了時とにそれぞれ第２撮像素子４２に露光を行わせるものに限定されない。たとえば、第１撮像素子３２の露光時間の中央付近の時刻に前後して、第２撮像素子４２が２回の露光を行うことにより、第３露光時間での撮像が記録用フレームレートの１フレームの半分の時刻（すなわち後半の期間内）で開始されても良い。
図９（ｂ）は、第２撮像素子制御部６２２が、第１撮像素子３２の露光時間ｔ１−１〜ｔ−１２のうちの中央、すなわち時刻ｔ１−１から１／２４０ｓが経過した時刻の近傍の時刻ｔ１−４にて、２回の露光開始を指示する場合を模式的に示す。この場合、時刻ｔ１−３を基準にして、第２撮像素子４２による１回目の露光終了の時刻から、２回目の露光開始の時刻までの間隔が予め所定の時間に設定されている。所定の時間として、たとえば、第２撮像素子４２の露光時間である１／２０００ｓに設定することができる。なお、所定の時間が、ユーザにより設定可能であってもよい。また、制御部６が、上述した変形例１の動き検出部６６を備える場合には、検出された被写体の動き量に基づいて、間隔を可変にしても良い。この場合、第２撮像素子制御部６２２は、検出された動き量が上述した第１閾値ｔｈ１よりも大きい場合には所定の時間を短く設定し、検出された動き量が第２閾値ｔｈ２よりも小さい場合には所定の時間を長く設定して良い。

＜第１の実施の形態の変形例３＞
図１０を参照しながら、第１の実施の形態の変形例３の撮像装置について説明する。本変形例３の撮像装置は、記録フレームレートの１フレームの時間のうち、第２撮像素子による露光が、第１撮像素子による第１露光時間による露光が行われている時間とは異なる時間にも行われる点が第１の実施の形態とは異なる。すなわち、第１撮像素子による露光が行われていない間においても第２撮像素子による露光が行われる。以下、詳細に説明する。

変形例３においては、図２に示す第１の実施の形態の撮像装置１と同様の構成が適用される。なお、変形例３の撮像装置１は、変形例１と同様の構成を適用することができる。すなわち、制御部６は、上述した各構成に加えて動き検出部６６（図６参照）を備えても良い。

図１０は、第１撮像素子３２の露光時間と、第２撮像素子制御部６２２が第２撮像素子４２へ露光開始を指示する時刻と、記録用フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。図１０に示す例では、第２撮像素子４２による第２露光時間および第３露光時間による露光が、第１撮像素子３２による第１露光時間による露光が行われている時間と重なる時間に行われる。さらに、第２撮像素子４２は、第１撮像素子３２の第１露光時間よりも短い第４露光時間による露光を、第１撮像素子３２が第１露光時間で露光している時間とは異なる時間に行い、第４画像信号を出力する。
なお、以下の説明においては、第２撮像素子４２の露光時間とＩＳＯ感度とは、第１の実施の形態において説明した場合と同様に、撮像条件設定部６１によって、露光時間を１／２０００ｓ、ＩＳＯ感度を１００に設定されたものとする。

第１撮像素子制御部６２１は、第１撮像素子３２に対して、第１の実施の形態と同様にして、撮像用フレームレート６０ｆｐｓ、露光時間１／１２０ｓ、ＩＳＯ感度８００の撮像条件にて、時刻ｔ１−１〜ｔ１−２の間で露光を行わせる。第２撮像素子制御部６２２は、第２撮像素子４２に対して、撮像用フレームレート２４０ｆｐｓ、露光時間１／２０００ｓ、ＩＳＯ感度１００の撮像条件にて、記録用フレームレートの１フレームの時刻ｔ１−１〜ｔ２−１の間に４回の露光を行わせる。第２撮像素子４２は、時刻ｔ１−１〜ｔ２−１の間で、１／２４０ｓごとに撮像を行い、画像信号を出力する。すなわち、図１０に示すように、第１撮像素子３２による露光が行われていない時刻ｔ１−２〜ｔ２−１の間にも、第２撮像素子４２による撮像が行われる。これにより、記録用フレームレートの１フレームの時間ｔ１−１〜ｔ２−１の間にて、１つのベース画像データと、４つのハイライト画像データが生成される。

なお、以上の説明では、第２撮像素子４２による第１回目の露光が、第１撮像素子３２による露光の開始時刻ｔ１−１にて開始されるものとして説明したが、これに限定されない。第２撮像素子４２による第２露光時間と第３露光時間とは、第１撮像素子３２が第１露光時間で露光している時間の少なくとも一部で重複するように、第２撮像素子制御部６２２が第２撮像素子４２を制御して良い。たとえば、第２撮像素子制御部６２２は、第２撮像素子４２による第１回目の露光時間１／１２０ｓの間に、第１撮像素子３２の露光開始時刻ｔ１−１となるように、第２撮像素子４２の第１回目の露光開始時刻を制御しても良い。また、第２撮像素子４２による第３回目の露光が、第１撮像素子３２による露光の終了時刻ｔ１−２に終了されるものとして説明したが、これに限定されない。たとえば、第２撮像素子制御部６２２は、第２撮像素子４２による第３回目の露光時間１／１２０ｓの間に第１撮像素子３２の露光終了時刻ｔ１−２となるように、第３回目の露光開始時刻を制御しても良い。

第２撮像素子４２は短い露光時間にて撮像を行っているため、たとえば蛍光灯の照明下で撮像が行われた場合等には、フリッカーの影響により生成された４つのハイライト画像データの明るさがおのおの異なるものとなる可能性がある。このような４つのハイライト画像データに対して、画像処理部６３は、第１の実施の形態の場合と同様にして加算平均を行うことにより、加算平均画像データを生成する。この結果、生成された加算平均画像データでは、４つのハイライト画像データの明るさが平均化されるので、フリッカーによる影響が低減されたものとなる。
本変形例３の撮像装置１が動画像の撮像時に行う各処理は、図５のフローチャートに示す各処理を適用することができる。

第１の実施の形態の変形例３では、第２撮像素子４２は、第１撮像素子３２の露光時間で露光している時間とは異なる時間にも露光する。これにより、フリッカーの影響を受けた環境にて撮像された場合であっても、複数のハイライト画像データを加算平均することによりフリッカーの影響を低減させることができる。

第１の実施の形態の変形例３では、第２撮像素子４２は、第１撮像素子３２の露光時間の少なくとも一部重なる時間に２回の露光を行う。第２撮像素子４２は、第１撮像素子３２の露光時間とは異なる時間に、記録用フレームレートの１フレーム内に第１撮像素子３２の露光時間より短い露光時間で撮像を行う。これにより、ハイライト画像データが生成される個数を増やすことができるので、加算平均することによりフリッカーの影響を低減させることができる。

＜第１の実施の形態の変形例４＞
図１１を参照しながら、第１の実施の形態の変形例４の撮像装置について説明する。本変形例４の撮像装置は、図２に示す第１の実施の形態の撮像装置１が有する第１撮像ユニット３と第２撮像ユニット４とは異なる撮像ユニットを備える。以下、詳細に説明する。

図１１は、変形例４の撮像装置１の要部構成を模式的に示すブロック図である。変形例４の撮像装置１は、第３撮像ユニット９と、表示器５と、制御部６と、操作検出部７とを備える。第３撮像ユニット９は、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含む撮像レンズ９１と、第１撮像素子９２と、第２撮像素子９３と、ハーフミラー９４とを備える。第１撮像素子９２および第２撮像素子９３は、第１の実施の形態の第１撮像素子３２や第２撮像素子４２と同様に、撮像面上において行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。ハーフミラー９４は、撮像レンズ９１を通過した被写体光のうち一部の光束を透過して第１撮像素子９２へ導き、残り光束を反射して第２撮像素子９３へ導く分光部材である。

表示器５と、制御部６と、操作検出部７とは、第１の実施の形態と同様の構成が適用される。ただし、第１撮像素子制御部６２１は第１撮像素子９２の撮像動作を制御し、第２撮像素子制御部６２２は第２撮像素子９３の撮像動作を制御する。すなわち、第１撮像素子９２からの画像信号に基づいて、画像処理部６３によりベース画像データが生成され、第２撮像素子９３からの画像信号に基づいて、画像処理部６３によりハイライト画像データが生成される。
なお、変形例４の撮像装置１は、変形例１と同様の構成を適用することができる。すなわち、制御部６は、上述した各構成に加えて動き検出部６６（図６参照）を備えても良い。

ハーフミラー９４の被写体光の透過率と反射率とは等しい値に設定しても良いし、異なる値に設定しても良い。透過率と反射率とを異ならせる場合には、第２撮像素子９３へ導かれる光量が、第１撮像素子９２へ導かれる光量よりも少なくなるように設定されると良い。この場合、アンダー露光のハイライト画像データを生成するための第２撮像素子９３への入射光量を少なくさせるために、たとえば、ハーフミラー９４の透過率を６０パーセントや７０パーセント等に設定することができる。

第１の実施の形態の変形例４では、１つの撮像レンズ９１を通過した被写体光が第１撮像素子９２と第２撮像素子９３とに導かれる。第１撮像素子９２からの画像信号に基づくベース画像データと、第２撮像素子９３からの画像信号に基づくハイライト画像データとの間で被写体の位置ズレが発生しない。これにより、ＨＤＲ画像データを生成する際に、ベース画像データとハイライト画像データとの間で位置合わせをする必要がなく合成処理の負荷を低減できる。

上述した第１の実施の形態とその変形例１〜４にて説明した処理を、たとえば、水平方向に広角（たとえば３６０°）に撮像可能な撮像装置に適用させることができる。特に、身体の一部（腕や頭部など）や自転車やヘルメット等に装着可能な小型の広角撮像可能な撮像装置（いわゆるウエアラブルカメラ）に適用しても良い。この場合、撮像可能な範囲が広いため、太陽などの高輝度の被写体と、影の部分の低輝度の被写体とが同一画像内に撮像される可能性が高いため、第１の実施の形態とその変形例１〜３で説明したＨＤＲ処理を行った動画を生成すると良い。

図１２、図１３を参照しながら、上記の広角撮像が可能な撮像装置１の構成について説明する。図１２（ａ）、（ｂ）は、撮像装置１の外観図であり、図１３は撮像装置１の要部構成を例示すブロック図である。
撮像装置１のＺ軸＋側の本体２の正面には、第１の実施の形態の第１撮像ユニット３および第２撮像ユニット４（図２参照）と同様の構成が適用された第１撮像ユニット３Ａおよび第２撮像ユニット４Ｂからなる第１撮像ユニット群１１４を備える（図１２（ａ）参照）。撮像装置１のＺ軸−側の本体２の背面には、第１の実施の形態の第１撮像ユニット３および第２撮像ユニット４（図２参照）と同様の構成が適用された第１撮像ユニット３Ｂおよび第２撮像ユニット４Ｂからなる第２撮像ユニット群１１５備える（図１２（ｂ）参照）。第１撮像ユニット群１１４は、ＺＸ平面においてＺ軸＋側に広角（たとえば１８０°）の撮像が可能となるように、第１撮像ユニット３Ａと第２撮像ユニット４Ａとの撮像レンズ３１Ａ、４１Ａには広角レンズが用いられる。第２撮像ユニット群１１５は、ＺＸ平面においてＺ軸−側に広角（たとえば１８０°）の撮像が可能となるように、第１撮像ユニット３Ｂと第２撮像ユニット４Ｂとの撮像レンズ３１Ｂ、４１Ｂには広角レンズが用いられる。これにより、図１２の撮像装置１は、ＺＸ平面において、３６０°の撮像が可能となっている。
なお、図１２では、第１撮像ユニット群１１４と第２撮像ユニット群１１５との２つを用いて広角の撮像を行う例を挙げるが、撮像ユニット群の個数は２個に限られず、３個以上の撮像ユニット群を用いて広角の撮像を行って良い。

図１３に示すように、撮像装置１の制御部６は、撮像条件設定部６１と、記憶部６５と、第１撮像ユニット群制御部６７と、第２撮像ユニット群制御部６８と、全体画像処理部６９とを備える。撮像条件設定部６１は、第１撮像ユニット群１１４および第２撮像ユニット群１１５の第１撮像ユニット３Ａ、３Ｂおよび第２撮像ユニット４Ａ、４Ｂのそれぞれに対して、撮像を行う際の撮像条件を設定する。撮像条件としては、第１の実施の形態の場合と同様に、たとえば露光時間（シャッター速度）、絞り、ＩＳＯ感度がある。撮像条件設定部６１は、第１撮像ユニット群１１４の第１撮像素子３２Ａと第２撮像ユニット群１１５の第１撮像素子３２Ｂとに対して同一の撮像条件を設定する。撮像条件設定部６１は、第１撮像ユニット群１１４の第２撮像素子４２Ａと第２撮像ユニット群１１５の第２撮像素子４２Ｂとに対して同一の撮像条件を設定する。

第１撮像ユニット群制御部６７は、第１撮像ユニット群１１４の動作を制御する制御部である。第１撮像ユニット群制御部６７は、第１の実施の形態の撮像素子制御部６２および画像処理部６３（図２参照）と同様の構成が適用された、第１撮像素子制御部６２１Ａと第２撮像素子制御部６２２Ａとを有する撮像素子制御部６２Ａと、画像処理部６３Ａとを備える。画像処理部６３Ａは、第１撮像ユニット群１１４の第１撮像素子３２Ａと第２撮像素子４２Ａとから出力された画像信号を用いて、第１の実施の形態とその変形例の場合と同様にしてＨＤＲ画像データを生成する。第１撮像ユニット群制御部６７の画像処理部６３Ａによって生成されるＨＤＲ画像データは、撮像装置１の正面（Ｚ方向＋側）においてＺＸ平面で１８０°の広角の画像である。生成されたベース画像データとハイライト画像データとＨＤＲ画像データとは、第１の実施の構成（図２参照）と同様の構成が適用される記憶部６５に記憶される。

第２撮像ユニット群制御部６８は、第２撮像ユニット群１１５の動作を制御する制御部である。第２撮像ユニット群制御部６８は、第１の実施の形態の撮像素子制御部６２および画像処理部６３（図２参照）と同様の構成が適用された、第１撮像素子制御部６２１Ｂと第２撮像素子制御部６２２Ｂとを有する撮像素子制御部６２Ｂと、画像処理部６３Ｂとを備える。画像処理部６３Ｂは、第２撮像ユニット群１１５の第１撮像素子３２Ｂと第２撮像素子４２Ｂとから出力された画像信号を用いて、第１の実施の形態とその変形例の場合と同様にしてＨＤＲ画像データを生成する。第２撮像ユニット群制御部６８の画像処理部６３Ｂによって生成されるＨＤＲ画像データは、撮像装置１の背面（Ｚ方向−側）においてＺＸ平面で１８０°の広角の画像である。生成されたベース画像データとハイライト画像データとＨＤＲ画像データとは、第１の実施の構成（図２参照）と同様の構成が適用される記憶部６５に記憶される。

全体画像処理部６９は、画像処理部６３Ａにて生成された撮像装置１の正面側の広角のＨＤＲ画像データと、画像処理部６３Ｂにて生成された撮像装置１の背面側の広角のＨＤＲ画像データとを繋ぎあわせる。これにより、全体画像処理部６９によって撮像装置１のＺＸ平面において全周方向の全体ＨＤＲ画像データが生成される。上述した撮像条件設定部６１は、第１撮像ユニット群１１４および第２撮像ユニット群１１５の第１撮像素子３２Ａ、３２Ｂに対して同一の撮像条件を設定し、第１撮像ユニット群１１４および第２撮像ユニット群１１５の第２撮像素子４２Ａ、４２Ｂに対して同一の撮像条件を設定する。このため、画像処理部６３Ａで生成されたＨＤＲ画像データと、画像処理部６３Ｂで生成されたＨＤＲ画像データとの間で、明るさが異なることが抑制される。このため、全体画像処理部６９で上記２つのＨＤＲ画像データを繋ぎあわせた場合であっても、全体ＨＤＲ画像データ上で、明るさの違いに起因して繋ぎあわせた箇所に不自然な線が発生するというような画像の劣化が発生することが抑制される。
生成された全体ＨＤＲ画像データは、第１の実施の構成（図２参照）と同様の構成が適用される記憶部６５に記憶される。

なお、図１２、図１３で説明した第１撮像ユニット群１１４と第２撮像ユニット群１１５とを、それぞれ図１１に示す第３撮像ユニット９に置き換えても良い。この場合も、制御部６の構成は、図１３に示す構成を適用することができる。

また、上述した第１の実施の形態とその変形例における第１撮像ユニット３、３Ａ、３Ｂが撮像レンズ３１、３１Ａ、３１Ｂを有していなくても良い。この場合、第１撮像ユニット３、３Ａ、３Ｂは、撮像レンズ３１、３１Ａ、３１Ｂに代えて、たとえば、二次元状の開口を有するマスク部材（たとえば公知のコーデッドアパーチャー）を第１撮像素子３２、３２Ａ、３２Ｂの前面に配置して、第１撮像素子３２、３２Ａ、３２Ｂは開口を通過して入力される被写体像を撮像すれば良い。なお、第２撮像ユニット４、４Ａ、４Ｂおよび第３撮像ユニット９についても同様に、撮像レンズ４１および撮像レンズ９１を備えずに上記のマスク部材を備えるようにして良い。

なお、第１の実施の形態とその変形例１〜４で説明した撮像装置を、スマートフォン等の携帯電話、テレビ、タブレット端末、デジタルオーディオプレイヤー、パーソナルコンピュータ、内視鏡、カプセル内視鏡、家庭用の防犯カメラを含む監視カメラ、エアコンや冷蔵庫や電子レンジ等の家電などの電子機器に組み込まれる撮像装置に適用することができる。また、デジタルサイネージ（電子看板）等の電子機器に組み込まれる撮像装置に適用することができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、各種のロボット（たとえば自走可能なロボットや、自走式の掃除機のような電子機器）に搭載された撮像装置に適用しても良い。

なお、上述した第１の実施の形態とその変形例１〜４では、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを含む撮像装置１を例に説明したが、第１撮像ユニット３と、第２撮像ユニット４と、制御部６とにより構成された撮像装置であっても良い。また、制御部６は、少なくとも撮像素子制御部６２と画像処理部６３とを備えれば良い。上述の第１の実施の形態、または変形例１〜４に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の撮像装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。

＜第２の実施の形態＞
図１４を参照して第２の実施の形態の撮像装置について説明を行う。第２の実施の形態の撮像装置は、第１の実施の形態とその変形例にて説明したようにしてＨＤＲ処理が施された動画像を再生中に、一時停止（ポーズ）のような再生の停止に関する入力が行われた場合に、ハイライト画像データである第２画像データまたは第３画像データに基づく画像を表示器に表示させる。
第２の実施の形態においては、第１の実施の形態の図１および図２に示す構成を有する撮像装置１と同様の構成を適用することができる。なお、第２の実施の形態の撮像装置１は、図６に示すように制御部が動き検出部を備えても良いし、図１２、図１３に示す別の態様の撮像装置であっても良い。また、第２の実施の形態の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。以下、詳細に説明する。

図１４は、表示器５に再生表示される画像と、動画像データであるＨＤＲ画像データの露光時間と、ＨＤＲ画像データの生成に用いられたハイライト画像データの露光時間との関係を模式的に示すタイミングチャートであり、撮像時の時刻をｔ、再生時の時刻をＴとする。なお、図１４においては、動画像の再生時刻Ｔ１、Ｔ２に相当する撮像時の時刻がｔ１−１、ｔ２−１であるものとする。図１４において、表示制御部６４が、ＨＤＲ画像データのフレーム順序に従って、ＨＤＲ画像データを動画像として表示器５に再生表示している際に、時刻Ｔ１０にて一時停止（ポーズ）の指示が行われたとする。

ユーザにより一時停止のための操作が行われたことが操作検出部７により検出されると、表示制御部６４は、再生表示中のＨＤＲ画像データの生成に用いられた複数（図示の例では３個）のハイライト画像データの中から１つのハイライト画像データを記憶部６５から読み出す。この場合、表示制御部６４は、一時停止が行われた時刻Ｔ１０に相当する撮像時の時刻の直前に撮像された画像信号から生成されたハイライト画像データ（図１４においては、図の破線Ｌよりも前の時刻ｔ１−１〜ｔ１−３で露光されたハイライト画像データ）を読み出す。表示制御部６４は、ＨＤＲ画像データの次フレームを表示する時刻Ｔ２にて、読み出したハイライト画像データを一時停止用のポーズ画像として表示器５に表示させる。

図１５に示すフローチャートを参照して、第２の実施の形態による撮像装置１の動画像の再生表示の動作を説明する。図１５のフローチャートに示す各処理は、制御部６でプログラムを実行して行われる。このプログラムは記憶部６５に記憶されており、操作検出部７により動画像の撮像を指示する操作が行われたことが検出されると、制御部６により起動され、実行される。
ステップＳ２１では、表示制御部６４は、記憶部６５からＨＤＲ画像データを読み出して、フレームレート６０ｆｐｓにて動画像として表示器５に再生表示してステップＳ２２へ進む。ステップＳ２２においては、一時停止の操作が行われたか否かを判定する。操作検出部７により一時停止の操作が行われたことが検出された場合には、ステップＳ２２が肯定判定されてステップＳ２３へ進む。操作検出部７により一時停止の操作が行われたことが検出されていない場合には、ステップＳ２２が否定判定されて、後述するステップＳ２６へ進む。

ステップＳ２３では、表示制御部６４は、記憶部６５からハイライト画像データを読み出してステップＳ２４へ進む。ステップＳ２４では、表示制御部６４は、読み出したハイライト画像データをポーズ画像として表示器５に表示させてステップＳ２５へ進む。ステップＳ２５では、一時停止を終了する操作が行われたか否かが判定される。操作検出部７により一時停止を終了する操作が行われた場合には、ステップＳ２５が肯定判定されステップＳ２６へ進む。操作検出部７により一時停止を終了する操作が行われていない場合には、ステップＳ２５が否定判定されてステップＳ２４へ戻る。ステップＳ２６では、動画像の再生表示を終了するか否かが判定される。動画像の再生表示を終了する場合には、ステップＳ２６が肯定判定されて処理を終了する。動画像の再生表示を継続する場合には、ステップＳ２６が否定判定されてステップＳ２１へ戻る。

第２の実施の形態では、表示制御部６４は、動画像の再生中に動作像の再生の停止に関する入力がされた場合、ハイライト画像データに基づく画像を表示器５に表示させる。これにより、ハイライト画像データは、第２撮像素子４２による短い露光時間で撮像されて出力された画像信号に基づいて生成されているので、表示器５には、ブレの影響の少ない鮮明なポーズ画像を表示させることができる。

なお、ハイライト画像データを一時停止用のポーズ画像として用いる場合に限定されない。表示制御部６４は、動画の代表画像や、動画の代表画像を示すサムネイル画像に、ハイライト画像データを用いても良い。

＜第２の実施の形態の変形例１＞
第２の実施の形態の変形例１の撮像装置について説明する。本変形例１の撮像装置は、記憶部から読み出されたハイライト画像データである第２画像データまたは第３画像データの明るさを調節してから、ポーズ画像として表示器に表示させる。第２の実施の形態の説明の際に参照した図１４のタイミングチャートを参照しながら、変形例１について詳細に説明する。

変形例１の撮像装置は、第２の実施の形態の撮像装置１と同様の構成（図１、図２参照）を適用することができる。なお、変形例１の撮像装置１は、図６に示すように制御部が動き検出部を備えても良いし、図１２、図１３に示す別の態様の撮像装置であっても良い。また、第２の実施の形態の変形例１の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

表示制御部６４は、図１４を用いて説明した第２の実施の形態の場合と同様にして、ポーズ画像とするためのハイライト画像データを記憶部６５から読み出す。読み出されたハイライト画像データは、短い露光時間により露光されている。このため、白飛びの発生は抑制されているが、画像全体として適正露光よりもアンダー露光となった暗い画像である。画像処理部６３は、この読み出されたハイライト画像データに対して、画像処理として、たとえば階調補正を施す。すなわち、画像処理部６３は、ハイライト画像データのうちの暗部の階調を明るくする補正を行う。画像処理部６３は、階調補正の補正量をベース画像データに基づいて決定することができる。この場合、画像処理部６３は、ベース画像データのうち低輝度の領域の画素値を参照し、ハイライト画像データの暗部の画素値が参照したベース画像データの画素値に一致する、または画像値の差が所定値の範囲内となるように、補正量を決定すれば良い。
表示制御部６４は、画像処理部６３により画像処理が施されたハイライト画像データを、一時停止時のポーズ画像として表示器５に表示させる。
第２の実施の形態の変形例１の撮像装置１が動画像の再生表示の際に行う各処理は、図１５のフローチャートに示す各処理を適用することができる。ただし、ステップＳ２３において、画像処理部６３は、読み出したハイライト画像データに対して階調補正を施す。

第２の実施の形態の変形例１では、画像処理部６３は、ハイライト画像データに対して、暗部の階調を補正する画像処理を行う。これにより、被写体のうちの暗部が視認しやすいポーズ画像を表示させることができる。

第２の実施の形態の変形例１では、画像処理部６３は、ベース画像データに基づいて、ハイライト画像データに対して階調を補正する画像処理を行う。これにより、ポーズ画像が表示される前までに再生されていた動画像との間で大きな明暗差が生じることを抑制でき、ユーザは違和感なく動画像から移行したポーズ画像を観察することができる。

上述した説明では、画像処理部６３は、ハイライト画像データの階調補正を行うことによりポーズ画像を生成したが、これに限定されない。画像処理部６３は、読み出した１個のハイライト画像データと、ベース画像データとを合成することによりポーズ画像を生成しても良い。この場合、表示制御部６４は、図１４を用いて説明した場合と同様にして、ハイライト画像データを記憶部６５から読み出す。また、表示制御部６４は、一時停止が指示された時刻Ｔ１０におけるＨＤＲ画像データを生成する際に使用されたベース画像データを記憶部６５から読み出す。画像処理部６３は、読み出されたベース画像データとハイライト画像データとを合成する。この場合、画像処理部６３は、高輝度の領域についてはハイライト画像データに高い重み付けを行い、低輝度の領域についてはベース画像データに高い重み付けを行って、ベース画像データとハイライト画像データとを合成する。すなわち、画像処理部６３は、ベース画像データとハイライト画像データとに対してＨＤＲ処理を行うことにより、ポーズ画像用にＨＤＲ画像データを生成する。表示制御部６４は、生成されたＨＤＲ画像データをポーズ画像として表示器５に表示させる。
この場合の撮像装置１が動画像の再生表示の際に行う各処理は、図１５のフローチャートに示す各処理を適用することができる。ただし、ステップＳ２４では、画像処理部６３は、ステップＳ２３において読み出したハイライト画像データとベース画像データとをＨＤＲ処理により合成して、ポーズ画像用のＨＤＲ画像データを生成する。

＜第２の実施の形態の変形例２＞
図１６、図１７を参照して第２の実施の形態の変形例２の撮像装置について説明する。本変形例２の撮像装置は、ベース画像データを生成する際の露光時間とハイライト画像データの露光時間とを同一に設定し、生成されたベース画像データとハイライト画像データとを用いてポーズ画像を生成する点で第２の実施の形態と異なる。以下、詳細に説明する。

変形例２の撮像装置は、第２の実施の形態とその変形例１の撮像装置１と同様の構成
すなわち、図１、図２に示す第１の実施の形態の撮像装置１と同様の構成が適用できる。なお、第２の実施の形態の変形例２の撮像装置１は、図６に示すように制御部が動き検出部を備えても良いし、図１２、図１３に示す別の態様の撮像装置であっても良い。また、第２の実施の形態の変形例２の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

図１６は、第１撮像素子３２の露光開始および露光時間と、第２撮像素子４２の露光開始および露光時間と、記録用フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。図１６に示す例では、撮像条件設定部６１は、第２撮像素子４２に対して、第１の実施の形態の場合と同じ撮像条件、すなわち露光時間１／２０００ｓ、ＩＳＯ感度８００に設定する。第２撮像素子制御部６２２は、第１の実施の形態の場合と同様に、時刻ｔ１−１にて第２撮像素子４２に対して１回目の撮像を指示し、以後、１／２４０ｓごとに２回目、３回目の撮像を指示する。第２撮像素子４２により撮像が行われ画像信号が出力されるごとに、画像処理部６３は、第１の実施の形態の場合と同様にして画像信号からハイライト画像データを生成する。このハイライト画像データは記憶部６５に記憶される。

撮像条件設定部６１は、第１撮像素子３２に対して、露光時間を第２撮像素子４２の露光時間と等しい１／２０００ｓに設定し、ＩＳＯ感度を第１の実施の形態の場合よりも高い値（図１６の例では１００、０００）に設定する。すなわち、撮像条件設定部６１は、オーバー露光のベース画像データを撮像するための第１撮像素子３２に対して露光時間を短く設定したので、ＩＳＯ感度を第１の実施の形態で例示した値よりも高い値に設定している。第１撮像素子制御部６２１は、時刻ｔ１−１にて第１撮像素子３２に対して１回目の撮像を指示し、以後、１／２４０ｓごとに２回目、３回目の撮像を指示する。すなわち、第１撮像素子３２と第２撮像素子４２とは、共に、時刻ｔ１−１〜ｔ１−３、時刻ｔ１−４〜ｔ１−５、時刻ｔ１−６〜ｔ１−２にて、撮像を行う。第２撮像素子４２により撮像が行われ画像信号が出力されるごとに、画像処理部６３は、画像信号からベース画像データを生成する。このベース画像データは、ハイライト画像データを撮像する際の露光時間１／２０００ｓと同一の露光時間で撮像されている。このため、撮像装置１に対して相対的に移動している被写体を撮像した場合であっても、ベース画像データは、被写体に発生するブレの影響が抑制された鮮明な画像となる。
このベース画像データは記憶部６５に記憶される。

画像処理部６３は、上記の３つのベース画像データを加算、または加算平均することによりベース加算平均画像データを生成する。また、画像処理部６３は、第１の実施の形態において加算平均画像データを生成したときと同様にして、上記３つのハイライト画像データを加算平均することによりハイライト加算平均画像データを生成する。画像処理部６３は、生成したベース加算平均画像データとハイライト画像データとを、第１の実施の形態の場合と同様にして、ＨＤＲ処理を施してＨＤＲ画像データを生成する。生成されたＨＤＲ画像データは記憶部６５に記憶される。記録用フレームレートの以後のフレームについても同様の処理が行われ、ＨＤＲ処理が施された動画像データが生成される。

図１７は、表示器５に再生表示される画像と、ＨＤＲ画像データの生成に用いられたベース画像データの露光時間と、ＨＤＲ画像データの生成に用いられたハイライト画像データの露光時間との関係を模式的に示すタイミングチャートであり、撮像時の時刻をｔ、再生時の時刻をＴとする。図１７においては、動画像の再生時刻Ｔ１、Ｔ２に相当する撮像時の時刻がｔ１−１、ｔ２−１であるものとする。図１７において、表示制御部６４が、ＨＤＲ画像データのフレーム順序に従って、ＨＤＲ画像データを動画像として表示器５に再生表示している際に、時刻Ｔ１０にて一時停止（ポーズ）の指示が行われたとする。

ユーザにより一時停止のための操作が行われたことが操作検出部７により検出されると、表示制御部６４は、再生表示中のＨＤＲ画像データの生成に用いられた複数（図示の例では３個）のハイライト画像データの中から１つのハイライト画像データを記憶部６５から読み出す。また、表示制御部６４は、再生表示中のＨＤＲ画像データの生成に用いられた複数（図示の例では３個）のベース画像データの中から１つのベース画像データを記憶部６５から読み出す。この場合、表示制御部６４は、一時停止が行われた時刻Ｔ１０に相当する撮像時の時刻の直前に撮像された画像信号から生成されたハイライト画像データおよびベース画像データ（図１７においては、図の破線Ｌよりも前の時刻ｔ１−１〜ｔ１−３で露光されたハイライト画像データおよびハイライト画像データ）を読み出す。

画像処理部６３は、読み出されたハイライト画像データおよびベース画像データに対してＨＤＲ処理により合成して、ポーズ画像用のＨＤＲ画像データを生成する。表示制御部６４は、動画像データであるＨＤＲ画像データの次フレームを表示する時刻Ｔ２にて、画像処理部６３により生成されたポーズ画像用のＨＤＲ画像データを表示器に表示させる。ポーズ画像用のＨＤＲ画像データは、上述したように露光時間が１／２０００ｓであるベース画像データとハイライト画像データとにより生成されている。ベース画像データとハイライト画像データとは、短い露光時間にて撮像されているため、撮像装置１に対して相対的に移動している被写体を撮像した場合であっても、被写体に発生するブレの影響が抑制された鮮明な画像となる。したがって、このようなベース画像データとハイライト画像データとから生成されたポーズ画像用のＨＤＲ画像データにおいても、被写体に発生するブレの影響が抑制された鮮明な画像となる。
この場合の撮像装置１が動画像の再生表示の際に行う各処理は、図１５のフローチャートに示す各処理を適用することができる。ただし、ステップＳ２４では、画像処理部６３は、ステップＳ２３において読み出したハイライト画像データとベース画像データとをＨＤＲ処理により合成して、ポーズ画像用のＨＤＲ画像データを生成する。

第２の実施の形態の変形例２では、撮像素子制御部６２は、第１撮像素子３２と第２撮像素子４２とを短い露光時間にて撮像を行わせ、生成されたベース画像データとハイライト画像データとを合成して、ポーズ画像用のＨＤＲ画像データを生成する。これにより、動画像の再生中に一時停止が行われた場合であっても、被写体のブレの発生が抑制された鮮明なポーズ画像を表示器５に表示させることができる。

なお、上述した第２の実施の形態とその変形例１〜２では、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを含む撮像装置１を例に説明したが、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６とにより構成された撮像装置であっても良い。また、制御部６は、少なくとも撮像素子制御部６２と画像処理部６３と表示制御部６４とを備えれば良い。上述の第２の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の撮像装置を、第２の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。

＜第３の実施の形態＞
図１８、図１９を参照して、第３の実施の形態における撮像装置について説明を行う。第３の実施の形態においては、第１の実施の形態の構成（図１、図２参照を適用することができる。なお、第３の実施の形態の撮像装置１は、図６に示すように制御部が動き検出部を備えても良いし、図１２、図１３に示す別の態様の撮像装置であっても良い。また、第３の実施の形態の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

第３の実施の形態においては、撮像装置１は、第２撮像素子４２により、記録用フレームレートの１フレームの間で高輝度領域の白飛びの発生を抑制するための撮像条件による撮像と、高輝度領域と低輝度領域との間の中間輝度の領域に階調が得られるように設定された撮像条件による撮像とを行わせる。撮像装置１は、この２つの露光量の異なる画像データと、第１撮像素子３２により、第１の実施の形態の場合と同様にして生成したベース画像データとにＨＤＲ処理して合成することにより、ＨＤＲ画像データを生成する。以下、詳細に説明する。

以下の説明では、撮像条件設定部６１は、第１の実施の形態と同様に、第１撮像素子３２の撮像条件として、たとえば、露光時間１／１２０ｓ、ＩＳＯ感度８００に設定したものとする。なお、撮像が行われる環境等の条件によって撮像条件設定部６１は、第１撮像素子３２のＩＳＯ感度を、たとえば１２８００等の値に変更しても良い。

撮像条件設定部６１は、第２撮像素子４２の撮像条件として、第１撮像条件と第２撮像条件とを設定する。第１撮像条件は、第１の実施の形態の場合と同様に、ハイライト画像データを第２撮像素子４２に撮像させるための撮像条件である。第１撮像条件として、たとえば、第１撮像素子３２の露光時間よりも短い露光時間１／２０００ｓと、ＩＳＯ感度１００とが設定される。なお、撮像が行われる環境等の条件によって撮像条件設定部６１は、第２撮像素子４２の第１撮像条件におけるＩＳＯ感度を、たとえば８００等の値に変更しても良い。

第２撮像条件は、高輝度領域と低輝度領域との間の中間輝度の領域に階調が得られる画像データ（中間輝度画像データ）を第２撮像素子４２に撮像させるための撮像条件である。第２撮像条件として、たとえば、第１撮像条件の露光時間１／２０００ｓよりも長く、第１撮像素子３２の露光時間よりも短い、露光時間１／１０００ｓと、ＩＳＯ感度６４００とが設定される。なお、撮像が行われる環境等の条件によって撮像条件設定部６１は、第２撮像素子４２の第２条件のＩＳＯ感度を、たとえば８０００等の値に変更しても良い。

第１撮像素子制御部６２１は、上記のように設定された撮像条件にて第１撮像素子３２に撮像を指示し、第２撮像素子制御部６２２は、第２撮像素子４２に対して、上記の第１撮像条件による撮像を指示し、その後に、所定の時間経過後第２撮像条件による撮像を指示する。なお、第２撮像素子制御部６２２は、第２撮像素子４２に対して、第２撮像条件による撮像を指示し、その後、所定の時間経過後第１撮像条件による撮像を指示しても良い。

図１８は、第１撮像素子３２および第２撮像素子４２による露光時間と、記録用フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔをとする。
第１撮像素子制御部６２１は、第１の実施の形態（図３（ａ）参照）の場合と同様に、時刻ｔ１−１にて、第１撮像素子３２に露光時間１／１２０ｓにて撮像を行わせる。第２撮像素子制御部６２２は、時刻ｔ１−１にて、第２撮像素子４２に露光時間１／２０００ｓ、ＩＳＯ感度８００の第１撮像条件による撮像を行わせる。第２撮像素子４２による第１撮像条件での撮像が終了した時刻ｔ１−３から所定の時間、たとえば１／２４０ｓ経過した時刻ｔ１−４にて、第２撮像素子制御部６２２は、第２撮像素子４２に露光時間１／１０００ｓ、ＩＳＯ感度６４００の第２撮像条件による撮像を行わせる。

画像処理部６３は、第１撮像素子３２により１／１２０ｓの露光時間による撮像にて出力された画像信号からベース画像データを生成する。画像処理部６３は、第２撮像素子４２により１／２０００ｓの露光時間による撮像にて出力された画像信号からハイライト画像データを生成する。画像処理部６３は、第２撮像素子４２により１／１０００ｓの露光時間による撮像にて出力された画像信号から中間輝度画像データを生成する。画像処理部６３は、生成したベース画像データと、ハイライト画像データと、中間輝度画像データとに対してＨＤＲ処理により合成して、ＨＤＲ画像データを生成する。このようにして生成されたＨＤＲ画像データは、第１の実施の形態の場合と同様に低輝度の被写体については、オーバー露光にて撮像されたベース画像データにより鮮明に記録される。ＨＤＲ画像データでは、白飛びの発生する可能性のある高輝度の被写体については、アンダー露光となる第１撮像条件にて撮像されたハイライト画像データにより鮮明に記録される。ＨＤＲ画像データでは、中輝度の被写体については、ベース画像データの撮像時の撮像条件とハイライト画像データの撮像時の第１撮像条件との中間の露光量となる第２撮像条件にて撮像された中間輝度画像データにより鮮明に記録される。

図１９に示すフローチャートを参照して、第３の実施の形態の撮像装置１の撮像動作を説明する。図１９のフローチャートに示す各処理は、制御部６でプログラムを実行して行われる。このプログラムは記憶部６５に記憶されており、操作検出部７により動画像の撮像を指示する操作が行われたことが検出されると、制御部６により起動され、実行される。
ステップＳ３１においては、撮像条件設定部６１は、第１撮像素子３２の撮像条件と、第２撮像素子４２の第１撮像条件および第２撮像条件とを設定してステップＳ３２へ進む。ステップＳ３２では、撮像素子制御部６２は、第１撮像素子３２に設定された撮像条件にて撮像を行わせ、第２撮像素子４２に設定された第１撮像条件および第２撮像条件にて撮像を行わせてステップＳ３３へ進む。

ステップＳ３３では、画像処理部６３は、第１撮像素子３２からの画像信号に基づいてベース画像データを生成する。画像処理部６３は、第２撮像素子４２にて第１撮像条件で撮像されて出力された画像信号に基づいてハイライト画像データを生成し、第２撮像素子４２にて第２撮像条件で撮像されて出力された画像信号に基づいて中間輝度画像データを生成し、ステップＳ３４へ進む。ステップＳ３４では、画像処理部６３は、ベース画像データと中間輝度画像データとハイライト画像データとにＨＤＲ処理により合成して、ＨＤＲ画像データを生成してステップＳ３５へ進む。ステップＳ３５では、生成されたベース画像データと、中間輝度画像データと、ハイライト画像データと、ＨＤＲ画像データとを記憶部６５に記憶してステップＳ３６へ進む。ステップＳ３６では、図５のフローチャートに示すステップＳ６と同様の処理が適用され、動画像の撮像を終了する場合には、処理を終了し、動画像の撮像を終了しない場合には、ステップＳ３２へ戻る。

第３の実施の形態では、画像処理部６３は、第２撮像素子４２は異なる撮像条件で撮像して出力された画像信号からハイライト画像データと中間輝度画像データを生成し、ベース画像データと合成してＨＤＲ画像データを生成する。これにより、たとえば、明暗差の大きな被写体を撮像した場合であっても、ＨＤＲ画像データ上では、中輝度の被写体が中間輝度画像データに基づいて階調が再現されるので、ＨＤＲ画像データは、全体として広いダイナミックレンジを有する画像となる。

なお、上述した図１８に示す例では、第２撮像素子４２は、記録用フレームレートの１フレームの間に、ハイライト画像データと中間輝度画像データとをそれぞれ１回ずつ撮像するものであったが、この例に限定されない。第２撮像素子４２は、記録用フレームレートの１フレームの間に、ハイライト画像データと中間輝度画像データとをそれぞれ複数回ずつ撮像しても良い。たとえば２回ずつハイライト画像データと中間輝度画像データを撮像する場合、第２撮像素子制御部６２２は、第２撮像素子４２に対して、１回目と２回目のハイライト画像データの撮像を所定の間隔を空けて行わせた後、所定時間経過後に、１回目と２回目の中間輝度画像データの撮像を所定の間隔を空けて行わせても良い。または、第２撮像素子制御部６２２は、第２撮像素子４２に対して、１回目のハイライト画像データと中間輝度画像データの撮像を所定の間隔を空けて行わせた後、所定時間経過後に、２回目のハイライト画像データと中間輝度画像データの撮像を所定の間隔を空けて行わせても良い。この場合、画像処理部６３は、生成されたハイライト画像データを加算平均し、中間輝度画像データを加算平均した後、ベース画像データとＨＤＲ処理により合成して、ＨＤＲ画像データを生成する。これにより、ハイライト画像データと中間輝度画像データとの撮像用フレームレートは、６０ｆｐｓよりも大きくなるので、被写体の移動が不連続となった不自然な動画像として再生表示されることを抑制できる。

＜第３の実施の形態の変形例１＞
図２０を参照しながら、第３の実施の形態の変形例１の撮像装置について説明する。本変形例１の撮像装置は、３個以上の撮像ユニットを有する。以下、３個の撮像ユニットを有する場合を例に挙げて、詳細に説明する。
図２０（ａ）は、変形例３の撮像装置１の外観図である。撮像装置１の本体２の正面には、第１の実施の形態（図１、図２参照）と同様の第１撮像ユニット３および第２撮像ユニット４に加えて、第４撮像ユニット８を備える。図２０（ａ）に示す例では、第１撮像ユニット３の光軸中心と、第２撮像ユニット４の光軸中心と、第４撮像ユニット８の光軸中心とが、互いに等距離となるように配置されている場合を示す。なお、第１撮像ユニット３と第２撮像ユニット４と第４撮像ユニット８との配置はこれに限定されず、Ｘ方向またはＹ方向に沿って配置されても良いし、Ｘ方向またはＹ方向に対して所定の角度を有して配置されても良い。

図２０（ｂ）は、変形例３の撮像装置１の要部構成を模式的に示すブロック図である。変形例３の撮像装置１が有する上記の第４撮像ユニット８は、撮像レンズ８１と第３撮像素子８２とを有する。撮像レンズ８１は、第１撮像ユニット３や第２撮像ユニット４の撮像レンズ３１、４１と同様の構成が適用され、第３撮像素子８２は、第１撮像素子３２や第２撮像素子４２と同様の構成が適用される。制御部６の撮像素子制御部６２は第４撮像ユニット８の第３撮像素子８２の駆動を制御するための第３撮像素子制御部６２３を備える。第３撮像素子制御部６２３は、第１撮像素子制御部６２１や第２撮像素子制御部６２２と同様の構成が適用される。他の構成については、第１の実施の形態（図２参照）の撮像装置１が有する構成が適用される。すなわち、変形例１の撮像装置１は、上記の構成に加えて、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを有している。制御部６は、撮像条件設定部６１と、撮像素子制御部６２と、画像処理部６３と、表示制御部６４と、記憶部６５とを備える。
なお、第３の実施の形態の変形例１の撮像装置１は、図６に示すように制御部が動き検出部を備えても良いし、図１２、図１３に示す別の態様の撮像装置であっても良い。また、第３の実施の形態の変形例１の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

撮像条件設定部６１は、第３の実施の形態と同様にして、第１撮像素子３２に対して撮像条件を設定する。撮像条件設定部６１は、第３の実施の形態と同様にして、第２撮像素子４２に対して上述した第１撮像条件を設定する。撮像条件設定部６１は、第３の実施の形態において第２撮像素子４２に対して第２撮像条件を設定した場合と同様にして、第３撮像素子８２に対して第２撮像条件を設定する。撮像素子制御部６２は、上記のようにして設定された撮像条件、第１撮像条件および第２撮像条件にて、第１撮像素子３２、第２撮像素子４２および第３撮像素子８２を駆動させる。撮像素子制御部６２は、第２撮像素子４２および第３撮像素子８２に、第１撮像素子３２の露光時間の間に複数回の撮像を行わせる。画像処理部６３は、第１撮像素子３２が出力した画像信号からベース画像データを生成し、第２撮像素子４２が出力した複数の画像信号から複数のハイライト画像データを生成し、第３撮像素子８２が出力した複数の画像信号から複数の中間輝度画像データを生成する。画像処理部６３は、複数のハイライト画像データの加算平均を算出し、複数の中間輝度画像データの加算平均を算出し、ベース画像データとＨＤＲ処理にて合成して、動画像のＨＤＲ画像データを生成する。
上述した第３の実施の形態の変形例１の撮像装置１の撮像時の動作には、図１９のフローチャートに示す各処理を適用することができる。ただし、ステップＳ３１において、撮像条件設定部６１は、第１撮像素子３２に対して撮像条件を設定し、第２撮像素子４２に対して第１撮像条件を設定し、第３撮像素子８２に対して第２撮像条件を設定する。ステップＳ３２においては、第１撮像素子制御部６２１が第１撮像素子３２に撮像を行わせ、第２撮像素子制御部６２２が第２撮像素子４２に撮像を行わせ、第３撮像素子制御部６２３が第３撮像素子８２に撮像を行わせる。
これにより、明暗差の大きな被写体を撮像した場合であっても、ＨＤＲ画像データは、中間輝度の被写体の階層も再現された全体として広いダイナミックレンジを有し、被写体のブレ等の発生が抑制された動画像を生成できる。

なお、上述した第３の実施の形態では、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを含む撮像装置１を例に説明したが、第１撮像ユニット３と、第２撮像ユニット４と、制御部６とにより構成された撮像装置であっても良い。第３の実施の形態の変形例１では、第１撮像ユニット３と、第２撮像ユニット４と、第４撮像ユニット８と、制御部６とにより構成された撮像装置であっても良い。また、第３の実施の形態とその変形例１の制御部６は、少なくとも撮像素子制御部６２と画像処理部６３とを備えれば良い。上述の第３の実施の形態、または変形例１に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の撮像装置を、第３の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。

以上で説明した第１の実施の形態とその変形例や、第２の実施の形態とその変形例や、第３の実施の形態とその変形例の撮像装置１において、画像処理部６３は、生成されたハイライト画像データである第２画像データまたは第３画像データを用いて被写体検出等の処理を行っても良い。ハイライト画像データは、短い露光時間により撮像された画像であるので、画像上の被写体が受けるブレの影響が小さい。このため、精度よく被写体を検出することが可能となる。

以上で説明した第１の実施の形態とその変形例や、第２の実施の形態とその変形例や、第３の実施の形態とその変形例の撮像装置１において、表示器５を有する構成で説明したが、必ずしも表示器５を有する必要はない。
また、以上で説明した第１の実施の形態とその変形例や、第２の実施の形態とその変形例や、第３の実施の形態とその変形例の撮像装置１の画像処理部６３によって、ハイライト画像データとベース画像データとを合成してＨＤＲ画像データを生成したが、撮像装置１でＨＤＲ画像データを生成する必要は必ずしもない。画像処理部６３は撮像装置１の外部に配置され（例えば、画像処理部６３は、撮像装置の外部に設置されるサーバ、または撮像機能と、画像処理機能および表示器５と、が別体となるような撮像装置）、撮像装置１が備える通信部によって、ハイライト画像データとベース画像データを画像処理部６３に送信し、画像処理部６３でＨＤＲ画像データを生成してもよい。撮像装置１が表示器５を備える場合は、画像処理部６３は生成したＨＤＲ画像データを撮像装置１に送信し、撮像装置１の表示器５でＨＤＲ画像データを表示可能な状態にしてもよい。また、画像処理部６３側が表示器５を備える場合は、生成したＨＤＲ画像データを表示器５に表示してもよい。

撮像装置１が撮像動作を行うために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。

なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。

上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…撮像装置、３…第１撮像ユニット、４…第２撮像ユニット、
５…表示器、６…制御部、７…操作検出部、
８…第４撮像ユニット、９…第３撮像ユニット、
３２、９２…第１撮像素子、４２、９３…第２撮像素子、６１…撮像条件設定部、
６２…撮像素子制御部、６３…画像処理部、６４…表示制御部、
６５…記憶部、６６…動き検出部、６７…第１撮像ユニット群制御部、
６８…第２撮像ユニット群制御部、６９…全体画像処理部、８２…第３撮像素子、
１１４…第１撮像ユニット群、１１５…第２撮像ユニット群、
６２１…第１撮像素子制御部、６２２…第２撮像素子制御部、
６２３…第３撮像素子制御部

Claims (21)

1. 動画像を撮像する撮像装置であって、
   被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、
   前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子と、
   前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、前記合成画像データに基づいて前記動画像を生成する制御部とを備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第２撮像素子は、前記第２露光時間の撮像と前記第３露光時間の撮像とを行ったフレームの次のフレームで、前記被写体が第１露光時間よりも短い第４露光時間で撮像された第４画像信号の出力を行い、
   前記第３露光時間での撮像の終了から前記第４露光時間での撮像の開始までの時間は、前記所定のフレームレートの１フレームの時間よりも短い撮像装置。
3. 請求項１に記載の撮像装置であって、
   表示部に再生された前記動画像に対する設定を行う入力部を更に備え、
   前記制御部は、前記動画像の再生中に、前記入力部によって前記動画像の再生の停止に関する入力がされた場合、前記第２画像データに基づく画像、または前記第３画像データに基づく画像を前記表示部に表示させる撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記制御部は、前記第２画像データまたは、前記第３画像データに対して、輝度が暗い領域を補正する画像処理を行う撮像装置。
5. 請求項３に記載の撮像装置であって、
   前記制御部は、前記第１画像データに基づいて、前記第２画像データまたは、前記第３画像データに対して、輝度の補正を行う画像処理を行う撮像装置。
6. 請求項１記載の撮像装置であって、
   前記制御部は、前記第２画像データ、または前記第３画像データに基づいて、前記動画像内で撮像された被写体を検出する撮像装置。
7. 請求項１に記載の撮像装置であって、
   前記第３露光時間での撮像は、前記第２露光時間での撮像よりも後の時間に撮像される撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記第３露光時間の露光開始時刻は、前記１フレームの半分の時刻よりも後に開始される撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記第１露光時間での撮像の露光開始は、前記第２露光時間の撮像の間に行われ、
   前記第１露光時間での撮像の露光終了は、前記第３露光時間の撮像の間に行われる撮像装置。
10. 請求項９に記載の撮像装置であって、
    前記第２撮像素子は、前記第１露光時間の撮像とは異なる時間に、前記１フレーム内に前記第１露光時間より短い第４露光時間で撮像し、第４画像信号を出力する撮像装置。
11. 請求項１に記載の撮像装置であって、
    前記第１露光時間は、前記１フレームの時間の１／４よりも長い露光時間である撮像装置。
12. 請求項１に記載の撮像装置であって、
    前記第１画像データは、前記第１画像信号を第１ゲインで増幅した後に生成され、
    前記第２画像データは、前記第２画像信号を第２ゲインで増幅した後に生成され、
    前記第３画像データは、前記第３画像信号を第３ゲインで増幅した後に生成され、
    前記第１画像データの平均輝度は、前記第２画像データまたは、前記第３画像データの平均輝度よりも小さい撮像装置。
13. 請求項１から請求項１２の少なくとも一項に記載の撮像装置であって、
    前記表示部を更に備えた表示装置。
14. 請求項１から請求項１２の少なくとも一項に記載の撮像装置を備えた電子機器。
15. 動画像を撮像する撮像方法であって、
    被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行い、
    前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行い、
    前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、前記合成画像データに基づいて前記動画像を生成する撮像方法。
16. 動画像を撮像する撮像装置のコンピュータに実行させるプログラムであって、
    被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行い、
    前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行い、
    前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとに基づいて合成画像データを生成し、前記合成画像データに基づいて前記動画像を生成するコンピュータに実行させるプログラム。
17. 動画像を撮像する撮像装置であって、
    被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、
    前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子と、
    外部の電子機器と通信を行う第１通信部と、
    前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとを前記外部機器に前記第１通信部を介して送信する第１制御部とを備える撮像装置。
18. 請求項１７に記載の撮像装置と、
    前記第１画像データと前記第２画像データと前記第３画像データとを受信する第２通信部と、
    前記第１画像データと前記第２画像データと前記第３画像データとを合成し、合成画像データを生成する第２制御部とを備える画像処理装置とを備える撮像システム。
19. 請求項１８に記載の撮像システムであって、
    前記画像処理装置は、前記合成画像データに基づく合成画像を表示する表示部を更に備える表示システム。
20. 被写体を第１露光時間で撮像し、第１画像信号の出力を所定のフレームレートで行う第１撮像素子と、前記所定のフレームレートの１フレーム間に、前記被写体が前記第１露光時間よりも短い第２露光時間で撮像された第２画像信号の出力と、前記被写体が前記第１露光時間よりも短い第３露光時間で撮像された第３画像信号の出力とを行う第２撮像素子とを有する撮像装置から、前記第１画像信号に基づく第１画像データ、前記第２画像信号に基づく第２画像データ、前記第３画像信号に基づく第３画像データとを受信する通信部と、
    前記第１画像データと前記第２画像データと前記第３画像データとに基づいて合成画像データを生成し、動画像を生成する制御部とを備える画像処理装置。
21. 請求項２０に記載の画像処理装置であって、
    前記動画像を表示する表示部をさらに備える表示装置。
    
    

Images