JP2018056940A - 撮像装置、表示装置、電子機器、プログラム、撮像システム、表示システムおよび画像処理装置 - Google Patents

Abstract

【課題】被写体の動きの不自然が抑制された動画像が再生可能となるような動画像データを生成することができない。【解決手段】撮像装置は、被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、第１画像信号と第２画像信号とを異なるゲインで増幅する増幅部と、増幅部によって増幅された第１画像信号に基づく第１画像データと、増幅部によって増幅された第２画像信号に基づく第２画像データとを合成し、合成画像データを生成する制御部とを備え、第１露光時間での撮像の露光開始および第１露光時間での撮像の露光終了の少なくとも一方は、第２露光時間の撮像の間に行われる。【選択図】図２

Description

本発明は、撮像装置、表示装置、電子機器、プログラム、撮像システム、表示システムおよび画像処理装置に関する。

従来から、複数のカメラモジュールを備える電子機器において、それぞれのカメラモジュールにて生成された画像データを合成した合成画像データを生成するものが知られている（たとえば特許文献１）。好適に画像を生成することができない場合があった。

特開２０１６−９９５９８号公報

第１の態様によれば、撮像装置は、被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、前記被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する増幅部と、前記増幅部によって増幅された前記第１画像信号に基づく第１画像データと、前記増幅部によって増幅された前記第２画像信号に基づく第２画像データとを合成し、合成画像データを生成する制御部とを備え、前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる。
第２の態様によれば、表示装置は、第１の態様の撮像装置であって、前記表示部を更に備える。
第３の態様によれば、電子機器は、第１または第２の態様の撮像装置を備える。
第４の態様によれば、撮像装置は、被写体が第１露光時間で撮像された第１画像信号を出力し、前記被写体が第２露光時間で撮像された第２画像信号を出力し、前記第１画像信号と前記第２画像信号とを異なるゲインで増幅し、増幅された前記第１画像信号に基づく第１画像データと、増幅された前記第２画像信号に基づく第２画像データとを合成し、合成画像データを生成し、前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる。
第５の態様によれば、コンピュータに実行させるためのプログラムであって、被写体が第１露光時間で撮像された第１画像信号を出力する処理と、前記被写体が第２露光時間で撮像された第２画像信号を出力する処理と、前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する処理と、増幅された前記第１画像信号に基づく第１画像データと、増幅された前記第２画像信号に基づく第２画像データとを合成し、合成画像データを生成する処理と、前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行うコンピュータに実行させる。
第６の態様によれば、撮像装置は、被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、前記被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する増幅部と、外部の電子機器と通信を行う第１通信部と、前記第１ゲイン増幅部によってゲインが増幅された前記第１画像信号に基づく第１画像データと、前記第２ゲイン増幅部によってゲインが増幅された前記第２画像信号に基づく第２画像データとを前記外部の電子機器に前記第１通信部を介して送信する第１制御部とを備え、前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる。
第７の態様によれば、撮像システムは、第６の態様による撮像装置と、前記第１画像データと前記第２画像データとを受信する第２通信部と、前記第１画像データと前記第２画像データとを合成し、合成画像データを生成する第２制御部とを備える画像処理装置とを備える。
第８の態様によれば、表示システムは、第７の態様の撮像システムであって、前記画像処理装置は、前記合成画像データに基づく合成画像を表示する表示部を更に備える。
第９の態様によれば、画像処理装置は、被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、前記被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する増幅部とを有し、前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる撮像装置から、第１ゲイン増幅部によってゲインが増幅された前記第１画像信号に基づく第１画像データと、第２ゲイン増幅部によってゲインが増幅された前記第２画像信号に基づく第２画像データとを受信する通信部と、前記第１画像データと前記第２画像データとを合成し、合成画像データを生成する制御部とを備える。
第１０の態様によれば、表示装置は、第９の態様による画像処理装置であって、前記合成画像データに基づく画像を表示する表示部をさらに備える。

第１の実施の形態に係る撮像装置の外観の一例を示す図である。 第１の実施の形態に係る撮像装置の要部構成の一例を示すブロック図である。 第１撮像素子および第２撮像素子による露光時間とフレームレートとの関係を模式的に示すタイミングチャートである。 第１の実施の形態に係る撮像装置の動画像を撮像する際の動作を説明するフローチャートである。 第１の実施の形態の変形例１に係る撮像装置の構成の一例を示す図である。 第１の実施の形態の変形例２に係る撮像装置の要部構成の一例を示すブロック図である。 第１の実施の形態の変形例２の別の例に係る撮像装置の外観を模式的に示す図である。 第１の実施の形態の変形例２の別の例に係る撮像装置の要部構成を模式的に示す図である。 第２の実施の形態における第１撮像素子の露光時間と第２撮像素子の露光時間との関係を模式的に示すタイミングチャートである。 第２の実施の形態における撮像装置１による動画像再生時の動作を説明するためのフローチャートである。 第２の変形例１における第１撮像素子および第２撮像素子の露光時間と、フレームレートとの関係を模式的に示すタイミングチャートである。 第２の実施の形態の変形例１において、表示器に再生表示される画像と、ベース画像データの露光時間と、ハイライト画像データの露光時間との関係を模式的に示すタイミングチャートである。 変形例に係る撮像装置１の構成を模式的に示す図である。

＜第１の実施の形態＞
図面を参照しながら、第１の実施の形態による撮像装置について説明する。
図１は撮像装置１の外観を例示する図であり、図１（ａ）は正面斜視図、図１（ｂ）は背面斜視図である。図２は、図１に示す撮像装置１の要部構成を説明するブロック図である。
図１に示すように、撮像装置１の本体２の正面には、第１撮像ユニット３と第２撮像ユニット４とが配置される。撮像装置１の本体２の背面には、表示器５が配置される。
なお、説明の都合上、撮像装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系で説明を行うが、それに限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、撮像装置１の本体２の矩形表面の長辺方向に設定され、Ｙ軸は、撮像装置１の本体２の矩形表面の短辺方向に設定され、Ｚ軸は、矩形表面に垂直な方向（すなわち、後述する第１撮像ユニット３および第２撮像ユニット４の光軸）に設定されている。

第１撮像ユニット３および第２撮像ユニット４は、たとえば図１に示すようにＸ方向に沿って配置される。なお、第１撮像ユニット３と第２撮像ユニット４とは、Ｙ方向に沿って配置されても良いし、Ｘ方向またはＹ方向に対して所定の角度を有して配置されても良い。
第１撮像ユニット３は、図２に示すように、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含む撮像レンズ３１と、第１撮像素子３２と、絞り３３と、光学部材として通過する光の量を低下させる濃度フィルタ（ＮＤフィルタ）３４とを備える。なお、ここでの説明では、光学部材を濃度フィルタ（ＮＤフィルタ）３４として説明するが、絞り３３と濃度フィルタ（ＮＤフィルタ）３４とを含めて光学部材としてもよい。または、濃度フィルタ（ＮＤフィルタ）３４を配置せず、絞り３３を光学部材としてもよい。
なお、図１では撮像レンズ３１を１枚のレンズで代表して表している。第１撮像素子３２は、撮像面上において行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。第１撮像素子３２は、後述する制御部６（図２参照）の制御に応じて駆動して、撮像レンズ３１を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。第１撮像素子３２は増幅部３２１を備え、後述する制御部６により制御されて、画像信号を所定のゲイン（増幅率）にて増幅する。絞り３３は、撮像レンズ３１を通過して第１撮像素子３２へ向かう被写体からの光を規制する。濃度フィルタ３４は、所定の波長帯において、撮像レンズ３１を通過した被写体からの光の光量を所定量だけ低減させる光量低減部として機能する。なお、濃度フィルタ３４は、撮像レンズ３１と第１撮像素子３２との間に配置される。撮像レンズ３１が複数のレンズから構成されるレンズモジュールの場合には、レンズモジュール内のレンズとレンズとの間に配置されても良い。なお、濃度フィルタ３４の透過率については、詳細を後述する。

第２撮像ユニット４は、第１撮像ユニット３と同様に、撮像レンズ４１と第２撮像素子４２と絞り４３とを備える。第２撮像素子４２は、撮像レンズ４１を通過した被写体像を撮像し、撮像して得た画像信号を出力する。第２撮像素子４２は、第１撮像素子３２と同様に、行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。第２撮像素子４２は、制御部６の制御に応じて駆動して、撮像レンズ４１を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。第２撮像素子４２は増幅部４２１を備え、後述する制御部６により制御されて、画像信号を所定のゲイン（増幅率）にて増幅する。絞り４３は、絞り３３と同様に、撮像レンズ４１を通過して第２撮像素子４２へ向かう被写体からの光を規制する。

第１撮像素子３２および第２撮像素子４２は、各画素ごとにメモリ（不図示）を備えることにより、グローバルシャッタ動作による撮像が可能である。すなわち、第１撮像素子３２および第２撮像素子４２は、それぞれ、撮像面の全領域で光電変換により生成した電荷を一括して同じタイミングにてメモリ（不図示）へ転送する、または、生成した電荷を電気信号に変換した後、一括して同じタイミングにてメモリ（不図示）へ転送する。グローバルシャッタ動作により、第１撮像素子３２の全画素について露光開始と終了の時刻を揃え、第２撮像素子４２の全画素について露光開始と終了の時刻を揃えて撮像を行うことができる。
なお、第１撮像素子３２および第２撮像素子４２は、グローバルシャッタを搭載するものに限定されない。たとえば、第１撮像素子３２および第２撮像素子４２は、撮像面の一部の領域（たとえば、所定の行）ごとに順次電荷蓄積および画像信号の出力を行う、いわゆるローリングシャッタ動作を行ってもよい。

第１撮像素子３２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）の第１カラーフィルター３２２が画素位置に対応するように設けられている。第２撮像素子４２には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）の第２カラーフィルター４２２が画素位置に対応するように設けられている。第１撮像素子３２および第２撮像素子４２が第１カラーフィルター３２２および第２カラーフィルター４２２を通してそれぞれ被写体像を撮像するため、第１撮像素子３２および第２撮像素子４２から出力される画像信号はＲＧＢ表色系の色情報を有する。
なお、第１撮像素子３２および第２撮像素子４２の撮像面の一部の領域または全領域に焦点検出用画素が配置されても良い。この場合、焦点検出用画素から出力される対の光像に応じた信号を加算した信号が画像信号として使用される。

表示器５は、たとえば液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器５は、後述する制御部６の制御に基づいて駆動され、制御部６で生成された画像データに対応する画像の表示を行う。表示器５には、撮像装置１の各種動作を設定するためのメニュー画面が表示される。

次に、図２を参照しながら、撮像装置１の制御系の構成について説明する。撮像装置１は、制御部６と、操作検出部７とを備える。制御部６は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、撮像装置１の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、制御部６内の後述する記憶部６５に記憶されている。

制御部６は、撮像条件設定部６１と、撮像素子制御部６２と、画像処理部６３と、表示制御部６４と、記憶部６５とを備える。撮像条件設定部６１は、第１撮像ユニット３と第２撮像ユニット４とのそれぞれに対して、撮像を行う際の撮像条件、たとえば露光時間（シャッター速度）、絞り、ＩＳＯ感度を設定する。撮像条件設定部６１は、第１撮像ユニット３に対して、ＩＳＯ感度すなわち第１ゲイン（増幅率）よりも、第２撮像ユニット４のＩＳＯ感度すなわち第２ゲイン（増幅率）を大きな値に設定する。撮像素子制御部６２は、撮像条件設定部により設定された撮像条件にて撮像が行われるように、第１撮像素子３２および第２撮像素子４２の動作を制御する。なお、本実施の形態においては、図２に示すように、撮像素子制御部６２は、第１撮像素子３２の動作を制御する第１撮像素子制御部６２１と、第２撮像素子４２の動作を制御する第２撮像素子制御部６２２とを機能として備えるものとして説明を行うが、この例に限定されない。すなわち、制御部６が撮像素子制御部６２を備えることなく、制御部６が第１撮像素子制御部６２１と第２撮像素子制御部６２２とを備える構成としても良い。

画像処理部６３は、第１撮像素子３２から出力された第１画像信号が増幅部３２１により第１ゲインで増幅された後、各種の画像処理を施して、第１画像データを生成する。画像処理部６３は、第２撮像素子４２から出力された第２画像信号が増幅部４２１により第２ゲインで増幅された後、各種の画像処理を施して、第２画像データを生成する。画像処理部６３は、生成された第１画像データと第２画像データとを合成して、被写体の輝度の再現性を拡大させるハイダイナミックレンジ（ＨＤＲ）処理の施された合成画像データ（以後、ＨＤＲ画像データ）を生成する。合成画像データを生成する例としては、たとえば、画像処理部６３は、第１画像データと第２画像データとの輝度を加算した後、平均をとることによって合成画像データを生成する。または、画像処理部６３は、第１ゲインよりもゲインの低い第２ゲインで増幅された第２画像データの輝度の低い領域に対して、第１画像データに基づいて輝度の大きさを補正し、第２画像データの輝度の低い領域を明るくするような補正を行ってもよい。表示制御部６４は、画像処理部６３で生成された各種の画像データ、すなわち第１画像データや第２画像データやＨＤＲ画像データの画像を表示器５に表示させる。記憶部６５は、たとえば不揮発性メモリであり、ＨＤＲ画像データを記憶する。
なお、上述した撮像条件設定部６１や撮像素子制御部６２や画像処理部６３や表示制御部６４の詳細については、説明を後に行う。

操作検出部７は、例えば表示器５に積層されて設けられるタッチパネル等により構成され、ユーザの指等が表示器５の画面に接触するタップ操作が行われると、その座標を制御部６に出力する。ユーザの操作が操作検出部７に検出されることにより、例えば撮像装置１に対する撮影指示や、各種の設定等の選択指示または決定指示や、画像を表示器５に再生、表示させるための再生モードの選択指示や、撮像装置１による撮影を静止画撮影モードと動画撮影モードとの間で切り替える指示を行うことができる。この場合、制御部６は、表示器５に、上記の各指示に応じたアイコン等を表示させる。ユーザは、所望する指示に従って、表示器５に表示されたアイコンに対してタップ操作を行うと、制御部６は、操作検出部７により検出された座標に基づいて、何れの指示が行われたかを判定し、指示の内容に応じて各部に指示信号を出力する。

なお、操作検出部７としてタッチパネル等により構成されるものに限定されず、ユーザインタフェースとして利用し得る種々の構成を用いることができる。たとえば、ユーザによる操作はボタン等を押下操作することにより行われ、操作検出部７はユーザのボタン操作を検出するものでも良い。または、操作検出部７は、ユーザの動作、たとえば手を振ったり、予め決められているジェスチャー等を検出しても良い。この場合、操作検出部７は撮像装置により構成することができる。また、操作検出部７は、ユーザの声を検出するマイク等の集音装置により構成されても良い。

上述した構成を有する本実施の形態の撮像装置１は、第１撮像素子３２および第２撮像素子４２から出力された画像信号に基づいて、ＨＤＲ処理の施された動画像データを生成する。
撮像装置１は、第１撮像ユニット３の第１撮像素子３２が撮像を行って出力した第１画像信号を第１ゲインで増幅することにより、白飛びを抑制した暗い画像データを第１画像データとして生成する。上述したように、撮像条件設定部６１により第１ゲインは第２ゲインより小さな値に設定されるので、第１撮像素子３２からの第１画像信号が第１ゲインによりアンダー露光となるように増幅され、被写体の明部、すなわち高輝度領域の再現性を高めた第１画像データが生成される。撮像装置１は、第２撮像ユニット４の第２撮像素子４２が撮像を行って出力した第２画像信号を第２ゲインで増幅することにより、黒潰れを抑制した明るい画像データを第１画像データとして生成する。撮像条件設定部６１により、第２ゲインは第１ゲインよりも大きな値に設定されるので、第２撮像素子４２からの第２画像信号が第２ゲインにてオーバー露光となるように増幅されることにより、被写体の暗部、すなわち低輝度領域の再現性を高めた第２画像データが生成される。撮像装置１は、高輝度領域の再現性を高めた画像データである第１画像データと、低輝度領域の再現性を高めた画像データである第２画像データと、に基づいて、合成画像データを生成し、この合成画像データに基づいて、動画像を生成する。

上述したように、撮像条件設定部６１が第１撮像素子３２の第１ゲインを設定するが、撮像環境等によっては被写体に白飛びが発生することが抑制できない場合がある。そのため、本実施の形態の撮像装置１においては、第１撮像ユニット３は、濃度フィルタ３４を備えている。以下、濃度フィルタ３４がどの程度被写体からの光の透過率を低減する必要があるかについて具体例を用いて説明する。

露出値（ＥＶ値）が１３程度、たとえば、明るい曇りの環境下で撮像を行う場合を例に挙げる。この場合、ＩＳＯ感度が１００に設定された場合、絞り値（Ｆ値）２．８、露光時間（シャッタースピード）１／１０００ｓに設定すると、おおよそ適切な撮像条件となる。しかし、後述するように６０ｆｐｓで動画像を撮像する場合には、１フレームの時間１／６０ｓと比較して露光時間の１／１０００ｓは短い時間となる。このため、シャッタースピードを１／１２０ｓ程度にまで遅くする、すなわち露光時間を短くするためには、濃度フィルタ３４は、被写体からの光量を１／８、すなわち透過率１２．５パーセントとする必要がある。

露出値が１６程度、たとえば、快晴時の雪景色等を撮像する場合を例に挙げる。この場合、ＩＳＯ感度が１００に設定された場合、絞り値（Ｆ値）２．８、露光時間（シャッタースピード）１／８０００ｓに設定すると、おおよそ適切な撮像条件となる。この場合も、６０ｆｐｓで動画像を撮像する場合には、１フレームの時間１／６０ｓと比較して露光時間の１／８０００ｓは短い時間となる。このため、シャッタースピードを１／１２０ｓ程度にまで遅くする、すなわち露光時間を短くするためには、濃度フィルタ３４は、被写体からの光量を１／６４、すなわち透過率１．５６パーセントとする必要がある。

以上の例のように、ＥＶ値１６程度であってもシャッタースピード１／１２０ｓ程度で撮像可能となるように、撮像装置１は、透過率が１．５パーセントの濃度フィルタ３４を備えることができる。ただし、ＥＶ値が１６よりも小さい環境下（たとえばＥＶ値１３等）の場合には、ＩＳＯ感度１００では第１撮像素子３２により撮像され生成される画像データが暗い画像となってします。このような場合には、撮像条件設定部６１は、ＩＳＯ感度を１００より大きな値に設定すれば良い。たとえば、ＥＶ値１３、シャッタースピード１／１２５ｓの場合に、撮像条件設定部６１はＩＳＯ感度を８００に設定すると良い。
なお、上述の例では、ＩＳＯ感度１００で説明したが、さらに小さい値であってもよい。例えば、ＩＳＯ感度５０の場合、絞り値（Ｆ値）２．８、露光時間（シャッタースピード）１／８０００ｓに設定すると、ＥＶ値が１５になる。先ほどのＩＳＯ感度が１００、絞り値（Ｆ値）２．８、露光時間（シャッタースピード）１／８０００ｓのＥＶ値１６と比較すると、ＥＶ値が１小さくなっている。つまり、最低のＩＳＯ感度によって、必要となる濃度フィルタ３４の透過率が異なってくる。この場合だと、シャッタースピードを１／１２０ｓ程度にまで遅くするためには、濃度フィルタ３４の透過率は１／３２程度、つまり透過率は約３．０パーセント程度に代わる。すなわち、ＩＳＯ感度を低く設定できるにつれて、濃度フィルタ３４の透過率を高くすることができる（透過するようになる）。もちろん、設定可能なＩＳＯ感度を高く設定できるにつれて、濃度フィルタ３４の透過率を低く設定する必要がある。
同様に、ＥＶ値は絞り値（Ｆ値）によって変わり、絞り値（Ｆ値）が大きくなるにつれて、ＥＶ値が小さくなるため、濃度フィルタ３４の透過率を高くすることができる（透過するようになる）。もちろん、絞り値（Ｆ値）が小さくなるにつれて、ＥＶ値が大きくなるため、濃度フィルタ３４の透過率を低くする必要がある。

以下、撮像条件設定部６１により、第１撮像素子３２の撮像条件が白飛びの発生を抑制するように、たとえば露光時間１／１２０ｓ、ＩＳＯ感度１００に設定され、第２撮像素子４２の撮像条件が黒潰れの発生を抑制するように、たとえば露光時間１／１２０ｓ、ＩＳＯ感度１２８００に設定された場合の動作像の撮像処理について説明する。
なお、以下の説明においては、動画像のフレームレートを６０ｆｐｓであるものとする。すなわち、撮像条件設定部６１は、フレームレートの６０ｆｐｓの１フレームの時間１／６０ｓに対して１／２の時間を第１撮像素子３２および第２撮像素子４２の露光時間に設定する。撮像条件設定部６１は、第１撮像素子３２および第２撮像素子４２の露光時間については、動画像のフレームレートに基づいて、動画再生時の被写体の動きが不自然に不連続になることを抑制できる程度の露光時間に設定して良い。この場合、撮像条件設定部６１は、フレームレートの１／４〜１／１の時間を第１撮像素子３２の露光時間として設定するのが良い。なお、撮像条件設定部６１によって、フレームレートの１／２よりも長い時間が露光時間として設定された場合には、第１撮像素子３２および第２撮像素子４２により撮像された第１画像データおよび第２画像データにおいては、撮像装置１に対して相対的に移動している被写体のブレが大きくなる。このように、各フレームにおける露光時間が長く設定されて生成された動画像は、スピード感や躍動感のある動画像として再生することができる。
また、以下の説明においては、白飛びの発生を抑え被写体の高輝度領域の再現性を高めた画像、すなわち第１画像データをハイライト画像データと呼び、黒潰れの発生を抑え被写体の低輝度領域の再現性を高めた画像データ、すなわち第２画像データをベース画像データと呼ぶ。

撮像素子制御部６２は、撮像条件設定部６１により上記のように設定された第１撮像素子３２と第２撮像素子４２とに対する撮像条件にて、第１撮像素子３２と第２撮像素子４２とに露光を行わせる。すなわち、第１撮像素子制御部６２１は、撮像条件設定部６１により設定された露光時間（１／１２０ｓ）にて露光が行われるように、第１撮像素子３２に電荷蓄積の開始と終了、すなわち露光開始と露光終了を指示する信号を出力する。第１撮像素子制御部６２１は、撮像条件設定部６１により設定されたＩＳＯ感度（１００）となるように、第１撮像素子３２の増幅回路（不図示）による増幅率を設定する。第２撮像素子制御部６２２は、撮像条件設定部６１により設定された露光時間（１／１２０ｓ）にて露光が行われるように、第２撮像素子４２に電荷蓄積の開始と終了、すなわち露光開始と露光終了を指示する信号を出力する。第２撮像素子制御部６２２は、撮像条件設定部６１により設定されたＩＳＯ感度（１２８００）となるように、第２撮像素子４２の増幅回路（不図示）による増幅率を設定する。

図３は、第１撮像素子３２および第２撮像素子４２による露光時間と、フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。
図３（ａ）は、第１撮像素子３２による露光時間とフレームレートとの関係を示す。第１撮像素子制御部６２１は、時刻ｔ１−１にて第１撮像素子３２に露光開始を指示し、時刻ｔ１−１から露光時間の１／１２０ｓが経過した時刻ｔ１−２にて第１撮像素子３２に露光終了を指示する。この時刻ｔ１−１〜ｔ１−２の間で第１撮像素子３２により撮像して出力された画像信号は増幅部３２１により増幅され、画像処理部６３により第１フレーム目のハイライト画像データが生成される。時刻ｔ１−１から１／６０ｓ経過した時刻ｔ２−１にて、第１撮像素子制御部６２１は、第１撮像素子３２に、第２フレーム目のハイライト画像データの露光開始を指示し、以後、動画像の撮像の終了まで同様の処理を繰り返す。
上記のようにして生成されたハイライト画像データは、記憶部６５に保存される。

図３（ｂ）は、第２撮像素子４２による露光時間とフレームレートとの関係を示す。第２撮像素子制御部６２２は、時刻ｔ１−１にて第２撮像素子４２に露光開始を指示し、時刻ｔ１−１から露光時間の１／１２０ｓが経過した時刻ｔ１−２にて第２撮像素子４２に露光終了を指示する。この時刻ｔ１−１〜ｔ１−２の間で第２撮像素子４２により撮像して出力された画像信号は増幅部４２１により増幅され、画像処理部６３により第１フレーム目のベース画像データが生成される。時刻ｔ１−１から１／６０ｓ経過した時刻ｔ２−１にて、第２撮像素子制御部６２２は、第２撮像素子４２に、第２フレーム目のベース画像データの露光開始を指示し、以後、動画像の撮像の終了まで同様の処理を繰り返す。
上記のようにして生成されたベース画像データは、記憶部６５に保存される。

なお、上記の説明では、時刻ｔ１−１〜ｔ１−２の間に第１撮像素子３２と第２撮像素子４２とが撮像を行う場合を例に挙げたがこれに限定されない。たとえば、第１撮像素子３２の露光開始が所定時間だけ第２撮像素子４２の露光開始よりも早くても良いし、所定時間だけ第２撮像素子４２の露光開始より遅くても良い。すなわち、撮像素子制御部６２は、第１撮像素子３２の露光時間と第２撮像素子４２の露光時間とが一部で重複するように第１撮像素子３２と第２撮像素子４２との露光開始の時刻を制御しても良い。つまり、第１露光時間での撮像の撮像開始および第１露光時間での撮像の撮像終了の少なくとも一方が第２露光時間の撮像の間に行われるように撮像素子制御部６２が制御してもよい。ただし、上記の所定時間は、第１撮像素子３２および第２撮像素子４２の露光時間である１／１２０ｓよりも短い時間が好ましい。
なお、上記の説明では、光学部材である濃度フィルタ３４を備える構成で説明を行っているが、必ずしも備える必要はない。すなわち、第１撮像素子３２による第１露光時間での撮像の撮像開始、および第１露光時間での撮像の撮像終了の少なくとも一方が、第２撮像素子４２での第２露光時間の撮像の間に行われるように撮像素子制御部６２が制御を行い、第１撮像素子３２と第２撮像素子４２とで撮像された第１画像信号と第２画像信号とを増幅部４２１により異なるゲインで増幅するような制御のみであってもよい。

画像処理部６３は、生成したハイライト画像データとベース画像データとをＨＤＲ処理により合成して、ＨＤＲ画像データを生成する。この場合、たとえば、画像処理部６３は、画像上の高輝度領域についてハイライト画像データの重み付けを大きくし、低輝度領域についてはベース画像データの重み付けを大きくして合成を行う。この合成により、ＨＤＲ画像データでは、低輝度や中輝度の被写体については、オーバー露光気味にて撮像されたベース画像データにより鮮明に再現される。ＨＤＲ画像データでは、白飛びの発生する可能性のある高輝度の被写体については、アンダー露光にて撮像されたハイライト画像データにより鮮明に再現される。これにより、ＨＤＲ画像データは、全体として広いダイナミックレンジを有する画像となる。

画像処理部６３は、第２フレーム以後についても、同様にして生成したハイライト画像データと、ベース画像データとを合成して、ＨＤＲ画像データを生成する。これにより、フレームレートが６０ｆｓｐであり露光時間ｔ１−１〜ｔ１−２のＨＤＲ画像データが動画像データとして生成される。生成されたＨＤＲ画像データ、すなわち動画像データは記憶部６５に保存される。

図４に示すフローチャートを参照して、第１の実施の形態による撮像装置１の撮像動作を説明する。図４のフローチャートに示す各処理は、制御部６でプログラムを実行して行われる。このプログラムは記憶部６５に記憶されており、操作検出部７により動画像の撮像を指示する操作が行われたことが検出されると、制御部６により起動され、実行される。
ステップＳ１において、撮像条件設定部６１は第１撮像素子３２と第２撮像素子４２の撮像条件を設定してステップＳ２へ進む。ステップＳ２においては、撮像素子制御部６２は、設定された撮像条件に基づいて、第１撮像素子３２と第２撮像素子４２とに、１つのフレームの撮像を指示してステップＳ３へ進む。

ステップＳ３においては、画像処理部６３は、第１撮像素子３２から出力された画像信号が増幅された後、ハイライト画像データを生成し、第２撮像素子４２から画像信号が増幅された後、ベース画像データを生成してステップＳ４へ進む。ステップＳ４では、画像処理部６３は、ハイライト画像データとベース画像データとを合成して、ＨＤＲ画像データを生成してステップＳ５へ進む。

ステップＳ５では、制御部６は、生成されたベース画像データと、ハイライト画像データと、ＨＤＲ画像データとを記憶部６５に記憶してステップＳ６へ進む。ステップＳ６では、動画像の撮像が終了か否かを判定する。動画像の撮像を終了する場合、すなわちユーザにより動画像の撮像を終了する操作が行われたことが操作検出部７により検出された場合には、ステップＳ６が肯定判定されて処理を終了する。動画像の撮像を終了しない場合、すなわちユーザによる動画像の撮像を終了する操作が行われていない場合には、ステップＳ６が否定判定されてステップＳ２に戻る。

ユーザにより動画の再生を指示する操作を行ったことが操作検出部７により検出されると、表示制御部６４は、上述したようにして生成され記憶部６５に保存されたＨＤＲ画像データを記憶部６５から読み出して、表示器５に動画として再生表示させる。

動画を再生する際のフレームレートを速くした場合、たとえばフレームレート６０ｆｐｓから４倍速の２４０ｆｐｓに変更した場合を説明する。この場合、表示制御部６４は、あるフレームのＨＤＲ画像データと、次フレームのＨＤＲ画像データとの間の間隔、すなわち時刻ｔ１−２〜ｔ２−１までの時間（１／１２０ｓ）を１／４倍の時間にする。これにより、あるフレームと次フレームとの間の間隔が短くなるので、被写体の動きを連続的に再生することができる。

動画を再生する際のフレームレートを遅くしたスロー再生、たとえば１／４倍速に変更した場合を説明する。この場合、表示制御部６４は、あるフレームのＨＤＲ画像データと、次フレームのＨＤＲ画像データとの間の間隔である時刻ｔ１−２〜ｔ２−１までの時間（１／１２０ｓ）を４倍の時間にする。この場合、あるフレームと次フレームとの間の間隔が長くなるので、被写体の動きが不連続となり、不自然な動画が再生されることとなる。このため、上述したように、撮像条件設定部６１は、フレームレートに対して１／４〜１／１の時間を露光時間として設定すると良い。

第１の実施の形態では、第１撮像素子３２には濃度フィルタ３４により被写体からの光の光量が低減されて入射される。画像処理部６３は、第１撮像素子３２からの画像信号が増幅された後、ハイライト画像データを生成し、第２撮像素子４２からの画像信号が増幅された後、ベース画像データを生成し、ハイライト画像データとベース画像データとを合成してＨＤＲ画像データを生成する。これにより、被写体の高輝度の領域の階調と低輝度の領域の階調とが再現されたダイナミックレンジの大きな動画像データを生成することができる。

第１の実施の形態では、第１撮像素子３２の露光時間は、フレームレートの１フレームの時間の半分よりも長い露光時間である。これにより、動きのある被写体を撮像して生成された画像データの間隔（すなわち時刻ｔ１−２〜ｔ２−１）を短くできるので、動画像として再生する際に、被写体の動きが不連続になり不自然なものとなることを抑制できる。

第１の実施の形態では、第２撮像素子４２の露光時間は、フレームレートの１フレームの時間の半分よりも長い露光時間である。これにより、動きのある被写体を撮像して生成された画像データの間隔（すなわち時刻ｔ１−２〜ｔ２−１）を短くできるので、動画像として再生する際に、被写体の動きが不連続になり不自然なものとなることを抑制できる。

第１の実施の形態では、第１撮像素子３２の露光時間と第２撮像素子４２の露光時間とが同じ時間である。これにより、ＨＤＲ処理の際に、ハイライト画像データとベース画像データとにおける被写体の位置が同一となるので、合成時に位置合わせ等の処理を行う必要がなく処理負荷を低減できる。

＜第１の実施の形態の変形例１＞
上述した第１の実施の形態においては、第１撮像ユニット３が濃度フィルタ３４を備える場合を例に挙げて説明したが、この例に限定されない。以下に例１〜例４を挙げて説明する。

＜例１＞
第１撮像ユニット３は、濃度フィルタ３４を備えず、または、濃度フィルタ３４とともに被写体からの光の透過率を低減するコーティングが施された撮像レンズ３１を備える。これにより、第１撮像素子３２に入射する光量が減少するので、画像処理部６３により生成されるハイライト画像データが暗い画像となり、白飛びの発生を抑制した画像を生成することができる。
なお、光を反射させて透過率を低減させるコーティングを行う場合には、撮像レンズ３１を構成する各種のレンズのうち最も物体側（被写体側）のレンズにコーティングすると良い。これにより、内部のレンズにコーティングすることにより生じる内部反射に起因して、画像上にゴーストが発生することを抑制できる。
上記の構成を有する変形例１の例１の撮像装置１は、図４に示す第１の実施の形態の撮像装置１と同様の処理を行って、動画像データを生成する。
第１の実施の形態の変形例１の例１では、撮像レンズ３１にコーティングを行うことにより被写体から第１撮像素子３２へ入射する光の光量を低減させる。これにより、濃度フィルタ３４を第１撮像ユニット３に配置しなくても良いので、装置の小型化に寄与する。

＜例２＞
第１撮像ユニット３は、光学部材として濃度フィルタ３４に代えて光の透過率が低いカラーフィルターを備える第１撮像素子３２を有する。この場合、第１撮像素子３２が有する第１カラーフィルター３２２は、第２撮像素子４２が有する第２カラーフィルター４２２よりも光の透過率が低い。これにより、第１撮像素子３２から出力される画像信号のＲ、Ｇ、Ｂの各色成分の画素値は、第２撮像素子４２から出力される画像信号のＲ、Ｇ、Ｂの各色成分の画素値よりも小さくなり、画像処理部６３により生成されるハイライト画像データが暗い画像となる。
上記の構成を有する変形例１の例２の撮像装置１は、図４に示す第１の実施の形態の撮像装置１と同様の処理を行って、動画像データを生成する。

第１の実施の形態の変形例１の例２では、第１撮像素子３２が有する第１カラーフィルター３２２の光の透過率が、第２撮像素子４２が有する第２カラーフィルター４２２の光の透過率より低い。これにより、濃度フィルタ３４を備えない場合であっても、第１撮像素子３２からの画像信号に基づいて白飛びの発生を抑制した画像を生成することができるので、装置の小型化に寄与する。

＜例３＞
図５を参照して、第１撮像ユニット３は、被写体からの光の透過率を変更可能な構成を有する濃度フィルタを撮像レンズ３１と第１撮像素子３２との間の光路中に備える場合の例について説明する。濃度フィルタは、撮像レンズ３１の光軸と交わる平面上に透過率の異なる複数の領域を有し、制御部により制御されて、被写体からの光を透過させる領域を切り替えることにより、光の透過率を変更する。
図５に、例３における濃度フィルタ３５の構成の一例と、撮像装置１の要部構成の一例を模式的に示す。図５（ａ）は、濃度フィルタ３５のＸＹ平面、すなわち撮像レンズ３１の光軸と直交する平面における構造を模式的に示している。濃度フィルタ３５は、たとえば円板状のベース部材３５１上に第１領域３５２と第２領域３５３とが設けられた構成を有する。第１領域３５２と第２領域３５３とは互いに光の透過率が異なるフィルタが配置され、たとえば第１領域３５２の透過率は１．５パーセント、第２領域３５３の透過率は１２．５パーセントとすることができる。なお、濃度フィルタ３５に、３か所以上の透過率を異なる領域を設けても良い。

濃度フィルタ３５は、第１領域３５２または第２領域３５３の一方で撮像レンズ３１から第１撮像素子３２までの間の光路を遮るように、ベース部材３５１の中心の周りにＸＹ平面上を回転可能に構成される。この場合、図示しないギア等の回転機構によりベース部材３５１を回転させることができる。

図５（ｂ）は、変形例１の例３における撮像装置１の要部構成を模式的に示すブロック図である。変形例１の例３における撮像装置１の制御部６は、透過率制御部６６を機能として備える。他の構成については、図２の第１の実施の形態における撮像装置１が備える構成を適用できる。透過率制御部６６は、図５（ａ）に示す濃度フィルタ３５に設けられた第１領域３５２と第２領域３５３との一方を選択し、選択した領域にて被写体からの光の光量が低減されるように上記の回転機構によりベース部材３５１を回転させる。透過率制御部６６は、たとえば上述したＥＶ値が１６程度の環境で撮像が行われる場合には、第１領域３５２を選択する。透過率制御部６６は、たとえば上述したＥＶ値が１３程度の環境で撮像が行われる場合には、第２領域３５３を選択する。
上記の構成を有する変形例１の例３の撮像装置１の動画像データを生成する際の処理は、図４に示す第１の実施の形態の撮像装置１と同様の処理を適用することができる。ただし、図４のステップＳ１にて第１撮像素子３２の撮像条件が設定されると、透過率制御部６６は、濃度フィルタ３５を制御して、選択した透過率に基づいて、第１領域３５２または第２領域３５３を撮像レンズ３１から第１撮像素子３２の光路に位置させる。

第１の実施の形態の変形例１の例３では、濃度フィルタ３５により第１撮像素子３２へ入射する被写体からの光の低減量を変更することができるので、異なる撮像環境下に適した透過量を設定し、第１撮像素子３２からの画像信号に基づいて、白飛びの発生を抑制した画像を生成することができる。

＜例４＞
以上の説明では、濃度フィルタ３５のうち第１領域３５２と第２領域３５３との一方を撮像レンズ３１の光路中に位置させることにより第１撮像素子３２へ入射する被写体からの光量を低減させるものであった。しかし、第１撮像素子３２へ入射する被写体からの光量が低減される状態と、光量が低減されない状態とを切り替え可能に構成することができる。たとえば、濃度フィルタ３５の第１領域３５２には上述したように透過率が１．５パーセントのフィルタが配置される。濃度フィルタ３５の第２領域３５３には、透過率１００パーセントのフィルタが設けられる。または、濃度フィルタ３５の第２領域３５３にはフィルタが設けらず、開口を設けることにより透過率１００パーセントの状態とする。

透過率制御部６６は、たとえば、ＨＤＲ画像データを生成する撮像モード、すなわち動画像を撮像するモードが設定された場合には、第１領域３５２が撮像レンズ３１の光路中に位置するように上記の回転機構によりベース部材３５１を回転させる。ＨＤＲ画像データ以外の画像を撮像するモードが選択された場合には、透過率制御部６６は、第２領域３５３を選択し、第２領域３５３が撮像レンズ３１の光路中に位置するように、上記の回転機構によりベース部材３５１を回転させる。

ＨＤＲ画像以外の画像を撮像する場合の例として、たとえば、第１撮像ユニット３と第２撮像ユニット４との間で焦点距離を異ならせ、第１撮像ユニット３からの画像信号に基づく画像データと、第２撮像ユニット４からの画像信号に基づく画像データとを合成して、被写界深度を変更した画像を生成する場合が挙げられる。このような被写体深度を変更した画像を生成する場合には、第１撮像素子３２からの画像信号に基づく画像データと、第２撮像素子４２からの画像信号に基づく画像データとは、等しい明るさの画像となることが好ましい。しかし、第１撮像ユニット３が、第１の実施の形態の場合（図２参照）のように濃度フィルタ３４を常に備える場合には、第１撮像素子３２へ入射される光の光量が常に低減された状態となる。このため、等しい明るさの画像を生成するためには、第１撮像ユニット３による撮像時の撮像条件を、第２撮像ユニット４による撮像時の撮像条件と異ならせる必要がある。第１撮像ユニット３と第２撮像ユニット４との間で、絞り値（Ｆ値）と露光時間とが等しく設定された場合には、ＩＳＯ感度を異ならせることにより等しい明るさの画像を生成する。この場合、たとえば第２撮像ユニット４の第２撮像素子４２のＩＳＯ感度を２００に設定した場合、第１撮像ユニット３の第１撮像素子３２のＩＳＯ感度を１２８００に設定する。一般に、ＩＳＯ感度が高い場合には、生成される画像データにおいてはノイズ等の影響により画質が劣化しやすい。このため、ＩＳＯ感度１２８００で撮像された画像データと、ＩＳＯ感度２００で撮像された画像データとの間では、画質が異なるため、これらの画像データが合成されると、生成された合成画像データ上では違和感が生じる。
変形例１の例４においては、被写界深度を変更した画像を生成する場合には、濃度フィルタ３５の透過率１００パーセントの第２領域３５３が光路中に位置するようにするので、第１撮像素子３２に入射する光の光量が低減されない。これにより、上記のように第１撮像素子３２のＩＳＯ感度を第２撮像素子４２のＩＳＯ感度に比べて高い値に設定して撮像する必要がない。したがって、第１撮像素子３２からの画像信号に基づく画像データの画質劣化が抑制され、合成処理を行ったとしても、合成画像データ上に違和感が発生することを抑制できる。

上記の構成を有する変形例１の例４の撮像装置１の動画像データを生成する際の処理は、図４に示す第１の実施の形態の撮像装置１と同様の処理を適用することができる。ただし、図４のステップＳ１にて第１撮像素子３２の撮像条件が設定されると、透過率制御部６６は、濃度フィルタ３５を制御して、選択した透過率に基づいて、第１領域３５２または第２領域３５３を撮像レンズ３１から第１撮像素子３２の光路に位置させる。

なお、上述した例３および例４における濃度フィルタ３５は上記の構成を有するものに限定されず、たとえば液晶パネルにより構成されても良い。この場合、透過率制御部６６は、撮像が行われる環境に基づいて決定された透過率に基づいて、液晶パネルに印加する電圧を制御する。液晶パネルにより構成される濃度フィルタ３５の撮像レンズ３１側と第１撮像素子３２側とには、それぞれ第１電極と第２電極とが設けられる。第１電極と第２電極とに電圧が印加されることにより、濃度フィルタ３５内の液晶素子の配列方向が制御されることにより、透過率すなわち光の低減量が制御される。

第１の実施の形態の例４では、第１撮像素子３２へ入射する光の量を低減する状態と、低減しない状態とが切り替え可能である。これにより、ＨＤＲ画像データ以外の画像を生成する場合には、濃度フィルタ３５による光量の低減を抑制した状態で第１撮像素子３２による撮像を可能にするので、複数の撮像ユニットにより生成された画像データを他機能な用途に使用することができる。

＜第１の実施の形態の変形例２＞
図６を参照しながら、第１の実施の形態の変形例２の撮像装置について説明する。本変形例２の撮像装置は、図２に示す第１の実施の形態の撮像装置１が有する第１撮像ユニット３と第２撮像ユニット４とは異なる撮像ユニットを備える。以下、詳細に説明する。

図６は、変形例２の撮像装置１の要部構成を模式的に示すブロック図である。変形例２の撮像装置１は、第３撮像ユニット９と、表示器５と、制御部６と、操作検出部７とを備える。第３撮像ユニット９は、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含む撮像レンズ９１と、第１撮像素子９２と、第２撮像素子９３と、光学部材としてハーフミラー９４と、絞り９５と、濃度フィルタ９６とを備える。第１撮像素子９２および第２撮像素子９３は、第１の実施の形態の第１撮像素子３２や第２撮像素子４２と同様に、撮像面上において行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。第１撮像素子９２は、第１の実施の形態の第１撮像素子３２と同様の構成が適用され、増幅部９２１と、第１カラーフィルター９２２とを備える。第２撮像素子９３は、第１の実施の形態の第２撮像素子４２と同様の構成が適用され、増幅部９３１と第２カラーフィルター９３２とを備える。ハーフミラー９４は、撮像レンズ９１を通過した被写体光のうち一部の光束を透過して第１撮像素子９２へ導き、残り光束を反射して第２撮像素子９３へ導く分光部材である。濃度フィルタ９６は、第１の実施の形態とその変形例の濃度フィルタ３４や濃度フィルタ３５と同様の構成が適用され、ハーフミラー９４と第１撮像素子９２との間の光路上に設けられる。

表示器５と、制御部６と、操作検出部７とは、第１の実施の形態と同様の構成が適用される。ただし、第１撮像素子制御部６２１は第１撮像素子９２の撮像動作を制御し、第２撮像素子制御部６２２は第２撮像素子９３の撮像動作を制御する。すなわち、第１撮像素子９２からの画像信号に基づいて、画像処理部６３によりハイライト画像データが生成され、第２撮像素子９３からの画像信号に基づいて、画像処理部６３によりベース画像データが生成される。

ハーフミラー９４の被写体光の透過率と反射率とは等しい値に設定しても良いし、異なる値に設定しても良い。透過率と反射率とを異ならせる場合には、第１撮像素子９２へ導かれる光量が、第２撮像素子９３へ導かれる光量よりも少なくなるように設定されると良い。この場合、アンダー露光のハイライト画像データを生成するための第１撮像素子９２への入射光量を少なくさせるために、たとえば、ハーフミラー９４の透過率を４０パーセントや３０パーセント等に設定することができる。なお、ハーフミラー９４の透過率と反射率とを異ならせる場合には、上述した濃度フィルタ９６を備えなくても良い。
以上の構成を備える変形例２の撮像装置１における動画像データを生成するための処理には、図４に示す第１の実施の形態の撮像装置１が行う処理を適用することができる。

第１の実施の形態の変形例２では、１つの撮像レンズ９１を通過した被写体光が第１撮像素子９２と第２撮像素子９３とに導かれる。第１撮像素子９２からの画像信号に基づくハイライト画像データと、第２撮像素子９３からの画像信号に基づくベース画像データとの間で被写体の位置ズレが発生しない。これにより、ＨＤＲ画像データを生成する際に、ベース画像データとハイライト画像データとの間で位置合わせをする必要がなく合成処理の負荷を低減できる。

上述した第１の実施の形態とその変形例１〜２にて説明した処理を、たとえば、水平方向に広角（たとえば３６０°）に撮像可能な撮像装置に適用させることができる。特に、身体の一部（腕や頭部など）や自転車やヘルメット等に装着可能な小型の広角撮像可能な撮像装置（いわゆるウエアラブルカメラ）に適用しても良い。この場合、撮像可能な範囲が広いため、太陽などの高輝度の被写体と、影の部分の低輝度の被写体とが同一画像内に撮像される可能性が高いため、上述したＨＤＲ処理を行った動画を生成すると良い。

図７、図８を参照しながら、上記の広角撮像が可能な撮像装置１の構成について説明する。図７（ａ）、（ｂ）は、撮像装置１の外観図であり、図１２は撮像装置１の要部構成を例示すブロック図である。
撮像装置１のＺ軸＋側の本体２の正面には、第１の実施の形態の第１撮像ユニット３および第２撮像ユニット４（図２参照）と同様の構成が適用された第１撮像ユニット３Ａおよび第２撮像ユニット４Ａからなる第１撮像ユニット群１１４を備え（図７（ａ）参照）る。撮像装置１のＺ軸−側の本体２の背面には、第１の実施の形態の第１撮像ユニット３および第２撮像ユニット４（図２参照）と同様の構成が適用された第１撮像ユニット３Ｂおよび第２撮像ユニット４Ｂからなる第２撮像ユニット群１１５備える（図７（ｂ）参照）。第１撮像ユニット群１１４は、ＺＸ平面においてＺ軸＋側に広角（たとえば１８０°）の撮像が可能となるように、第１撮像ユニット３Ａと第２撮像ユニット４Ａとの撮像レンズ３１Ａ、４１Ａには広角レンズが用いられる。第２撮像ユニット群１１５は、ＺＸ平面においてＺ軸−側に広角（たとえば１８０°）の撮像が可能となるように、第１撮像ユニット３Ｂと第２撮像ユニット４Ｂとの撮像レンズ３１Ｂ、４１Ｂには広角レンズが用いられる。これにより、図７の撮像装置１は、ＺＸ平面において、３６０°の撮像が可能となっている。
なお、図７では、第１撮像ユニット群１１４と第２撮像ユニット群１１５との２つを用いて広角の撮像を行う例を挙げるが、撮像ユニット群の個数は２個に限られず、３個以上の撮像ユニット群を用いて広角の撮像を行って良い。

図８に示すように、撮像装置１の制御部６は、撮像条件設定部６１と、記憶部６５と、第１撮像ユニット群制御部６７と、第２撮像ユニット群制御部６８と、全体画像処理部６９とを備える。撮像条件設定部６１は、第１撮像ユニット群１１４および第２撮像ユニット群１１５の第１撮像ユニット３Ａ、３Ｂおよび第２撮像ユニット４Ａ、４Ｂのそれぞれに対して、撮像を行う際の撮像条件を設定する。撮像条件としては、第１の実施の形態の場合と同様に、たとえば露光時間（シャッター速度）、絞り、ＩＳＯ感度がある。撮像条件設定部６１は、第１撮像ユニット群１１４の第１撮像素子３２Ａと第２撮像ユニット群１１５の第１撮像素子３２Ｂとに対して同一の撮像条件を設定する。撮像条件設定部６１は、第１撮像ユニット群１１４の第２撮像素子４２Ａと第２撮像ユニット群１１５の第２撮像素子４２Ｂとに対して同一の撮像条件を設定する。

第１撮像ユニット群制御部６７は、第１撮像ユニット群１１４の動作を制御する制御部である。第１撮像ユニット群制御部６７は、第１の実施の形態の撮像素子制御部６２および画像処理部６３（図２参照）と同様の構成が適用された、第１撮像素子制御部６２１Ａと第２撮像素子制御部６２２Ａとを有する撮像素子制御部６２Ａと、画像処理部６３Ａとを備える。画像処理部６３Ａは、第１撮像ユニット群１１４の第１撮像素子３２Ａと第２撮像素子４２Ａとから出力された画像信号を用いて、第１の実施の形態とその変形例の場合と同様にしてＨＤＲ画像データを生成する。画像処理部６３Ａによって生成されるＨＤＲ画像データは、撮像装置１の正面（Ｚ方向＋側）においてＺＸ平面で１８０°の広角の画像である。生成されたベース画像データとハイライト画像データとＨＤＲ画像データとは、第１の実施の構成（図２参照）と同様の構成が適用される記憶部６５に記憶される。

第２撮像ユニット群制御部６８は、第２撮像ユニット群１１５の動作を制御する制御部である。第２撮像ユニット群制御部６８は、第１の実施の形態の撮像素子制御部６２および画像処理部６３（図２参照）と同様の構成が適用された、第１撮像素子制御部６２１Ｂと第２撮像素子制御部６２２Ｂとを有する撮像素子制御部６２Ｂと、画像処理部６３Ｂとを備える。画像処理部６３Ｂは、第２撮像ユニット群１１５の第１撮像素子３２Ｂと第２撮像素子４２Ｂとから出力された画像信号を用いて、第１の実施の形態とその変形例の場合と同様にしてＨＤＲ画像データを生成する。画像処理部６３Ｂによって生成されるＨＤＲ画像データは、撮像装置１の背面（Ｚ方向−側）においてＺＸ平面で１８０°の広角の画像である。生成されたベース画像データとハイライト画像データとＨＤＲ画像データとは、第１の実施の構成（図２参照）と同様の構成が適用される記憶部６５に記憶される。

全体画像処理部６９は、画像処理部６３Ａにて生成された撮像装置１の正面側の広角のＨＤＲ画像データと、画像処理部６３Ｂにて生成された撮像装置１の背面側の広角のＨＤＲ画像データとを繋ぎあわせる。これにより、全体画像処理部６９によって撮像装置１のＺＸ平面において全周方向の全体ＨＤＲ画像データが生成される。上述した撮像条件設定部６１は、第１撮像ユニット群１１４および第２撮像ユニット群１１５の第１撮像素子３２Ａ、３２Ｂに対して同一の撮像条件を設定し、第１撮像ユニット群１１４およびと第２撮像ユニット群１１５の第２撮像素子４２、４２Ｂとに対して同一の撮像条件を設定する。このため、第１撮像ユニット群制御部６７の画像処理部６３Ａで生成されたＨＤＲ画像データと、第２撮像ユニット群制御部６８の画像処理部６３Ｂで生成されたＨＤＲ画像データとの間で、明るさが異なることが抑制される。このため、全体画像処理部６９で上記２つのＨＤＲ画像データを繋ぎあわせた場合であっても、全体ＨＤＲ画像データ上で、明るさの違いに起因して繋ぎあわせた箇所に不自然な線が発生するというような画像の劣化が発生することが抑制される。
生成された全体ＨＤＲ画像データは、第１の実施の構成（図２参照）と同様の構成が適用される記憶部６５に記憶される。

なお、図７、図８で説明した第１撮像ユニット群１１４と第２撮像ユニット群１１５とを、それぞれ図６に示す第３撮像ユニット９に置き換えても良い。この場合も、制御部６の構成は、図８に示す構成を適用することができる。
また、第１撮像ユニット群１１４と第２撮像ユニット群１１５の第１撮像ユニット３Ａ、３Ｂが備える濃度フィルタ３４Ａ、３４Ｂとして、図５に示す濃度フィルタ３５の構成を適用しても良い。

また、上述した第１の実施の形態とその変形例における第１撮像ユニット３、３Ａ、３Ｂが撮像レンズ３１、３１Ａ、３１Ｂを有していなくても良い。この場合、第１撮像ユニット３、３Ａ、３Ｂは、撮像レンズ３１、３１Ａ、３１Ｂに代えて、たとえば、二次元状の開口を有するマスク部材（たとえば公知のコーデッドアパーチャー）を第１撮像素子３２、３２Ａ、３２Ｂの前面に配置して、第１撮像素子３２、３２Ａ、３２Ｂは開口を通過して入力される被写体像を撮像すれば良い。なお、第２撮像ユニット４、４Ａ、４Ｂおよび第３撮像ユニット９についても同様に、撮像レンズ４１、４１Ａ、４１Ｂおよび撮像レンズ９１を備えずに上記のマスク部材を備えるようにして良い。

なお、第１の実施の形態とその変形例１〜２で説明した撮像装置を、スマートフォン等の携帯電話、テレビ、タブレット端末、デジタルオーディオプレイヤー、パーソナルコンピュータ、内視鏡、カプセル内視鏡、家庭用の防犯カメラを含む監視カメラ、エアコンや冷蔵庫や電子レンジ等の家電などの電子機器に組み込まれる撮像装置に適用することができる。また、デジタルサイネージ（電子看板）等の電子機器に組み込まれる撮像装置に適用することができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、各種のロボット（たとえば自走可能なロボットや、自走式の掃除機のような電子機器）に搭載された撮像装置に適用しても良い。

なお、上述した第１の実施の形態とその変形例１〜２では、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを含む撮像装置１を例に説明したが、第１撮像ユニット３と、第２撮像ユニット４と、制御部６とにより構成された撮像装置であっても良い。また、制御部６は、少なくとも撮像素子制御部６２と画像処理部６３とを備えれば良い。上述の第１の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の撮像装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。

＜第２の実施の形態＞
図９を参照して第２の実施の形態の撮像装置について説明を行う。第２の実施の形態の撮像装置は、第１の実施の形態とその変形例にて説明したようにして第１撮像素子３２と第２撮像素子４２とに撮像を行わせた後、短い露光時間で２回目の撮像を行わせる。撮像装置は、この２回目の撮像により得られた画像信号に基づく画像を、ＨＤＲ処理が施された動画像を再生中に一時停止（ポーズ）のような再生の停止に関する入力が行われた場合に表示させる。以下、詳細に説明する。

第２の実施の形態においては、第１の実施の形態の図１および図２に示す構成を有する撮像装置１と同様の構成を適用することができる。なお、第２の実施の形態の撮像装置１は、図７、図８に示す別の態様の撮像装置であっても良い。また、第２の実施の形態の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

図９は、１フレームの間における第１撮像素子３２の露光時間と第２撮像素子４２の露光時間との関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。また、撮像条件設定部６１は、動画像データを生成するための第１撮像ユニット３と第２撮像ユニット４とに対する撮像条件を、第１の実施の形態の場合と同様に設定したものとする。
撮像素子制御部６２は、第１撮像素子３２と第２撮像素子４２とに対して、時刻ｔ１−１にて露光開始を指示し、時刻ｔ１−２にて露光終了を指示する。すなわち、第１の実施の形態の場合と同様にして、第１撮像素子３２と第２撮像素子４２との撮像が制御され、出力された画像信号が増幅された後、画像処理部６３によりハイライト画像データとベース画像データとが生成される。画像処理部６３は、ハイライト画像データとベース画像データとをＨＤＲ処理により合成して、ＨＤＲ画像データを動画像データとして生成する。

第１撮像素子制御部６２１は、時刻ｔ１−２に第１撮像素子３２による露光が終了した後、さらに次フレームの露光を開始する時刻ｔ２−１までの間に、第１撮像素子３２に対して２回目の撮像を行わせる。図９に示す例では、第１撮像素子制御部６２１は、第１撮像素子３２に対して、２回目の撮像の露光時間を、動画像データを生成するための露光時間よりも短い時間、たとえば１／５００ｓにて行わせる。なお、露光時間１／５００ｓは一例であり、これよりも短い露光時間であっても良いし、長い露光時間であってもよい。図９に示すように、第１撮像素子制御部６２１は、時刻ｔ１−２から所定時間が経過した時刻ｔ１−３にて、第１撮像素子３２に露光開始を指示し、１／５００ｓが経過した時刻ｔ１−４にて露光終了を指示する。

第１撮像素子３２により２回目の撮像が行われて出力された画像信号は、増幅部３２１により増幅された後、画像処理部６３により各種の画像処理が施され、一時停止（ポーズ）時に表示器５に表示させるための画像データ（以後、ポーズ用画像データ）として生成される。生成されたポーズ用画像データは記憶部６５に記憶される。撮像素子制御部６２は、第２フレーム以後の撮像についても、同様にして第１撮像素子３２と第２撮像素子４２の動作を制御する。

表示制御部６４が、上述のようにして生成されたＨＤＲ画像データを動画像として表示器５に再生表示している場合に、ユーザにより一時停止（ポーズ）を指示するための操作が行われた場合について説明する。
ユーザにより一時停止のための操作が行われたことが操作検出部７により検出されると、表示制御部６４は、記憶部６５に記憶されているポーズ用画像データを読み出し、表示器５にポーズ画像として表示させる。このとき、表示制御部６４は、一時停止の操作が行われた際に再生表示中のＨＤＲ画像データの生成に用いたハイライト画像データおよびベース画像データと、同一のフレームの間に生成されたポーズ用画像データを複数のポーズ用画像データの中から読み出す。なお、表示制御部６４は、一時停止の操作が行われたときのフレームの直前のフレームにて生成されたポーズ用画像データを読み出しても良い。

第２の実施の形態の撮像装置１の動画像データを生成するための処理には、図４に示す第１の実施の形態の撮像装置１が行う処理と同様の処理が適用される。ただし、ステップＳ２においては、第１撮像素子制御部６２１は、第１撮像素子３２に対して、ハイライト画像データのための撮像が終了した後、ポーズ用画像データのための撮像を行わせる。ステップＳ３では、画像処理部６３は、さらに、第１撮像素子３２からの画像信号に基づいてポーズ用画像データを生成する。生成されたポーズ用画像データは、ステップＳ６にて記憶部６５に記憶される。

図１０に示すフローチャートを参照して、第２の実施の形態による撮像装置１の動画像の再生表示の動作を説明する。図１０のフローチャートに示す各処理は、制御部６でプログラムを実行して行われる。このプログラムは記憶部６５に記憶されており、操作検出部７により動画像の撮像を指示する操作が行われたことが検出されると、制御部６により起動され、実行される。
ステップＳ１１では、表示制御部６４は、記憶部６５からＨＤＲ画像データを読み出して、フレームレート６０ｆｐｓにて動画像として表示器５に再生表示してステップＳ１２へ進む。ステップＳ１２においては、一時停止の操作が行われたか否かを判定する。操作検出部７により一時停止の操作が行われたことが検出された場合には、ステップＳ１２が肯定判定されてステップＳ１３へ進む。操作検出部７により一時停止の操作が行われたことが検出されていない場合には、ステップＳ１２が否定判定されて、後述するステップＳ１６へ進む。

ステップＳ１３では、表示制御部６４は、記憶部６５からポーズ用画像データを読み出してステップＳ１４へ進む。ステップＳ１４では、表示制御部６４は、読み出したポーズ用画像データをポーズ画像として表示器５に表示させてステップＳ１５へ進む。ステップＳ１５では、一時停止を終了する操作が行われたか否かが判定される。操作検出部７により一時停止を終了する操作が行われた場合には、ステップＳ１５が肯定判定されステップＳ１６へ進む。操作検出部７により一時停止を終了する操作が行われていない場合には、ステップＳ１５が否定判定されてステップＳ１４へ戻る。ステップＳ１６では、動画像の再生表示を終了するか否かが判定される。動画像の再生表示を終了する場合には、ステップＳ１６が肯定判定されて処理を終了する。動画像の再生表示を継続する場合には、ステップＳ１６が否定判定されてステップＳ１１へ戻る。

第２の実施の形態では、表示制御部６４は、動画像の再生中に動作像の再生の停止に関する入力がされた場合、動画像とは別の時間に、動画像を撮像する際の露光時間よりも短い露光時間で撮像されたポーズ用画像データに基づくポーズ画像を表示器５に表示させる。これにより、ポーズ用画像データは、第１撮像素子３２による短い露光時間で撮像されて出力された画像信号に基づいて生成されているので、表示器５には、ブレの影響の少ない鮮明なポーズ画像を表示させることができる。

なお、読み出されたポーズ用画像データは、短い露光時間により露光されている。このため、白飛びの発生は抑制されているが、画像全体として適正露光よりもアンダー露光となった暗い画像である。画像処理部６３は、この読み出されたポーズ用画像データに対して、画像処理として、たとえば階調補正を施す。すなわち、画像処理部６３は、ポーズ用画像データのうちの暗部の階調を明るくする補正を行う。画像処理部６３は、階調補正の補正量をベース画像データに基づいて決定することができる。この場合、画像処理部６３は、ベース画像データのうち低輝度の領域の画素値を参照し、ポーズ用画像データの暗部の画素値が参照したベース画像データの画素値に一致する、または画像値の差が所定値の範囲内となるように、補正量を決定すれば良い。
上述したように、画像処理部６３は、ポーズ用画像データに対して、暗部の階調を補正する画像処理を行う。これにより、被写体のうちの暗部が視認しやすいポーズ画像を表示させることができる。

また、以上の説明では、撮像素子制御部６２は、第１撮像素子３２にポーズ用画像データのための撮像を指示したが、第２撮像素子４２にポーズ用画像データのための撮像を行わせても良い。また、撮像素子制御部６２は、第１撮像素子３２と第２撮像素子４２とに、短い露光時間（たとえば１／５００ｓ）にて２回目の撮像を行わせても良い。この場合、画像処理部６３は、第１撮像素子３２からの画像信号に基づいて、アンダー露光のポーズ用画像データを生成し、第２撮像素子４２からの画像信号に基づいて、オーバー露光のポーズ用画像データを生成する。そして、画像処理部６３は、アンダー露光のポーズ用画像データとオーバー露光のポーズ用画像データを、ＨＤＲ処理により合成して、ポーズ用ＨＤＲ画像データを生成し、記憶部６５に記憶する。表示制御部６４は、一時停止の操作が行われた際に、記憶部６５からポーズ用ＨＤＲ画像データを読み出し、表示器５にポーズ画像として表示させる。
これにより、被写体の低輝度の領域と高輝度の領域とにおける階調が再現され、ブレ等の発生が抑制された鮮明なポーズ画像を表示器５に表示することができる。

なお、ポーズ用画像データを一時停止用のポーズ画像として用いる場合に限定されない。表示制御部６４は、動画の代表画像や、動画の代表画像を示すサムネイル画像に、ポーズ用画像データを用いても良い。また、画像処理部６３は、生成されたポーズ用画像データを用いて被写体検出等の処理を行っても良い。ポーズ用画像データは、短い露光時間により撮像された画像であるので、画像上の被写体が受けるブレの影響が小さい。このため、精度よく被写体を検出することが可能となる。

＜第２の実施の形態の変形例１＞
図１１〜図１２を参照して第２の実施の形態の変形例１の撮像装置について説明する。本変形例２の撮像装置は、１フレームの間にベース画像データの生成のための撮像とハイライト画像データの生成のための撮像とを複数回行い、生成されたベース画像データとハイライト画像データとを用いて動画像データおよびポーズ画像を生成する点で第２の実施の形態と異なる。以下、詳細に説明する。

変形例１の撮像装置は、第２の実施の形態の撮像装置１と同様の構成、すなわち、図１、図２に示す第１の実施の形態の撮像装置１と同様の構成が適用できる。なお、第２の実施の形態の変形例２の撮像装置１は、図７、図８に示す別の態様の撮像装置であっても良い。また、第２の実施の形態の変形例２の撮像装置１は、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

図１１は、第１撮像素子３２の露光開始および第２撮像素子４２露光時間と、フレームレートとの関係を模式的に示すタイミングチャートであり、横軸を時刻ｔとする。
なお、以下の説明では、第１撮像素子３２および第２撮像素子４２による撮像が、１フレームの間に３回行われる場合を例に挙げるが、撮像回数は３回に限定されるものではなく、２回でも良いし、４回以上でも良い。

図１１に示す例では、撮像条件設定部６１は、第１撮像素子３２に対して、露光時間をたとえば１／５００ｓに、ＩＳＯ感度を第１の実施の形態の場合と同様に１００に設定したものとする。第１撮像素子制御部６２１は、時刻ｔ１−１にて第１撮像素子３２に、露光時間１／５００ｓにて１回目の撮像を指示し、以後、たとえば１／２４０ｓごとに２回目、３回目の撮像を指示する。なお、撮像の間隔は上記の１／２４０ｓに限定されるものではなく、たとえば１フレームの間の時間１／６０ｓの１／２〜１／１の時間の間に複数回（図１１の例では３回）の撮像が可能となるような間隔に設定することができる。第１撮像素子３２により撮像が行われ画像信号が出力されるごとに、画像処理部６３は、第１の実施の形態の場合と同様にして画像信号からハイライト画像データを生成する。このハイライト画像データは記憶部６５に記憶される。

図１１に示す例では、撮像条件設定部６１は、第２撮像素子４２に対して、露光時間を第１撮像素子３２と等しい１／５００ｓに設定し、ＩＳＯ感度を第１の実施の形態の場合よりも高い値（図１１の例では１００、０００）に設定する。すなわち、撮像条件設定部６１は、オーバー露光のベース画像データを撮像するための第２撮像素子４２に対して露光時間を短く設定したので、ＩＳＯ感度を第１の実施の形態で例示した値よりも高い値に設定している。第２撮像素子制御部６２２は、時刻ｔ１−１にて第２撮像素子４２に対して１回目の撮像を指示し、以後、１／２４０ｓごとに２回目、３回目の撮像を指示する。すなわち、第１撮像素子３２と第２撮像素子４２とは、共に、時刻ｔ１−１〜ｔ１−３、時刻ｔ１−４〜ｔ１−５、時刻ｔ１−６〜ｔ１−２にて、撮像を行う。第２撮像素子４２により撮像が行われ画像信号が出力されるごとに、画像処理部６３は、画像信号からベース画像データを生成する。このベース画像データは、ハイライト画像データを撮像する際の露光時間１／５００ｓと同一の露光時間で撮像されている。このベース画像データは記憶部６５に記憶される。

画像処理部６３は、上記の３つのベース画像データを加算、または加算平均することによりベース加算平均画像データを生成する。また、画像処理部６３は、上記３つのハイライト画像データを加算、または加算平均することによりハイライト加算平均画像データを生成する。画像処理部６３は、生成したベース加算平均画像データとハイライト画像データとを、第１の実施の形態の場合と同様にして、ＨＤＲ処理を施してＨＤＲ画像データを生成する。生成されたＨＤＲ画像データは記憶部６５に記憶される。以後のフレームについても同様の処理が行われ、ＨＤＲ処理が施された動画像データが生成される。

図１２は、表示器５に再生表示される画像と、ＨＤＲ画像データの生成に用いられたベース画像データの露光時間と、ＨＤＲ画像データの生成に用いられたハイライト画像データの露光時間との関係を模式的に示すタイミングチャートであり、撮像時の時刻をｔ、再生時の時刻をＴとする。図１２においては、動画像の再生時刻Ｔ１、Ｔ２に相当する撮像時の時刻がｔ１−１、ｔ２−１であるものとする。図１２において、表示制御部６４が、ＨＤＲ画像データのフレーム順序に従って、ＨＤＲ画像データを動画像として表示器５に再生表示している際に、時刻Ｔ１０にて一時停止（ポーズ）の指示が行われたとする。

ユーザにより一時停止のための操作が行われたことが操作検出部７により検出されると、表示制御部６４は、再生表示中のＨＤＲ画像データの生成に用いられた複数（図示の例では３個）のハイライト画像データの中から１つのハイライト画像データを記憶部６５から読み出す。また、表示制御部６４は、再生表示中のＨＤＲ画像データの生成に用いられた複数（図示の例では３個）のベース画像データの中から１つのベース画像データを記憶部６５から読み出す。この場合、表示制御部６４は、一時停止が行われた時刻Ｔ１０に相当する撮像時の時刻の直前に撮像された画像信号から生成されたハイライト画像データおよびベース画像データ（図１２においては、図の破線Ｌよりも前の時刻ｔ１−１〜ｔ１−３で露光されたハイライト画像データおよびハイライト画像データ）を読み出す。

画像処理部６３は、読み出されたハイライト画像データおよびベース画像データに対してＨＤＲ処理により合成して、ポーズ画像用のＨＤＲ画像データを生成する。表示制御部６４は、動画像データであるＨＤＲ画像データの次フレームを表示する時刻Ｔ２にて、画像処理部６３により生成されたポーズ画像用のＨＤＲ画像データを表示器に表示させる。ポーズ画像用のＨＤＲ画像データは、上述したように露光時間が１／５００ｓであるベース画像データとハイライト画像データとにより生成されている。ベース画像データとハイライト画像データとは、短い露光時間にて撮像されているため、撮像装置１に対して相対的に移動している被写体を撮像した場合であっても、被写体に発生するブレの影響が抑制された鮮明な画像となる。したがって、このようなベース画像データとハイライト画像データとから生成されたポーズ画像用のＨＤＲ画像データにおいても、被写体に発生するブレの影響が抑制された鮮明な画像となる。

第２の実施の形態の変形例１の撮像装置１の動画像データを生成するための処理には、図４に示す第１の実施の形態の撮像装置１が行う処理と同様の処理が適用される。ただし、ステップＳ２においては、撮像素子制御部６２は、第１撮像素子３２および第２撮像素子４２に対して、複数回の撮像を行わせる。ステップＳ３では、画像処理部６３は、第１撮像素子３２から複数回出力される画像信号に基づいて複数のハイライト画像データを生成し、第２撮像素子４２から複数回出力される画像信号に基づいて複数のベース画像データを生成する。

第２の実施の形態の変形例１の撮像装置１の動画像の再生表示をするための処理には、図１０に示す第２の実施の形態の撮像装置１が行う処理と同様の処理が適用される。ただし、ステップＳ１３において、画像処理部６３は、ポーズ用のハイライト画像データとポーズ用のベース画像データとを読み出し、ＨＤＲ処理による合成を行ってポーズ用のＨＤＲ画像データを生成する。ステップＳ１４において、表示制御部６４は、生成されたポーズ用のＨＤＲ画像データをポーズ画像として表示器５に表示する。

第２の実施の形態の変形例１では、撮像素子制御部６２は、第１撮像素子３２と第２撮像素子４２とを短い露光時間にて撮像を行わせ、生成されたベース画像データとハイライト画像データとを合成して、ポーズ画像用のＨＤＲ画像データを生成する。これにより、動画像の再生中に一時停止が行われた場合であっても、被写体のブレの発生が抑制された鮮明なポーズ画像を表示器５に表示させることができる。

なお、上述した第２の実施の形態とその変形例１では、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを含む撮像装置１を例に説明したが、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６とにより構成された撮像装置であっても良い。また、制御部６は、少なくとも撮像素子制御部６２と画像処理部６３と表示制御部６４とを備えれば良い。上述の第２の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の撮像装置を、第２の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。

第１の実施の形態や第２の実施の形態においては、図１、図２に示す構成を有する撮像装置１を例に挙げて説明を行ったが、撮像装置は、３個以上の撮像ユニットを有してもよい。以下、３個の撮像ユニットを有する場合を例に挙げて、詳細に説明する。
図１３（ａ）は、撮像装置１の外観図である。撮像装置１の本体２の正面には、第１の実施の形態（図１、図２参照）と同様の第１撮像ユニット３および第２撮像ユニット４に加えて、第４撮像ユニット８を備える。図１３（ａ）に示す例では、第１撮像ユニット３の光軸中心と、第２撮像ユニット４の光軸中心と、第４撮像ユニット８の光軸中心とが、互いに等距離となるように配置されている場合を示す。なお、第１撮像ユニット３と第２撮像ユニット４と第４撮像ユニット８との配置はこれに限定されず、Ｘ方向またはＹ方向に沿って配置されても良いし、Ｘ方向またはＹ方向に対して所定の角度を有して配置されても良い。

図１３（ｂ）は、図１３（ａ）に示す撮像装置１の要部構成を模式的に示すブロック図である。撮像装置１が有する上記の第４撮像ユニット８は、撮像レンズ８１と第３撮像素子８２と絞り８３とを有する。撮像レンズ８１は、第１撮像ユニット３や第２撮像ユニット４の撮像レンズ３１、４１と同様の構成が適用され、第３撮像素子８２は、第１撮像素子３２や第２撮像素子４２と同様の構成が適用され、画像信号を増幅するための増幅部８２１を有する。制御部６の撮像素子制御部６２は第４撮像ユニット８の第３撮像素子８２の駆動を制御するための第３撮像素子制御部６２３を備える。第３撮像素子制御部６２３は、第１撮像素子制御部６２１や第２撮像素子制御部６２２と同様の構成が適用される。他の構成については、第１の実施の形態（図２参照）の撮像装置１が有する構成が適用される。すなわち、変形例１の撮像装置１は、上記の構成に加えて、第１撮像ユニット３と、第２撮像ユニット４と、表示器５と、制御部６と、操作検出部７とを有している。制御部６は、撮像条件設定部６１と、撮像素子制御部６２と、画像処理部６３と、表示制御部６４と、記憶部６５とを備える。
なお、この撮像装置１は、図７、図８に示す別の態様の撮像装置であっても良いし、第１の実施の形態の変形例として説明した各種の電子機器に組み込むことが可能である。

この撮像装置１においては、第４撮像ユニット８により、高輝度領域と低輝度領域との間の中間輝度の領域に階調が得られるように設定された撮像条件による撮像を行わせる。 撮像条件設定部６１は、第１の実施の形態と同様にして、第１撮像素子３２と第２撮像素子４２とに対して撮像条件を設定する。すなわち、撮像条件設定部６１は、第１撮像素子３２に対しては、撮像条件として、露光時間１／１２０ｓ、ＩＳＯ感度１００を設定し、第２撮像素子４２に対しては、撮像条件として露光時間１／１２０ｓ、ＩＳＯ感度１２８００を設定する。第３撮像素子８２に対しては、撮像条件設定部６１は、第１撮像素子３２からの画像信号に基づくハイライト画像データと、第２撮像素子４２からの画像信号に基づくベース画像データとの中間の明るさの画像データが生成されるように、撮像条件を設定する。撮像条件設定部６１は、露光時間１／１２０ｓ、ＩＳＯ感度をたとえば８００に設定する。

画像処理部６３は、第１および第２の実施の形態の場合と同様にして、ハイライト画像データとベース画像データとを生成する。画像処理部６３は、第３撮像素子８２から出力された画像信号が設定されたＩＳＯ感度（８００）に基づいて増幅された後、画像データ（以後、中間輝度画像データと呼ぶ）を生成する。画像処理部６３は、生成したベース画像データと、ハイライト画像データと、中間輝度画像データとに対してＨＤＲ処理により合成して、ＨＤＲ画像データを生成する。このようにして生成されたＨＤＲ画像データは、第１の実施の形態の場合と同様に低輝度の被写体については、オーバー露光にて撮像されたベース画像データにより鮮明に再現される。ＨＤＲ画像データでは、白飛びの発生する可能性のある高輝度の被写体については、アンダー露光となる第１撮像条件にて撮像されたハイライト画像データにより鮮明に再現される。ＨＤＲ画像データでは、中輝度の被写体については、ベース画像データの撮像時の撮像条件とハイライト画像データの撮像時の撮像条件との中間の露光量となる撮像条件にて撮像された中間輝度画像データにより鮮明に再現される。

図１３に示す撮像装置１では、画像処理部６３は、第４撮像素子８２からの画像信号に基づいて、中間輝度画像データを生成し、ハイライト画像データおよびベース画像データと合成してＨＤＲ画像データを生成する。これにより、たとえば、明暗差の大きな被写体を撮像した場合であっても、ＨＤＲ画像データ上では、中輝度の被写体が中間輝度画像データに基づいて階調が再現されるので、ＨＤＲ画像データは、全体として広いダイナミックレンジを有する画像となる。

なお、上述した実施の形態に記載された撮像装置１は、表示器５を有する構成で説明したが、必ずしも表示器５を有する必要はない。
また、撮像装置１の画像処理部６３によって、ハイライト画像データとベース画像データとを合成して、ＨＤＲ画像データを生成したが、撮像装置１でＨＤＲ画像データを生成する必要は必ずしもない。画像処理部６３は撮像装置１の外部に配置され（例えば、画像処理部６３は、撮像装置の外部に設置されるサーバ、または撮像機能と、画像処理機能および表示器５と、が別体となるような撮像装置）、撮像装置１が備える通信部によって、ハイライト画像データとベース画像データを画像処理部６３に送信し、画像処理部６３でＨＤＲ画像データを生成してもよい。撮像装置１が表示器５を備える場合は、画像処理部６３は生成したＨＤＲ画像データを撮像装置１に送信し、撮像装置１の表示器５でＨＤＲ画像データを表示可能な状態にしてもよい。また、画像処理部６３側が表示器５を備える場合は、生成したＨＤＲ画像データを表示器５に表示してもよい。

撮像装置１が撮像動作を行うために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。

なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。

上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…撮像装置、３…第１撮像ユニット、４…第２撮像ユニット、
５…表示器、６…制御部、７…操作検出部、
８…第４撮像ユニット、９…第３撮像ユニット、
３４、３５…濃度フィルタ、３２、９２…第１撮像素子、
４２、９３…第２撮像素子、６１…撮像条件設定部、
６２…撮像素子制御部、６３…画像処理部、６４…表示制御部、
６５…記憶部、６６…透過率制御部、６７…第１撮像ユニット群制御部、
６８…第２撮像ユニット群制御部、６９…全体画像処理部、８２…第３撮像素子、
１１４…第１撮像ユニット群、１１５…第２撮像ユニット群、
３２１、４２１、８２１、９２１…増幅部、
３２２…第１カラーフィルター、４２２…第２カラーフィルター
６２１…第１撮像素子制御部、６２２…第２撮像素子制御部、
６２３…第３撮像素子制御部

Claims (28)

1. 被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、
   前記被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、
   前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する増幅部と、
   前記増幅部によって増幅された前記第１画像信号に基づく第１画像データと、前記増幅部によって増幅された前記第２画像信号に基づく第２画像データとを合成し、合成画像データを生成する制御部とを備え、
   前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第２撮像素子に入射する第２入射光の光量よりも前記第１撮像素子に入射する第１入射光の光量が少なくなるように、少なくとも前記第１入射光の光路に設置される光学部材を更に備え、
   前記増幅部は、前記第２画像信号を増幅するゲインより前記第１画像信号を増幅するゲインの方が小さい撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記第１撮像素子に入射する光を集光するレンズを更に備え、
   前記光学部材は、前記レンズにコーティングされる撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記第２撮像素子に入射する光の特定波長を透過する第１フィルタを更に有し、
   前記光学部材は、前記第１撮像素子に入射する光の特定の波長を透過し、第２フィルタよりも透過率の低い第１フィルタである撮像装置。
5. 請求項２に記載の撮像装置であって、
   前記光学部材は、前記光学部材に入射した光を前記第１入射光と前記第２入射光とに分割する撮像装置。
6. 請求項２に記載の撮像装置であって、
   前記光学部材は、前記第１入射光の光を低減する状態と前記第１入射光の光量を低減しない状態とを変更可能である撮像装置。
7. 請求項２に記載の撮像装置であって、
   前記光学部材は、前記第１入射光の透過率を変更する撮像装置。
8. 請求項２に記載の撮像装置であって、
   前記光学部材は、前記第１入射光の光束径を変更せずに、前記第１入射光の光量を低減させる撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記合成画像データは、所定フレームレートで生成される動画像であり、
   前記第２露光時間は、前記所定フレームレートの１/４以上の時間である撮像装置。
10. 請求項２に記載の撮像装置であって、
    前記第２撮像素子に入射する第２入射光の光量よりも前記第１撮像素子に入射する第１入射光の光量が少なくなるように、少なくとも前記第１入射光の光路に設置される光学部材を更に備え、
    前記光学部材は、前記第２露光時間、前記増幅部によって前記第２画像信号を増幅するゲインに基づくＥＶ値が１４ＥＶ以上になるように設定され、
    前記増幅部は、前記第１画像信号を増幅するゲインより前記第２画像信号を増幅するゲインの方が小さい撮像装置。
11. 請求項３に記載の撮像装置であって、
    前記光学部材は、透過率が１/１６×１００％以下である撮像装置。
12. 請求項１に記載の撮像装置であって、
    前記合成画像データは、前記第２画像データの低輝度領域を前記第１画像データに基づいて、前記第２画像データよりも高輝度に補正して生成される撮像装置。
13. 請求項１に記載の撮像装置であって、
    前記合成画像データは、所定のフレームレートで生成される動画像であり、
    前記第１露光時間と前記第２露光時間とは、前記所定のフレームレートの半分よりも長い撮像装置。
14. 請求項１に記載の撮像装置であって、
    前記第１露光時間は、前記第２露光時間と同じ時間である撮像装置。
15. 請求項１に記載の撮像装置であって、
    前記第１撮像素子は、前記第１画像信号を第１フレームレートで出力し、
    前記第２撮像素子は、前記第２画像信号を第２フレームレートで出力し、
    前記制御部は、前記第１フレームレートで出力された前記第１画像信号に基づく前記第１画像データと前記第２フレームレートで出力された前記第２画像信号に基づく前記第２画像データとを合成し、第３フレームレートの前記合成画像データに基づく動画像を生成する撮像装置。
16. 請求項１５に記載の撮像装置であって、
    前記第１フレームレートと、前記第３フレームレートとは、同じフレームレートである撮像装置。
17. 請求項１５または請求項１６に記載の撮像装置であって、
    前記第２撮像素子は、前記第２露光時間での撮像の露光終了から次の前記第２露光時間の撮像の露光開始までの間に、前記第２露光時間よりも短い第３露光時間で撮像を行い、第３画像信号を出力する撮像装置。
18. 請求項１７に記載の撮像装置であって、
    表示部に再生された前記動画像に対する設定を行う入力部を更に備え、
    前記制御部は、前記動画像の再生中に、前記入力部によって前記動画像の再生の停止に関する入力がされた場合、前記第３画像信号に基づく画像を前記表示部に表示する撮像装置。
19. 請求項１８に記載の撮像装置であって、
    前記第１撮像素子は、前記第１露光時間での撮像の露光終了から次の前記第１露光時間での撮像の露光開始までの間に、前記第１露光時間よりも短い第４露光時間で撮像を行い、第４画像信号を出力し、
    前記制御部は、前記動画像の再生中に、前記入力部によって前記動画像の再生の停止に関する入力がされた場合、前記第３画像信号に基づく第３画像データと、前記第４画像信号に基づく第４画像データとを合成した画像データに基づく画像を前記表示部に表示する撮像装置。
20. 請求項１８または請求項１９に記載の撮像装置であって、
    前記表示部を更に備えた表示装置。
21. 請求項１から請求項１９のいずれか一項に記載の撮像装置を備えた電子機器
22. 被写体が第１露光時間で撮像された第１画像信号を出力し、
    前記被写体が第２露光時間で撮像された第２画像信号を出力し、
    前記第１画像信号と前記第２画像信号とを異なるゲインで増幅し、
    増幅された前記第１画像信号に基づく第１画像データと、増幅された前記第２画像信号に基づく第２画像データとを合成し、合成画像データを生成し、
    前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる撮像装置。
23. コンピュータに実行させるためのプログラムであって、
    被写体が第１露光時間で撮像された第１画像信号を出力する処理と、
    前記被写体が第２露光時間で撮像された第２画像信号を出力する処理と、
    前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する処理と、
    増幅された前記第１画像信号に基づく第１画像データと、増幅された前記第２画像信号に基づく第２画像データとを合成し、合成画像データを生成する処理と、
    前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行うコンピュータに実行させるためのプログラム。
24. 被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、
    前記被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、
    前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する増幅部と、
    外部の電子機器と通信を行う第１通信部と、
    第１ゲイン増幅部によってゲインが増幅された前記第１画像信号に基づく第１画像データと、第２ゲイン増幅部によってゲインが増幅された前記第２画像信号に基づく第２画像データとを前記外部の電子機器に前記第１通信部を介して送信する第１制御部とを備え、
    前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる撮像装置。
25. 請求項２４に記載の撮像装置と、
    前記第１画像データと前記第２画像データとを受信する第２通信部と、
    前記第１画像データと前記第２画像データとを合成し、合成画像データを生成する第２制御部とを備える画像処理装置とを備える撮像システム。
26. 請求項２５に記載の撮像システムであって、
    前記画像処理装置は、前記合成画像データに基づく合成画像を表示する表示部を更に備える表示システム。
27. 被写体が第１露光時間で撮像された第１画像信号を出力する第１撮像素子と、前記被写体が第２露光時間で撮像された第２画像信号を出力する第２撮像素子と、前記第１画像信号と前記第２画像信号とを異なるゲインで増幅する増幅部とを有し、前記第１露光時間での撮像の露光開始および前記第１露光時間での撮像の露光終了の少なくとも一方は、前記第２露光時間の撮像の間に行われる撮像装置から、第１ゲイン増幅部によってゲインが増幅された前記第１画像信号に基づく第１画像データと、第２ゲイン増幅部によってゲインが増幅された前記第２画像信号に基づく第２画像データとを受信する通信部と、
    前記第１画像データと前記第２画像データとを合成し、合成画像データを生成する制御部とを備える画像処理装置。
28. 請求項２７に記載の画像処理装置であって、
    前記合成画像データに基づく画像を表示する表示部をさらに備える表示装置。

Images