JP2015092660A - 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2015092660A
JP2015092660A JP2014200650A JP2014200650A JP2015092660A JP 2015092660 A JP2015092660 A JP 2015092660A JP 2014200650 A JP2014200650 A JP 2014200650A JP 2014200650 A JP2014200650 A JP 2014200650A JP 2015092660 A JP2015092660 A JP 2015092660A
Authority
JP
Japan
Prior art keywords
imaging
area
unit
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014200650A
Other languages
English (en)
Other versions
JP6547266B2 (ja
Inventor
雅人 武石
Masahito Takeishi
雅人 武石
聡志 土谷
Satoshi Tsuchiya
聡志 土谷
英史 太田
Hidefumi Ota
英史 太田
郷原　幸一
Koichi Gohara
幸一 郷原
伊織 野田
Iori Noda
伊織 野田
政一 関口
Masaichi Sekiguchi
政一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014200650A priority Critical patent/JP6547266B2/ja
Publication of JP2015092660A publication Critical patent/JP2015092660A/ja
Application granted granted Critical
Publication of JP6547266B2 publication Critical patent/JP6547266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】撮像素子の一部の領域で、光源の明滅を検知し、画像に生じるフリッカー現象を防止する撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラムを提供する。
【解決手段】撮像素子１００を駆動制御する駆動制御部７２と、撮像素子１００を第１領域と第２領域とに分割する分割部７１と、駆動制御部７２が第２領域から読み出す信号に基づいて光源の明滅を検知する明滅検知部７４と、を備える。
【選択図】図７

Description

本発明は、撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラムに関する。
裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた撮像装置が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。
特開２００６−４９３６１号公報
しかし、従来の積層型撮像素子を備えた撮像装置において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた撮像装置の使い勝手が十分ではなかった。
本発明の態様では、撮像素子の一部の領域で光源の明滅を検知することで、画像に生じるフリッカー現象を防止することを目的とする。
本発明の態様では、撮像素子を用いて動画の撮像中に画像の一部分が動画で他の部分が静止画である画像（部分動画）を生成することを目的とする。
本発明の態様では、主要被写体に合わせて領域を設定し、領域に対応した撮像条件で撮像を行うことを目的とする。
本発明の態様では、撮像素子の撮像条件を複数の領域ごとに異ならせることで、ダイナミックレンジの広い画像を取得することを目的とする。
本発明の態様では、露出に関する処理において飽和レベルの露出から適正露出に短時間で行うことを目的とする。
本発明の態様では、撮像素子の駆動に要する消費電力を低減することを目的とする。
本発明の態様では、所定領域のフレームレートを高くした場合でも確実に撮像部から画像処理部へ画像データを転送することを目的とする。
本発明の態様では、画角に不意に飛び込んできた被写体を撮影し又は撮影しないようにすることを目的とする。
本発明の第１態様によれば、撮像素子を駆動制御する駆動制御部と、撮像素子を第１領域と第２領域とに分割する分割部と、駆動制御部が第２領域から読み出す信号に基づいて光源の明滅を検知する明滅検知部と、を備える撮像装置が提供される。
本発明の第２態様によれば、撮像光学系からの光束を受光する第１撮像素子と、撮像光学系からの光束を受光する第２撮像素子と、第２撮像素子からの信号に基づいて第１撮像素子における光源の明滅を検知する明滅検知部と、を備える撮像装置が提供される。
本発明の第３態様によれば、撮像素子を有する撮像装置の制御方法であって、撮像素子を第１領域と第２領域とに分割することと、第２領域からの信号に基づいて光源の明滅を検知することと、を含む撮像装置の制御方法が提供される。
本発明の第４態様によれば、撮像素子を有する制御装置に、撮像素子を第１領域と第２領域とに分割する分割処理と、第２領域からの信号に基づいて光源の明滅を検知する明滅検知処理と、を実行させる制御プログラムが提供される。
本発明の第５態様によれば、撮像素子を有し、該撮像素子の撮像領域において動画と静止画のうち少なくともいずれか一方を撮像可能な撮像部と、撮像部により撮像領域において動画を撮像中に、撮像領域内に第１領域を設定する設定部と、設定部により第１領域が設定されると、第１領域と第１領域とは異なる第２領域とのいずれか一方について動画を生成し、他方について静止画を生成する画像生成部と、を備えることを特徴とする電子機器が提供される。
本発明の第６態様によれば、撮像素子を有し、該撮像素子の撮像領域において動画と静止画のうち少なくともいずれか一方を撮像可能な撮像部を含む電子機器の制御方法であって、撮像部により撮像領域において動画を撮像中に、撮像領域内に第１領域を設定することと、設定部により第１領域が設定されると、第１領域と第１領域とは異なる第２領域とのいずれか一方について動画を生成し、他方について静止画を生成することと、を含むことを特徴とする電子機器の制御方法が提供される。
本発明の第７態様によれば、撮像素子を有し、該撮像素子の撮像領域において動画と静止画のうち少なくともいずれか一方を撮像可能な電子機器の制御装置に、撮像部により撮像領域において動画を撮像中に、撮像領域内に第１領域を設定する設定処理と、設定部により第１領域が設定されると、第１領域と第１領域とは異なる第２領域とのいずれか一方について動画を生成し、他方について静止画を生成する画像生成処理と、を実行させることを特徴とする制御プログラムが提供される。
本発明の第８態様によれば、撮像素子を有する撮像部と、主要被写体を検出する検出部と、撮像素子の撮像領域において、検出部が検出した主要被写体を含む第１領域と該第１領域とは異なる第２領域とを設定する設定部と、第１領域と第２領域とを異なる撮像条件で撮像を行わせる制御部と、を備える電子機器が提供される。
本発明の第９態様によれば、撮像素子を有する撮像部と、被写体の状態変化を検出する検出部と、該検出部が検出する状態変化を契機として、撮像素子の撮像領域において、被写体の焦点位置の検出を行うための領域と露出検出を行うための領域とが設定された第１設定状態と、該第１設定状態とは異なる第２設定状態とを切り替える切替部と、を備える電子機器が提供される。
本発明の第１０態様によれば、撮像素子を有する電子機器の制御方法であって、主要被写体を検出することと、撮像素子の撮像領域において、検出した主要被写体を含む第１領域と該第１領域とは異なる第２領域とを設定することと、第１領域と第２領域とを異なる撮像条件で撮像を行わせることと、を含む電子機器の制御方法が提供される。
本発明の第１１態様によれば、撮像素子を有する電子機器の制御装置に、主要被写体を検出する検出処理と、撮像素子の撮像領域において、検出処理が検出した主要被写体を含む第１領域と該第１領域とは異なる第２領域とを設定する設定処理と、第１領域と第２領域とを異なる撮像条件で撮像を行わせる制御処理と、を実行させる制御プログラムが提供される。
本発明の第１２態様によれば、撮像素子で撮像された被写体像の輝度分布データに基づいて、撮像素子の撮像領域を輝度レベルに応じた複数の領域に分割する領域分割部と、領域分割部により分割された各領域の輝度レベルが特定範囲内に入るように撮像素子の撮像条件を各領域ごとに設定する制御部と、を備える電子機器が提供される。
本発明の第１３態様によれば、撮像素子を有する電子機器の制御方法であって、撮像素子で撮像された被写体像の輝度分布データに基づいて、撮像素子の撮像領域を輝度レベルに応じた複数の領域に分割することと、分割された各領域の輝度レベルが特定範囲内に入るように撮像素子の撮像条件を各領域ごとに設定することと、を含む電子機器の制御方法が提供される。
本発明の第１４態様によれば、撮像素子を有する電子機器の制御装置に、撮像素子で撮像された被写体像の輝度分布データに基づいて、撮像素子の撮像領域を輝度レベルに応じた複数の領域に分割する領域分割処理と、領域分割処理により分割された各領域の輝度レベルが特定範囲内に入るように撮像素子の撮像条件を各領域ごとに設定する制御処理と、を実行させる制御プログラムが提供される。
本発明の第１５態様によれば、被写体からの光束を複数の領域で受光し、複数の領域を異なる撮像条件で撮像可能な撮像素子と、複数の領域において、露出に関する処理に対して複数の撮像条件により撮像を制御する制御部と、を備える電子機器が提供される。
本発明の第１６態様によれば、画像の拡大、縮小及び移動の少なくともいずれか一つの操作を検出する操作検出部と、操作検出部で検出された操作に応じて撮像素子を駆動制御する領域を選択する駆動制御部と、を備える電子機器が提供される。
本発明の第１７態様によれば、撮像領域において領域ごとに異なるフレームレートで撮像可能な撮像部と、撮像部で撮像された画像データの画像処理を行う画像処理部と、を備え、撮像部は、撮像領域の複数の単位領域に対応して設けられた複数のバッファと、領域ごとのフレームレートに基づいて単位領域で得られた画像データを格納するバッファを選択する選択部と、を含むことを特徴とする撮像装置が提供される。
本発明の第１８態様によれば、第１撮影条件により撮像する第１撮像領域と、当該第１撮影条件とは異なる第２撮影条件により撮像する第２撮像領域とを有する撮像部と、第１撮影条件または第２撮影条件の少なくともいずれか一方を不規則に変更して設定する設定部と、を備えることを特徴とする撮影装置が提供される。
本発明の態様によれば、撮像素子の一部の領域で光源の明滅を検知することで、画像に生じるフリッカー現象を防止することができる。
本発明の態様によれば、撮像素子を用いて動画の撮像中に画像の一部分が動画で他の部分が静止画である画像（部分動画）を生成することができる。
本発明の態様によれば、主要被写体に合わせて領域を設定し、領域に対応した撮像条件で撮像を行うことができる。
本発明の態様によれば、撮像素子の撮像条件を複数の領域ごとに異ならせることにより、ダイナミックレンジの広い画像を取得することができる。
本発明の態様によれば、露出に関する処理において飽和レベルの露出から適正露出に短時間で行うことができる。
本発明の態様によれば、撮像素子の駆動に要する消費電力を低減することができる。
本発明の態様によれば、所定領域のフレームレートを高くした場合でも確実に撮像部から画像処理部へ画像データを転送することができる。
本発明の態様によれば、画角に不意に飛び込んできた被写体を撮影し又は撮影しないようにすることができる。
第１実施形態の撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第１実施形態の撮像素子における第１領域と第２領域とを示す図である。 撮像装置の一例であるデジタルカメラの概略構成を示す横断面図である。 第１実施形態に係るデジタルカメラの構成を示すブロック図である。 第１実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 光源の明滅周期と第１領域の露光時間及び信号出力とを示すタイミングチャートである。 光源の明滅周期と第２領域の露光時間及び信号出力とを示すタイミングチャートである。 第２実施形態の撮像素子における第１領域と第３領域と第４領域とを示す図である。 光源の明滅周期と第３領域の露光時間及び信号出力と第４領域の露光時間及び信号出力とを示すタイミングチャートである。 第３実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第５実施形態に係る２つの撮像素子の配置を示す図である。 第６実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。 部分動画の概要を説明するための図である。 第７実施形態に係るデジタルカメラの構成を示すブロック図である。 第７実施形態のデジタルカメラに係る表示部を示す図である。 第７実施形態のシステム制御部が実行する部分動画の撮影動作を説明するためのフローチャートである。 図１９に示す設定処理を説明するためのフローチャートである。 使用者が動画領域を設定するときの表示パネルの表示例を示す図である。 撮像素子の画素領域における動画領域を示す図である。 使用者がフレームレートを設定するときの表示パネルの表示例を示す図である。 使用者が静止画領域を設定するときの表示パネルの表示例を示す図である。 撮像素子の画素領域における静止画領域を示す図である。 移動被写体の領域を動画領域として設定するときの表示パネルの表示例を示す図である。 第８実施形態における撮像処理を示すフローチャートである。 移動被写体の移動に伴う画像の補完を説明するための図である。 各ブロックにおける配列パターンを示す図である。 第９実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。 第１０実施形態に係るデジタルカメラの構成を示すブロック図である。 第１０実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第１０実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第１０実施形態の撮像素子の撮像領域における主要被写体領域と部分領域と非主要被写体領域とを示す図である。 第１０実施形態の表示部の表示面における主要被写体領域と部分領域と非主要被写体領域とを示す図である。 笑顔の画像及び笑顔でない画像の一例を示す図である。 第１１実施形態における領域の設定処理を説明するためのフローチャートである。 第１１実施形態に係るＡＦ領域とＡＥ領域との配列パターンを示す図である。 検出部により主要被写体が検出されなかった場合の非主要被写体領域を示す図である。 検出部により主要被写体が検出された場合の主要被写体領域と部分領域と非主要被写体領域とを示す図である。 第１１実施形態に係るＡＦ領域とＡＥ領域との配列パターンの変形例を示す図である。 第１２実施形態のシステム制御部が実行する撮影モード設定処理を説明するためのフローチャートである。 第１２実施形態に係る静止画領域と動画領域との配列パターンを示す図である。 第１２実施形態の撮像素子の撮像領域における主要被写体領域と部分領域と非主要被写体領域とを示す図である。 第１２実施形態の表示部の第１表示例を示す図である。 第１２実施形態の表示部の第２表示例を示す図である。 第１３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。 第１４実施形態に係るデジタルカメラの構成を示すブロック図である。 第１４実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 輝度レベルに応じた複数の領域からなる画像の表示例を示す図である。 図５０に示す被写体の明るさと撮像素子の輝度レベルとの関係を示すグラフである。 図５０の点Ａ１と点Ａ２との間における輝度レベルの変化を示す波形図である。 図５２に示す輝度レベルが特定範囲内に入るように領域分割と撮像条件の設定とが行われた場合の輝度レベルを示す波形図である。 レベル（１）の領域とレベル（２）の領域との境界に設定される帯状の境界領域を示す図である。 図５０に示すレベル（３）の領域とレベル（４）の領域とを示す部分拡大図である。 図５５に示す点Ｄ１と点Ｄ２との間における輝度レベルの変化を示す波形図である。 図５６に示す輝度レベルが特定範囲内に入るように領域分割と撮像条件の設定とが行われた場合の輝度レベルを示す波形図である。 各領域における撮像タイミングを示すタイミングチャートである。 第１４実施形態の画像処理部が実行する画像処理を説明するためのフローチャートである。 第１５実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。 第１６実施形態に係るデジタルカメラの構成を示すブロック図である。 第１６実施形態の撮像素子における第１領域と第２領域と第３領域とを示す図である。 第１６実施形態におけるＡＥ処理を説明するための図である。 第１７実施形態における第１領域が飽和した状態を示す図である。 第１８実施形態における動画ＨＤＲを説明するための図である。 第２０実施形態に係るスマートフォンの構成を示すブロック図である。 第２０実施形態の撮像素子における撮像領域を示す図である。 スマートフォンの表示部の表示例を示す図である。 スマートフォンの表示部の表示例を示す図である。 スマートフォンの表示部の表示例を示す図である。 第２１実施形態の撮像素子における撮像領域を示す図である。 第２１実施形態の撮像部、画像処理部及び記録部の構成を示すブロック図である。 撮像部から画像処理部への画像データの転送タイミングを示す図である。 左半分の領域から高フレームレートで画像データを読み出し、右半分の領域からは画像データを読み出さない場合における撮像部、画像処理部及び記録部の構成を示すブロック図である。 左半分の領域から高フレームレートで画像データを読み出し、右半分の領域からは画像データを読み出さない場合における撮像部から画像処理部への画像データの転送タイミングを示す図である。 第２１実施形態の画像処理部における処理を示すフローチャートである。 第２１実施形態の撮像部における処理を示すフローチャートである。 フレームレートと領域との関係を示す図である。 第２２実施形態に係る撮影システムの構成を示すブロック図である。 第２３実施形態の第１撮像領域及び第２撮像領域の撮影条件の切替タイミングを示す図である。
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。なお、以下の各実施形態では、撮像装置の例としてレンズ交換式のデジタルカメラを例に挙げて説明する。
＜第１実施形態＞
図１は、第１実施形態の撮像素子１００の断面図である。撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と撮像チップ１１３から出力された画素信号を処理する信号処理チップ１１１と信号処理チップ１１１で処理された画素信号を記憶するメモリチップ１１２とを備える。撮像チップ１１３、信号処理チップ１１１及びメモリチップ１１２は積層されており、撮像チップ１１３及び信号処理チップ１１１は、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。また、信号処理チップ１１１及びメモリチップ１１２は、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
図示した座標軸で示すように、入射光は主にＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸で示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Photodiode；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図２に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Through-Silicon Via；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。
図２は、撮像チップ１１３の画素配列と単位グループを説明する図である。図２では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域（撮像領域）１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図２に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図２の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図３は、撮像チップ１１３の単位グループに対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。
各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。
各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。
ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
図３に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１毎に別個に設けられる。
このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。
図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。
マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）・アナログ／デジタル（Analog／Digital）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。
演算回路（信号処理部）４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。本実施形態では、演算回路４１６は、所定領域（図５に示す第２領域２１０）を構成する各ブロックに含まれる複数の画素からの画素信号を平均化する処理を実行する。演算回路４１６は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率（画素間引き率）、画素信号を加算する加算行数又は加算列数（画素加算数）、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。この電荷蓄積時間のことを露光時間又はシャッター速度（シャッタースピード）ともいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。
また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率、画素信号を加算する加算行数又は加算列数）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。
図５は、第１実施形態の撮像素子１００における第１領域２００と第２領域２１０とを示す図である。図５に示すように、撮像素子１００（撮像チップ１１３）の画素領域１１３Ａが第１領域２００と第２領域２１０とに分割されている。第１領域２００は、画素領域１１３Ａの中央部分の複数のブロック（図５中の「Ａ」で示すブロック）からなる方形状の領域である。第２領域２１０は、画素領域１１３Ａの周辺部分の複数のブロック（図５中の「Ｂ」で示すブロック）からなる枠状の領域である。すなわち、第２領域２１０は、第１領域２００の周囲を囲うように配置された複数のブロックで構成されている領域である。なお、第１領域２００及び第２領域２１０を構成する各ブロックは、例えば１２０×６０画素で構成されている。
なお、図５において、領域ごとのブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックを設定しているが、図５に示すブロックの数よりも多い数のブロックを画素領域１１３Ａに設定するようにしてもよい。
本実施形態では、第１領域２００は、通常の撮影用の領域（撮影用領域）である。第２領域２１０は、後述するように蛍光灯や水銀灯などの光源（図６の光源Ｌ参照）の明滅（フリッカー）を検知するために使用されるフリッカー検知用領域である。商用電源の周波数は、東日本が５０Ｈｚ、西日本が６０Ｈｚとなっている。例えば蛍光灯は、その倍の周波数で発光する。このため、蛍光灯は、東日本では１秒間に１００回明滅し、西日本では１秒間に１２０回明滅する。このような蛍光灯などの光源の明滅が生じることをフリッカー現象（ちらつき現象）という。
デジタルカメラ１が短い露光時間（つまり、速いシャッタースピード）で撮像した場合、撮像開始のタイミング（つまり、シャッターを押したタイミング）が蛍光灯の明滅のどのタイミングであるかによって、明るい画像となったり、暗い画像となったりする。また、蛍光灯の場合、１００Ｈｚ又は１２０Ｈｚの明るさの変化に加え、発光する箇所も１秒間に５０回又は６０回移動する。従って、画像の影のつき方なども移動してしまう。また、撮像素子１００の場合、色ごとに画素（緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒ）からの信号の読み出しタイミングが異なる。従って、色ごとの光量のずれが色ずれとなって現れることがある。本実施形態では、図５に示したように、撮像素子１００において、通常の撮影用の第１領域２００とは別に第２領域２１０を設ける。そして、本実施形態のデジタルカメラ１は、第２領域２１０から読み出される信号を用いて光源の明滅タイミングを検知する。そして、本実施形態のデジタルカメラ１は、検知した明滅タイミングに応じた最適な露光開始タイミングで撮像を行う。
図６は、撮像装置の一例であるデジタルカメラ１の概略構成を示す横断面図である。なお、図６に示すように、蛍光灯などの光源Ｌが設置された室内において、本実施形態のデジタルカメラ１が撮影を行うことを想定している。
本実施形態のデジタルカメラ１は、レンズ部１０及びカメラボディ２を備えている。レンズ部１０は、交換式レンズである。カメラボディ２には、レンズ部１０を装着するためのボディ側マウント部８０Ａが設けられている。また、レンズ部１０には、ボディ側マウント部８０Ａと対応するレンズ側マウント部８０Ｂが設けられている。使用者がボディ側マウント部８０Ａとレンズ側マウント部８０Ｂとを接合することにより、レンズ部１０がカメラボディ２に装着される。レンズ部１０がカメラボディ２に装着されると、ボディ側マウント部８０Ａに設けられた電気接点８１Ａと、レンズ側マウント部８０Ｂに設けられた電気接点８１Ｂとが電気的に接続される。
レンズ部１０は、撮影光学系１１、絞り１４、及びレンズ駆動制御装置１５を備えている。撮像光学系１１には、レンズ１１ａ、ズーミング用レンズ１１ｂ及びフォーカシング用レンズ１１ｃが含まれる。レンズ駆動制御装置１５は、レンズ側ＣＰＵ（Central Processing Unit）、メモリ及び駆動制御回路を有している。レンズ駆動制御装置１５は、電気接点８１Ａ，８１Ｂを介してカメラボディ２側のシステム制御部７０と電気的に接続され、レンズ部１０に備えられた撮影光学系１１の光学特性に関するレンズ情報の送信とズーミング用レンズ１１ｂ、フォーカシング用レンズ１１ｃ及び絞り１４を駆動するための制御情報の受信とを行う。
レンズ駆動制御装置１５のレンズ側ＣＰＵは、撮影光学系１１の焦点調節を行うために、システム制御部７０から送信される制御情報に基づいて駆動制御回路にフォーカシング用レンズ１１ｃの駆動制御を実行させる。レンズ駆動制御装置１５のレンズ側ＣＰＵは、ズーミング調節を行うために、システム制御部７０から送信される制御情報に基づいてズーミング用レンズ１１ｂの駆動制御を駆動制御回路に実行させる。絞り１４は、撮影光学系１１の光軸に沿って配置されている。絞り１４は、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置１５のレンズ側ＣＰＵは、絞り１４の開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて絞り１４の駆動制御を駆動制御回路に実行させる。
カメラボディ２は、撮像部２０、画像処理部３０、表示部５０、記憶部６０及びシステム制御部７０を備えている。撮像部２０は、撮像素子１００を有する。撮像素子１００には、レンズ部１０の撮影光学系１１から射出された光束が入射する。撮像素子１００は、入射した光束を光電変換して撮像素子の各画素の画素信号（画素信号は画像データに含まれる。）を生成する。各画素の画素信号からなるＲＡＷデータ（ＲＡＷデータも画像データに含まれる。）が撮像部２０から画像処理部３０に送られる。画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。表示部５０は、画像処理部３０が生成した画像データを表示する。記憶部６０は、画像処理部３０が生成した画像データを記憶する。
なお、「画像データ」のことを「画像信号」ということがある。また、画像には、静止画、動画、ライブビュー画像が含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
システム制御部７０は、デジタルカメラ１の全体の処理及び動作を制御する。なお、システム制御部７０の処理及び動作の詳細、及びカメラボディ２内の構成の詳細については、以下の図７において説明する。
図７は、第１実施形態に係るデジタルカメラ１の構成を示すブロック図である。図７に示すように、デジタルカメラ１は、カメラボディ２とレンズ部１０とを備える。上述したように、レンズ部１０は、カメラボディ２に対して着脱可能な交換式レンズである。従って、デジタルカメラ１は、レンズ部１０を備えていなくてもよい。ただし、レンズ部１０はデジタルカメラ１と一体構成であってもよい。レンズ部１０は、カメラボディ２に接続された状態において、被写体からの光束を撮像部２０へ導く。
レンズ部１０は、上述したように、レンズ駆動制御装置１５を有している（図６参照）。また、レンズ部１０は、撮影光学系１１としての複数のレンズ群、つまり、レンズ１１ａ、ズーミング用レンズ１１ｂ、及びフォーカシング用レンズ１１ｃを有している。レンズ駆動制御装置１５は、レンズ部１０がカメラボディ２に接続された場合に、メモリに記憶されているレンズ情報をカメラボディ２のシステム制御部７０に送信する。また、レンズ駆動制御装置１５は、レンズ部１０がカメラボディ２に接続された場合に、システム制御部７０から送信される制御情報を受信する。レンズ駆動制御装置１５は、制御情報に基づいて、ズーミング用レンズ１１ｂ、フォーカシング用レンズ１１ｃ、及び絞り１４の駆動制御を行う。
図７に示すように、カメラボディ２は、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、システム制御部７０及びストロボ９０を備える。
撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおいてブロック単位で領域を設定する。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。また、駆動部２１は、演算回路４１６に指示を送ることにより、第２領域２１０のブロックごとに、各ブロックに含まれる複数の画素からの画素信号を平均化する処理を実行させる。演算回路４１６は、各ブロックに含まれる複数の画素からの画素信号を平均化した平均化信号を画像処理部３０に出力する。
撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０は、以下の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。
画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
なお、本実施形態では、画像処理部３０は、演算回路４１６から出力される第２領域２１０の各ブロックごとの平均化信号に基づいて、その平均化信号の信号レベルを判定する。そして、画像処理部３０は、平均化信号の信号レベルの判定結果をシステム制御部７０に出力する。
ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどの表示パネル５１を有している。表示部５０の表示パネル５１上にはタッチパネル５２が形成されている。タッチパネル５２は、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。
操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動作の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部７０は、デジタルカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はボディ側ＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。
また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。
また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０に画像を表示させる。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
また、システム制御部７０は、制御情報をレンズ駆動制御装置１５に出力することにより、レンズ駆動制御装置１５にフォーカシング用レンズ１１ｃの駆動制御及び絞り１４の駆動制御を実行させる。
本実施形態では、システム制御部７０は、図７に示すように、分割部７１、駆動制御部７２、制御部７３及び明滅検知部７４を備えている。分割部７１は、撮像素子１００の画素領域１１３Ａを、図５に示すようにブロック単位で第１領域２００と第２領域２１０とに分割する処理を行う。
駆動制御部７２は、第１領域２００の撮像条件を設定するとともに、第２領域２１０の撮像条件を設定する。また、駆動制御部７２は、使用者によるレリーズスイッチや動画スイッチの操作に応じて撮像素子１００の駆動制御を実行する。また、駆動制御部７２は、ライブビュー画像の撮像時（すなわち、電源投入後の撮影動作の開始後）においても、撮像素子１００の駆動制御を実行する。制御部７３は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示パネル５１に画像を表示させる制御を行う。明滅検知部７４は、第２領域２１０から読み出す信号に基づいて光源Ｌの明滅（フリッカー）の周波数及び位相を検知する。
なお、システム制御部７０において、分割部７１、駆動制御部７２、制御部７３及び明滅検知部７４は、ボディ側ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。
次に、第１実施形態に係るデジタルカメラ１の静止画撮影動作について説明する。図８は、第１実施形態のシステム制御部７０が実行する撮影動作を説明するためのフローチャートである。図８に示す処理において、デジタルカメラ１に電源が投入された後、使用者が撮影を開始するために操作部５５などの操作を行うと、分割部７１は、撮像素子１００の画素領域１１３Ａにおいて、図５に示すような第１領域２００と第２領域２１０とに分割して設定する。また、駆動制御部７２は、分割部７１が分割した第１領域２００及び第２領域２１０に対して撮像条件を設定する（ステップＳ１）。
例えば、駆動制御部７２は、ライブビュー画像の撮像時における第１領域２００のフレームレートとして、例えば６０ｆｐｓ（ライブビュー画像の撮像時の標準のフレームレート）を設定する。また、駆動制御部７２は、ライブビュー画像の撮像時における第２領域２１０のフレームレートとして、第１領域２００のフレームレートよりも高いフレームレート（例えば光源Ｌの周波数の４倍以上のフレームレート）を設定する。一例としては、駆動制御部７２は、光源Ｌの明滅周波数（例えば１００Ｈｚ）の整数倍のフレームレート（例えば、４倍の４００ｆｐｓ）で第２領域２１０を駆動制御する。
また、駆動制御部７２は、ライブビュー画像の撮像時における第１領域２００のフレームレート以外の撮像条件（露光時間やゲインなど）としては、ライブビュー画像の撮像時における通常の撮像条件（例えば適正露出となるような撮像条件）を設定する。また、駆動制御部７２は、ライブビュー画像の撮像時における第２領域２１０のフレームレート以外の撮像条件（露光時間やゲインなど）としては、光源Ｌのフリッカーの検知に適した撮像条件を設定する。
ステップＳ１では、分割部７１は、駆動部２１に対して第１領域２００及び第２領域２１０に対応するブロックの位置などを指示する指示信号を出力する。また、駆動制御部７２は、駆動部２１に対して第１領域２００及び第２領域２１０の撮像条件を指示する指示信号を出力する。
次に、システム制御部７０が撮影動作を開始する（ステップＳ２）。すなわち、駆動制御部７２は、駆動部２１に対して指示信号を出力することにより、ステップＳ１において指示した撮像条件で撮像素子１００の駆動制御を実行させる。これにより、撮像素子１００の第１領域２００の各画素から読み出された画素信号が画像処理部３０に出力される。また、撮像素子１００の第２領域２１０の各画素から読み出された画素信号が演算回路４１６で平均化される。そして、演算回路４１６は、平均化した平均化信号を画像処理部３０に出力する。画像処理部３０は、演算回路４１６から出力された平均化信号の信号レベルを判定し、その判定結果をシステム制御部７０に出力する。
撮影が開始されると、制御部７３は、撮像素子１００の第１領域２００で撮像されたライブビュー画像を表示部５０の表示パネル５１に表示させる（ステップＳ３）。図９は、光源Ｌの明滅周期と第１領域２００の露光時間及び信号出力とを示すタイミングチャートである。図９において、一番上に図示した波形は、光源Ｌの明滅の周期を示している。縦軸は光源Ｌの光量であり、横軸は時間を表している。図９に示す例では、光源Ｌの周波数は１００Ｈｚ（周期は１０ｍｓ）とされている。
また、図９では、第１領域２００のライブビュー画像の露光時間Ａと、その露光時間Ａで露光した場合の信号出力Ａとの関係も示している。図９に示す例では、第１領域２００のフレームレートは６０ｆｐｓ（周期は１６．６６７ｍｓ）で、露光時間Ａは短い時間（速いシャッタースピード）とされている。また、図９では、第１領域２００のライブビュー画像の露光時間Ｂと、その露光時間Ｂで露光した場合の信号出力Ｂとの関係も示している。図９に示す例では、第１領域２００のフレームレートは６０ｆｐｓ（周期１６．６６７ｍｓ）で、露光時間Ｂは長い時間（遅いシャッタースピード）とされている。
図９に示すように、短い露光時間Ａの場合は、露光開始のタイミングにおける光源Ｌの明滅周期の位相（明滅位相、フリッカー位相）に応じて、信号出力Ａ（第１領域２００から読み出される画素信号の出力Ａ）のレベルが大きく変化する。従って、ライブビュー画像においてフリッカー現象が生じ、使用者にとってはちらつきが目障りとなる。
図９に示すように、長い露光時間Ｂの場合は、露光開始のタイミングにおける光源Ｌの明滅位相の影響を受けにくくなり、信号出力Ｂ（第１領域２００から読み出される画素信号の出力Ｂ）のレベルの変化が低減される。また、通常、露光時間を光源の明滅周期の整数倍にすることにより、フリッカー現象の発生を抑制することができる。図９に示す例では、露光時間Ｂは光源Ｌの明滅周期と同じ時間（１倍）とされているため、ライブビュー画像においてフリッカー現象が生じていない。このように、ライブビュー画像においては、長い露光時間を設定することによりフリッカー現象の影響を少なくすることと、露光時間を光源の明滅周期の整数倍にしてフリッカー現象の発生を抑えることとの一方又は両方が行われる。しかし、使用者のレリーズスイッチの操作に基づく静止画の撮像では、撮影環境に応じて露光時間が設定される。従って、静止画の撮像時の露光時間が短い場合や明滅周期の整数倍でない場合は、フリッカー現象が生じ得る。
図８の説明に戻り、明滅検知部７４は、ライブビュー画像の表示中に、画像処理部３０からの平均化信号の信号レベルの判定結果に基づいて、光源Ｌの明滅位相の検知を実行する（ステップＳ４）。図１０は、光源Ｌの明滅周期と第２領域２１０の露光時間及び信号出力とを示すタイミングチャートである。図１０に示すように、駆動制御部７２は、第２領域２１０のフレームレートとして、第１領域２００のフレームレートよりも高いフレームレートを設定している。また、駆動制御部７２は、第２領域２１０の露光時間として短い露光時間を設定している。この場合、図１０に示すように、第２領域２１０の信号出力は短い間隔で出現する。また、第２領域２１０からの信号出力のレベルは、光源Ｌの明滅位相に応じて大きく変化する。すなわち、第２領域２１０の信号出力のレベルが高くなったり低くなったりする変化を周期的に繰り返す。従って、明滅検知部７４は、第２領域２１０の信号出力のレベルの変化に基づいて、光源Ｌの明滅周波数（明滅周期）と明滅位相とを検知することができる。なお、第２領域２１０のフレームレートが高いほど、明滅検知部７４による光源Ｌの明滅周波数や明滅位相の検知の精度が高くなる。例えば、第２領域２１０のフレームレートが１０００ｆｐｓ以上であれば、明滅検知部７４は光源Ｌの綺麗な波形の明滅周期を検知することができる。
以上のようなステップＳ１からＳ４までの処理は、使用者による操作部５５のレリーズスイッチの半押し操作（ステップＳ５）が行われるまで繰り返し実行される。本実施形態では、駆動制御部７２は、明滅検知部７４が検知した光源Ｌの明滅周波数に合わせて変更したフレームレートで第２領域２１０を駆動制御する（ステップＳ１及びＳ２参照）。例えば、電源投入の直後は、駆動制御部７２はステップＳ１で第２領域２１０のフレームレートを１０００ｆｐｓと設定する。その後に明滅検知部７４がステップＳ４で光源Ｌの明滅周波数が１００Ｈｚと検知した場合は、駆動制御部７２はステップＳ１で第２領域２１０のフレームレートを４００ｆｐｓに設定する。このような構成によれば、電源の投入直後は、光源Ｌの明滅の波形がどのような波形になるかわからないため、第２領域２１０のフレームレートを高くし、明滅検知部７４が精度の高い光源Ｌの明滅周波数及び明滅位相の検知を実行する。一方、明滅検知部７４により光源Ｌの明滅周波数及び明滅位相が検知された後は、光源Ｌの明滅周波数の整数倍のフレームレートであれば、明滅検知部７４が精度の高い光源Ｌの明滅周波数及び明滅位相の検知を実行することができる。従って、第２領域２１０のフレームレートを低くし、消費電力を低減させる。
システム制御部７０は、レリーズスイッチの半押し操作（ＳＷ１の操作）が行われたか否かを判定する（ステップＳ５）。半押し操作は、撮影準備を開始させる指示として用いられる。なお、図８において図示していないが、システム制御部７０は、自動的に焦点調節を行うオートフォーカス（ＡＦ）の制御や、自動的に露出調節を行う自動露出（ＡＥ）の制御などを実行する。
次に、システム制御部７０は、レリーズスイッチの全押し操作（ＳＷ２の操作）が行われたか否かを判定する（ステップＳ６）。全押し操作が行われたと判定した場合は、駆動制御部７２は、ステップＳ４で明滅検知部７４が検知した光源Ｌの明滅位相に基づいて、静止画の撮像における露光開始の最適なタイミング（ベストタイミングという。図１０中、「ＢＴ」と記す）について判定する。本実施形態では、露光開始のベストタイミングとして、露光時間が光源Ｌの光量が高くなる期間に同期するようなタイミングとしている。図１０に示す例では、光源Ｌの光量のピークの手前のタイミングとしている。ただし、露光開始のベストタイミングは、露光時間（シャッタースピード）によって変化する。露光時間が短いほど、光源Ｌの光量のピークに近いタイミングが露光開始のベストタイミングとなる。露光時間が一定以上長くなれば、露光開始のタイミングによる静止画の画像への影響は小さくなる。駆動制御部７２は、判定した露光開始のベストタイミングに基づいて露光開始のタイミングを調整する（ステップＳ７）。そして、駆動制御部７２は、ステップＳ７で調整したタイミングにおいて、撮像素子１００に撮像を実行させる撮像処理を行う（ステップＳ８）。なお、ステップＳ１０における全押し操作に基づく撮像のことを本撮像という。
本実施形態では、撮像部２０は、オートフォーカスや自動露出の制御に基づいて、焦点位置における適正な露出となる撮像条件で本撮像を行う。このとき、撮像部２０は、撮像素子１００の画素領域（撮像領域）１１３Ａに対して本撮像を行う。すなわち、撮像部２０は、ライブビュー画像を撮像していた第１領域２００についてだけでなく、光源Ｌの明滅の検知に用いていた第２領域２１０についても撮像を実行させる。なお、撮像部２０が第１領域２００だけで本撮像を行うように構成してもよい。
以上に説明したように、第１実施形態では、撮像素子１００を駆動制御する駆動制御部７２と、撮像素子１００を第１領域２００と第２領域２１０とに分割する分割部７１と、駆動制御部７２が第２領域２１０から読み出す信号に基づいて光源Ｌの明滅を検知する明滅検知部７４と、を備える。このような構成によれば、撮像素子１００の一部の第２領域２１０で光源Ｌの明滅を検知することで、画像に生じるフリッカー現象を防止することができる。
また、第１実施形態では、駆動制御部７２は、明滅検知部７４により検知された光源Ｌの明滅に基づいて撮像開始のタイミングを変更する。このような構成によれば、最適なタイミングで静止画の撮像を行うことができる。また、第１実施形態では、駆動制御部７２が第１領域２００から読み出す信号に基づいてライブビュー画像を表示部５０に表示させる制御部７３を備え、明滅検知部７４は、ライブビュー画像の表示中に、光源Ｌの明滅を検知する。このような構成によれば、常に光源Ｌの明滅に合わせた最適なタイミングで撮像を行うことができる。すなわち、システム制御部が電源投入の直後にだけ光源Ｌの明滅を検知し、検知した光源Ｌの明滅に基づいて撮像を行う構成も考えられる。しかし、そのような構成の場合、ライブビュー画像の表示中に光源Ｌの明滅位相と最適な撮像タイミングとがずれてしまうことがある。上記のような構成では、ライブビュー画像の表示中も常に明滅検知部７４が光源Ｌの明滅位相を検知しているので、撮像時において光源Ｌの明滅に合わせた最適な撮像タイミングとずれてしまうことがない。また、このような構成によれば、静止画の単写だけでなく連写の場合でも最適な撮像タイミングで撮像を行うことができる。
また、第１実施形態では、駆動制御部７２は、第１領域２００のフレームレートよりも高いフレームレートで第２領域２１０を駆動制御する。このような構成によれば、明滅検知部７４が光源Ｌの明滅を精度よく検知することができる。また、第１実施形態では、駆動制御部７２は、光源Ｌの明滅周波数の整数倍のフレームレートで第２領域２１０を駆動制御する。このような構成によれば、必要以上にフレームレートを高くしなくても、明滅検知部７４が精度よく光源Ｌの明滅を検知することができる。また、第１実施形態では、駆動制御部７２は、光源Ｌの明滅周波数に合わせて変更したフレームレートで第２領域２１０を駆動制御する。このような構成によれば、明滅検知部７４による光源Ｌの明滅の検知精度を担保するとともに、消費電力を低減することができる。
また、第１実施形態では、第２領域２１０は複数のブロックで構成され、各ブロックに含まれる複数の画素からの信号を平均化する信号処理部４１６を含む。このような構成によれば、明滅検知部７４が安定した信号に基づいて光源Ｌの明滅の検知を行うことができる。すなわち、第２領域２１０の各ブロックにおける画素信号の信号レベルは画素によってバラツキがある。従って、明滅検知部７４が光源Ｌの明滅に応じて信号レベルが安定して変化する信号に基づいて光源Ｌの明滅を検知する必要がある。上記のような構成では、各画素の画素信号を平均化することで信号レベルのバラツキが少なくなり、安定した信号に基づいて光源Ｌの明滅の検知が可能となる。また、各ブロック内の信号の平均化を行うことにより、１ブロック１データとなるため、データ量が削減される。従って、画像処理部３０やシステム制御部７０の負担が軽減される。また、分割部７１は、第２領域２１０を第１領域２００の周囲に設定するので、精度よく光源Ｌの明滅の検知を行うことができる。すなわち、光源Ｌはどこに強い光量があるかわからないため（むらがあるため）、撮像素子１００における偏った特定の領域だけで光源Ｌからの光量を検知しても正確な光源Ｌの明滅を検知することができない場合がある。上記のような構成では、光源Ｌの光量の強弱によらずに明滅の検知を行うことができる。
なお、図７に示したように、第１実施形態では、撮像装置の一例としてデジタルカメラ１について説明した。しかし、撮像装置はデジタルカメラ１に限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図７に示す第１実施形態に係るデジタルカメラ１において、表示部５０は撮像装置の外部に設けられる構成であってもよい。この場合、システム制御部７０及び表示部５０のそれぞれには、有線又は無線で信号（画像データや制御信号など）を送受信する通信部が設けられる。また、画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのボディ側ＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。
また、上記した第１実施形態では、第２領域２１０の各ブロックの画素信号を平均化する信号処理部４１６を撮像部２０内に設けていたが、画像処理部３０に設けてもよい。また、明滅検知部７４はシステム制御部７０内に設けていたが、撮像部２０又は画像処理部３０内に設けてもよい。すなわち、撮像部２０の信号処理部（演算回路）４１６が光源Ｌの明滅の検知を行う機能を備え、又は画像処理部３０が光源Ｌの明滅の検知を行う機能を備えてもよい。この場合、撮像部２０又は画像処理部３０内の明滅検知部が光源Ｌの明滅周波数や明滅位相を検知し、検知信号をシステム制御部７０に出力する。
また、上記した第１実施形態では、駆動制御部７２は、明滅検知部７４により検知された光源Ｌの明滅に基づいて静止画の撮像開始のタイミングを調整していた（図８のステップＳ４，Ｓ７参照）。しかし、このような構成に限定されず、駆動制御部７２は、明滅検知部７４により検知された光源Ｌの明滅に基づいてライブビュー画像の撮像開始のタイミングを調整してもよい。このように、駆動制御部７２がライブビュー画像においてもベストタイミングで露光することにより、ライブビュー画像の感度を上げることができるとともに、適正なホワイトバランスのライブビュー画像を取得することができる。
＜第２実施形態＞
上記した第１実施形態では、分割部７１は、撮像素子１００を第１領域２００と第２領域２１０とに２分割していた。これに対し、第２実施形態では、分割部７１は、撮像素子１００を第１領域２００と領域２１０Ａと領域２１０Ｂとに３分割する。なお、第２実施形態では、領域２１０Ａのことを第３領域といい、領域２１０Ｂのことを第４領域という。第３領域２１０Ａ及び第４領域２１０Ｂは、第１実施形態の第２領域２１０に相当する。従って、第２実施形態では、分割部７１が第２領域２１０を第３領域２１０Ａと第４領域２１０Ｂとにさらに分割したことになる。
図１１は、第２実施形態の撮像素子１００における第１領域２００と第３領域２１０と第４領域２１１とを示す図である。図１１に示すように、撮像素子１００の画素領域１１３Ａは、第１領域２００と第３領域２１０Ａと第４領域２１０Ｂとに分割されている。第１領域２００は、画素領域１１３Ａの中央部分の複数のブロック（図１１中の「Ａ」で示すブロック）からなる方形状の領域である。第３領域２１０Ａは、画素領域１１３Ａの周辺部分の複数のブロック（図５中の「Ｂ」で示すブロック）からなる領域である。すなわち、第３領域２１０Ａは、第１領域２００の周囲を囲うように配置された複数のブロックで構成されている領域である。第４領域２１０Ｂは、画素領域１１３Ａの周辺部分の複数のブロック（図５中の「Ｃ」で示すブロック）からなる領域である。すなわち、第４領域２１０Ｂは、第１領域２００の周囲を囲うように配置された複数のブロックで構成されている領域である。上記したように、第３領域２１０Ａと第４領域２１０Ｂが第２領域２１０に対応する。なお、第１領域２００、第３領域２１０Ａ及び第４領域２１０Ｂを構成する各ブロックは、例えば１２０×６０画素で構成されている。
なお、図１１において、領域ごとのブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックを設定しているが、図１１に示すブロックの数よりも多い数のブロックを画素領域１１３Ａに設定するようにしてもよい。
本実施形態では、第１領域２００は、通常の撮影用の領域（撮影用領域）である。第３領域２１０Ａ及び第４領域２１０Ｂは、いずれも光源（図６の光源Ｌ参照）の明滅（フリッカー）を検知するために使用されるフリッカー検知用領域である。ただし、第３領域２１０Ａと第４領域２１０Ｂとは、異なるフレームレートが設定される。
図１２は、光源Ｌの明滅周期と第３領域２１０Ａの露光時間及び信号出力と第４領域２１０Ｂの露光時間及び信号出力とを示すタイミングチャートである。図１２に示すように、駆動制御部７２は、第３領域２１０Ａのフレームレートとして、第１領域２００のフレームレートよりも高いフレームレート（例えば１００Ｈｚの４倍のフレームレート）を設定する。また、駆動制御部７２は、第４領域２１０Ｂのフレームレートとして、第１領域２００のフレームレートよりも高く、かつ第３領域２１０Ａのフレームレートとは異なるフレームレート（例えば１２０Ｈｚの４倍のフレームレート）を設定する。このような構成によれば、明滅検知部７４が異なる商用電源の周波数（５０Ｈｚ、６０Ｈｚ）に対応した異なる明滅周波数（１００Ｈｚ、１２０Ｈｚ）の光源Ｌに対して確実に光源Ｌの明滅周波数や明滅周期を検知することができる。
なお、第３領域２１０Ａのフレームレートと第４領域２１０Ｂのフレームレートは、商用電源の周波数に対応したフレームレートに限定されない。例えば、駆動制御部７２は、第３領域２１０Ａのフレームレートと第４領域２１０Ｂのフレームレートとを同じフレームレートとするが、これらのフレームレートの位相を９０度ずらすように設定する。このような構成によれば、光源Ｌの明滅位相をより一層検知しやすくなる。
以上のように、第２実施形態では、分割部７１は、第２領域２１０を第３領域２１０Ａと第４領域２１０Ｂとに分割し、駆動制御部７２は、第３領域２１０Ａと第４領域２１０Ｂとを異なるフレームレートで駆動制御する。このような構成によれば、光源Ｌの様々な周波数の明滅を精度よく検知することができる。
＜第３実施形態＞
上記した第１実施形態では、明滅検知部７４はライブビュー画像の表示中に明滅の検知を実行していた（図８のステップＳ４参照）。これに対し、第３実施形態では、明滅検知部７４は、使用者によるレリーズスイッチの半押し操作に応じて明滅の検知を実行する。
図１３は、第３実施形態のシステム制御部７０が実行する撮影動作を説明するためのフローチャートである。図１３に示すように、システム制御部７０が使用者によるレリーズスイッチの半押し操作が行われたと判定した場合に（ステップＳ５のＹＥＳ）、明滅検知部７４は、光源Ｌの明滅を検知する（ステップＳ１１）。なお、その他の処理については、図８で説明したものと同様であるため説明を省略する。このような構成によれば、ライブビュー画像の表示中に第２領域２１０（第２実施形態では第３領域２１０Ａ、第４領域２１０Ｂ）において駆動制御を行う必要がなくなるため、消費電力が低減される。なお、第１実施形態と同様に、明滅検知部７４は、ライブビュー画像の表示中に光源Ｌの明滅を検知するとともに、レリーズスイッチの半押し操作が行われた場合についても光源Ｌの明滅を検知するように構成してもよい。
なお、明滅検知部７４が光源Ｌの明滅を検知する処理を実行するタイミング（契機）としては、様々なタイミングが考えられる。例えば、使用者が部屋を移動した場合は、光源Ｌが変化することがある。光源が蛍光灯の部屋から光源がＬＥＤの部屋に移動したような場合である。この場合、画像処理部３０が画像のホワイトバランスが変化したことなどを検知したことにより部屋が移動されたと判定し、明滅検知部７４が光源Ｌの明滅を検知するようにしてもよい。デジタルカメラ１にＧＰＳ機能（Global Positioning System）を設け、ＧＰＳで所定距離以上の移動を検知したことに応じて、明滅検知部７４が光源Ｌの明滅を検知するようにしてもよい。また、ライブビュー画像の表示中は、第２領域２１０のフレームレートを商用電源の周波数の４倍とし、半押し操作に応じて第２領域２１０のフレームレートを商用電源の周波数の８倍としてもよい。
＜第４実施形態＞
上記した第１実施形態では、演算回路４１６が第２領域２１０の各ブロックの画素信号を平均化していた。これに対し、第４実施形態では、演算回路（ブロック判定部）４１６が第２領域２１０の各ブロックの画素信号に基づいて、光源Ｌの明滅のコントラストが高いブロックを判定する。そして、明滅検知部７４は、演算回路４１６が判定したブロックからの信号レベルに基づいて、光源Ｌの明滅を検知する。
具体的には、撮像素子１００の第２領域２１０の各画素から読み出された画素信号が演算回路４１６に出力される。演算回路４１６は、各画素信号の信号レベルに基づいて、光源Ｌの明滅のコントラスト（高低）を検出する。演算回路４１６は、光源Ｌの明滅のコントラストが最も高いブロックを判定する。演算回路４１６は、光源Ｌの明滅のコントラストが最も高いブロックの各画素の画素信号を平均化する。そして、演算回路４１６は、平均化した平均化信号を画像処理部３０に出力する。画像処理部３０は、演算回路４１６から出力された平均化信号の信号レベルを判定し、その判定結果をシステム制御部７０に出力する。この様な構成によれば、より一層、明滅検知部７４の明滅の検知精度が向上する。
＜第５実施形態＞
上記した第１実施形態では、図６等に示したように、１つの撮像素子１００を撮影用の領域（第１領域２００）と光源Ｌの明滅検知用の領域（第２領域２１０）とに分割していた。これに対し、第５実施形態では、撮影用の撮像素子１００とは別に、光源Ｌの明滅検知用の撮像素子４００を設けている。
図１４は、第５実施形態に係る２つの撮像素子１００，４００の配置を示す図である。図１４に示すように、撮影光学系１１から導かれた光束は、ハーフミラー３００を通過して一部は撮像素子１００に到達し、他の一部はハーフミラー３００で反射されて撮像素子４００に到達する。撮像素子４００は、光源Ｌの明滅を検知するための撮像素子である。明滅検知部７４は、撮像素子４００からの信号に基づいて光源Ｌの明滅周波数や明滅位相を検知する。この第５実施形態では、撮像素子１００を第１撮像素子といい、撮像素子４００を第２撮像素子という。このような構成よっても、撮像素子１００とは別の撮像素子４００により光源Ｌの明滅を検知することで、画像に生じるフリッカー現象を防止することができる。
＜第６実施形態＞
第６実施形態では、上記した第１実施形態におけるデジタルカメラ１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。
図１５は、第６実施形態に係る撮像装置１Ａ及び電子機器１Ｂの構成を示すブロック図である。図１５に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置である。この撮像装置１Ａは、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７０Ａを備える。なお、撮像装置１Ａのうち、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図７に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部（制御部）７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図７に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第１システム制御部７０Ａは、第１通信部７５Ａを有している。また、第２システム制御部７０Ｂは、第２通信部７５Ｂを有している。第１通信部７５Ａと第２通信部７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部７０Ａは、第１通信部７５Ａを介して画像データ（画像処理部３０が画像処理した画像データ、記録部６０に記録されている画像データ）を第２通信部７５Ｂに送信する。第２システム制御部７０Ｂは、第２通信部７５Ｂにおいて受信した画像データを表示部５０に表示させる。また、第２システム制御部７０Ｂは、予め設定されているメニュー画像を第２表示部５３に表示させる。
また、第２システム制御部７０Ｂは、使用者によるタッチパネル５２のタッチ操作に応じて、又は自動的に、撮像条件（蓄積条件を含む）を変更する制御を行う。また、第２システム制御部７０Ｂは、使用者によるタッチパネル５２のタッチ操作に応じて、又は自動的に、画像表示領域５１０内の各表示領域を選択する制御を行う。また、第１システム制御部７０Ａは、使用者による操作部（電子機器１Ｂ側に設けられた静止画や動画の撮像開始を指示する操作部）５５の操作に応じて撮像の制御を実行する。
図７に示す構成（分割部７１、駆動制御部７２、制御部７３、及び明滅検知部７４）は、第１システム制御部７０Ａと第２システム制御部７０Ｂのいずれに設けられてもよい。図７に示すすべての構成は、第１システム制御部７０Ａ又は第２システム制御部７０Ｂに設けられてもよく、また図７に示す構成の一部が第１システム制御部７０Ａに設けられ、図７に示す構成の一部以外の構成が第２システム制御部７０Ｂに設けられてもよい。
なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図１５に示す第１システム制御部７０Ａは、ボディ側ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。また、図１５に示す第２システム制御部７０Ｂは、ボディ側ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第６実施形態では、第１実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置１Ａで撮像されているライブビュー画像を利用して光源の明滅を検知することができる。
なお、図１５に示す構成において、画像処理部３０と第１システム制御部７０Ａとは一体で構成されてもよい。この場合、１つのボディ側ＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７０Ａの機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。
また、上記した各実施形態において、明滅検知部７４が検知した光源Ｌの明滅周波数及び明滅位相に基づいて最適な撮像タイミングで静止画を撮像する構成であった。しかし、明滅検知部７４が検知した光源Ｌの明滅周波数及び明滅位相に基づいて、フリッカー現象が生じないようなフレームレートを決定し、決定したフレームレートで動画を撮影する構成でもよい。
また、上記した第１実施形態では、撮像素子１００を第１領域２００と第２領域２１０の２分割とし、第２実施形態では、撮像素子１００を第１領域２００と第３領域２１０Ａと第４領域２１０Ｂの３分割としていたが、４分割以上としてもよい。また、第２領域２１０（第３領域２１０Ａ、第４領域２１０Ｂ）は、第１領域２００の周囲に配置していたが、そのような位置に限定されない。例えば、中央部に配置してもよいし、また撮像素子１００の全面に均等に配置してもよい。
＜第７実施形態＞
第７実施形態においては、画像には、静止画、動画、ライブビュー画像、部分動画が含まれる。まず、部分動画について説明する。図１６は、部分動画の概要を説明するための図である。図１６に示す画像１５００には、被写体としての人物Ｏ１０と、その人物Ｏ１０の耳に付けられた被写体としてのイヤリングＯ２０とが写っている。画像１５００においてイヤリングＯ２０及びその周囲の領域（イヤリングＯ２０よりも少し広めの領域）１５０１が動画で構成されている。図１６に示す例では、領域１５０１の動画はイヤリングＯ２０が揺れている動画となっている。一方、画像１５００において領域１５０１以外の領域（つまり、人物Ｏ１０が写っている領域）が静止画で構成されている。従って、領域１５０１以外の領域の画像は止まっている。使用者には画像１５００においてイヤリングＯ２０だけが動いているように見える。このように、画像の一部分が動画で他の部分が静止画である画像のこと「部分動画」という。また、「部分動画」のことを「シネマフォト」又は「シネマグラフ」ともいう。部分動画は、写真（静止画）を部分的に動かすことで、その動いている部分に注目させる手法である。使用者は、時間が止まっている写真の中で、動いている部分だけは時間が進んでいるように見える。本実施形態では、上記した撮像素子１１００を用いて部分動画を生成する。
図１７は、第７実施形態に係るデジタルカメラ１００１の構成を示すブロック図である。なお、図１７において、電子機器の一例であるデジタルカメラ１００１は図７のデジタルカメラ１に相当し、レンズ部１０１０は図７のレンズ部１０に相当し、撮像部１０２０は図７の撮像部２０に相当し、撮像素子１１００は図７の撮像素子１００に相当し、駆動部１０２１は図７の駆動部２１に相当し、画像処理部１０３０は図７の画像処理部３０に相当し、ワークメモリ１０４０は図７のワークメモリ４０に相当し、表示部１０５０は図７の表示部５０に相当し、表示パネル１０５１は図７の表示パネル５１に相当し、タッチパネル１０５２は図７のタッチパネル５２に相当し、操作部１０５５は図７の操作部５５に相当し、記録部１０６０は図７の記憶部６０に相当し、システム制御部１０７０は図７のシステム制御部７０に相当する。これらの構成のうち、レンズ部１０１０、撮像部１０２０、撮像素子１１００、駆動部１０２１、ワークメモリ１０４０、表示部１０５０、操作部１０５５、記録部１０６０の構成については説明を省略する。
画像処理部１０３０は、図１７に示すように、画像生成部１０３１及び検出部１０３２を含む。画像生成部１０３１は、撮像部１０２０から出力される各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。本実施形態では、画像生成部１０３１は、動画（ライブビュー画像を含む）及び静止画の画像データを生成するだけでなく、上記した部分動画の画像データも生成することができる。検出部１０３２は、画像生成部１０３１で生成した画像データから被写体を検出する。本実施形態では、検出部１０３２は、画像生成部１０３１から時系列的に得られる複数の画像データ（フレーム）を比較して、移動する被写体（移動被写体）を検出する機能を備えている。また、検出部１０３２は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の境界を特定して被写体を検出する機能を備えている。なお、検出部１０３２は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。
ここで、撮像部１０２０で撮像される対象物である被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。また、被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことを「主要被写体」という。主要被写体も、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。
本実施形態では、表示パネル１０５１上に形成されたタッチパネル１０５２のタッチ操作が行われることによって、タッチされた被写体に対する焦点調節（ＡＦ：Automatic Focusing）が行われる。
システム制御部１０７０は、デジタルカメラ１００１の全体の処理及び動作を制御する。このシステム制御部１０７０はボディ側ＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部１０７０は、撮像素子１１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部１０７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部１０２１に対して指示する。
また、システム制御部１０７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部１０７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部１０２１に対して指示する。また、画像処理部１０３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部１０７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部１０３０に指示する。
また、システム制御部１０７０は、画像処理部１０３０において生成された画像データを記録部１０６０に記録させる。また、システム制御部１０７０は、画像処理部１０３０において生成された画像データを表示部１０５０に出力させることにより、表示部１０５０に画像を表示させる。また、システム制御部１０７０は、記録部１０６０に記録されている画像データを読み出して表示部１０５０に出力させることにより、表示部１０５０に画像を表示させる。表示部１０５０に表示される画像としては、静止画、動画、ライブビュー画像、部分動画（図１６参照）が含まれる。
また、システム制御部１０７０は、制御情報をレンズ駆動制御装置１５に出力することにより、レンズ駆動制御装置１５にフォーカシング用レンズ１１ｃの駆動制御及び絞り１４の駆動制御を実行させる。
本実施形態では、システム制御部１０７０は、図１７に示すように、表示制御部１０７１、設定部（フレームレート設定部）１０７２、撮像制御部１０７３、及びＡＦ処理部１０７４を備えている。表示制御部１０７１は、画像処理部１０３０で生成された画像データを表示部１０５０に出力させて、表示部１０５０の表示パネル１０５１に画像（ライブビュー画像、静止画、動画、部分動画）を表示させる制御を行う。また、表示制御部１０７１は、予め設定されているメニュー画像（図１８参照）を表示部１０５０の表示パネル１０５１に表示させる制御を行う。
設定部１０７２は、使用者によるタッチパネル１０５２のタッチ操作に基づいて、検出部１０３２が検出した被写体に応じた領域（以下、被写体領域という）に対応する画素領域１１３Ａの領域を、動画を撮像する領域（以下、動画領域という）又は静止画を撮像する領域（以下、静止画領域という）としてブロック単位で設定する制御を行う。また、設定部１０７２は、使用者によるタッチパネル１０５２のタッチ操作によって選択された領域（以下、選択領域という）に対応する画素領域１１３Ａの領域を、動画領域又は静止画領域としてブロック単位で設定する制御を行う。また、設定部１０７２は、使用者によるタッチパネル１０５２のタッチ操作に応じて、又は自動的に、フレームレートを含む撮像条件を設定する制御を行う。
撮像制御部１０７３は、設定部１０７２により設定された撮像条件で撮像を行うように撮像素子１１００の駆動制御を行う。ここで、撮像制御部１０７３は、撮影動作の開始時には、ライブビュー画像の撮像を行うように撮像素子１１００の駆動制御を行う。また、撮像制御部１０７３は、設定部１０７２により設定された動画領域において動画の撮像を行うように撮像素子１１００の駆動制御を行う。また、撮像制御部１０７３は、設定部１０７２により設定された静止画領域において静止画の撮像を行うように撮像素子１１００の駆動制御を行う。また、撮像制御部１０７３は、画像生成部１０３１により生成された動画、静止画、及び部分動画の画像データを記録部１０６０に記録する制御を行う。
ＡＦ処理部１０７４は、使用者によるタッチパネル１０５２のタッチ操作に応じて、コントラストＡＦと呼ばれる被写体のコントラストが最大となるように焦点調節処理（ＡＦ処理）を実行する。具体的には、ＡＦ処理部１０７４は、電気接点８１Ａ，８１Ｂを介して制御情報をレンズ駆動制御装置１５に対して送信することにより、レンズ駆動制御装置１５にフォーカシング用レンズ１１ｃを移動させる。また、ＡＦ処理部１０７４は、撮像部１０２０が撮像した被写体の像のコントラスト（本実施形態では、使用者により選択された被写体の像のコントラスト：図２０のステップＳ１０２９，Ｓ１０３０参照）を表すコントラスト信号を画像処理部１０３０から取得する。ＡＦ処理部１０７４は、フォーカシング用レンズ１１ｃを移動させながら、画像処理部１０３０からのコントラスト信号に基づいて、被写体の像のコントラストが最も高くなるフォーカシング用レンズ１１ｃの位置を焦点位置として検出する。ＡＦ処理部１０７４は、検出した焦点位置にフォーカシング用レンズ１１ｃを移動させるように、制御情報をレンズ駆動制御装置１５に送信する。
なお、システム制御部１０７０において、表示制御部１０７１、設定部１０７２、撮像制御部１０７３、及びＡＦ処理部１０７４は、ボディ側ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。
図１８は、第７実施形態のデジタルカメラに係る表示部を示す図である。図１８に示すように、表示部１０５０の表示パネル１０５１は、画像表示領域１５１０と操作ボタン表示領域１５２０とが設けられている。画像表示領域１５１０は、撮像部１０２０で撮像された画像、すなわち、静止画、動画、ライブビュー画像、及び部分動画を表示する領域である。また、操作ボタン表示領域１５２０は、使用者が撮像条件などを設定するためのメニュー画像１５２０Ｍを表示する領域である。
画像表示領域１５１０内には、複数のブロックＢ（ｉ，ｊ）が設定されている。図１８に示す例では、ブロックＢ（ｉ，ｊ）は、画像表示領域１５１０において、水平方向（図１８の横方向）に８個のブロック（ｉ＝１〜８）が設定され、垂直方向（図１８の縦方向）に６個のブロック（ｊ＝１〜６）が設定されている。つまり、画像表示領域１５１０が８×６個（＝４８個）のブロックに分割されている。また、タッチパネル１０５２が画像表示領域１５１０上に設けられている。タッチパネル１０５２において、複数のタッチ領域Ｐ（ｉ，ｊ）が複数のブロックＢ（ｉ，ｊ）のそれぞれに重なるように形成されている。各タッチ領域Ｐ（ｉ，ｊ）は、使用者により押された（タッチされた）ことを検出すると、押された位置（いずれのタッチ領域であるか）を示す検出信号をシステム制御部１０７０に出力する。
画像表示領域１５１０に設定される複数のブロックＢ（ｉ，ｊ）は、上述した画素領域１１３Ａ（図２参照）に設定される複数のブロックに対応する。ただし、画素領域１１３Ａに設定されるブロックは、画像表示領域１５１０に設定されるブロックの数よりも多くてもよいし少なくてもよい。なお、図１８において、画像表示領域１５１０内のブロックの配置を見えやすくするために、画像表示領域１５１０において少ない数のブロックを設定しているが、図１８に示すブロックの数よりも多い数のブロックを画像表示領域１５１０に設定するようにしてもよい。
操作ボタン表示領域１５２０は、画像表示領域１５１０の近傍に設けられている。操作ボタン表示領域１５２０内には、使用者が撮影モード、領域（動画領域、静止画領域）、撮像条件、及びＡＦ処理の実行を設定するためのメニュー画像１５２０Ｍが表示される。メニュー画像１５２０Ｍには、撮影モードボタン画像１５２１、タッチ動画ボタン画像１５２２、タッチ静止画ボタン画像１５２３、フレームレートボタン画像１５２４、及びＡＦボタン画像１５２５が含まれる。撮影モードボタン画像１５２１は、使用者が通常の動画や静止画を撮影するモード（通常モード）と部分動画を撮影するモード（部分動画モード）とを選択する場合に用いられる。タッチ動画ボタン画像１５２２は、使用者が画像表示領域１５１０において動画領域（例えば、後述する図２１の領域１５１１）を設定する場合に用いられる。タッチ静止画ボタン画像１５２３は、使用者が画像表示領域１５１０において静止画領域（例えば、後述する図２４の領域１５１２）を設定する場合に用いられる。フレームレートボタン画像１５２４は、使用者が動画のフレームレートを設定する場合に用いられる。ＡＦボタン画像１５２５は、使用者がタッチパネル１０５２のタッチ操作で指定した被写体に対するＡＦ処理を実行させる場合に用いられる。
タッチパネル１０５２において、タッチ領域１５２１ａが撮影モードボタン画像１５２１上に重なるように形成されている。タッチ領域１５２２ａがタッチ動画ボタン画像１５２２上に重なるように形成されている。タッチ領域１５２３ａがタッチ静止画ボタン画像１５２３上に重なるように形成されている。タッチ領域１５２４ａがフレームレートボタン画像１５２４上に重なるように形成されている。タッチ領域１５２５ａがＡＦボタン画像１５２５上に重なるように形成されている。タッチ領域１５２１ａ、タッチ領域１５２１ａ、タッチ領域１５２１ａ及びタッチ領域１５２５ａは、使用者により押された（タッチされた）ことを検出すると、押された位置（いずれのタッチ領域であるか）を示す検出信号をシステム制御部１０７０に出力する。
実施形態（第７実施形態、後述する第８及び第９実施形態）において、「第１領域」とは、表示パネル１０５１の画像表示領域１５１０において使用者の操作に応じて又は自動的に設定部１０７２により設定された領域（動画領域又は静止画領域）に対応する撮像素子１１００の画素領域１１３Ａ内の領域のことをいう。また、「第２領域」とは、表示パネル１０５１の画像表示領域１５１０において使用者の操作に応じて又は自動的に設定部１０７２により設定された領域（動画領域又は静止画領域）に対応する撮像素子１１００の画素領域１１３Ａ内の領域のことをいう。第１領域及び第２領域は、いずれも、１つの領域に限らず、複数の領域であってもよい。
次に、第７実施形態に係るデジタルカメラ１００１の部分動画の撮影動作について説明する。図１９は、第７実施形態のシステム制御部１０７０が実行する部分動画の撮影動作を説明するためのフローチャートである。
使用者が撮影モードとして部分動画モードを選択することにより、図１９に示す部分動画の撮影動作（ステップＳ１００１〜Ｓ１０１２の処理）が開始される。使用者による撮影モードの選択は、例えば以下のように行われる。デジタルカメラ１００１の電源が投入されると、表示制御部１０７１は図１８に示した画面が表示部１０５０の表示パネル１０５１に表示される。使用者が撮影モードボタン画像１５２１（すなわちタッチ領域１５２１ａ）をタッチする。タッチパネル１０５２は、使用者によりタッチされたタッチ領域１５２１ａに対応する検出信号をシステム制御部１０７０に出力する。表示制御部１０７１は、タッチ領域１５２１ａに対応する検出信号に基づいて、撮像モードボタン画像１５２１の横に、撮影モードの種類の画像として「通常モード」及び「部分動画モード」を表示させる。設定部１０７２は、タッチパネル１０５２において、撮影モードの種類の画像の領域と重なるように新たにタッチ領域を設定する。使用者は撮影モードの種類の画像として「部分動画モード」をタッチする。タッチパネル１０５２は、使用者によりタッチされた「部分動画モード」上のタッチ領域に対応する検出信号をシステム制御部１０７０に出力する。設定部１０７２は、撮影モードの種類として「部分動画モード」を設定する。その後、図１９に示す処理が開始される。
図１９に示す処理において、まず、撮像制御部１０７３がライブビュー画像の撮影動作を開始する（ステップＳ１００１）。ライブビュー画像の撮影が開始されると、表示制御部１０７１は、撮像部１０２０で撮像されたライブビュー画像を表示パネル１０５１の画像表示領域１５１０に表示する（ステップＳ１００２）。例えば、画像表示領域１５１０には滝のライブビュー画像が表示される（後述する図２１、図２３、及び図２４参照）。
次に、設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２又はタッチ静止画ボタン画像１５２３のタッチ操作が行われたか否かを判定する（ステップＳ１００３）。使用者は、画像表示領域１５１０において動画領域を設定する場合、タッチ動画ボタン画像１５２２（すなわちタッチ領域１５２２ａ）を指でタッチする。また、使用者は、画像表示領域１５１０において静止画領域を設定する場合、タッチ静止画ボタン画像１５２３（すなわちタッチ領域１５２３ａ）を指でタッチする。使用者によりタッチ動画ボタン画像１５２２又はタッチ静止画ボタン画像１５２３がタッチされると、タッチパネル１０５２は、使用者によりタッチされたタッチ領域１５２２ａ又は１５２３ａに対応する検出信号をシステム制御部１０７０に出力する。設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２又はタッチ静止画ボタン画像１５２３のタッチ操作が行われたと判定した場合は、領域（動画領域、静止画領域）や撮像条件などを設定する設定処理を実行する（ステップＳ１００４）。なお、ステップＳ１００４の設定処理では、ＡＦ処理部１０７４によるＡＦ処理も実行される。
（１）使用者によりタッチ動画ボタン画像１５２２がタッチされた場合：
図２０は、図１９に示す設定処理（ステップＳ１００４）を説明するためのフローチャートである。また、図２１は、使用者が動画領域１５１１を設定するときの表示パネル１０５１の表示例を示す図である。また、図２２は、撮像素子１１００の画素領域１１３Ａにおける動画領域１２１１を示す図である。また、図２３は、使用者がフレームレートを設定するときの表示パネル１０５１の表示例を示す図である。
図２１に示すように、表示制御部１０７１は、タッチ領域１５２２ａに対応する検出信号に基づいて、タッチ動画ボタン画像１５２２の横に、領域設定モードの画像１５２２ｖとして「オート」及び「マニュアル」を表示させる。ここで、「オート」は、設定部１０７２が自動で動画領域を設定する領域設定モード（自動モード）である。「マニュアル」は使用者が手動で動画領域を設定する領域設定モード（手動モード）である。設定部１０７２は、タッチパネル１０５２において、領域設定モードの画像１５２２ｖの領域（「オート」及び「マニュアル」の領域）と重なるように新たにタッチ領域を設定する。使用者は領域設定モードの画像１５２２ｖとして「オート」又は「マニュアル」をタッチする。タッチパネル１０５２は、使用者によりタッチされた「オート」又は「マニュアル」のタッチ領域に対応する検出信号をシステム制御部１０７０に出力する。
図２０に示す処理において、設定部１０７２は、「オート」又は「マニュアル」のタッチ領域に対応する検出信号に基づいて、使用者によって領域設定モードとして「オート」が選択されたか「マニュアル」が選択されたかを判定する（ステップＳ１０２１）。設定部１０７２は、使用者により領域設定モードとして「オート」が選択されたと判定した場合は（ステップＳ１０２１のＹＥＳ）、画像表示領域１５１０内の領域が選択可能な状態、すなわち、タッチパネル１０５２がタッチ操作を検出可能な状態に設定する。その後、使用者は、画像表示領域１５１０に表示されている被写体のブロックＢ（ｉ，ｊ）を指でタッチすることにより、画像表示領域１５１０に表示されている被写体を選択する。タッチパネル１０５２は、使用者によりタッチされたタッチ領域Ｐ（ｉ，ｊ）に対応する検出信号をシステム制御部１０７０に出力する。
設定部１０７２は、タッチパネル１０５２からの検出信号に基づいて、使用者によって選択されたブロックＢ（ｉ，ｊ）を認識する。図２１に示す例では、使用者によって領域１５１１（図２１中の線が引かれている領域）内の所定のブロックＢ（ｉ，ｊ）が選択されたものとする。設定部１０７２は、使用者により選択された所定のブロックＢ（ｉ，ｊ）の位置を示す位置信号を画像処理部１０３０に出力することにより、検出部１０３２に被写体の検出を実行させる（ステップＳ１０２２）。検出部１０３２は、システム制御部１０７０からの位置信号が示す位置のブロックを認識する。そして、検出部１０３２は、認識したブロックを含む被写体を検出する。具体的には、検出部１０３２は、画像生成部１０３１から時系列的に得られる複数の画像データを比較して、移動する被写体（図２１中の滝）を検出する。または、検出部１０３２は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体（図２１中の滝）の境界を特定して被写体を検出する。検出部１０３２は、検出した被写体の位置及び範囲を示す被写体検出信号をシステム制御部１０７０に出力する。
設定部１０７２は、画像処理部１０３０からの被写体検出信号に基づいて、検出部１０３２が検出した被写体の位置及び範囲を認識する。そして、設定部１０７２は、認識した被写体の位置及び範囲に応じた被写体領域（図２１中の領域１５１１）に対応する画素領域１１３Ａ内の被写体領域（図２２中の領域１２１１）を設定する（ステップＳ１０２３）。具体的には、設定部１０７２は、駆動部１０２１に対して被写体領域１２１１のブロックの位置などを指示する指示信号を出力する。なお、図２１に示すように、設定部１０７２は、被写体の不規則な動きが生じた場合でも被写体の動画を撮像することができるように、検出部１０３２が検出した被写体（図２１中の滝）の領域よりも少し広めの領域を被写体領域１５１１として設定している。
次に、設定部１０７２は、ステップＳ１００３においてタッチ動画の操作が行われたか否か、すなわち、ステップＳ１００３において使用者によりタッチ動画ボタン画像１５２２がタッチされたか否かを判定する（ステップＳ１０２５）。設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２がタッチされたと判定した場合は、被写体領域１２１１（図２１の被写体領域１５１１）を動画領域として設定する（ステップＳ１０２６）。
そして、設定部１０７２は、使用者によるフレームレートボタン画像１５２４のタッチ操作に基づいて、動画領域のフレームレートを設定する（ステップＳ１０２８）。具体的には、使用者がフレームレートボタン画像１５２４（すなわちタッチ領域１５２４ａ）をタッチする。タッチパネル１０５２は、使用者によりタッチされたタッチ領域１５２４ａに対応する検出信号をシステム制御部１０７０に出力する。図２３に示すように、表示制御部１０７１は、タッチ領域１５２４ａに対応する検出信号に基づいて、フレームレートボタン画像１５２４の横に、複数のフレームレート値の画像１５２４ｖを表示させる。図２３に示す例では、フレームレート値として、「３０」「６０」「９０」「１２０」「２４０」が表示されている。設定部１０７２は、タッチパネル１０５２において、複数のフレームレート値の画像１５２４ｖの領域と重なるように新たにタッチ領域を設定する。使用者は複数のフレームレート値の画像１５２４ｖのいずれかをタッチする。タッチパネル１０５２は、使用者によりタッチされたフレームレート値の画像上のタッチ領域に対応する検出信号をシステム制御部１０７０に出力する。設定部１０７２は、タッチパネル１０５２からの検出信号に応じたフレームレートの値（例えば２４０ｆｐｓ）を設定する。
設定部１０７２は、ステップＳ１０２８において、フレームレート以外の撮像条件も設定する。例えば、設定部１０７２は、適正露出となるような電荷蓄積時間（露光時間）、ゲインなどを自動的に設定する。
その後、ＡＦ処理部１０７４は、使用者によりＡＦボタン画像１５２５のタッチ操作が行われたか否かを判定する（ステップＳ１０２９）。そして、ＡＦ処理部１０７４は、使用者によりＡＦボタン画像１５２５のタッチ操作が行われたと判定した場合に、ＡＦ処理を実行する（ステップＳ１０３０）。具体的には、使用者は、ＡＦボタン画像１５２５（すなわちタッチ領域１５２５ａ）をタッチする。タッチパネル１０５２は、使用者によりタッチされたタッチ領域１５２５ａに対応する検出信号をシステム制御部１０７０に出力する。次に、使用者は、焦点位置の調節を行う被写体を選択するために、画像表示領域１５１０内の被写体をタッチする。例えば、使用者は、焦点位置の調節を行う被写体として図２１及び図２３に示す滝の被写体内のブロックＢ（ｉ，ｊ）をタッチする。タッチパネル１０５２は、使用者によりタッチされたタッチ領域Ｐ（ｉ，ｊ）に対応する検出信号をシステム制御部１０７０に出力する。ＡＦ処理部１０７４は、タッチパネル１０５２からの検出信号に基づいて、使用者によって選択されたブロックＢ（ｉ，ｊ）の被写体についての焦点調節処理（ＡＦ処理）を実行する。
すなわち、ＡＦ処理部１０７４は、フォーカシング用レンズ１１ｃを移動させながら、画像処理部１０３０からのコントラスト信号に基づいて、滝の被写体像のコントラストが最も高くなるフォーカシング用レンズ１１ｃの位置を焦点位置として検出する。ＡＦ処理部１０７４は、検出した焦点位置にフォーカシング用レンズ１１ｃを移動させるように、制御情報をレンズ駆動制御装置１５に送信する。
図２０のステップＳ１０２１において、設定部１０７２は、使用者により領域設定モードとして「マニュアル」が選択されたと判定した場合は（ステップＳ１０２１のＮＯ）、画像表示領域１５１０内の領域が選択可能な状態、すなわち、タッチパネル１０５２がタッチ操作を検出可能な状態に設定する。その後、使用者は、画像表示領域１５１０に設定されているブロックＢ（ｉ，ｊ）を指でタッチすること（又は指でなぞる）ことにより、画像表示領域１５１０内の領域をブロック単位で選択する。タッチパネル１０５２は、使用者によりタッチされたタッチ領域Ｐ（ｉ，ｊ）に対応する検出信号をシステム制御部１０７０に出力する。
設定部１０７２は、タッチパネル１０５２からの検出信号に基づいて、使用者によって選択された選択領域を認識する。図２１に示す例では、使用者によって選択領域１５１１が選択されたものとする。設定部１０７２は、認識した選択領域１５１２に対応する画素領域１１３Ａ内の選択領域（図２２中の領域１２１１）を設定する（ステップＳ１０２４）。具体的には、設定部１０７２は、駆動部１０２１に対して選択領域１２１１のブロックの位置などを指示する指示信号を出力する。なお、図２１に示すように、設定部１０７２は、被写体の不規則な動きが生じた場合でも被写体の静止画を撮像することができるように、使用者が選択した領域よりも少し広めの領域を選択領域１５１１として設定してもよい。
次に、設定部１０７２は、ステップＳ１００３においてタッチ動画の操作が行われたか否か、すなわち、ステップＳ１００３において使用者によりタッチ動画ボタン画像１５２２がタッチされたか否かを判定する（ステップＳ１０２５）。設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２がタッチされたと判定した場合は、選択領域１２１１（図２１の選択領域１５１１）を動画領域として設定する（ステップＳ１０２６）。
そして、設定部１０７２は、上記した場合と同様に、使用者によるフレームレートボタン画像１５２４のタッチ操作に基づいて、動画領域のフレームレートを設定する（ステップＳ１０２８）。また、設定部１０７２は、ステップＳ１０２８において、フレームレート以外の撮像条件も設定する。例えば、設定部１０７２は、適正露出となるような電荷蓄積時間（露光時間）、ゲインなどを自動的に設定する。その後、ＡＦ処理部１０７４は、上記した場合と同様に、使用者によりＡＦボタン画像１５２５のタッチ操作が行われたことに基づいて（ステップＳ１０２９のＹＥＳ）、ＡＦ処理を実行する（ステップＳ１０３０）。
（２）使用者によりタッチ静止画ボタン画像１５２３がタッチされた場合：
図２４は、使用者が静止画領域１５１２を設定するときの表示パネル１０５１の表示例を示す図である。また、図２５は、撮像素子１１００の画素領域１１３Ａにおける静止画領域１２１２を示す図である。なお、使用者によりタッチ静止画ボタン画像１５２３がタッチされた場合も、図２０に示す設定処理（ステップＳ１００４）が実行される。
図２４に示すように、表示制御部１０７１は、タッチ領域１５２３ａに対応する検出信号に基づいて、タッチ静止画ボタン画像１５２３の横に、領域設定モードの画像１５２３ｖとして「オート」及び「マニュアル」を表示させる。設定部１０７２は、タッチパネル１０５２において、領域設定モードの画像１５２３ｖの領域（「オート」及び「マニュアル」の領域）と重なるように新たにタッチ領域を設定する。使用者は領域設定モードの画像１５２３ｖとして「オート」又は「マニュアル」をタッチする。タッチパネル１０５２は、使用者によりタッチされた「オート」又は「マニュアル」のタッチ領域に対応する検出信号をシステム制御部１０７０に出力する。
図２０に示す処理において、設定部１０７２は、「オート」又は「マニュアル」のタッチ領域に対応する検出信号に基づいて、使用者によって領域設定モードとして「オート」が選択されたか「マニュアル」が選択されたかを判定する（ステップＳ１０２１）。設定部１０７２は、使用者により領域設定モードとして「オート」が選択されたと判定した場合は（ステップＳ１０２１のＹＥＳ）、画像表示領域１５１０内の領域が選択可能な状態、すなわち、タッチパネル１０５２がタッチ操作を検出可能な状態に設定する。その後、使用者は、画像表示領域１５１０に表示されている被写体のブロックＢ（ｉ，ｊ）を指でタッチすることにより、画像表示領域１５１０に表示されている被写体を選択する。タッチパネル１０５２は、使用者によりタッチされたタッチ領域Ｐ（ｉ，ｊ）に対応する検出信号をシステム制御部１０７０に出力する。
設定部１０７２は、タッチパネル１０５２からの検出信号に基づいて、使用者によって選択されたブロックＢ（ｉ，ｊ）を認識する。図２４に示す例では、使用者によって領域１５１２（図２４中の白線が引かれている領域）内の所定のブロックＢ（ｉ，ｊ）が選択されたものとする。設定部１０７２は、使用者により選択された所定のブロックＢ（ｉ，ｊ）の位置を示す位置信号を画像処理部１０３０に出力することにより、検出部１０３２に被写体の検出を実行させる（ステップＳ１０２２）。検出部１０３２は、システム制御部１０７０からの位置信号が示す位置のブロックを認識する。そして、検出部１０３２は、認識したブロックを含む被写体を検出する。具体的には、検出部１０３２は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体（図２４中の滝の後ろの背景）の境界を特定して被写体を検出する。検出部１０３２は、検出した被写体の位置及び範囲を示す被写体検出信号をシステム制御部１０７０に出力する。
設定部１０７２は、画像処理部１０３０からの被写体検出信号に基づいて、検出部１０３２が検出した被写体の位置及び範囲を認識する。そして、設定部１０７２は、認識した被写体の位置及び範囲に応じた被写体領域（図２４中の領域１５１２）に対応する画素領域１１３Ａ内の被写体領域（図２５中の領域１２１２）を設定する（ステップＳ１０２３）。具体的には、設定部１０７２は、駆動部１０２１に対して被写体領域１２１２のブロックの位置などを指示する指示信号を出力する。
次に、設定部１０７２は、ステップＳ１００３においてタッチ動画の操作が行われたか否か、すなわち、ステップＳ１００３において使用者によりタッチ動画ボタン画像１５２２がタッチされたか否かを判定する（ステップＳ１０２５）。設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２がタッチされたのではなく、タッチ静止画ボタン画像１５２３がタッチされたと判定した場合は、被写体領域１２１２（図２４の被写体領域１５１２）を静止画領域として設定する（ステップＳ１０２７）。
設定部１０７２は、ステップＳ１０２８において、フレームレート以外の撮像条件を設定する（ステップＳ１０２８）。例えば、設定部１０７２は、適正露出となるような電荷蓄積時間（露光時間）、ゲインなどを自動的に設定する。なお、設定部１０７２がステップＳ１０２７で静止画領域を設定した場合は、フレームレートの設定処理を実行しない。
その後、ＡＦ処理部１０７４は、上記した場合と同様に、使用者によりＡＦボタン画像１５２５のタッチ操作が行われたか否かを判定する（ステップＳ１０２９）。そして、ＡＦ処理部１０７４は、使用者によりＡＦボタン画像１５２５のタッチ操作が行われたと判定した場合に、ＡＦ処理を実行する（ステップＳ１０３０）。
図２０のステップＳ１０２１において、設定部１０７２は、使用者により領域設定モードとして「マニュアル」が選択されたと判定した場合は（ステップＳ１０２１のＮＯ）、画像表示領域１５１０内の領域が選択可能な状態、すなわち、タッチパネル１０５２がタッチ操作を検出可能な状態に設定する。その後、使用者は、画像表示領域１５１０に設定されているブロックＢ（ｉ，ｊ）を指でタッチすること（又は指でなぞる）ことにより、画像表示領域１５１０内の領域をブロック単位で選択する。タッチパネル１０５２は、使用者によりタッチされたタッチ領域Ｐ（ｉ，ｊ）に対応する検出信号をシステム制御部１０７０に出力する。
設定部１０７２は、タッチパネル１０５２からの検出信号に基づいて、使用者によって選択された選択領域を認識する。図２４に示す例では、使用者によって選択領域１５１２が選択されたものとする。設定部１０７２は、認識した選択領域１５１２に対応する画素領域１１３Ａ内の選択領域（図２５中の領域１２１２）を設定する（ステップＳ１０２４）。具体的には、設定部１０７２は、駆動部１０２１に対して選択領域１２１２のブロックの位置などを指示する指示信号を出力する。
次に、設定部１０７２は、ステップＳ１００３においてタッチ動画の操作が行われたか否か、すなわち、ステップＳ１００３において使用者によりタッチ動画ボタン画像１５２２がタッチされたか否かを判定する（ステップＳ１０２５）。設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２がタッチされたのではなく、タッチ静止画ボタン画像１５２３がタッチされたと判定した場合は、選択領域１２１２（図２４の選択領域１５１２）を静止画領域として設定する（ステップＳ１０２８）。
そして、設定部１０７２は、上記した場合と同様に、フレームレート以外の撮像条件も設定する（ステップＳ１０２８）。例えば、設定部１０７２は、適正露出となるような電荷蓄積時間（露光時間）、ゲインなどを自動的に設定する。その後、ＡＦ処理部１０７４は、上記した場合と同様に、使用者によりＡＦボタン画像１５２５のタッチ操作が行われたことに基づいて（ステップＳ１０２９のＹＥＳ）、ＡＦ処理を実行する（ステップＳ１０３０）。
なお、ＡＦ処理（ステップＳ１０３０）では、使用者が選択した被写体（領域）の焦点調節が行われる。使用者が滝の被写体（動画領域）を選択した場合は、滝の被写体に対する焦点調節が行われる。また、使用者が滝の後ろの背景の被写体（静止画領域）を選択した場合は、滝の後ろの被写体に対する焦点調節が行われる。一般的には、焦点調節の対象の被写体は、使用者が注目している被写体とされる。ＡＦ処理部１０７４は静止画領域において静止画を撮像する場合にだけ静止画領域に対するＡＦ処理を実行するようにしてもよい。
以上のような図１９のステップＳ１００１〜Ｓ１００４の処理は、使用者により操作部１０５５の録画スイッチが押されるまで繰り返し実行される。なお、撮像素子１１００はブロック単位で動画又は静止画を撮像することが可能である。従って、設定部１０７２は、使用者のタッチパネル１０５２のタッチ操作に応じて、複数の動画領域を設定することが可能である。また、設定部１０７２は、使用者のタッチパネル１０５２のタッチ操作に応じて、複数の静止画領域を設定することも可能である。また、設定部１０７２は、使用者のタッチパネル１０５２のタッチ操作に応じて、動画領域として設定した領域を静止画領域に設定し直すことも可能であり、静止画領域として設定した領域を動画領域として設定し直すことも可能である。また、設定部１０７２は、動画領域として設定した領域内において静止画領域を設定することも可能である。また、設定部１０７２は、静止画領域として設定した領域内において動画領域を設定することも可能である。
ステップＳ１００４の設定処理において、設定部１０７２により動画領域や静止画領域が設定された場合は、ステップＳ１００１において、撮像制御部１０７３は、撮像素子１１００を駆動制御することにより、動画領域において動画の撮像を行い、静止画領域において静止画の撮像を行う。また、ステップＳ２において、表示制御部１０７１は、撮像素子１１００で撮像された部分動画（部分動画のライブビュー画像）を表示パネル１０５１の画像表示領域１５１０に表示させる。これにより、使用者は、どのような部分動画が撮像されるかを事前に確認することができる。
システム制御部１０７０が使用者による動画スイッチの操作が行われたと判定した場合は（ステップＳ１００５のＹＥＳ）、撮像制御部１０７３は、撮像処理を実行する（ステップＳ１００６）。このとき、ステップＳ１００４の設定処理において、設定部１０７２により動画領域や静止画領域が設定された場合は、ステップＳ１００６において、撮像制御部１０７３は、撮像素子１１００を駆動制御することにより、動画領域において動画の撮像を行い、静止画領域において静止画の撮像を行う。また、表示制御部１０７１は、撮像素子１１００で撮像された画像を表示パネル１０５１の画像表示領域１５１０に表示させる（ステップＳ１００７）。このとき、ステップＳ１００４の設定処理において、設定部１０７２により動画領域や静止画領域が設定された場合は、ステップＳ１００７において、表示制御部１０７１は、撮像素子１１００で撮像された部分動画を表示パネル１０５１の画像表示領域１５１０に表示させる。これにより、使用者は、どのような部分動画が撮像されているかを確認することができる。なお、撮像素子１１００で撮像された画像（動画、部分動画）は、撮像制御部１０７３により記録部１０６０に記録される。
次に、設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２又はタッチ静止画ボタン画像１５２３のタッチ操作が行われたか否かを判定する（ステップＳ１００８）。設定部１０７２は、使用者によりタッチ動画ボタン画像１５２２又はタッチ静止画ボタン画像１５２３のタッチ操作が行われたと判定した場合は、領域（動画領域、静止画領域）や撮像条件などを設定する設定処理を実行する（ステップＳ１００９）。ステップＳ１００９の設定処理は、図２０に示したステップＳ１００４の設定処理と同様である。すなわち、設定部１０７２は、表示部１０５０の表示パネル１０５１にライブビュー画像を表示させているときに設定処理（ステップＳ１００４）を行うだけでなく、動画（部分動画を含む）の撮像中においても設定処理（ステップＳ１００９）を行う。
この場合においても、設定部１０７２は、使用者のタッチパネル１０５２のタッチ操作に応じて、動画領域として設定した領域を静止画領域に設定し直すことも可能であり、静止画領域として設定した領域を動画領域として設定し直すことも可能である。また、設定部１０７２は、動画領域として設定した領域内において静止画領域を設定することも可能である。また、設定部１０７２は、静止画領域として設定した領域内において動画領域を設定することも可能である。
図１９のステップＳ１００６〜Ｓ１００９の処理は、使用者により操作部１０５５の録画スイッチが押されて録画の終了となるまで繰り返し実行される。システム制御部１０７０が使用者による動画スイッチの操作が行われたと判定した場合は（ステップＳ１０１０のＹＥＳ）、撮像制御部１０７３は、記録部１０６０に記録した動画データ（部分動画のデータを含む）のファイル化を行う（ステップＳ１０１１）。例えば、撮像制御部１０７３は、動画データ（部分動画のデータを含む）のファイルに名前を付け、撮影日時などの情報を付加する。そして、撮像制御部１０７３は、動画データ（部分動画のデータを含む）のファイルを記録部１０６０に保存する（ステップＳ１０１２）。
なお、図１９においてステップＳ１００４又はステップＳ１００９の設定処理（図２０）が実行されなかった場合は、通常の動画が撮像されることになる。
以上に説明したように、第７実施形態では、撮像素子１１００を有し、撮像素子１１００の撮像領域１１３Ａにおいて動画と静止画のうち少なくともいずれか一方を撮像可能な撮像部１０２０と、撮像部１０２０により撮像領域１１３Ａにおいて動画を撮像中に、撮像領域１１３Ａ内に第１領域（例えば図２２の領域１２１１又は図２５の領域１２１２）を設定する設定部１０７２と、設定部１０７２により第１領域が設定されると、第１領域と第１領域とは異なる第２領域（例えば図２２の領域１２１１又は図２５の領域１２１２）とのいずれか一方について動画を生成し、他方について静止画を生成する画像生成部１０３１と、を備える。このような構成によれば、撮像素子１１００を用いて動画の撮像中に画像の一部分が動画で他の部分が静止画である画像（部分動画）を生成することができる。
また、上記のような構成によれば、記録部１０６０の記録容量を少なくすることができる。すなわち、従来は、使用者がデジタルカメラ１００１で動画を撮像した後に、動画を編集することにより部分動画を作成していた。しかし、このような構成では、撮像素子のすべての撮像領域で撮像した動画データ分の容量が必要となる。また、編集前の動画データを残しておきたい場合には、編集後の部分動画のデータと、編集前の動画データを記録部に記録することとなり、記録部は大きな記録容量が必要となる。一方、上記のような構成では、撮像素子１１００を用いて動画の撮像中に部分動画を生成することができるので、記録部１０６０は部分動画のデータ分の容量だけでよい。従って、記録部１０６０の記録容量を少なくすることができる。
また、上記のような構成によれば、撮像素子１１００の一部の領域についてだけ動画を撮像するので、消費電力を低減させることができる。また、撮像部１０２０による動画の撮像中において設定部１０７２がリアルタイムに第１領域を設定することができるので、使用者は動画の撮像中において部分動画を編集することができる。
また、第７実施形態では、撮像部１０２０により撮像された動画と静止画のうち少なくともいずれか一方から被写体を検出する検出部１０３２を備え、設定部１０７２は、検出部１０３２により検出された一又は複数の被写体の領域を第１領域として設定する。このような構成によれば、設定部１０７２は被写体の形や範囲などに応じた領域を第１領域として設定することができる。従って、例えば被写体の形状が複雑な形状であったり、被写体の範囲が小さな範囲であっても、設定部１０７２は被写体の領域を第１領域として容易に設定することができる。また、使用者による部分動画の作成作業も簡易化される。
また、第７実施形態では、撮像部１０２０により撮像された動画と静止画の少なくともいずれか一方を表示部１０５０に表示させる表示制御部１０７１と、表示部１０５０に表示された動画と静止画の少なくともいずれか一方において、第１領域を選択可能な選択部１０５２と、をさらに備える。このような構成によれば、使用者が任意の領域を第１領域として選択することができる。従って、使用者の好みに応じた部分動画を作成することができる。また、第７実施形態では、選択部１０５２は、表示部１０５０に形成されたタッチパネル１０５２を有するので、使用者による操作の利便性が向上する。
また、第７実施形態では、設定部１０７２は、撮像部１０２０により撮像されたライブビュー画像を表示部１０５０に表示させているときに、第１領域を設定する。このような構成によれば、使用者はどのような部分動画が撮像されるかを事前に確認することができる。また、第７実施形態では、動画のフレームレートを設定するフレームレート設定部１０７２を備える。このような構成によれば、動画の動きの滑らかさを適宜変更することができる。また、フレームレートに応じてスローモーション動画として記録部１０６０に記録し、又はハイスピード動画として記録部１０６０に記録することも可能となる。また、第７実施形態では、フレームレート設定部１０７２は、動画が生成される第１領域または第２領域が複数ある場合、領域毎に動画のフレームレートを異ならせる。このような構成によれば、領域毎に動画の動きの滑らかさを変更することができる。よって、より面白みのある部分動画を作成することができる。
なお、上記した第７実施形態において、設定部１０７２が使用者のタッチ操作に応じて動画領域を設定した場合、画素領域１１３Ａにおける動画領域以外の領域を自動的に静止画領域として設定するようにしてもよい。また、設定部１０７２が使用者のタッチ操作に応じて静止画領域を設定した場合、画素領域１１３Ａにおける静止画領域以外の領域を自動的に動画領域として設定するようにしてもよい。
なお、上記した第７実施形態では、電子機器の一例としてデジタルカメラ１００１を挙げていたが、これに限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図１７に示す画像処理部１０３０とシステム制御部１０７０は一体で構成されてもよい。この場合、１つのボディ側ＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部１０３０の機能とシステム制御部１０７０の機能を担う。
＜第８実施形態＞
上記した第７実施形態では、撮像部１０２０が非移動被写体（図２１等に示した滝及びその後ろの背景のような移動しない被写体）を撮像する場合を例として説明したが、撮像部１０２０が人物のような移動する移動被写体を撮像する場合にも適用することができる。しかし、撮像部１０２０が移動被写体を撮像する場合、移動被写体の移動に伴って画像データ（静止画の画像データ）が欠損してしまうことがある。そこで、第８実施形態では、移動被写体の移動に伴って欠損する画像データを補完する技術を提案する。
図２６は、移動被写体Ｏ３０の領域１５１３を動画領域として設定するときの表示パネル１０５１の表示例を示す図である。図１９のステップＳ１００４又はステップＳ１００９の設定処理において、設定部１０７２は、使用者により領域設定モードとして「オート」が選択されたと判定し（図２０のステップＳ１０２１参照）、検出部１０３２が検出した移動被写体である人物Ｏ３０に応じた被写体領域１５１３を設定し（図２０のステップＳ１０２２、Ｓ１０２３参照）、被写体領域１５１３を動画領域として設定したものとする（図２０のステップＳ１０２６参照）。また、設定部１０７２は、使用者により領域設定モードとして「オート」が選択されたと判定し（図２０のステップＳ１０２１参照）、検出部１０３２が検出した被写体領域１５１３以外の領域を設定し（図２０のステップＳ１０２２、Ｓ１０２３参照）、被写体領域１５１３以外の領域を静止画領域として設定したものとする（図２０のステップＳ１０２７参照）。
上述したように、図１９のステップＳ１００６の撮像処理において、撮像制御部１０７３が動画領域（図２６に示す例では被写体領域１５１３）において動画を撮像させるとともに、静止画領域（図２６に示す例では被写体領域１５１３以外の領域）において静止画を撮像させる。本実施形態では、設定部１０７２は、図２６に示すように移動被写体である人物Ｏ３０が移動すると、被写体領域１５１３も移動させる。すなわち、設定部１０７２は、移動被写体を追尾するように被写体領域１５１３を設定する。撮像制御部１０７３が静止画領域において静止画を撮像させた後に、被写体領域１５１３が移動すると、撮像された静止画の画像データのうち、被写体領域１５１３の部分の画像データが欠損してしまう。
図２７は、第８実施形態における撮像処理を示すフローチャートである。また、図２８は、移動被写体の移動に伴う画像の補完を説明するための図である。図２７に示す撮像処理は、図１９のステップＳ１００６の処理に対応する。図２６に示す処理において、撮像制御部１０７３は、ステップＳ１００４又はステップＳ１００９の設定処理において動画領域が設定された場合は（ステップＳ３１のＹＥＳ）、動画領域において動画を撮像させる（ステップＳ３２）。図２８に示す例では、撮像制御部１０７３は、動画領域としての被写体領域１５１３ａにおいて動画を撮像させる。また、撮像制御部１０７３は、ステップＳ１００４又はステップＳ１００９の設定処理において静止画領域が設定された場合は（ステップＳ３３のＹＥＳ）、静止画領域において静止画を撮像させる（ステップＳ３４）。図２８に示す例では、撮像制御部１０７３は、被写体領域１５１３ａ以外の領域において静止画を撮像させる。
次に、撮像制御部１０７３は、動画領域が一定以上の距離を移動したか否かを判定する（ステップＳ３５）。図２８に示す例では、人物Ｏ３０が移動して被写体領域１５１３ａが被写体領域１５１３ｂに移動している。このとき、撮像制御部１０７３は、動画領域が一定以上の距離を移動したと判定する。撮像制御部１０７３は、動画領域が一定上の距離を移動したと判定した場合は、動画領域以外の領域（ここで、複数の動画領域が設定されている場合は、複数の動画領域以外の領域）において静止画を再度撮像させる（ステップＳ３６）。図２８に示す例では、撮像制御部１０７３は、被写体領域１５１３ｂ以外の領域において静止画を撮像させる。そして、撮像制御部１０７３は、ステップＳ３６で再撮像した静止画の画像データのうち、移動前の動画領域における静止画の画像データで、ステップＳ３４で撮像した静止画の画像データの欠損部分を補完する（ステップＳ３７）。図２８に示す例では、撮像制御部１０７３は、ステップＳ３６で再撮像した静止画の画像データのうち、被写体領域１５１３ａの静止画の画像データで、ステップＳ３４で撮像した静止画の画像データの欠損部分（被写体領域１５１３ａの部分）を補完する。
このような構成によれば、移動被写体の移動に伴って画像データが欠損してしまった場合でも、その画像データを補完することができる。よって、画像データの欠損がある不自然な部分動画が生成されてしまうことを防止することができる。
なお、上記した図１９においては、ステップＳ１００４又はステップＳ１００９の設定処理（図２０）が実行されなかった場合は、通常の動画が撮像されることになる。この場合は、従来と同様に、撮像素子１１００により動画が撮像された後に、使用者が動画を編集することにより部分動画を作成することになる。しかし、同一の被写体についての２つの動画を同時に撮像することができれば、動画の撮像後の部分動画の編集作業が容易になると考えられる。そこで、図２９に示すような構成により、同一の被写体についての２つの動画を同時に撮像するように構成する。
図２９は、各ブロックにおける配列パターンを示す図である。図２９に示す配列パターンは、画素領域１１３Ａが一の領域と他の領域とに２分割される配列パターンである。この配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ−１）における奇数の行（２ｎ−１）のブロックと、偶数の列（２ｍ）における偶数の行（２ｎ）のブロックとで一の領域が構成されている。また、偶数の列（２ｍ）における奇数の行（２ｎ−１）のブロックと、奇数の列（２ｍ−１）における偶数の行（２ｎ）のブロックとで他の領域が構成されている。すなわち、画素領域１１３Ａにおける各ブロックが市松模様となるように分割されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。このような構成によれば、撮像素子１１００は、一の領域において動画を撮像するとともに、他の領域においても動画を撮像することにより、同一の被写体に対して同時に２つの動画を同時に撮像することができる。同一の被写体に対する２つの動画を用いれば、使用者は様々なバリエーションの部分動画を容易に作成することができる。
＜第９実施形態＞
第９実施形態では、上記した第７実施形態におけるデジタルカメラ１００１を、撮像装置１００１Ａと電子機器１００１Ｂとに分離した構成としている。
図３０は、第９実施形態に係る撮像装置１００１Ａ及び電子機器１００１Ｂの構成を示すブロック図である。図３０に示す構成において、撮像装置１００１Ａは、被写体の撮像を行う装置である。この撮像装置１００１Ａは、レンズ部１０１０、撮像部１０２０、画像処理部１０３０、ワークメモリ１０４０、操作部１０５５、記録部１０６０、及び第１システム制御部１０７０Ａを備える。なお、撮像装置１００１Ａのうち、レンズ部１０１０、撮像部１０２０、画像処理部１０３０、ワークメモリ１０４０、操作部１０５５、及び記録部１０６０の構成は、図１７に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器１００１Ｂは、画像（静止画、動画、ライブビュー画像、部分動画）の表示を行う装置である。この電子機器１００１Ｂは、表示部１０５０及び第２システム制御部１０７０Ｂを備える。なお、電子機器１００１Ｂのうちの表示部１０５０の構成は、図１７に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第１システム制御部１０７０Ａは、第１通信部１０７５Ａを有している。また、第２システム制御部１０７０Ｂは、第２通信部１０７５Ｂを有している。第１通信部１０７５Ａと第２通信部１０７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部１０７０Ａは、第１通信部１０７５Ａを介して画像データ（画像処理部１０３０が画像処理した画像データ、記録部１０６０に記録されている画像データ）を第２通信部１０７５Ｂに送信する。第２システム制御部１０７０Ｂは、第２通信部１０７５Ｂにおいて受信した画像データを表示部１０５０に表示させる。また、第２システム制御部１０７０Ｂは、予め設定されているメニュー画像を第２表示部５３に表示させる。
また、第２システム制御部１０７０Ｂは、使用者によるタッチパネル１０５２のタッチ操作に応じて、又は自動的に、撮像条件（蓄積条件を含む）を変更する制御を行う。また、第２システム制御部１０７０Ｂは、使用者によるタッチパネル１０５２のタッチ操作に応じて、又は自動的に、画像表示領域１５１０内の各表示領域を選択する制御を行う。また、第１システム制御部１０７０Ａは、使用者による操作部（電子機器１００１Ｂ側に設けられた静止画や動画の撮像開始を指示する操作部）１０５５の操作に応じて撮像の制御を実行する。
図１７に示す構成（表示制御部１０７１、設定部１０７２、撮像制御部１０７３、及びＡＦ処理部１０７４）は、第１システム制御部１０７０Ａと第２システム制御部１０７０Ｂのいずれに設けられてもよい。図１７に示すすべての構成は、第１システム制御部１０７０Ａ又は第２システム制御部１０７０Ｂに設けられてもよく、また図１７に示す構成の一部が第１システム制御部１０７０Ａに設けられ、図１７に示す構成の一部以外の構成が第２システム制御部１０７０Ｂに設けられてもよい。
なお、撮像装置１００１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１００１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図３０に示す第１システム制御部１０７０Ａは、ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。また、図３０に示す第２システム制御部１０７０Ｂは、ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第９実施形態では、第７実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置１００１Ａで撮像されている部分動画を確認した上で撮像を行うことができる。
なお、図３０に示す構成において、画像処理部１０３０と第１システム制御部１０７０Ａとは一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部１０３０の機能と第１システム制御部１０７０Ａの機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部１０２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部１０３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部１０７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。
また、上記した各実施形態において、画素領域１１３Ａにおいて静止画領域を設定せずに動画領域だけを設定してもよい。この場合、複数の動画領域を設定し、複数の動画領域毎にフレームレート変更する。このようにフレームレートの異なる複数の動画を含む画像も部分動画に含めてもよい。このような構成によれば、動きの遅い動画と動きの速い動画とが混在した画像を生成することができ、より一層、面白みのある画像を作成することができる。
また、図２９に示したブロックの配列パターンでは、画素領域１１３Ａを２分割していたが、３分割以上としてもよい。画素領域１１３Ａを３分割以上とした場合は、同一の被写体についての３以上の動画を同時に撮像することができる。従って、より一層、面白みのある部分動画を作成することができるようになる。
また、上記した第７実施形態において、検出部１０３２が検出可能な被写体としては、人物などに限定されず、特徴検出が可能であれば車などの物であってもよい。また、撮像制御部１０７３は、静止画と動画とを別々に記録部１０６０に記録してもよい。また、撮像制御部１０７３は、静止画と動画のタイムラインをリンクさせて記録部１０６０に記録する。また、検出部１０３２は、予め特定の人物などを登録しておき、登録した特定の人物などが被写体として撮像されていることをパターンマッチングにより検知した場合に、その特定の人物を自動的に追尾して動画撮影を行うようにしてもよい。また、タッチパネル１０５２のタッチ操作を操作部１０５５におけるスイッチやダイヤルなどの操作に代えてもよい。
また、上記した各実施形態において、デジタルカメラ１００１は三脚などで固定した状態で撮像を行うことが望ましい。撮像中に画角が変化すると、動画と静止画をうまく合成することができなくなるおそれがあるからである。
＜第１０実施形態＞
図３１は、第１０実施形態に係るデジタルカメラ２００１の構成を示すブロック図である。なお、図３１において、電子機器の一例であるデジタルカメラ２００１は図７のデジタルカメラ１に相当し、レンズ部２０１０は図７のレンズ部１０に相当し、撮像部２０２０は図７の撮像部２０に相当し、撮像素子２１００は図７の撮像素子１００に相当し、駆動部２０２１は図７の駆動部２１に相当し、画像処理部２０３０は図７の画像処理部３０に相当し、ワークメモリ２０４０は図７のワークメモリ４０に相当し、表示部２０５０は図７の表示部５０に相当し、表示パネル２０５１は図７の表示パネル５１に相当し、タッチパネル２０５２は図７のタッチパネル５２に相当し、操作部２０５５は図７の操作部５５に相当し、記録部２０６０は図７の記憶部６０に相当し、システム制御部２０７０は図７のシステム制御部７０に相当する。これらの構成のうち、レンズ部２０１０、撮像部２０２０、撮像素子２１００、駆動部２０２１、ワークメモリ２０４０、表示部２０５０、操作部２０５５、記録部２０６０の構成については説明を省略する。
なお、本実施形態において、フォーカシング用レンズ１１ｃの駆動制御は、フォーカシング用レンズ１１ｃの焦点調節を行うための制御であり、ＡＦ処理（Automatic Focusing）という。また、絞り１４の駆動制御は、絞り１４の開口径調節を行うための制御であり、ＡＥ処理（Automatic Exposure）という。
画像処理部２０３０は、図３１に示すように、検出部（態様検出部）２０３１を含む。検出部２０３１は、画像処理部２０３０で生成した画像データから主要被写体を検出する。本実施形態では、検出部２０３１は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を主要被写体として検出する機能を備えている。また、検出部２０３１は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、公知の顔検出機能を用いて人物の顔を検出する機能も備えている。また、検出部２０３１は、主要被写体としての人物の表情を検出し、検出した表情が特定の表情（例えば笑顔）であるか否かを判定する機能も備えている。
ここで、撮像部２０２０で撮像される対象物である被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。また、被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことを「主要被写体」という。主要被写体も、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。
システム制御部２０７０は、デジタルカメラ２００１の全体の処理及び動作を制御する。このシステム制御部２０７０はボディ側ＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部２０７０は、撮像素子２１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部２０７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２０２１に対して指示する。
また、システム制御部２０７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部２０７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２０２１に対して指示する。また、画像処理部２０３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部２０７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部２０３０に指示する。
また、システム制御部２０７０は、画像処理部２０３０において生成された画像データを記録部２０６０に記録させる。また、システム制御部２０７０は、画像処理部２０３０において生成された画像データを表示部２０５０に出力させることにより、表示部２０５０に画像を表示させる。また、システム制御部２０７０は、記録部２０６０に記録されている画像データを読み出して表示部２０５０に出力させることにより、表示部２０５０に画像を表示させる。表示部２０５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
本実施形態では、システム制御部２０７０は、図３１に示すように、設定部２０７１、制御部２０７２、表示制御部２０７３、ＡＦ処理部（焦点検出部）２０７４、及びＡＥ処理部２０７５を備えている。設定部２０７１は、撮像素子２１００の画素領域（撮像領域）１１３Ａにおいて、検出部２０３１が検出した主要被写体（例えば人物）を含む主要被写体領域（例えば図３４に示す人物Ｏ１１０を含む主要被写体領域２２０１）と、主要被写体を含まない非主要被写体領域（例えば図３４に示す非主要被写体領域２２０３）とをブロック単位で設定する。また、設定部２０７１は、撮像素子２１００の画素領域１１３Ａにおいて、検出部２０３１が検出した主要被写体の一部分（例えば人物の顔）を含む部分領域（例えば図３４に示す部分領域２２０２）をブロック単位で設定する。なお、後述する図３４に示すように、部分領域は主要被写体領域に含まれる領域である。また、設定部２０７１は、検出部２０３１が検出した主要被写体の移動に合わせて主要被写体領域、非主要被写体領域、及び部分領域の位置及びサイズを変化させる。また、設定部２０７１は、画素領域１１３Ａにおいて領域ごとに異なる撮像条件を設定する。すなわち、設定部２０７１は、主要被写体領域と部分領域と非主要被写体領域とで異なる撮像条件を設定する。
制御部２０７２は、主要被写体領域と部分領域と非主要被写体領域とを異なる撮像条件で撮像を行わせるように撮像素子２１００の駆動制御を行う。また、制御部２０７２は、検出部２０３１により検出された主要被写体としての人物の表情が特定の表情（例えば笑顔）であることを条件に、撮像素子２１００に本撮像（後述する図３２のステップＳ２０１７の撮像、すなわちレリーズスイッチの全押し操作に基づく撮像）を実行させる。また、制御部２０７２は、画像処理部２０３０により生成された静止画及び動画の画像データを記録部２０６０に記録する制御を行う。表示制御部２０７３は、画像処理部２０３０で生成された画像データを表示部２０５０に出力させて、表示部２０５０の表示面２０５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。
ＡＦ処理部２０７４は、ライブビュー画像の撮影中において、コントラストＡＦと呼ばれる被写体のコントラストが最大となるように焦点調節処理（ＡＦ処理）を実行する（図３２のステップＳ２００７参照）。また、ＡＦ処理部２０７４は、レリーズスイッチの半押し操作が行われた場合や動画スイッチの操作が行われた場合においても焦点調節処理（ＡＦ処理）を実行する（図３２のステップＳ２０１３参照、図３３のステップＳ２０２７参照）。
具体的には、ＡＦ処理部２０７４は、電気接点８１Ａ，８１Ｂを介して制御情報をレンズ駆動制御装置１５に対して送信することにより、レンズ駆動制御装置１５にフォーカシング用レンズ１１ｃを移動させる。また、ＡＦ処理部２０７４は、撮像部２０２０が撮像した被写体の像のコントラスト（ここで、検出部２０３１が主要被写体を検出した場合は、その主要被写体の像のコントラストの評価値）を表すコントラスト信号を画像処理部２０３０から取得する。ＡＦ処理部２０７４は、フォーカシング用レンズ１１ｃを移動させながら、画像処理部２０３０からのコントラスト信号に基づいて、被写体の像のコントラストが最も高くなるフォーカシング用レンズ１１ｃの位置を焦点位置として検出する。ＡＦ処理部２０７４は、検出した焦点位置にフォーカシング用レンズ１１ｃを移動させるように、制御信号をレンズ駆動制御装置１５に送信する。
ＡＥ処理部２０７５は、ライブビュー画像の撮影中において露出調節処理（ＡＥ処理）を実行する（図３２のステップＳ２００８参照）。また、ＡＥ処理部２０７５は、レリーズスイッチの半押し操作が行われた場合や動画スイッチの操作が行われた場合においても露出調節処理（ＡＥ処理）を実行する（図３２のステップＳ２０１４参照、図３３のステップＳ２０２８参照）。具体的には、ＡＥ処理部２０７５は、画像の輝度分布を示す輝度分布データを画像処理部２０３０から取得する。そして、ＡＥ処理部２０７５は、輝度分布データを用いて測光を行う。また、ＡＥ処理部２０７５は、測光した結果に基づいて撮像条件（シャッター速度（露光時間、電荷蓄積時間）、フレームレート、及びゲイン（ＩＳＯ感度））と絞り値とを決定する。このとき、ＡＥ処理部２０７５は、撮像素子２１００の画素領域１１３Ａにおけるブロックごとに適正露出となるような撮像条件を決定することが可能である。なお、絞り値については、ブロックごとに設定することはできず画素領域１１３Ａ全面に対して設定する。
ＡＥ処理部２０７５は、適正露出に応じた絞り値を示す制御情報をレンズ駆動制御装置１５に送信することにより、絞り１４の開口径調節のための駆動制御を実行させる。また、ＡＥ処理部２０７５は、適正露出に応じたシャッター速度（電荷蓄積時間）、フレームレート、及びゲイン（ＩＳＯ感度）を指示する指示信号を駆動部２０２１に出力する。駆動部２０２１は、指示信号により指示されたシャッター速度、フレームレート、及びゲインで撮像素子２１００を駆動制御する。
なお、システム制御部２０７０において、設定部２０７１、制御部２０７２、表示制御部２０７３、ＡＦ処理部２０７４、及びＡＥ処理部２０７５は、それぞれ、ボディ側ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。
次に、第１０実施形態に係るデジタルカメラ２００１の撮影動作について説明する。図３２及び図３３は、第１０実施形態のシステム制御部２０７０が実行する撮影動作を説明するためのフローチャートである。図３２及び図３３に示す処理において、デジタルカメラ２００１に電源が投入された後、使用者が撮影を開始するために操作部２０５５などの操作を行うと、制御部２０７２は、ライブビュー画像の撮影を開始する（ステップＳ２００１）。すなわち、制御部２０７２は、駆動部２０２１に対して指示信号を出力することにより撮像素子２１００の駆動制御を実行させる。また、表示制御部２０７３は、撮像素子２１００で撮像されたライブビュー画像を表示部２０５０の表示面２０５１に表示する（ステップＳ２００２）。
次に、設定部２０７１は、画像処理部２０３０に対して指示信号を出力することにより、検出部２０３１に主要被写体の検出を実行させる（ステップＳ２００３）。検出部２０３１は、設定部２０７１からの指示信号を受け取ると、画像データに含まれる人物（人体）を主要被写体として検出する。そして、検出部２０３１は、検出した人物の位置及びサイズを示す信号をシステム制御部２０７０に出力する。また、設定部２０７１は、画像処理部２０３０に対して指示信号を出力することにより、検出部２０３１に主要被写体の一部分である人物の顔の検出を実行させる（ステップＳ２００４）。検出部２０３１は、設定部２０７１からの指示信号を受け取ると、画像データに基づいて公知の顔検出機能を用いて主要被写体の一部分である人物の顔を検出する。そして、検出部２０３１は、検出した人物の顔の位置及びサイズを示す信号をシステム制御部２０７０に出力する。
次に、設定部２０７１は、画素領域１１３Ａにおいて領域を設定する（ステップＳ２００５）。具体的には、設定部２０７１は、検出部２０３１からの人物の位置及びサイズを示す信号に基づいて、人物を含む主要被写体領域をブロック単位で設定する。また、設定部２０７１は、検出部２０３１からの人物の顔の位置及びサイズを示す信号に基づいて、主要被写体領域内に顔を含む部分領域をブロック単位で設定する。また、設定部２０７１は、画素領域１１３Ａにおいて主要被写体領域以外の領域を非主要被写体領域として設定する。
図３４は、第１０実施形態の撮像素子２１００の撮像領域１１３Ａにおける主要被写体領域２２０１と部分領域２２０２と非主要被写体領域２２０３とを示す図である。図３４に示す例では、撮像素子２１００の画素領域（撮像領域）１１３Ａにおいて、歩いている人物Ｏ１１０と、道路Ｏ１２０と、複数の木Ｏ１３０とが撮像されている。人物Ｏ１１０は主要被写体であり、道路Ｏ１２０及び木Ｏ１３０は背景の被写体である。この場合、検出部２０３１は、人物Ｏ１１０を主要被写体として検出する。また、検出部２０３１は、顔検出機能を用いて人物Ｏ１１０の顔についても検出する。設定部２０７１は、検出部２０３１が検出した人物Ｏ１１０を含む領域を主要被写体領域２２０１として設定する。また、設定部２０７１は、検出部２０３１が検出した人物Ｏ１１０の顔を含む領域を主要被写体領域２２０１における部分領域２２０２として設定する。さらに、設定部２０７１は、画素領域１１３Ａにおける主要被写体領域２２０１以外の領域を非主要被写体領域２２０３として設定する。なお、図３４に示すように、設定部２０７１は、検出部２０３１が検出した主要被写体の領域よりも少し広めに領域を主要被写体領域２２０１として設定している。また、設定部２０７１は、検出部２０３１が検出した主要被写体の一部分の領域よりも少し広めの領域を部分領域２２０２として設定している。
図３５は、第１０実施形態の表示部２０５０の表示面２０５１における主要被写体領域２５１１と部分領域２５１２と非主要被写体領域２５１３とを示す図である。撮像素子２１００が図３４に示す被写体Ｏ１１０，Ｏ１２０，Ｏ１３０を撮像した場合は、図３５に示すように、表示部２０５０の表示面２０５１には、歩いている人物Ｏ１１０の画像と、道路Ｏ１２０の画像と、複数の木Ｏ１３０の画像とが表示される。図３５に示す人物Ｏ１１０を含む主要被写体領域２５１１は、図３４に示す画素領域１１３Ａにおける主要被写体領域２２０１に対応する領域である。図３５に示す人物Ｏ１１０の顔を含む部分領域２５１２は、図３４に示す画素領域１１３Ａにおける部分領域２２０２に対応する領域である。図３５に示す非主要被写体領域２５１３は、図３４に示す画素領域１１３Ａにおける非主要被写体領域２２０３に対応する領域である。
本実施形態では、図３５に示すように、表示制御部２０７３は、検出部２０３１が主要被写体（人物Ｏ１１０）を検出したときは、その主要被写体を囲う枠２６０１と、その主要被写体の一部分（人物Ｏ１１０の顔）を囲う枠２６０２とを表示部２０５０の表示面２０５１に表示する。枠２６０１は、検出部２０３１が主要被写体を捕捉したことを使用者に知らせるとともに、主要被写体の位置やサイズなどを使用者に知らせるために表示される。枠２６０２は、検出部２０３１が主要被写体の一部分を捕捉したことを使用者に知らせるとともに、主要被写体の一部分の位置やサイズなどを使用者に知らせるために表示される。なお、図３５に示す例では、枠２６０１は主要被写体領域２５１１の周囲の枠であり、枠２６０２は部分領域２５１２の周囲の枠である。
また、本実施形態では、図３５に示すように、表示面２０５１の右上には、小さい領域のサブ画面２０５１Ｓが設けられている。表示制御部２０７３は、検出部２０３１が主要被写体（人物Ｏ１１０）を検出したときは、部分領域２２０２の画像をサブ画面２０５１Ｓに表示する（後述するステップＳ２００９参照）。
図３２の説明に戻り、設定部２０７１は、ステップＳ２００５で設定した領域ごとに撮像条件を設定する（ステップＳ２００６）。ここで、設定部２０７１は、主要被写体領域２２０１と部分領域２２０２と非主要被写体領域２２０３とで異なる撮像条件を設定する。具体的には、設定部２０７１は、主要被写体領域２２０１において非主要被写体領域２２０３よりも高いフレームレートかつ高いゲインを設定する。これにより、検出部２０３１は、主要被写体領域２２０１において非主要被写体領域２２０３よりも高い精度で高速に主要被写体の検出を行うことができる。従って、検出部２０３１による主要被写体の検出のレスポンスが高くなる。また、設定部２０７１は、部分領域２２０２において主要被写体領域２２０１よりも高いフレームレートかつ高いゲインを設定する。これにより、検出部２０３１は、主要被写体である人物Ｏ１１０の顔の表情を速く正確に判定することができる。
なお、設定部２０７１は、フレームレートやゲイン以外の撮像条件については、それぞれの領域２２０１，２２０２，２０３の被写体に適した撮像条件を自動的に設定し、又は使用者の操作部２０５５などの操作に応じて設定する。
次に、ＡＦ処理部２０７４は、自動的に焦点調節を行うＡＦ処理を実行する（ステップＳ２００７）。具体的には、ＡＦ処理部２０７４は、主要被写体である人物Ｏ１１０の像のコントラストを表すコントラスト信号を画像処理部２０３０から取得する。また、ＡＦ処理部２０７４は、フォーカシング用レンズ１１ｃの移動を指示する制御情報をレンズ駆動制御装置１５に対して送信する。これにより、レンズ駆動制御装置１５は、ＡＦ処理部２０７４からの制御情報に基づいて、フォーカシング用レンズ１１ｃを移動させる制御を行う。そして、ＡＦ処理部２０７４は、フォーカシング用レンズ１１ｃを移動させながら人物Ｏ１１０の像のコントラストが最も高くなるフォーカシング用レンズ１１ｃのレンズ位置を焦点位置として検出する。ＡＦ処理部２０７４は、検出した焦点位置にフォーカシング用レンズ１１ｃを移動させる。上述したように、設定部２０７１により主要被写体領域２２０１に対して高いフレームレートかつ高いゲインが設定されている。従って、画像処理部２０３０は主要被写体の像のコントラストの評価値を素早く算出することができる。その結果、ＡＦ処理部２０７４は、素早く焦点位置の検出を行うことができる。
本実施形態では、ＡＦ処理部２０７４は、ステップＳ２００７のＡＦ処理で検出した焦点位置に基づいて主要被写体までの距離を算出する。また、ＡＦ処理部２０７４は、主要被写体の焦点位置の情報及び主要被写体までの距離の情報を記憶する。そして、主要被写体が移動している場合、ＡＦ処理部２０７４は、主要被写体の焦点位置の情報の履歴及び主要被写体までの距離の情報の履歴に基づいて、主要被写体の位置を予測する。ＡＦ処理部２０７４は、予測した主要被写体の位置に基づいて主要被写体の焦点位置を予測し、予測した焦点位置にフォーカシング用レンズ１１ｃを移動させる。このような構成によれば、ＡＦ処理部２０７４は、高速に移動している主要被写体に対して常に合焦させることができる。
また、本実施形態では、主要被写体が移動している場合、ステップＳ２００５において、設定部２０７１は、主要被写体の焦点位置の情報の履歴及び主要被写体までの距離の情報の履歴に基づいて、主要被写体の位置及びサイズを予測する。設定部２０７１は、予測した主要被写体の位置及びサイズに基づいて主要被写体領域の位置及びサイズを予測する。そして、設定部２０７１は、予測した位置及びサイズの主要被写体領域を設定する。このような構成によれば、主要被写体が高速に移動している場合でも、主要被写体の移動に合わせて主要被写体領域を設定することができる。
なお、図３４に示すように、主要被写体が人物Ｏ１１０である場合は、ＡＦ処理部２０７４は、人物Ｏ１１０の顔に対して合焦させる。ただし、ＡＦ処理部２０７４は、人物Ｏ１１０の最も近い位置などに合焦させてもよい。また、主要被写体は人物に限らず、車などの物体であってもよい。また、検出部２０３１により複数の主要被写体が検出された場合は、ＡＦ処理部２０７４は、例えば複数の主要被写体のうちの人物を優先して合焦させるようにしてもよい。また、検出部２０３１により複数の人物が検出された場合は、ＡＦ処理部２０７４は、例えば複数の人物のうちの最も中央に存在する人物に対して合焦させるようにしてもよい。また、検出部２０３１により複数の主要被写体が検出された場合は、設定部２０７１は、複数の主要被写体のそれぞれに対して主要被写体領域を設定する。ただし、設定部２０７１は、複数の主要被写体のうちの一部の主要被写体（例えば、最も中央に存在する主要被写体）に対してだけ主要被写体領域を設定してもよい。
また、ＡＥ処理部２０７５は、適正露出となるように露出を制御するＡＥ処理を実行する（ステップＳ２００８）。具体的には、ＡＥ処理部２０７５は、画像処理部２０３０が生成した画像データの輝度分布を示す輝度分布データを画像処理部２０３０から取得する。そして、ＡＥ処理部２０７５は、輝度分布データに基づいて、適正露出となるような撮像条件（フレームレート、シャッター速度、及びゲイン（ＩＳＯ感度）など）と絞り値とを決定する。ＡＥ処理部２０７５は、決定した適正露出に応じた絞り値を示す制御情報をレンズ駆動制御装置１５に送信することにより、絞り１４の開口径調節のための駆動制御を実行させる。また、ＡＥ処理部２０７５は、適正露出に応じた撮像条件（フレームレート、シャッター速度、及びゲインなど）を指示する指示信号を駆動部２０２１に出力する。駆動部２０２１は、指示信号により指示された撮像条件を設定する。
なお、ステップＳ２００６において、設定部２０７１がフレームレートやゲインなどの撮像条件を設定し、ステップＳ２００８において、ＡＥ処理部２０７５がステップＳ２００６で設定された撮像条件に応じた絞り値を設定するようにしてもよい。また、ＡＥ処理部２０７５がステップＳ２００８において絞り値だけでなくフレームレートやゲインなどの撮像条件を設定する場合は、主要被写体領域２２０１において非主要被写体領域２２０３よりも高いフレームレートかつ高いゲインを設定し、部分領域２２０２において主要被写体領域２２０１よりも高いフレームレートかつ高いゲインを設定する。これにより、検出部２０３１による主要被写体である人物の検出のレスポンスを維持し、検出部２０３１による表情の判定の精度を維持することができる。
表示制御部２０７３は、ステップＳ２００３において検出部２０３１が主要被写体を検出した場合は、図３５に示すように、表示面２０５１のサブ画面２０５１Ｓに部分領域２０２の画像（主要被写体である人物Ｏ１１０の顔の画像）を拡大表示する（ステップＳ２００９）。これにより、表示面２０５１のサイズが小さい場合でも、使用者が人物Ｏ１１０の顔（及びその表情）を容易に確認することができる。なお、サブ画面２０５１Ｓに表示される画像は、主要被写体の一部（人物Ｏ１１０の顔）の画像に限らず、主要被写体の全部の画像であってもよい。また、サブ画面２０５１Ｓに表示される主要被写体の一部の画像は、人物Ｏ１１０の顔の画像に限らず、人物Ｏ１１０の上半身の画像などであってもよい。
その後、システム制御部２０７０は、レリーズスイッチの半押し操作（ＳＷ１の操作）が行われたか否かを判定する（ステップＳ２０１０）。システム制御部２０７０は、レリーズスイッチの半押し操作が行われていないと判定した場合は、動画スイッチの操作が行われたか否かを判定する（ステップＳ２０２０）。システム制御部２０７０は、レリーズスイッチの半押し操作が行われるか、又は動画スイッチの操作が行われるまでステップＳ２００１からステップＳ２００９の処理を繰り返し実行する。従って、検出部２０３１による主要被写体の検出（ステップＳ２００３）と顔の検出（ステップＳ２００４）とが随時行われる。すなわち、検出部２０３１による主要被写体の追尾が行われる。また、検出部２０３１が検出した主要被写体の動きに応じて、設定部２０７１による領域（主要被写体領域２２０１、部分領域２０２、非主要被写体領域２２０３）の設定（ステップＳ２００５）が随時行われ、設定部２０７１による領域ごとの撮像条件の設定も随時行われる。その結果、検出部２０３１が主要被写体の動きを高精度かつ高速に検出することができ、検出部２０３１による主要被写体の追尾のレスポンスが向上する。
システム制御部２０７０は、レリーズスイッチの半押し操作が行われたと判定した場合は（ステップＳ２０１０のＹＥＳ）、制御部２０７２は、ライブビュー画像の撮影を行い（ステップＳ２０１１）、表示制御部２０７３は、撮像素子２１００で撮像されたライブビュー画像を表示部２０５０の表示面２０５１に表示する（ステップＳ２０１２）。また、ＡＦ処理部２０７４は、ステップＳ２００７で説明した場合と同様にＡＦ処理を実行し（ステップＳ２０１３）、ＡＥ処理部２０７５は、ステップＳ２００８で説明した場合と同様にＡＥ処理を実行する（ステップＳ２０１４）。なお、ＡＦ処理部２０７４は、レリーズスイッチの半押し操作が行われた場合にだけＡＦ処理を実行する構成でもよい。すなわち、ＡＦ処理部２０７４は、ライブビュー画像の撮像中においてはＡＦ処理を実行しない構成でもよい。同様に、ＡＥ処理部２０７５は、レリーズスイッチの半押し操作が行われた場合にだけＡＥ処理を実行する構成でもよい。すなわち、ＡＥ処理部２０７５は、ライブビュー画像の撮像中においてはＡＥ処理を実行しない構成でもよい。
その後、システム制御部２０７０は、レリーズスイッチの全押し操作（ＳＷ２の操作）が行われたか否かを判定する（ステップＳ２０１５）。システム制御部２０７０がレリーズスイッチの全押し操作が行われていないと判定した場合は（ステップＳ２０１５のＮＯ）、上記したステップＳ２０１０からステップＳ２０１４までの処理を繰り返し実行する。システム制御部２０７０がレリーズスイッチの全押し操作が行われたと判定した場合は（ステップＳ２０１５のＹＥＳ）、制御部２０７２は、主要被写体の表情が笑顔であるか否かを判定する（ステップＳ２０１６）。本実施形態では、検出部２０３１は、顔検出機能を用いて主要被写体としての人物の表情を検出し、検出した表情を示す情報をシステム制御部２０７０に出力する。制御部２０７２は、検出部２０３１から出力される人物の表情を示す情報に基づいて人物の表情が特定の表情（笑顔）であるか否かを判定する。
図３６は、笑顔の画像及び笑顔でない画像の一例を示す図である。図３６（Ａ）は人物の表情が笑顔である場合を示し、図３６（Ｂ）は人物の表情が笑顔でない場合を示している。検出部２０３１は、顔検出機能を用いて検出した人物の表情が笑顔であるか否かを判定する。検出部２０３１は、図３６（Ａ）に示すように、人物の表情が笑顔であると判定した場合は、人物の表情が笑顔であることを示す情報をシステム制御部２０７０に出力する。また、検出部２０３１は、図３６（Ｂ）に示すように、人物の表情が笑顔でないと判定した場合は、人物の表情が笑顔でないことを示す情報をシステム制御部２０７０に出力する。制御部２０７２は、検出部２０３１から出力される人物の表情を示す情報に基づいて人物の表情が笑顔であるか否かを判定する。
制御部２０７２は、検出部２０３１から出力される人物の表情を示す情報に基づいて、主要被写体である人物の表情が特定の表情（笑顔）であると判定した場合、撮像処理を実行する（ステップＳ２０１７）。上述したように、ステップＳ２０１４のＡＥ処理において、ＡＥ処理部２０７５は、適正露出の輝度レベルに基づいて被写体に適した撮像条件を決定している。ステップＳ２０１７の撮像処理では、制御部２０７２は、ステップＳ２０１４のＡＥ処理で決定された撮像条件を指示する指示信号を駆動部２０２１に出力する。そして、制御部２０７２は、撮像を指示する指示信号を駆動部２０２１に出力する。駆動部２０２１は、制御部２０７２から指示された撮像条件で撮像素子２１００を駆動制御して撮像を実行する。なお、画素領域１１３Ａの各画素において、同じ撮像条件による撮像が行われてもよく、また、被写体ごとに異なる撮像条件による撮像が行われてもよい。
なお、制御部２０７２は、ステップＳ２０１６で人物の表情が笑顔であるか否かを判定し、笑顔であると判定したことを条件にステップＳ２０１７の撮像処理を実行している。しかし、このような構成に限定されず、制御部２０７２は、人物が目をつぶっているか否かを判定し、目をつぶっていないと判定したことを条件にステップＳ２０１７の撮像処理を実行してもよい。すなわち、撮像処理を実行するための条件としては、人物の表情に関わる条件に限らず、人物が特定の動作を行っていることなどを条件としてもよい。
ステップＳ２０２０において、システム制御部２０７０が動画スイッチの操作が行われたと判定した場合は（ステップＳ２０２０のＹＥＳ）、制御部２０７２は、動画の撮影を開始する（図３３のステップＳ２０２１）。また、表示制御部２０７３は、撮像素子２１００で撮像された動画を表示部２０５０の表示面２０５１に表示する（ステップＳ２０２２）。また、設定部２０７１は、ステップＳ２００３で説明した場合と同様に、画像処理部２０３０に対して指示信号を出力することにより、検出部２０３１に主要被写体の検出を実行させる（ステップＳ２０２３）。検出部２０３１は、設定部２０７１からの指示信号を受け取ると、画像データに含まれる人物（人体）を主要被写体として検出する。また、設定部２０７１は、ステップＳ２００４で説明した場合と同様に、画像処理部２０３０に対して指示信号を出力することにより、検出部２０３１に主要被写体の一部分である人物の顔の検出を実行させる（ステップＳ２０２４）。検出部２０３１は、設定部２０７１からの指示信号を受け取ると、画像データに基づいて公知の顔検出機能を用いて主要被写体の一部分である人物の顔を検出する。
次に、設定部２０７１は、ステップＳ２００５で説明した場合と同様に、画素領域１１３Ａにおいて領域を設定する（ステップＳ２０２５）。すなわち、設定部２０７１は、検出部２０３１が主要被写体を検出した場合は、主要被写体を含む主要被写体領域及び部分領域をブロック単位で設定する。また、設定部２０７１は、画素領域１１３Ａにおいて主要被写体領域以外の領域を非主要被写体領域として設定する。
また、設定部２０７１は、ステップＳ２００６で説明した場合と同様に、主要被写体領域と部分領域と非主要被写体領域とで異なる撮像条件を設定する（ステップＳ２０２６）。すなわち、設定部２０７１は、主要被写体領域において非主要被写体領域よりも高いフレームレートかつ高いゲインを設定する。また、設定部２０７１は、部分領域において主要被写体領域よりも高いフレームレートかつ高いゲインを設定する。また、ＡＦ処理部２０７４は、ステップＳ２００７で説明した場合と同様にＡＦ処理を実行し（ステップＳ２０２７）、ＡＥ処理部２０７５は、ステップＳ２００８で説明した場合と同様にＡＥ処理を実行する（ステップＳ２０２８）。そして、表示制御部２０７３は、ステップＳ２００９で説明した場合と同様に、表示面２０５１のサブ画面２０５１Ｓに部分領域の画像（例えば人物の顔の画像）を拡大表示する（ステップＳ２０２９）。
制御部２０７２は、画像処理部２０３０により生成された動画の画像データを記録部２０６０に記録する制御を行う（ステップＳ２０３０）。その後、システム制御部２０７０は、使用者による動画スイッチの操作（動画の撮影を終了させるための操作）が行われたか否かを判定する（ステップＳ２０３１）。システム制御部２０７０は、動画スイッチの操作が行われていないと判定した場合は、上記したステップＳ２０２１からステップＳ２０３１までの処理を繰り返し実行する。システム制御部２０７０は、動画スイッチの操作が行われたと判定した場合は、処理を終了する。
以上に説明したように、第１０実施形態では、撮像素子２１００を有する撮像部２０２０と、主要被写体（例えば図３４に示す人物Ｏ１１０）を検出する検出部２０３１と、撮像素子２１００の撮像領域１１３Ａにおいて、検出部２０３１が検出した主要被写体を含む第１領域（例えば主要被写体領域２２０１）と第１領域とは異なる第２領域（例えば非主要被写体領域２２０３）とを設定する設定部２０７１と、第１領域と第２領域とを異なる撮像条件で撮像を行わせる制御部２０７２と、を備える。このような構成によれば、主要被写体に合わせて領域を設定し、領域に対応した撮像条件で撮像を行うことができる。従って、検出部２０３１が第１領域で撮像された画像データに基づいて高精度で主要被写体の追尾を行うことができる。
また、第１０実施形態では、設定部２０７１は、主要被写体の移動に合わせて第１領域を変化させる。このような構成によれば、検出部２０３１が第１領域の画像データに基づいて主要被写体の動きを高精度かつ高速に検出することができる。また、第１０実施形態では、主要被写体の焦点位置を検出する焦点検出部２０７４を備え、設定部２０７１は、焦点検出部２０７４が検出した焦点位置に関する情報に基づいて主要被写体の移動を予測する。このような構成によれば、主要被写体が移動している場合でも、主要被写体の移動に合わせて主要被写体領域を設定することができる。
また、第１０実施形態では、制御部２０７２は、第１領域に対して、撮像条件としてのゲイン及びフレームレートの少なくとも一方について第２領域よりも高く設定する。このような構成によれば、検出部２０３１による主要被写体の追尾のレスポンスが向上する。
また、第１０実施形態では、第１領域を表示部２０５０に表示する表示制御部２０７３を備える。このような構成によれば、検出部２０３１が主要被写体を検出したことを使用者に知らせるとともに、第１領域の位置やサイズなどを使用者に知らせることができる。また、表示制御部２０７３は、主要被写体の少なくとも一部（例えば人物Ｏ１１０の顔）を第２領域の所定位置（例えばサブ画面２０５１Ｓ）に拡大表示する。このような構成によれば、表示部２０５０の表示面２０５１のサイズが小さい場合でも、使用者が主要被写体又は主要被写体の一部を容易に確認することができる。
また、第１０実施形態では、主要被写体としての人物の表情及び動作（例えば瞬き）を含む態様を検出する態様検出部２０３１を備え、制御部２０７２は、態様検出部２０３１により検出された態様が特定態様（例えば笑顔、目をつぶっていない状態）である場合に、撮像部２０２０に本撮像を行わせる。このような構成によれば、最適な人物の表情や動作などが行われているタイミングで撮像を行うことができる。
なお、上記した第１０実施形態では、電子機器の一例としてデジタルカメラ２００１を挙げていたが、これに限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図３１に示す画像処理部２０３０とシステム制御部２０７０は一体で構成されてもよい。この場合、１つのボディ側ＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部２０３０の機能とシステム制御部２０７０の機能を担う。
＜第１１実施形態＞
上記した第１０実施形態では、検出部２０３１が主要被写体を検出した場合と主要被写体を検出していない場合とで非主要被写体領域が変化していなかった。一方、第１１実施形態では、検出部２０３１が主要被写体を検出した場合と主要被写体を検出していない場合とで非主要被写体領域が変化する。
図３７は、第１１実施形態における領域の設定処理（図３２のステップＳ２００５、図３３のステップＳ２０２５を説明するためのフローチャートである。図３２のステップＳ２００５又は図３３のステップＳ２０２５における領域の設定処理において、設定部２０７１は、検出部２０３１が主要被写体を検出したか否かを判定する（ステップＳ２０４１）。設定部２０７１は、検出部２０３１が主要被写体を検出したと判定した場合は、検出部２０３１からの主要被写体の位置及びサイズを示す信号に基づいて、画素領域（撮像領域）１１３Ａにおいて主要被写体領域と非主要被写体領域とを設定する（ステップＳ２０４２）。また、設定部２０７１は、検出部２０３１からの主要被写体の一部分の位置及びサイズを示す信号に基づいて、主要被写体領域内に部分領域を設定する（ステップＳ２０４３）。このようなステップＳ２０４１からステップＳ２０４３の処理は、第１０実施形態で説明した処理と同様である。
設定部２０７１は、検出部２０３１が主要被写体を検出していないと判定した場合は、画素領域（撮像領域）１１３ＡにおいてＡＦ領域とＡＥ領域とを設定する（ステップＳ２０４４）。ＡＦ領域は、ＡＦ処理部２０７４がＡＦ処理（ステップＳ２００７、Ｓ２０１３，Ｓ２０２７）を実行する際に参照する画像（被写体）を撮像する領域である。ＡＥ領域は、ＡＥ処理部２０７５がＡＥ処理（ステップＳ２００８，Ｓ２０１４，Ｓ２０２８）を実行する際に参照する画像（被写体）を撮像する領域である。
図３８は、第１１実施形態に係るＡＦ領域２１１４とＡＥ領域２１１５との配列パターンを示す図である。図３８に示す配列パターンは、画素領域１１３ＡがＡＦ領域２１１４とＡＥ領域２１１５とに２分割される配列パターンである。この配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ−１）における奇数の行（２ｎ−１）のブロックと、偶数の列（２ｍ）における偶数の行（２ｎ）のブロックとでＡＦ領域２１１４が構成されている。また、偶数の列（２ｍ）における奇数の行（２ｎ−１）のブロックと、奇数の列（２ｍ−１）における偶数の行（２ｎ）のブロックとでＡＥ領域２１１５が構成されている。すなわち、画素領域１１３Ａにおける各ブロックが市松模様となるように分割されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。このような構成では、撮像素子２１００の画素領域１１３Ａ全面においてＡＦ領域２１１４とＡＥ領域２１１５とが分散的に配置されているので、撮像素子２１００はＡＦ領域２１１４とＡＥ領域２１１５とにおいて同時に撮像することができる。
なお、図３８において、ブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックが設定されているが、図３８に示すブロックの数よりも多い数のブロックが画素領域１１３Ａに設定されてもよい。
図３９は、検出部２０３１により主要被写体が検出されなかった場合の非主要被写体領域２２１３を示す図である。図３９に示すように、検出部２０３１が主要被写体（例えば図３４に示した人物Ｏ１１０）を検出しなかった場合は、設定部２０７１は、画素領域１１３Ａの全面（すなわち非主要被写体領域２２１３）においてＡＦ領域２１１４とＡＥ領域２１１５とを設定する（ステップＳ２０４４参照）。この場合、設定部２０７１は、撮像条件として、ＡＦ領域２１１４に対してＡＥ領域２１１５よりも高いフレームレートかつ高いゲインを設定する（ステップＳ２００６，Ｓ２０２６参照）。
また、ＡＦ処理（ステップＳ２００７，Ｓ２０１３，Ｓ２０２７参照）では、ＡＦ処理部２０７４は、ＡＦ領域２１１４で撮像された背景の被写体Ｏ１２０，Ｏ１３０の像のコントラストを表すコントラスト信号を画像処理部２０３０から取得する。そして、ＡＦ処理部２０７４は、フォーカシング用レンズ１１ｃを移動させながら、画像処理部２０３０からのコントラスト信号に基づいて、被写体Ｏ１２０，Ｏ１３０の像のコントラストが最も高くなるフォーカシング用レンズ１１ｃの位置を焦点位置として検出する。ＡＦ処理部２０７４は、検出した焦点位置にフォーカシング用レンズ１１ｃを移動させるように、制御信号をレンズ駆動制御装置１５に送信する。
また、ＡＥ処理（ステップＳ２００８，Ｓ２０１４，Ｓ２０２８参照）では、ＡＥ処理部２０７５は、ＡＥ領域２１１５で撮像された背景の被写体Ｏ１２０，Ｏ１３０の画像データの輝度分布を示す輝度分布データを画像処理部２０３０から取得する。そして、ＡＥ処理部２０７５は、輝度分布データに基づいて、適正露出となるような撮像条件（フレームレート、シャッター速度、及びゲインなど）と絞り値とを決定する。ＡＥ処理部２０７５は、決定した適正露出に応じた絞り値を示す制御情報をレンズ駆動制御装置１５に送信することにより、絞り１４の開口径調節のための駆動制御を実行させる。また、ＡＥ処理部２０７５は、適正露出に応じた撮像条件（フレームレート、シャッター速度、及びゲインなど）を指示する指示信号を駆動部２０２１に出力する。駆動部２０２１は、指示信号により指示された撮像条件を設定する。
このように、検出部２０３１が主要被写体を検出しなかった場合に、設定部２０７１は、画素領域１１３ＡにおいてＡＦ領域２１１４とＡＥ領域２１１５とを設定し、また、ＡＦ領域２１１４においてＡＥ領域２１１５よりも高いフレームレートかつ高いゲインを設定する。このような構成の場合は、画像処理部２０３０は非主要被写体領域２２１３における被写体Ｏ１２０，Ｏ１３０の像のコントラストの評価値を素早く算出することができる。その結果、ＡＦ処理部２０７４は、ＡＦ処理において素早く焦点位置の検出を行うことができる。一方、ＡＥ処理部２０７５がＡＥ処理で測光を行うために用いる画像データは、高いフレームレートや高いゲインである必要はない。従って、ＡＥ領域２１１５のフレームレートをＡＦ領域２１１４よりも低くし、ＡＥ領域２１１５のゲインをＡＦ領域２１１４よりも低くすることにより、消費電力を抑制し、ＡＥ領域２１１５の画像データのノイズを低減している。
以上に説明したように、第１１実施形態では、設定部２０７１は、検出部２０３１が主要被写体を検出していない場合に、撮像領域１１３Ａにおいて、第３領域（例えばＡＦ領域２１１４）を分散的に配置するとともに第３領域とは異なる第４領域（例えばＡＥ領域２１１５）を分散的に配置し、制御部２０７２は、第３領域を焦点検出に関する撮像条件で撮像させ、第４領域を露出検出に関する撮像条件で撮像させる。このような構成によれば、焦点検出部２０７４が素早く焦点位置の検出を行うことができる。
次に、第１１実施形態の変形例について説明する。図４０は、検出部２０３１により主要被写体が検出された場合の主要被写体領域２２１１と部分領域２２１２と非主要被写体領域２２１３とを示す図である。上記した第１１実施形態では、設定部２０７１は、検出部２０３１が主要被写体を検出しなかった場合に（図３７のステップＳ２０４１のＮＯ参照）、画素領域１１３ＡにおいてＡＦ領域２１１４とＡＥ領域２１１５とを設定していた（図３７のステップＳ２０４４参照）。これに対して、第１１実施形態の変形例では、設定部２０７１は、検出部２０３１が主要被写体を検出した場合に（図３７のステップＳ２０４１のＹＥＳ参照）、図４０に示すように、非主要被写体領域２２１３においてＡＦ領域２１１４とＡＥ領域２１１５とを設定する。このように第１１実施形態の変形例では、設定部２０７１は、検出部２０３１が主要被写体を検出した場合に、第２領域（例えば非主要被写体領域２２１３）において、第３領域（例えばＡＦ領域２１１４）を分散的に配置するとともに第３領域とは異なる第４領域（例えばＡＥ領域２１１５）を分散的に配置し、制御部２０７２は、第３領域を焦点検出に関する撮像条件で撮像させ、第４領域を露出検出に関する撮像条件で撮像させる。このような構成によれば、第２領域（非主要被写体領域２２１３）に新たに主要被写体（例えば人物Ｏ１１０とは異なる主要被写体）が入った場合に、画像処理部２０３０が第２領域（非主要被写体領域２２１３）における主要被写体の像のコントラストの評価値を素早く算出することができる。
図４１は、第１１実施形態に係るＡＦ領域２１１６とＡＥ領域２１１７との配列パターンの変形例を示す図である。上記した第１１実施形態では、図３８に示したように、配列パターンは画素領域１１３Ａにおける各ブロックが市松模様となるように配置されていた。これに対して、第１１実施形態の変形例では、図４１に示すように、画素領域１１３Ａにおいて、複数のＡＦ領域２１１６が離散的かつ均等に形成されている。ＡＦ領域２１１６は、複数の小さい方形状の領域として形成されている。また、画素領域１１３Ａにおいて、ＡＥ領域２１１７はＡＦ領域２１１６以外の領域である。図４１に示す例では、ＡＥ領域２１１７の面積は、ＡＦ領域２１１６の面積よりも広くなっている。すなわち、ＡＦ領域２１１６とＡＥ領域２１１７とで面積比率が異なる。
なお、図４１において、ブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックが設定されているが、図４１に示すブロックの数よりも多い数のブロックが画素領域１１３Ａに設定されてもよい。
このような構成によれば、ＡＥ処理部２０７５が広い範囲のＡＥ領域２１１７で生成される画像データの輝度分布に基づいて測光を行うことができる。その結果、ＡＥ処理部２０７５による測光の精度が向上する。
＜第１２実施形態＞
上記した第１１実施形態では、画素領域１１３ＡにおいてＡＦ領域とＡＥ領域とが設定されていた（図３８及び図４１参照）。これに対して、第１２実施形態では、画素領域１１３Ａにおいて静止画を撮像するための静止画領域と動画を撮像するための動画領域とが設定される。
図４２は、第１２実施形態のシステム制御部２０７０が実行する撮影モード設定処理を説明するためのフローチャートである。図４２に示す撮影モード設定処理は、図３２及び図３３に示した撮影動作が行われる前に実行される。図４２に示すように、まず、システム制御部２０７０は、使用者が操作部２０５５などの操作により設定した撮影モードを確認する（ステップＳ２０５１）。そして、システム制御部２０７０は、ステップＳ２０５１で確認した撮影モードが通常撮影モードであるか否かを判定する（ステップＳ２０５２）。ここで、通常撮影モードとは、設定部２０７１が画素領域（撮像領域）１１３Ａを静止画領域と動画領域とに分割せずに、画素領域１１３Ａを１つの領域として被写体の静止画又は動画を撮影する撮影モードをいう。この通常撮影モードは、一般的に行われている通常の静止画又は動画を撮影する撮影モードである。すなわち、第１０実施形態及び第１１実施形態で説明した静止画又は動画を撮影する撮影モードである。
システム制御部２０７０は、ステップＳ２０５１で確認した撮影モードが通常撮影モードであると判定した場合は、撮影モードとして通常撮影モードに設定する（ステップＳ２０５３）。一方、システム制御部２０７０は、ステップＳ２０５１で確認した撮影モードが通常撮影モードでないと判定した場合は、撮影モードをミックスモードに設定する（ステップＳ２０５４）。ここで、ミックスモードとは、設定部２０７１が画素領域１１３Ａを静止画領域と動画領域とに分割し、静止画領域において静止画を撮影し、動画領域において動画を撮影する撮影モードをいう。このミックスモードでは、静止画と動画とを同時に撮影することができる。なお、ライブビュー画像は静止画領域において撮影される。
図４３は、第１２実施形態に係る静止画領域２１１８と動画領域２１１９との配列パターンを示す図である。図４３に示す静止画領域２１１８と動画領域２１１９との配列パターンは、図３８に示したＡＦ領域２１１４とＡＥ領域２１１５との配列パターンと同様である。すなわち、画素領域１１３Ａにおいて静止画領域２１１８と動画領域２１１９とが市松模様を構成するように配置されている。なお、図４３において、ブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックが設定されているが、図４３に示すブロックの数よりも多い数のブロックが画素領域１１３Ａに設定されてもよい。
図４４は、第１２実施形態の撮像素子２１００の撮像領域１１３Ａにおける主要被写体領域２２２１と部分領域２２２２と非主要被写体領域２２２３とを示す図である。図４４に示すように、設定部２０７１は、検出部２０３１が検出した主要被写体である人物Ｏ１１０を含む主要被写体領域２２２１を設定する。また、設定部２０７１は、検出部２０３１が検出した主要被写体である人物Ｏ１１０の顔を含む部分領域２２２２を設定する。また、設定部２０７１は、画素領域１１３Ａにおける主要被写体領域２２２１及び部分領域２２２２以外の領域を非主要被写体領域２２２３として設定する（ステップＳ２００５参照）。なお、本実施形態では、表示制御部２０７３は、静止画領域２１１８で撮影された画像をライブビュー画像として表示部２０５０の表示面２０５１に表示する（ステップＳ２００２参照）。また、検出部２０３１は、静止画領域２１１８で撮影された被写体の画像データに基づいて主要被写体（人物Ｏ１１０）の検出と主要被写体の一部分（人物Ｏ１１０の顔）の検出を行う（ステップＳ２００３，Ｓ２００４参照）。
設定部２０７１は、第１０実施形態で説明した場合と同様に、主要被写体領域２２２１と部分領域２２２２と非主要被写体領域２２２３とで異なる撮像条件を設定する（ステップＳ２００６参照）。具体的には、設定部２０７１は、主要被写体領域２２２１に対して非主要被写体領域２２２３よりも高いフレームレートかつ高いゲインを設定する。また、設定部２０７１は、部分領域２２２２に対して主要被写体領域２２２１よりも高いフレームレートかつ高いゲインを設定する。さらに、設定部２０７１は、主要被写体領域２２２１において、静止画領域２１１８に対して動画領域２１１９よりも低いフレームレートを設定する。同様に、設定部２０７１は、部分領域２２２２において、静止画領域２１１８に対して動画領域２１１９よりも低いフレームレートを設定する。同様に、設定部２０７１は、非主要被写体領域２２２３において、静止画領域２１１８に対して動画領域２１１９よりも低いフレームレートを設定する。このように、静止画領域２１１８のフレームレートを動画領域２１１９のフレームレートよりも低くするのは、ライブビュー画像は被写体の動きの滑らかな画像である必要がないためである。なお、設定部２０７１は、フレームレートやゲイン以外の撮像条件については、それぞれの領域の被写体に適した撮像条件を自動的に設定し、又は使用者の操作部２０５５などの操作に応じて設定する。
その後、ＡＦ処理部２０７４は、静止画領域２１１８で撮影された被写体の画像データに基づいてＡＦ処理を実行する（ステップＳ２００７参照）。また、ＡＥ処理部２０７５は、静止画領域２１１８で撮影された被写体の画像データに基づいてＡＥ処理を実行する（ステップＳ２００８参照）。
その後、システム制御部２０７０は、使用者によるレリーズスイッチの半押し操作（ステップＳ２０１０）に応じて、図３２に示したステップＳ２０１１からステップＳ２０１４の処理を静止画領域２１１８で生成された画像データに基づいて実行する。また、システム制御部２０７０は、使用者によるレリーズスイッチの全押し操作（ステップＳ２０１５）に応じて、図３２に示したステップＳ２０１６，Ｓ２０１７の処理を静止画領域２１１８で生成された画像データに基づいて実行する。また、システム制御部２０７０は、使用者による動画スイッチの操作（ステップＳ２０２０）に応じて、図３３に示したステップＳ２０２１からステップＳ２０３０の処理を動画領域２１１９で生成された画像データに基づいて実行する。
図４５は、第１２実施形態の表示部２０５０Ａの第１表示例を示す図である。図４５に示すように、第１２実施形態の表示部２０５０Ａは、静止画領域２１１８で撮影された静止画（静止画の撮影前はライブビュー画像）を表示するための第１表示領域２０５１Ａと、動画領域２１１９で撮影された動画を表示するための第２表示領域２０５１Ｂとが形成されている。図４５に示すように、第１表示領域２０５１Ａでは、図３５に示した表示例と同様に、主要被写体である人物Ｏ１１０を囲う枠２６０１と、人物Ｏ１１０の顔を囲う枠２６０２とが表示されている。このような構成によれば、使用者が静止画（又はライブビュー画像）と動画とを同時に確認することができる。
図４６は、第１２実施形態の表示部２０５０Ｂの第２表示例を示す図である。図４６に示すように、第１２実施形態の表示部２０５０Ｂは、静止画領域２１１８で撮影された静止画（静止画の撮影前はライブビュー画像）を表示するための第１表示領域２０５１Ａと、動画領域２１１９で撮影された動画を表示するための第２表示領域２０５１Ｂと、主要被写体である人物Ｏ１１０（つまり主要被写体領域２５１１）を拡大表示するための第３表示領域２０５１Ｃと、主要被写体の一部分である人物Ｏ１１０の顔（つまり部分領域２５１２）を拡大表示するための第４表示領域２０５１Ｄとが形成されている。図４６に示すように、第１表示領域２０５１Ａ及び第３表示領域２０５１Ｃでは、図３５に示した表示例と同様に、主要被写体である人物Ｏ１１０を囲う枠２６０１と、人物Ｏ１１０の顔を囲う枠２６０２とが表示されている。また、第４表示領域２０５１Ｄでは、人物Ｏ１１０の顔を囲う枠２６０２が表示されている。このような構成によれば、使用者が静止画（又はライブビュー画像）と動画とを同時に確認することができる。また、使用者が人物Ｏ１１０及びその顔（顔の表情）を容易に確認することができる。
以上に説明したように、第１２実施形態では、設定部２０７１は、撮像領域１１３Ａにおいて、静止画を撮像するための第５領域（例えば静止画領域２１１８）と、動画を撮像するための第６領域（例えば動画領域２１１９）とを設定し、第５領域において、第１領域（例えば主要被写体領域２２２１）と第２領域（例えば非主要被写体領域２２２３）とを設定する。このような構成によれば、上記した第１０実施形態の効果に加え、静止画と動画とを同時に撮像することが可能となる。
また、第１２実施形態では、制御部２０７２は、第５領域（例えば静止画領域２１１８）と第６領域（例えば動画領域２１１９）とを異なる撮像条件で撮像を行わせる。このような構成によれば、静止画を撮像するために適した撮像条件で撮像することができるとともに、動画を撮像するために適した撮像条件で動画を撮像することができる。また、第１２実施形態では、設定部２０７１は、撮像領域１１３Ａにおいて、第５領域（例えば静止画領域２１１８）を分散的に配置するとともに第６領域（例えば動画領域２１１９）を分散的に配置する。このような構成によれば、同一の被写体（厳密には使用者にとって同一に見える被写体）について静止画と動画とを同時に撮像することができる。
なお、上記した第１２実施形態では、静止画領域２１１８のフレームレートを動画領域２１１９のフレームレートよりも低くしていたが、静止画領域２１１８のフレームレートを動画領域２１１９のフレームレートよりも高くしてもよい。また、静止画の本撮像を行うときには（つまりステップＳ１７の撮像処理を実行するときには）、制御部２０７２は静止画領域２１１８で撮像を行うのではなく画素領域１１３Ａの全画素で撮像を行うようにしてもよい。また、図４６において、検出部２０３１が主要被写体（人物Ｏ１１０）を検出していない場合には、表示部２０５０Ｂにおいて第１表示領域２０５１Ａだけを大きく表示するようにしてもよい。また、静止画領域２１１８を構成する各ブロック内において例えば図４１に示したＡＦ領域とＡＥ領域とを設定してもよい。また、動画領域２１１９を構成する各ブロック内において例えば図４１に示したＡＦ領域とＡＥ領域とを設定してもよい。
＜第１３実施形態＞
第１３実施形態では、上記した第１０実施形態におけるデジタルカメラ２００１を、撮像装置２００１Ａと電子機器２００１Ｂとに分離した構成としている。
図４７は、第１３実施形態に係る撮像装置２００１Ａ及び電子機器２００１Ｂの構成を示すブロック図である。図４７に示す構成において、撮像装置２００１Ａは、被写体の撮像を行う装置である。この撮像装置２００１Ａは、レンズ部２０１０、撮像部２０２０、画像処理部２０３０、ワークメモリ２０４０、操作部２０５５、記録部２０６０、及び第１システム制御部２０７０Ａを備える。なお、撮像装置２００１Ａのうち、レンズ部２０１０、撮像部２０２０、画像処理部２０３０、ワークメモリ２０４０、操作部２０５５、及び記録部２０６０の構成は、図３１に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器２００１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器２００１Ｂは、表示部２０５０及び第２システム制御部２０７０Ｂを備える。なお、電子機器２００１Ｂのうちの表示部２０５０の構成は、図３１に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第１システム制御部２０７０Ａは、第１通信部２０７５Ａを有している。また、第２システム制御部２０７０Ｂは、第２通信部２０７５Ｂを有している。第１通信部２０７５Ａと第２通信部２０７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部２０７０Ａは、第１通信部２０７５Ａを介して画像データ（画像処理部２０３０が画像処理した画像データ、記録部２０６０に記録されている画像データ）を第２通信部２０７５Ｂに送信する。第２システム制御部２０７０Ｂは、第２通信部２０７５Ｂにおいて受信した画像データを表示部２０５０に表示させる。
図３１に示す構成（設定部２０７１、制御部２０７２、表示制御部２０７３、ＡＦ処理部２０７４及びＡＥ処理部２０７５）は、第１システム制御部２０７０Ａと第２システム制御部２０７０Ｂのいずれに設けられてもよい。図３１に示すすべての構成は、第１システム制御部２０７０Ａ又は第２システム制御部２０７０Ｂに設けられてもよく、また図３１に示す構成の一部が第１システム制御部２０７０Ａに設けられ、図３１に示す構成の一部以外の構成が第２システム制御部２０７０Ｂに設けられてもよい。
なお、撮像装置２００１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器２００１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図４７に示す第１システム制御部２０７０Ａは、ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。また、図４７に示す第２システム制御部２０７０Ｂは、ＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第１３実施形態では、第１０実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置２００１Ａで撮像されている画像を電子機器２００１Ｂの表示部２０５０に表示させることができる。
なお、図４７に示す構成において、画像処理部２０３０と第１システム制御部２０７０Ａとは一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部２０３０の機能と第１システム制御部２０７０Ａの機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部２０２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部２０３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部２０７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。
また、図３８に示した配列パターンでは、ＡＦ領域２１１４とＡＥ領域２１１５とが市松模様となるように配置していたが、ＡＦ領域２１１４のラインとＡＥ領域２１１５のラインとが行方向又は列方向に交互に配置されてもよい。また、図４３に示した配列パターンでは、静止画領域２１１８と動画領域２１１９とが市松模様となるように配置されていたが、静止画領域２１１８のラインと動画領域２１１９のラインとが行方向又は列方向に交互に配置されてもよい。
また、上記した第１０実施形態において、検出部２０３１は、公知の顔検出機能を用いて主要被写体である人物や顔を検出していた。しかし、このような構成に限定されず、検出部２０３１は、画像処理部２０３０から時系列的に得られる複数の画像データ（フレーム）を比較して、移動する被写体（移動被写体）を主要被写体として検出してもよい。また、検出部２０３１は、画像データにおける明部と暗部のコントラストや色変化に基づいて主要被写体の境界を特定して主要被写体を検出してもよい。
また、上記した各実施形態では、設定部２０７１が所定領域において高フレームレート及び高ゲインを設定することにより、検出部２０３１が所定領域において高精度で主要被写体の検知を行い、ＡＦ処理部２０７４が所定領域において高速に焦点位置の検出を行うように構成していた。しかし、このような構成に限定されず、設定部２０７１が所定領域において高フレームレート及び高ゲインのいずれかを設定することにより、検出部２０３１が所定領域において高精度で主要被写体の検知を行い、ＡＦ処理部２０７４が所定領域において高速に焦点位置の検出を行うように構成してもよい。
また、図３５に示したサブ画面２０５１Ｓは、表示面２０５１の右上に配置していたが、このような位置に限定されない。例えば、検出部２０３１が検出した主要被写体の近傍の任意の位置に配置してもよい。ただし、サブ画面２０５１Ｓは主要被写体と重複しない位置であることを望ましい。また、サブ画面２０５１Ｓは、固定であってもよく、また使用者の操作（例えば使用者によるタッチパネル２０５２の操作）に応じて移動可能であってもよい。また、サブ画面２０５１Ｓのサイズも、固定であってもよく、また使用者の操作（例えば使用者によるタッチパネル２０５２の操作）に応じて変更可能であってもよい。なお、使用者の操作に応じてサブ画面２０５１Ｓのサイズが変更された場合に、サブ画面２０５１Ｓ内に表示されている画像のサイズもサブ画面２０５１Ｓのサイズの変更に合わせて変更してもよく、またサブ画面２０５１Ｓ内に表示されている画像のサイズはサブ画面２０５１Ｓのサイズの変更にかかわらず固定であってもよい。
また、図３７に示した構成では、設定部２０７１は、検出部２０３１が主要被写体を検出したことに基づいて、画素領域１１３Ａにおいて、ＡＦ領域２１１４とＡＥ領域２１１５とが設定された状態と、ＡＦ領域２１１４とＡＥ領域２１１５とが設定されていない状態とを切り替えるように構成していた。すなわち、被写体の状態変化を検出する検出部２０３１と、検出部２０３１が検出する状態変化（主要被写体の検出）を契機として、撮像素子２１００の撮像領域１１３Ａにおいて、被写体の焦点位置の検出を行うための領域（例えばＡＦ領域２１１４）と露出検出を行うための領域（例えばＡＥ領域２１１５）とが設定された第１設定状態と、第１設定状態とは異なる第２設定状態（ＡＦ領域２１１４とＡＥ領域２１１５とが設定されていない状態）とを切り替える切替部（設定部２０７１）と、を備える構成であった。しかし、切替部（設定部２０７１）は、検出部２０３１が主要被写体（ターゲット）を検出したことを契機として、第１設定状態と第２設定状態とを切り替える場合に限らず、例えば、ＡＦ処理部２０７４が検出した焦点位置が変化したことなどを契機として、第１設定状態と第２設定状態とを切り替える構成であってもよい。
＜第１４実施形態＞
図４８は、第１４実施形態に係るデジタルカメラ３００１の構成を示すブロック図である。なお、図４８において、電子機器の一例であるデジタルカメラ３００１は図７のデジタルカメラ１に相当し、レンズ部３０１０は図７のレンズ部１０に相当し、撮像部３０２０は図７の撮像部２０に相当し、撮像素子３１００は図７の撮像素子１００に相当し、駆動部３０２１は図７の駆動部２１に相当し、画像処理部３０３０は図７の画像処理部３０に相当し、ワークメモリ３０４０は図７のワークメモリ４０に相当し、表示部３０５０は図７の表示部５０に相当し、表示パネル３０５１は図７の表示パネル５１に相当し、タッチパネル３０５２は図７のタッチパネル５２に相当し、操作部３０５５は図７の操作部５５に相当し、記録部３０６０は図７の記憶部６０に相当し、システム制御部３０７０は図７のシステム制御部７０に相当する。これらの構成のうち、レンズ部３０１０、撮像部３０２０、撮像素子３１００、駆動部３０２１、ワークメモリ３０４０、表示部３０５０、操作部３０５５、記録部３０６０の構成については説明を省略する。
本実施形態では、画像処理部３０３０は、図７の画像処理部３０が実行する処理のほかに、ＲＡＷデータの各画素の階調値に基づいて、被写体像の輝度分布を表す輝度分布データを生成する。なお、輝度分布データのことを輝度マッピング情報ともいう。
また、本実施形態では、画像処理部３０３０は、図４８に示すように変換部３０３１を備えている。変換部３０３１は、撮像素子３１００の画像領域（撮像領域）１１３Ａにおいて複数の領域ごとに異なる撮像条件（例えば、電荷蓄積時間、フレームレート、ゲイン）で撮像された場合に、ＲＡＷデータにおける各領域の輝度レベルを、各領域において同一又は略同一の撮像条件で撮像された場合の輝度レベルに変換する。画像処理部３０３０は、変換部３０３１で変換されたＲＡＷデータに対して各種画像処理を実行する。
システム制御部３０７０は、デジタルカメラ３００１の全体の処理及び動作を制御する。このシステム制御部３０７０はボディ側ＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部３０７０は、撮像素子３１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部３０７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部３０２１に対して指示する。
また、システム制御部３０７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部３０７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部３０２１に対して指示する。また、画像処理部３０３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部３０７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０３０に指示する。
また、システム制御部３０７０は、画像処理部３０３０において生成された画像データを記録部３０６０に記録させる。また、システム制御部３０７０は、画像処理部３０３０において生成された画像データを表示部３０５０に出力させることにより、表示部３０５０に画像を表示させる。また、システム制御部３０７０は、記録部３０６０に記録されている画像データを読み出して表示部３０５０に出力させることにより、表示部３０５０に画像を表示させる。表示部３０５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
本実施形態では、システム制御部３０７０は、図４８に示すように、領域分割部３０７１及び制御部３０７２を備えている。領域分割部３０７１は、画像処理部３０３０で生成された被写体像の輝度分布データを取得する。そして、領域分割部３０７１は、取得した輝度分布データに基づいて被写体像における各画素の輝度レベルを認識し、撮像素子３１００の撮像領域１１３Ａを輝度レベルに応じた複数の領域にブロック単位で分割する。
制御部３０７２は、領域分割部３０７１により分割された各領域の輝度レベルが特定範囲（例えば、撮像素子３１００の飽和レベルの３５％〜８０％の範囲；図５１参照）内に入るように撮像素子３１００の撮像条件（例えば、電荷蓄積時間、フレームレート、ゲイン）を各領域ごとに設定する。また、制御部３０７２は、各領域ごとに設定した撮像条件で撮像を行わせるように撮像素子３１００の駆動制御を行う。また、制御部３０７２は、画像処理部３０３０で生成された静止画及び動画の画像データを記録部３０６０に記録する制御を行う。制御部３０７２は、画像処理部３０３０で生成された画像データを表示部３０５０に出力させて、表示部３０５０の表示画面３０５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。
なお、システム制御部３０７０において、領域分割部３０７１及び制御部３０７２は、それぞれ、ボディ側ＣＰＵが制御プログラムに基づいて実行する処理及び制御に相当する。
次に、第１４実施形態に係るデジタルカメラ３００１の撮影動作について説明する。図４９は、第１４実施形態のシステム制御部３０７０が実行する撮影動作を説明するためのフローチャートである。図４９に示す処理において、デジタルカメラ３００１に電源が投入された後、使用者が撮影を開始するために操作部３０５５などの操作を行うと、制御部３０７２は、ライブビュー画像の撮影を開始する（ステップＳ３００１）。すなわち、制御部３０７２は、駆動部３０２１に対して指示信号を出力することにより撮像素子３１００の駆動制御を実行させる。このとき、制御部３０７２は、撮像素子３１００の画素領域１１３Ａの全面において同一のライブビュー画像用の撮像条件（例えば予め定められた初期設定の撮像条件）で撮像を行わせる。また、制御部３０７２は、撮像素子３１００で撮像されたライブビュー画像を表示部３０５０の表示画面３０５１に表示する（ステップＳ３００２）。
図５０は、輝度レベルに応じた複数の領域ａ１１，ａ１２，ａ２１，ａ２２，ａ３１，ａ４１からなる画像３５００の表示例を示す図である。例えば、図５０に示すような画像３５００がステップＳ３００１において撮像され、ステップＳ３００２において表示部３０５０の表示画面３０５１にライブビュー画像として表示されるものとする。
図５０に示す画像３５００では、被写体として、家Ｏ２１０、地面Ｏ２２０、空Ｏ２３０、及び太陽Ｏ２４０が写っている。図５０に示すように、画像３５００において、太陽Ｏ２４０からの光が当たっていない家Ｏ２１０の側面の領域ａ１１は、輝度レベルが最も低い領域である。この領域ａ１１の平均的な輝度レベルをレベル（１）という。また、家Ｏ２１０の屋根の領域ａ１２は、レベル（１）よりも輝度レベルが高い。この領域ａ１２の平均的な輝度レベルをレベル（２）という。
また、地面Ｏ２２０における家Ｏ２１０の影の領域ａ２１は、領域ａ１１と同じような輝度レベル（つまりレベル（１））となっている。また、地面Ｏ２２０における領域ａ２１以外の領域ａ２２（地面Ｏ２２０における太陽Ｏ２４０からの光が当たっている領域）も、領域ａ２１と同じような輝度レベル（つまりレベル（２））となっている。また、空Ｏ２３０の領域ａ３１は、レベル（２）よりも輝度レベルが高い。この領域ａ３１の平均的な輝度レベルをレベル（３）という。また、太陽Ｏ２４０及び太陽Ｏ２４０の周りの領域ａ４１は、輝度レベルが最も高い領域である。この領域ａ４１の平均的な輝度レベルをレベル（４）という。なお、図５０において、領域ａ１２における点Ａ１と領域ａ２２における点Ａ２とを結ぶ線は、領域ａ１２と領域ａ２２との境界線と直角な法線方向の線を示している。
その後、システム制御部３０７０は、レリーズスイッチの半押し操作（ＳＷ１の操作）が行われたか否かを判定する（ステップＳ３００３）。システム制御部３０７０は、レリーズスイッチの半押し操作が行われていないと判定した場合は、上記のステップＳ３００１及びＳ３００２の処理を繰り返し実行する。
システム制御部３０７０は、レリーズスイッチの半押し操作が行われたと判定した場合は（ステップＳ３００３のＹＥＳ）、ＡＦ処理などの撮影準備処理を実行する。また、領域分割部３０７１は、画像処理部３０３０で生成される輝度分布データを取得する（ステップＳ３００４）。具体的には、領域分割部３０７１は、画像処理部３０３０に対して輝度分布データの生成を指示する指示信号を出力する。画像処理部３０３０は、画像処理部３０３０からの指示信号を受け取ると、ライブビュー画像のＲＡＷデータにおける各画素の階調値に基づいて、各画素の輝度値（輝度レベル）の分布を表す輝度分布データを生成する。例えば、画像処理部３０３０は、ＲＡＷデータにおける各画素のＲＧＢそれぞれの階調値（例えば０〜２５５の値）を所定の変換式に基づいて各画素の輝度値に変換して輝度分布データを生成する。この輝度分布データにおいては、各画素の輝度値が等高線のように表される。そして、画像処理部３０３０は、生成した輝度分布データをシステム制御部３０７０に出力する。領域分割部３０７１は、画像処理部３０３０から出力された輝度分布データを取得する。
次に、領域分割部３０７１は、取得した輝度分布データに基づいて被写体像における各画素の輝度レベルを認識し、輝度レベルの閾値に基づいて撮像素子３１００の撮像領域１１３Ａを輝度レベルに応じた複数の領域にブロック単位で分割する（ステップＳ３００５）。
図５１は、図５０に示す被写体Ｏ２１０〜Ｏ２４０の明るさと撮像素子３１００の輝度レベルとの関係を示すグラフである。図５１において、横軸は、図５０に示す画像３５００における各被写体Ｏ２１０〜Ｏ２４０の実際の明るさを示している。また、縦軸は、撮像素子３１００が各被写体Ｏ２１０〜Ｏ２４０の実際の明るさに応じて出力する画像信号の輝度レベル（つまり画像信号の出力レベル）を示している。
撮像素子３１００では、被写体の明るさに応じて画像信号の輝度レベルが変化する。しかし、被写体の明るさがある明るさ以上になると画像信号の輝度レベルが上昇せず一定となる。このような画像信号の輝度レベルが飽和レベルである。画像信号の輝度レベルが飽和レベルを超えると画像において白飛びが発生する。また、被写体の明るさがある輝度レベル以下になると画像信号の出力レベルが低下せずに一定となる。この場合は、画像において黒つぶれが発生する。撮像素子３１００において、白飛びが発生せず、かつ黒つぶれが発生しない輝度レベルの範囲を許容範囲という。
図５１に示す例では、領域ａ４１（太陽Ｏ２４０及び太陽Ｏ２４０の周囲）の実際の明るさが、ある明るさｌ２以上であり、撮像素子３１００の画像信号の輝度レベルが飽和レベルとなっている。従って、領域ａ４１の画像は白飛びが発生している。また、領域ａ１１，ａ１２（家Ｏ２１０の側面及び家Ｏ２１０の影の部分）の実際の明るさが、ある明るさｌ１以下であり、領域ａ１１，ａ１２の画像は黒つぶれが発生している。
また、撮像素子３１００では、輝度レベルの許容範囲のすべてにおいて被写体の明るさの上昇に比例して撮像素子３１００の画像信号の輝度レベルが上昇するわけではない。撮像素子３１００では、輝度レベルの許容範囲のうちのある範囲において被写体の明るさの変化と輝度レベルの変化との間に線形性があり、それ以外の範囲においては被写体の明るさの変化と輝度レベルの変化との間に線形性がない。このように被写体の明るさの変化と輝度レベルの変化との間に線形性がある輝度レベルの範囲を特定範囲という。本実施形態においては、図５１に示すように、特定範囲は、撮像素子３１００の飽和レベルを１００％とした場合に、その飽和レベルの３５％〜８０％の輝度レベルの範囲となっている。
本実施形態では、図５１に示すように、輝度レベルの閾値として、飽和レベルの３５％の輝度レベルを閾値ｔ１１とし、飽和レベルの８０％の輝度レベルを閾値ｔ１２とし、飽和レベル（１００％）を閾値ｔ１３としている。また、図５１に示すように、領域ａ１１，ａ１２の輝度レベル（レベル（１））は閾値ｔ１１未満であり、領域ａ２１，ａ２２の輝度レベル（レベル（２））は閾値ｔ１１以上で閾値ｔ１２未満であり、領域ａ３１の輝度レベル（レベル（３））は閾値ｔ１２以上で閾値ｔ１３未満であり、領域ａ４１の輝度レベル（レベル（３））は閾値ｔ１３以上である。従って、ステップＳ３００５において、領域分割部３０７１は、輝度レベルの閾値ｔ１１，ｔ１２，ｔ１３に基づいて、撮像素子３１００の画素領域１１３Ａを、輝度レベルが閾値ｔ１１未満の領域ａ１１，ａ１２と、輝度レベルが閾値ｔ１１以上で閾値ｔ１２未満の領域ａ２１，２２と、輝度レベルが閾値ｔ１２以上で閾値ｔ１３未満の領域ａ３１と、輝度レベルが閾値ｔ１３以上の領域ａ４１とに分割する。なお、このように領域分割部３０７１が閾値を設定したことにより、特定範囲は閾値ｔ１１から閾値ｔ１２までの範囲となっている。
次に、制御部３０７２は、領域分割部３０７１が分割した各領域の輝度レベルが特定範囲内に属するように撮像素子３１００の撮像条件を各領域ごとに設定する（ステップＳ３００６）。例えば、制御部３０７２は、領域ａ１１，ａ１２におけるゲインを高くしたり、電荷蓄積時間を長くすることにより、領域ａ１１，ａ１２の輝度レベルを高くする。また、制御部３０７２は、領域ａ３１及び領域ａ４１の電荷蓄積時間を短くすることにより、領域ａ３１及び領域ａ４１の輝度レベルをそれぞれ低くする。
ステップＳ３００６において、制御部３０７２が各領域ごとに撮像条件を設定しても、明るい部分と暗い部分との差が大きいような場合には、各領域の輝度レベルが特定範囲に属さないことが生じ得る。例えば、制御部３０７２が領域ａ１２の輝度レベルが特定範囲に属するように領域ａ１２のゲインを高くすると、領域ａ１２と領域ａ２２との境界付近の輝度レベルが高くなりすぎて特定範囲に属さなくなる。また、制御部３０７２が領域ａ４１の輝度レベルが特定範囲に属するように領域ａ４１の電荷蓄積時間を短くすると、領域ａ４１と領域ａ３１との境界付近の輝度レベルが低くなりすぎて特定範囲に属さなくなる。
そこで、制御部３０７２は、ステップＳ３００６において撮像条件を設定した後の各領域の輝度レベルが特定範囲に属しているか否かを判定する（ステップＳ３００７）。そして、制御部３０７２が未だ輝度レベルが特定範囲に属していないと判定した場合は、領域分割部３０７１は、特定範囲に属していない部分（領域）について再び領域分割を実行する（ステップＳ３００５）。また、制御部３０７２は、領域分割部３０７１により領域分割された各領域の輝度レベルが特定範囲に属するように、各領域に対する撮像条件の設定を実行する（ステップＳ３００６）。領域分割部３０７１及び制御部３０７２は、撮像素子３１００のすべての画素領域１１３Ａの輝度レベルが特定範囲に属するまで、上記のようなステップＳ３００５〜Ｓ３００７の処理を繰り返し実行する。
図５２は、図５０の点Ａ１と点Ａ２との間における輝度レベルの変化を示す波形図である。図５２において、横軸は点Ａ１と点Ａ２との間の距離を示し、縦軸は領域ａ１２及び領域ａ２２の輝度レベルを示している。上述したように、点Ａ１は領域ａ１２に存在し、点Ａ２は領域ａ２２に存在する。また、点Ａ１と点Ａ２とを結ぶ線は、領域ａ１２と領域ａ２２との境界線と直角な法線方向の線である。
図５２に示すように、領域ａ１２と領域ａ２２との境界付近では、領域ａ２２の輝度レベル（レベル（２））が領域ａ１２の輝度レベル（レベル（１））まで急激に低下している。領域ａ２２の輝度レベルと領域ａ１２の輝度レベルとの間には閾値ｔ１１が存在している。本実施形態では、輝度レベルの閾値ｔ１１の地点から領域ａ１２の輝度レベルに到達する地点までの領域を境界領域ｒ１０という。なお、図５２においては、領域ａ１２及び領域ａ２２のゲインは１倍（例えばＩＳＯ感度が１００）とされているものとする。
図５３は、図５２に示す輝度レベルが特定範囲内に入るように領域分割と撮像条件の設定とが行われた場合の輝度レベルを示す波形図である。図５３において、横軸は点Ａ１と点Ａ２との間の距離を示し、縦軸は領域ａ１２、領域ａ２２、及び境界領域ｒ１０の輝度レベルを示している。ステップＳ３００６において、制御部３０７２は、境界領域ｒ１０及び領域ａ１２の輝度レベルを閾値ｔ１２より少し下の輝度レベルまで上昇させるように、境界領域ｒ１０及び領域ａ１２のゲインを高くする。例えば、制御部３０７２は、境界領域ｒ１０及び領域ａ１２のゲインを２倍に設定する。この場合、図５３（Ａ）に示すように、境界領域ｒ１０及び領域ａ１２の輝度レベルが２倍上昇する。
ステップＳ３００７において、制御部３０７２は、図５３（Ａ）に示すように、境界領域ｒ１０及び領域ａ１２の輝度レベルが未だ特定範囲（閾値ｔ１１から閾値ｔ１２までの範囲）に属していないと判定する。この場合、ステップＳ３００５において、領域分割部３０７１は、境界領域ｒ１０を、閾値ｔ１１よりも輝度レベルが高い境界領域ｒ１１と、閾値ｔ１１よりも輝度レベルが低い境界領域ｒ１２とに分割する。そして、ステップＳ３００６において、制御部３０７２は、境界領域ｒ１２及び領域ａ１２の輝度レベルを閾値ｔ１２より少し下の輝度レベルまで上昇させるように、境界領域ｒ１２及び領域ａ１２のゲインを上昇させる。例えば、制御部３０７２は、境界領域ｒ１２及び領域ａ１２のゲインを領域ａ２２のゲインの４倍（境界領域ｒ１１のゲインの２倍）に設定する。この場合、図５３（Ｂ）に示すように、境界領域ｒ１２及び領域ａ１２の輝度レベルが領域ａ２２のゲインの４倍上昇する。ステップＳ３００７において、制御部３０７２は、図５３（Ｂ）に示すように、境界領域ｒ１２及び領域ａ１２の輝度レベルが特定範囲に属していると判定する。
図５４は、レベル（１）の領域ａ１２とレベル（２）の領域ａ２２との境界に設定される帯状の境界領域ｒ１１，ｒ１２を示す図である。上述したように、領域分割部３０７１及び制御部３０７２がステップＳ３００５〜Ｓ３００７の処理を実行することにより、図５４に示すように、隣り合う領域ａ１２と領域ａ２２との間に帯状の複数の境界領域ｒ１１，ｒ１２が設定される。なお、隣り合う領域間における明るい部分と暗い部分との差が大きいほど、帯状の境界領域の数が多くなる。
図５５は、図５０に示すレベル（３）の領域ａ３１とレベル（４）の領域ａ４１とを示す部分拡大図である。図５５において、点Ｄ１は領域ａ３１に存在し、点Ｄ２は領域ａ４１に存在している。また、領域ａ３１における点Ｄ１と領域ａ４１における点Ｄ２とを結ぶ線は、領域ａ３１と領域ａ４１との境界線と直角な法線方向の線である。
図５６は、図５５の点Ｄ１と点Ｄ２との間における輝度レベルの変化を示す波形図である。図５６において、横軸は点Ｄ１と点Ｄ２との間の距離を示し、縦軸は領域ａ３１及び領域ａ４１の輝度レベルを示している。なお、撮像素子３１００は領域ａ４１の輝度レベルとして飽和レベルの画像信号を出力するが、図５６に示すように、実際の領域ａ４１（太陽Ｏ２４０及びその周囲）の輝度レベルは撮像素子３１００の飽和レベルよりも高い輝度レベルである。本実施形態では、図５６に示すように、領域ａ４１の輝度レベルが低下し始める地点から領域ａ３１の輝度レベルに到達する地点までの領域を境界領域ｒ２０という。なお、図５６においては、領域ａ３１及び領域ａ４１の電荷蓄積時間（シャッター速度）は１／１００秒とされているものとする。
図５７は、図５６に示す輝度レベルが特定範囲内に入るように領域分割と撮像条件の設定とが行われた場合の輝度レベルを示す波形図である。図５７において、横軸は点Ｄ１と点Ｄ２との間の距離を示し、縦軸は領域ａ３１、境界領域ｒ２０、及び領域ａ４１の輝度レベルを示している。ステップＳ３００６において、制御部３０７２は、領域ａ３１、境界領域ｒ２０、及び領域ａ４１の輝度レベルを閾値ｔ１２より少し下の輝度レベルまで低下させるように、領域ａ３１、境界領域ｒ２０、及び領域ａ４１の電荷蓄積時間を短くする。例えば、制御部３０７２は、領域ａ３１、境界領域ｒ２０、及び領域ａ４１の電荷蓄積時間をそれぞれ１／１０（１／１０００秒）に設定する。この場合、領域ａ３１、境界領域ｒ２０、及び領域ａ４１の輝度レベルが１／１０に低下する。
ステップＳ３００７において、制御部３０７２は、領域ａ３１及び境界領域ｒ２０の輝度レベルが未だ特定範囲（閾値ｔ１１から閾値ｔ１２までの範囲）に属していないと判定する。この場合、ステップＳ３００５において、領域分割部３０７１は、境界領域ｒ２０を、閾値ｔ１１よりも輝度レベルが高い境界領域ｒ２１と閾値ｔ１１よりも輝度レベルが低い境界領域ｒ２２とに分割する。そして、ステップＳ３００６において、制御部３０７２は、境界領域ｒ２２及び領域ａ３１の輝度レベルを閾値ｔ１２より少し下の輝度レベルまで上昇させるように、境界領域ｒ２２及び領域ａ３１の電荷蓄積時間を長くする。例えば、制御部３０７２は、境界領域ｒ２２及び領域ａ３１の電荷蓄積時間を２倍（１／５００秒）に設定する。この場合、境界領域ｒ２２及び領域ａ３１の輝度レベルが２倍に上昇する。
ステップＳ３００７において、制御部３０７２は、境界領域ｒ２２及び領域ａ３１の輝度レベルが未だ特定範囲（閾値ｔ１１から閾値ｔ１２までの範囲）に属していないと判定する。この場合、ステップＳ３００５において、領域分割部３０７１は、境界領域ｒ２２を、閾値ｔ１１よりも輝度レベルが高い境界領域ｒ２２ａと閾値ｔ１１よりも輝度レベルが低い境界領域ｒ２２ｂとに分割する。そして、ステップＳ３００６において、制御部３０７２は、境界領域ｒ２２ｂ及び領域ａ３１の輝度レベルを閾値ｔ１２より少し下の輝度レベルまで上昇させるように、境界領域ｒ２２ｂ及び領域ａ３１の電荷蓄積時間を長くする。例えば、制御部３０７２は、境界領域ｒ２２ｂ及び領域ａ３１の電荷蓄積時間を２倍（１／２５０秒）に設定する。この場合、境界領域ｒ２２ｂ及び領域ａ３１の輝度レベルが２倍に上昇する。ステップＳ３００７において、制御部３０７２は、図５７に示すように、境界領域ｒ２２ｂ及び領域ａ３１の輝度レベルが特定範囲に属していると判定する。
なお、図５２及び図５３では、点Ａ１と点Ａ２との間を結ぶ線上における領域分割と撮像条件の設定（ステップＳ３００５〜Ｓ３００７の処理）とを説明し、また、図５６及び図５７では、点Ｄ１と点Ｄ２とを結ぶ線上における領域分割と撮像条件の設定（ステップＳ３００５〜Ｓ３００７の処理）とを説明していた。しかし、システム制御部３０７０（領域分割部３０７１及び制御部３０７２）は、隣り合う領域間の境界に対するすべての法線方向の直線上において領域分割と撮像条件の設定（ステップＳ３００５〜Ｓ３００７の処理）とを実行する。
図４９の説明に戻り、システム制御部３０７０は、ステップＳ３００７において輝度レベルが特定範囲内に属していると判定した場合は、使用者によりレリーズスイッチの全押し操作（ＳＷ２の操作）が行われたか否かを判定する（ステップＳ３００８）。システム制御部３０７０がレリーズスイッチの全押し操作が行われていないと判定した場合は（ステップＳ３００８のＮＯ）、上記したステップＳ３００１からステップＳ３００７までの処理を繰り返し実行する。
システム制御部３０７０がレリーズスイッチの全押し操作が行われたと判定した場合は（ステップＳ３００８のＹＥＳ）、制御部３０７２は、静止画の撮像処理を実行する（ステップＳ３００９）。すなわち、制御部３０７２は、ステップＳ３００６で各領域ごとに設定した撮像条件（電荷蓄積時間、ゲインなど）で撮像を行わせるように撮像素子３１００の駆動制御を行う。具体的には、制御部３０７２は、ステップＳ３００５で設定した複数の領域をブロック単位での設定を指示する指示信号を駆動部３０２１に出力する。また、制御部３０７２は、ステップＳ３００６で各領域ごとに設定した撮像条件を指示する指示信号を駆動部３０２１に出力する。駆動部３０２１は、制御部３０７２からの指示信号に基づいて、各領域ごとの撮像条件で撮像を実行する。
図５８は、各領域ａ４１，ｒ２１，ｒ２２ａ，ｒ２２ｂ，ａ３１における撮像タイミングを示すタイミングチャートである。図５８に示すように、制御部３０７２は、ステップＳ３００６において領域ａ４１及び境界領域ｒ２１の電荷蓄積時間Ｔ１（例えば１／１０００秒）を設定し、境界領域ｒ２２ａの電荷蓄積時間Ｔ２（例えば、１／５００秒）を設定し、境界領域ｒ２２ｂ及び領域ａ３１の電荷蓄積時間Ｔ３（例えば１／２５０秒）を設定したものとする。この場合、ステップＳ３００９において、制御部３０７２は、領域ａ４１及び境界領域ｒ２１について電荷蓄積時間Ｔ１で撮像を行い、境界領域ｒ２２ａについて電荷蓄積時間Ｔ２で撮像を行い、境界領域ｒ２２ｂ及び領域ａ３１について電荷蓄積時間Ｔ３で撮像を行う。このように、制御部３０７２は、複数の領域ごとの撮像条件による撮像タイミングの一部が重複するように撮像素子３１００を制御する。
一般に、幅広いダイナミックレンジの画像を記録し表示するための画像合成技術として、ＨＤＲ(High Dynamic Range)撮像が広く知られている。ＨＤＲ撮像では、撮像条件（例えば露出）を変化させつつ複数枚の画像を撮像し、それらを合成することにより白飛びや黒つぶれの少ない画像を生成する。しかし、従来のＨＤＲでは、例えば撮像条件の異なる２枚の画像を撮像する撮像時間が異なっているため、被写体が移動したり、使用者（撮影者）がデジタルカメラ３００１を動かしたりしてしまうことがある。この場合、複数枚の画像は同一の被写体の画像ではないため、画像合成が困難である。これに対して、第１４実施形態では、撮像条件の異なる複数枚の画像の撮像時間を同じ時刻（又は略同じ時刻）とすることができる（図５８参照）。従って、第１４実施形態の構成により従来のＨＤＲ撮像の問題点を解決することができる。画像処理部３０３０が領域毎の画像を合成することにより、ダイナミックレンジの広い画像を生成することができる。
次に、画像処理部３０３０による画像処理について説明する。図５９は、第１４実施形態の画像処理部３０３０が実行する画像処理を説明するためのフローチャートである。画像処理部３０３０は、画像処理部３０３０が撮像素子３１００から出力されるＲＡＷデータを入力すると、図５９に示す画像処理を実行する。図５９に示す処理において、変換部３０３１は、撮像素子３１００の画像領域１１３Ａにおいて複数の領域ごとに異なる撮像条件（電荷蓄積時間、ゲインなど）で撮像が行われた場合には、ＲＡＷデータにおける各領域の輝度レベルを、各領域において同一又は略同一の撮像条件（例えば適正露出となるような電荷蓄積時間やゲインなどの撮像条件）で撮像が行われた場合の輝度レベルに変換する（ステップＳ３０１１）。
具体的には、図４９のステップＳ３００６において、制御部３０７２が各領域ごとに異なるゲイン（例えば、領域ａ１２のＩＳＯ感度が１００、境界領域ｒ１１のＩＳＯ感度が２００、境界領域ｒ１２及び領域ａ２２のＩＳＯ感度が４００）を設定したものとする。この場合には、ステップＳ３０１１において、変換部３０３１は、各領域の輝度レベルを、適正露出となるようなゲイン（例えばＩＳＯ感度が１５０）で撮像が行われた場合の輝度レベルに変換する。また、図４９のステップＳ３００６において、制御部３０７２が各領域ごとに異なる電荷蓄積時間（例えば、領域ａ４１及び境界領域ｒ２１の電荷蓄積時間が１／１０００秒、境界領域ｒ２２ａの電荷蓄積時間が１／５００秒、境界領域ｒ２２ｂ及び領域ａ３１の電荷蓄積時間が１／２５０秒）を設定したものとする。この場合には、ステップＳ３０１１において、変換部３０３１は、各領域の輝度レベルを、適正露出となるような電荷蓄積時間（例えば１／３００秒）で撮像が行われた場合の輝度レベルに変換する。
変換部３０３１が上記のような各領域の輝度レベルの変換処理を行うことにより、各領域の輝度レベルを適正露出となるような輝度レベルに戻す（揃える）ことができる。ただし、画像処理部３０３０は、変換部３０３１が変換処理を行う前のＲＡＷデータをワークメモリ３０４０や記録部３０６０に記録しておく。
次に、画像処理部３０３０は、変換部３０３１がステップＳ３０１１で輝度レベルを変換した各領域のＲＡＷデータを合成する（ステップＳ３０１２）。そして、画像処理部３０３０は、ステップＳ３０１２で合成したＲＡＷデータに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を行う（ステップＳ３０１３）。このとき、画像処理部３０３０は、ステップＳ３０１２で合成したＲＡＷデータだけでなく、変換部３０３１が変換処理を行う前のＲＡＷデータも用いて各種画像処理を行うことで、明るい被写体（例えば太陽Ｏ２４０）に適した輝度レベルの画像データや、暗い被写体（例えば家Ｏ２１０の側面）に適した輝度レベルの画像データなどを生成した場合でも、画像データの輝度分解能が担保される。そして、画像処理部３０３０は、画像データをＪＰＥＧなどの所定のフォーマットの画像データに変換する。
その後、制御部３０７２は、画像処理部３０３０で生成された静止画の画像データを記録部３０６０に記録する制御を行う。また、制御部３０７２は、画像処理部３０３０で生成された画像データを表示部３０５０に出力させて、表示部３０５０の表示画面３０５１に静止画を表示させる。
なお、上記した第１４実施形態において、図４９から図５９を用いてデジタルカメラ３００１が静止画を撮影する動作について説明したが、デジタルカメラ３００１が使用者による動作スイッチの操作に基づく動画を撮影する動作についても第１４実施形態の構成を適用することが可能である。ただし、この場合、ステップＳ３００６において制御部３０７２が領域ごとに電荷蓄積時間を設定する構成に代えて、制御部３０７２が領域ごとにフレームレートを設定する。なお、フレームレートが増加するほど、１フレームあたりの電荷蓄積時間が短くなる。
また、上記した第１４実施形態において、制御部３０７２はステップＳ３００６で領域ごとにゲイン又は電荷蓄積時間を設定して各領域の輝度レベルを変更するようにしていたが、ステップＳ３００６で領域ごとにゲイン及び電荷蓄積時間のいずれも設定して各領域の輝度レベルを変更するようにしてもよい。また、動画の場合は、制御部３０７２は、ステップＳ３００６で領域ごとにゲイン又はフレームレートを設定して各領域の輝度レベルを変更してもよく、またステップＳ３００６でゲイン及びフレームレートのいずれも設定して各領域の輝度レベルを変更してもよい。
以上に説明したように、第１４実施形態では、撮像素子３１００で撮像された被写体像の輝度分布データに基づいて、撮像素子３１００の撮像領域１１３Ａを輝度レベルに応じた複数の領域に分割する領域分割部３０７１と、領域分割部３０７１により分割された各領域の輝度レベルが特定範囲内に入るように撮像素子３１００の撮像条件を各領域ごとに設定する制御部３０７２と、を備える。このような構成によれば、撮像素子の撮像条件を複数の領域ごとに異ならせることでダイナミックレンジの広い画像を取得することができる。
また、第１４実施形態では、領域分割部３０７１は、輝度レベルの閾値（例えば図５１に示す閾値ｔ１１，ｔ１２，ｔ１３）に基づいて撮像領域１１３Ａを複数の領域に分割する。このような構成によれば、領域分割部３０７１は、撮像素子３１００の許容範囲などに基づいて輝度レベルの閾値を設定することができる。従って、領域分割部３０７１は、撮像素子３１００の性能などに応じた適切な輝度レベルの領域に分割することができる。また、領域分割部３０７１は、被写体の実際の明るさなどに基づいて輝度レベルの閾値を設定することができる。従って、領域分割部３０７１は、被写体に応じた適切な輝度レベルの領域に分割することができる。
また、第１４実施形態では、領域分割部３０７１は、制御部３０７２により撮像条件が設定されても、複数の領域のうちの所定領域の輝度レベルが特定範囲内に入らない場合、撮像条件の設定後における所定領域の輝度レベルの閾値に基づいて該所定領域をさらに複数の領域に分割する。このような構成によれば、被写体の輝度差に比べて撮像素子３１００の特定範囲が狭い場合であっても、撮像素子３１００のすべての撮像領域１１３Ａの輝度レベルを特定範囲内に入るようにすることができる。
また、第１４実施形態では、制御部３０７２は、撮像素子３１００の飽和レベルに基づいて特定範囲を決定するので、撮像素子３１００が飽和しない輝度レベルの範囲を特定範囲に決定することができるとともに、被写体からの光量の変化と輝度レベルの変化とが線形な範囲など様々な範囲を特定範囲と決定することもできる。また、第１４実施形態では、制御部３０７２は、撮像条件として、ゲイン、露光時間、及びフレームレートの少なくとも１つを設定するので、制御部３０７２が各領域の輝度レベルが確実に特定範囲に入るように制御することができる。
また、第１４実施形態では、複数の領域ごとの撮像条件に合わせて画像処理を実行する画像処理部３０３０を備えるので、明るい被写体に適した輝度レベルの画像データや、暗い被写体に適した輝度レベルの画像データなどを生成することでき、この場合において、画像データの輝度分解能が担保される。
また、第１４実施形態では、制御部３０７２が設定した撮像条件に基づいて、各領域の輝度レベルを該各領域において同一又は略同一の撮像条件で撮像された場合の輝度レベルに変換する変換部３０３１を備える。このような構成によれば、実際の被写体の明るさに合った画像に戻すことができる。また、第１４実施形態では、制御部３０７２は、複数の領域ごとの撮像条件による撮像タイミングの一部が重複するように撮像素子３１００を制御するので、画像処理部３０３０が容易に画像を合成することができ、ダイナミックレンジの広い画像を表示することができる。
なお、上記した第１４実施形態では、変換部３０３１は画像処理部に設けられていたが、撮像素子３１００に設けられてもよい。例えば、撮像素子３１００の演算回路４１６が各領域の輝度レベルを各領域において同一又は略同一の撮像条件で撮像された場合の輝度レベルに変換してもよい。
また、上記した第１４実施形態では、電子機器の一例としてデジタルカメラ３００１を挙げていたが、これに限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図４８に示す画像処理部３０３０とシステム制御部３０７０は一体で構成されてもよい。この場合、１つのボディ側ＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０３０の機能とシステム制御部３０７０の機能を担う。
＜第１５実施形態＞
第１５実施形態では、上記した第１４実施形態におけるデジタルカメラ３００１を、撮像装置３００１Ａと電子機器３００１Ｂとに分離した構成としている。
図６０は、第１５実施形態に係る撮像装置３００１Ａ及び電子機器３００１Ｂの構成を示すブロック図である。図６０に示す構成において、撮像装置３００１Ａは、被写体の撮像を行う装置である。この撮像装置３００１Ａは、レンズ部３０１０、撮像部３０２０、画像処理部３０３０、ワークメモリ３０４０、操作部３０５５、記録部３０６０、及び第１システム制御部３０７０Ａを備える。なお、撮像装置３００１Ａのうち、レンズ部３０１０、撮像部３０２０、画像処理部３０３０、ワークメモリ３０４０、操作部３０５５、及び記録部３０６０の構成は、図４８に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器３００１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器３００１Ｂは、表示部３０５０及び第２システム制御部３０７０Ｂを備える。なお、電子機器３００１Ｂのうちの表示部３０５０の構成は、図４８に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第１システム制御部３０７０Ａは、第１通信部３０７５Ａを有している。また、第２システム制御部３０７０Ｂは、第２通信部３０７５Ｂを有している。第１通信部３０７５Ａと第２通信部３０７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部３０７０Ａは、第１通信部３０７５Ａを介して画像データ（画像処理部３０３０が画像処理した画像データ、記録部３０６０に記録されている画像データ）を第２通信部３０７５Ｂに送信する。第２システム制御部３０７０Ｂは、第２通信部３０７５Ｂにおいて受信した画像データを表示部３０５０に表示させる。
図４８に示す構成（領域分割部３０７１及び制御部３０７２）は、第１システム制御部３０７０Ａと第２システム制御部３０７０Ｂのいずれに設けられてもよい。図４８に示すすべての構成は、第１システム制御部３０７０Ａ又は第２システム制御部３０７０Ｂに設けられてもよく、また図４８に示す構成の一部が第１システム制御部３０７０Ａに設けられ、図４８に示す構成の一部以外の構成が第２システム制御部３０７０Ｂに設けられてもよい。
なお、撮像装置３００１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器３００１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図６０に示す第１システム制御部３０７０Ａにおいて、ＣＰＵが制御プログラムに基づいて実行する処理が領域分割部３０７１や制御部３０７２に相当する。また、図６０に示す第２システム制御部３０７０Ｂにおいて、ＣＰＵが制御プログラムに基づいて実行する処理が領域分割部３０７１や制御部３０７２に相当する。
以上に説明したように、第１５実施形態では、第１４実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置３００１Ａで撮像されている画像を電子機器３００１Ｂの表示部３０５０に表示させることができる。
なお、図６０に示す構成において、画像処理部３０３０と第１システム制御部３０７０Ａとは一体で構成されてもよい。この場合、１つのボディ側ＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０３０の機能と第１システム制御部３０７０Ａの機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部３０２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部３０７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。
また、上記した第１４実施形態において、図４９に示すステップＳ３００４〜Ｓ３００７の処理は、使用者によるレリーズスイッチの半押し操作に基づいて実行されていたが、レリーズスイッチの半押し操作前に実行されてもよい。つまり、システム制御部３０７０が輝度分布データに基づいてライブビュー画像の領域分割と領域ごとの撮像条件の設定とを行うようにしてもよい。また、システム制御部３０７０は、レリーズスイッチの全押し操作に基づいてステップＳ３００４〜Ｓ３００７の処理を実行してもよい。つまり、ステップＳ３００９の撮像処理を行う直前にステップＳ３００４〜Ｓ３００７の処理を実行してもよい。
また、上記した第１４実施形態において、画像処理部３０３０は、ＲＡＷデータにおける各画素のＲＧＢそれぞれの階調値に基づいて輝度値を算出して輝度分布データを生成していたが、ＲＡＷデータにおける各画素のＲＧＢのいずれの階調値に基づいて輝度値を算出して輝度分布データを生成してもよい。
また、上記した第１４実施形態において、システム制御部３０７０（領域分割部３０７１及び制御部３０７２）は、隣り合う領域間の境界に対するすべての法線方向の直線上において領域分割及び撮像条件の設定（ステップＳ３００５〜Ｓ３００７の処理）を実行していた。すなわち、システム制御部３０７０は、隣り合う領域間におけるすべての境界領域において領域分割及び撮像条件の設定を実行していた。しかし、このような構成に限定されず、隣り合う領域間におけるある部分の境界領域において領域分割及び撮像条件の設定を実行し、隣り合う領域間における他の部分の境界領域においては、ある部分の境界領域で実行した領域分割及び撮像条件の設定と同じように領域分割及び撮像条件の設定を実行するようにしてもよい。このような構成によれば、システム制御部３０７０の処理負担を軽減することができる。
また、上記した第１４実施形態では、特定範囲を飽和レベルの３５％〜８０％の範囲としていたが、このような範囲に限定されない。飽和レベルの３５％〜８０％の範囲よりも広い範囲でも狭い範囲でもよい。例えば、特定範囲を許容範囲（飽和レベルの０％〜１００％の範囲）としてもよい。ただし、特定範囲はノイズの影響を受けにくい被写体の明るさと輝度レベルとが線形な関係にある範囲としてもよい。また、輝度レベルの閾値として、飽和レベルの３５％の値、８０％の値、１００％の値としていたが、これらの値も一例であって、このような値に限定されない。また、輝度レベルの閾値を特定範囲の下限値及び上限値と一致させていたが、輝度レベルの閾値と特定範囲の下限値及び上限値とが一致していなくてもよい。
また、上記した第１４実施形態では、システム制御部３０７０が特定範囲に入るように高輝度レベルを低下させる場合と低輝度レベルを上昇させる場合とで同じ特定範囲（飽和レベルの３５％〜８０％の範囲）としていた。しかし、システム制御部３０７０が特定範囲に入るように高輝度レベルを低下させる場合と低輝度レベルを上昇させる場合とで異なる特定範囲としてもよい。
また、上記した第１４実施形態では、制御部３０７２が設定する撮像条件として、電荷蓄積時間、フレームレート、ゲインのうちの少なくとも一つを変更すればよい。
＜第１６実施形態＞
図６１は、第１６実施形態に係るデジタルカメラ４００１の構成を示すブロック図である。なお、図６１において、電子機器の一例であるデジタルカメラ４００１は図７のデジタルカメラ１に相当し、レンズ部４０１０は図７のレンズ部１０に相当し、撮像部４０２０は図７の撮像部２０に相当し、撮像素子４１００は図７の撮像素子１００に相当し、駆動部４０２１は図７の駆動部２１に相当し、画像処理部４０３０は図７の画像処理部３０に相当し、ワークメモリ４０４０は図７のワークメモリ４０に相当し、表示部４０５０は図７の表示部５０に相当し、表示パネル４０５１は図７の表示パネル５１に相当し、タッチパネル４０５２は図７のタッチパネル５２に相当し、操作部４０５５は図７の操作部５５に相当し、記録部４０６０は図７の記憶部６０に相当し、システム制御部４０７０は図７のシステム制御部（制御部）７０に相当する。これらの構成のうち、レンズ部４０１０、撮像部４０２０、撮像素子４１００、駆動部４０２１、画像処理部４０３０、ワークメモリ４０４０、表示部４０５０、操作部４０５５、記録部４０６０の構成については説明を省略する。
システム制御部（制御部）４０７０は、デジタルカメラ４００１の全体の処理及び動作を制御する。このシステム制御部４０７０はボディ側ＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部４０７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数の領域（例えば図６２の第１領域４２００、第２領域４２１０、第３領域４２２０を参照）に分け、領域間において異なるシャッター速度（電荷蓄積時間又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部４０７０は、各領域の位置、形状、範囲、及び各領域用の撮像条件を駆動部２１に対して指示する。
また、システム制御部４０７０は、領域ごとに異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部４０７０は、各領域用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部４０２１に対して指示する。また、画像処理部４０３０は、領域ごとに異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部４０７０は、各領域用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部４０３０に指示する。
また、システム制御部４０７０は、画像処理部４０３０において生成された画像データを記録部４０６０に記録させる。また、システム制御部４０７０は、画像処理部４０３０において生成された画像データを表示部４０５０に出力させることにより、表示部４０５０に画像を表示させる。また、システム制御部４０７０は、記録部４０６０に記録されている画像データを読み出して表示部４０５０に出力させることにより、表示部４０５０に画像を表示させる。表示部４０５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
また、システム制御部４０７０は、ライブビュー画像の撮影中において露出調節処理（ＡＥ処理）を実行する。また、システム制御部４０７０は、動画の撮影中においてもＡＥ処理を実行する。さらに、レリーズスイッチの半押し操作が行われたことに基づいてＡＥ処理を実行する。具体的には、システム制御部４０７０は、画像の輝度分布を示す輝度分布データを画像処理部４０３０から取得する。このとき、システム制御４０７０は、第１領域（図６２の第１領域４２００）に対応した画像の輝度分布データ、第２領域（図６の第２領域４２１０）に対応した画像の輝度分布データ、及び第３領域（図６２の第３領域４２２０）に対応した画像の輝度分布データを取得する。そして、システム制御部４０７０は、これらの輝度分布データを用いて測光を行う。また、システム制御部４０７０は、測光した結果に基づいて撮像条件（シャッター速度（露光時間、電荷蓄積時間）、フレームレート、及びゲイン（ＩＳＯ感度））と絞り値とを決定する。このとき、システム制御部４０７０は、撮像素子４１００の撮像領域１１３Ａにおける領域ごとに適正露出となるような撮像条件を決定することが可能である。なお、絞り値については、領域ごとに設定することはできず撮像領域１１３Ａ全面に対して設定する。
システム制御部４０７０は、適正露出に応じた絞り値を示す制御情報をレンズ駆動制御装置１５に送信することにより、絞り１４の開口径調節のための駆動制御を実行させる。また、システム制御部４０７０は、適正露出に応じたシャッター速度（電荷蓄積時間）、フレームレート、及びゲイン（ＩＳＯ感度）を指示する指示信号を駆動部２１に出力する。駆動部２１は、指示信号により指示されたシャッター速度、フレームレート、及びゲインで撮像素子４１００を駆動制御する。
なお、システム制御部４０７０は、ボディ側ＣＰＵが制御プログラムに基づいて実行する処理や制御に相当する。
図６２は、第１６実施形態の撮像素子４１００における第１領域４２００と第２領域４２１０と第３領域４２２０とを示す図である。図６２に示すように、第１領域４２００、第２領域４２１０及び第３領域４２２０は、それぞれ、４つのブロック（縦横２つずつのブロック）からなる方形状の領域を１つの単位領域として形成され、複数の単位領域がそれぞれ均等に配置されている。また、第１領域４２００、第２領域４２１０及び第３領域４２２０は、それらの面積の比が４：３：１となるように配置されている。ただし、第１領域４２００、第２領域４２１０及び第３領域４２２０は、それぞれ、４つ未満のブロックからなる領域を１つの単位領域として形成してもよく、５つ以上のブロックからなる領域を１つの単位領域として形成してもよい。また、第１領域４２００、第２領域４２１０及び第３領域４２２０は、画素領域１１３Ａにおいてそれぞれ全面的に配置されていればよく、画素領域１１３Ａにおいてそれぞれ均等に配置されていなくてもよい。また、第１領域４２００、第２領域４２１０及び第３領域４２２０の面積の比も４：３：１でなくてもよく、例えばそれぞれ同じ面積であってもよい。
システム制御部４０７０は、第１領域４２００の撮像条件として、ライブビュー画像や動画を撮影するときの通常のフレームレート（例えば６０ｆｐｓ）及び通常のシャッター速度（露光時間）を設定するとともに、ライブビュー画像や動画を撮影するときの通常のゲイン（ＩＳＯ感度）を設定する。また、システム制御部４０７０は、第２領域４２１０の撮像条件として、上記した通常のフレームレート及び通常のシャッター速度を設定するとともに、第１領域４２００に設定される通常のゲインよりも低いゲインを設定する。また、システム制御部４０７０は、第３領域４２２０の撮像条件として、上記した通常のフレームレート及び速いシャッター速度（つまり短い露光時間）を設定するとともに、第１領域４２００に設定される通常のゲインよりも低いゲインを設定する。
図６３は、第１６実施形態におけるＡＥ処理を説明するための図である。図６３（Ａ）及び（Ｂ）において、横軸はライブビュー画像や動画のフレームを示し、縦軸はライブビュー画像や動画のフレーム中の所定領域（ここでは高輝度被写体の領域）の輝度レベルを示している。なお、図６３（Ａ）は従来例におけるＡＥ処理を示し、図６３（Ｂ）は本実施形態におけるＡＥ処理を示している。
図６３（Ａ）に示すように、システム制御部４０７０が通常のシャッター速度でかつ通常のゲインで太陽や照明などの高輝度被写体を撮影した場合、高輝度被写体の領域においては、輝度レベルが飽和レベル（白飛びした状態となる輝度レベル）を超えてしまう。この場合、システム制御部４０７０は、高輝度被写体の領域の輝度レベルが飽和レベルからどれぐらい高いかについて判断することができない。従って、システム制御部４０７０は、ＡＥ処理において、シャッター速度を速くしたりゲインを下げることにより高輝度被写体の領域の輝度レベルを段階的に適正レベル（適正露出のレベル）まで下げていく。図６３（Ａ）に示す例では、システム制御部４０７０は、５フレームを使って高輝度被写体の領域の輝度レベルを適正レベルまで下げている。
図６３（Ｂ）に示すように、システム制御部４０７０が第１領域４２００の撮像条件（通常のシャッター速度、通常のゲイン）で太陽や照明などの高輝度被写体を撮影した場合、図６３（Ａ）の場合と同様に、高輝度被写体の領域においては輝度レベルが飽和レベルを超えてしまう。また、図６３（Ｂ）に示すように、システム制御部４０７０が第２領域４２１０の撮像条件（通常のシャッター速度、低いゲイン）で高輝度被写体を撮影した場合も、高輝度被写体の領域においては輝度レベルが飽和レベルを超えてしまう。
一方、システム制御部４０７０が第３領域４２２０の撮像条件（高速のシャッター速度、低いゲイン）で高輝度被写体を撮影した場合、高輝度被写体の領域においては輝度レベルが飽和レベルを超えていない。この場合、システム制御部４０７０は、ＡＥ処理において、飽和レベルを超えていない第３領域４２２０の輝度レベルから第１領域４２００の輝度レベルを推定する。そして、システム制御部４０７０は、推定した第１領域４２００の輝度レベルが適正レベルとなるようにシャッター速度及びゲインのいずれか一方又は双方を変更する。これにより、図６３（Ｂ）に示すように、システム制御部４０７０は、１フレームで高輝度被写体の領域における第３領域４２２０の輝度レベルを適正レベルまで下げることができる。従って、ＡＥ処理においてオーバー露出から適正露出に短時間で行うことができる。図６３（Ｂ）に示す例では、システム制御部４０７０は、第１領域４２００の輝度レベルを適正レベルに変更する比率に合わせて、第２領域４２１０及び第３領域４２２０の輝度レベルも変更しているが、第２領域４２１０及び第３領域４２２０の輝度レベルも被写体に応じた適正レベルに変更してもよい。
なお、上記した第１６実施形態では、各領域４２００〜４２２０のシャッター速度とゲインをそれぞれ異ならせることで、高輝度被写体の領域における第３領域４２２０の輝度レベルが飽和レベルを超えないようにしていたが、各領域４２００〜４２２０のフレームレート、シャッター速度及びゲインのいずれか１つ又は複数を異ならせることで、高輝度被写体の領域における各領域４２００〜４２２０のいずれかの輝度レベルが飽和レベルを超えないようにしてもよい。
＜第１７実施形態＞
図６４は、第１７実施形態における第１領域４２００が飽和した状態を示す図である。第１７実施形態においても、第１６実施形態で説明した場合と同様に、システム制御部４０７０は、第１領域４２００の撮像条件として、ライブビュー画像や動画を撮影するときの通常のフレームレート（例えば６０ｆｐｓ）及び通常のシャッター速度（露光時間）を設定するとともに、ライブビュー画像や動画を撮影するときの通常のゲイン（ＩＳＯ感度）を設定する。また、システム制御部４０７０は、第２領域４２１０の撮像条件として、上記した通常のフレームレート及び通常のシャッター速度を設定するとともに、第１領域４２００に設定される通常のゲインよりも低いゲインを設定する。また、システム制御部４０７０は、第３領域４２２０の撮像条件として、上記した通常のフレームレート及び速いシャッター速度（つまり短い露光時間）を設定するとともに、第１領域４２００に設定される通常のゲインよりも低いゲインを設定する。
図６４に示す例では、高輝度被写体の領域４３００における第１領域４２００（図６４で白く塗りつぶしている領域）では、輝度レベルが飽和レベル（白飛びした状態となる輝度レベル）を超えている。しかし、高輝度被写体の領域４３００における第２領域４２１０及び第３領域４２２０では、輝度レベルが飽和レベルを超えていない。すなわち、高輝度被写体の領域４３００の画像すべてが白飛びした状態ではない。このように、システム制御部４０７０が各領域４２００〜４２２０の撮像条件を異ならせて撮像することにより、高輝度被写体の領域４３００の画像すべてが白飛びしてしまうのを防止することができる。
＜第１８実施形態＞
図６５は、第１８実施形態における動画ＨＤＲを説明するための図である。第１８実施形態においても、第１６実施形態で説明した場合と同様に、システム制御部４０７０は、第１領域４２００の撮像条件として、ライブビュー画像や動画を撮影するときの通常のフレームレート（例えば６０ｆｐｓ）及び通常のシャッター速度（露光時間）を設定するとともに、ライブビュー画像や動画を撮影するときの通常のゲイン（ＩＳＯ感度）を設定する。また、システム制御部４０７０は、第２領域４２１０の撮像条件として、上記した通常のフレームレート及び通常のシャッター速度を設定するとともに、第１領域４２００に設定される通常のゲインよりも低いゲインを設定する。また、システム制御部４０７０は、第３領域４２２０の撮像条件として、上記した通常のフレームレート及び速いシャッター速度（つまり短い露光時間）を設定するとともに、第１領域４２００に設定される通常のゲインよりも低いゲインを設定する。
図６５に示す例では、高輝度被写体の領域４３００における第１領域４２００（図６５で＊を付している領域）では、輝度レベルが飽和レベル（白飛びした状態となる輝度レベル）を超えている。一方、高輝度被写体の領域４３００における第２領域４２１０及び第３領域４２２０では、輝度レベルが飽和レベルを超えていない。この場合、システム制御部４０７０は、高輝度被写体の領域４３００における第１領域４２００のゲインを下げたりシャッター速度を速くすることで第１領域４２００の輝度レベルを低くして、飽和レベルを超えないように制御する。そして、システム制御部４０７０は、第１領域４２００の画像（動画）と第２領域４２１０の画像（動画）と第３領域４２２０の画像（動画）とを合成する。このような構成により、高輝度被写体を撮影した場合でも、白飛びのない動画を得ることができる。
一般に、幅広いダイナミックレンジの画像を記録し表示するための画像合成技術として、ＨＤＲ(High Dynamic Range)撮像が知られている。ＨＤＲ撮像では、撮像条件（例えば露出）を変化させつつ複数枚の画像を撮像し、それらを合成することにより白飛びや黒つぶれの少ない画像を生成する。しかし、従来のＨＤＲでは、例えば撮像条件の異なる２枚の画像を撮像する撮像時間が異なっているため、被写体が移動したり、使用者（撮影者）がデジタルカメラ４００１を動かしたりしてしまうことがある。この場合、２枚の画像は同一の被写体の画像ではないため、画像合成が困難である。これに対して、第１８実施形態では、撮像条件の異なる複数枚の画像の撮像時間を同じ時刻（又は略同じ時刻）とすることができる。従って、第１８実施形態の構成により従来のＨＤＲ撮像の問題点を解決することができる。
画像処理部４０３０は、時系列的に得られる複数の画像データから高輝度被写体の領域を検出する。そして、システム制御部４０７０は、画像処理部４０３０が検出した高輝度被写体の領域に基づいて、高輝度被写体の領域及びその周囲の領域におけるゲインやシャッター速度を決定する。このような構成によれば、ダイナミックレンジの広い動画を取得することができる。なお、上記した第１８実施形態の構成は、動画の撮影だけでなく静止画の撮影にも適用することができる。
＜第１９実施形態＞
上記した第１実施形態では、分割部７１が撮像素子１００の領域を第１領域２００と第２領域２１０とに分割し、明滅検知部７４が撮像素子１００の第２領域２１０から読み出される信号に基づいて光源Ｌの明滅を検知し、駆動制御部７２が明滅検知部７４により検知された光源Ｌの明滅に基づいて撮像開始のタイミングを変更していた。これに対し、第１９実施形態では、システム制御部４０７０は、図６２に示したように撮像素子４１００の領域を第１領域４２００と第２領域４２１０と第３領域４２２０とに分割する。そして、駆動制御部７２は、第１領域４２００のシャッター速度（露光時間）を５０Ｈｚの光源の明滅周期（１／１００秒）の整数倍（例えば１倍）に設定し、第２領域４２１０のシャッター速度（露光時間）を６０Ｈｚの光源の明滅周期（１／１２０秒）の整数倍（例えば１倍）に設定し、第３領域４２２０のシャッター速度（露光時間）を高速のシャッター速度（短い露光時間）に設定する。そして、システム制御部４０７０は、各領域４２００〜４２２０において設定した撮像条件で動画を撮影するように撮像素子４１００を駆動制御する。
このような構成によれば、自然光又は明滅のない光源の下では、各領域４２００〜４２２０のいずれにおいてもフリッカー現象が発生せず、各領域４２００〜４２２０において、ちらつきのない動画を撮影することができる。また、５０Ｈｚの光源の下では、第１領域４２００のシャッター速度が５０Ｈｚの光源の明滅周期（１／１００秒）の整数倍であるので、第１領域４２００において、ちらつきのない動画を撮影することができる。また、６０Ｈｚの光源の下では、第２領域４２１０のシャッター速度が６０Ｈｚの光源の明滅周期（１／１２０秒）の整数倍であるので、第２領域４２１０において、ちらつきのない動画を撮影することができる。また、５０Ｈｚや６０Ｈｚ以外の周波数の光源の下では、システム制御部４０７０が第２領域２１０から読み出される信号に基づいて光源の明滅周期を検知し、第１領域４２００及び第２領域４２１０のいずれか一方又は双方のシャッター速度を、検知した光源の明滅周期の整数倍に設定する。これにより、第１領域４２００及び第２領域４２１０のいずれか一方又は双方において、ちらつきのない動画を撮影することができる。また、上記した第１実施形態と同様に、システム制御部４０７０が検知した光源の明滅周期に基づいて静止画の撮像開始のタイミングを変更することにより、フリッカー現象の影響を受けずに静止画を撮影することができる。
なお、第２領域４２１０のシャッター速度が１／１２０秒とされるので、シャッター速度が１／１００秒の第１領域４２００よりも露光量が減少する。このため、システム制御部４０７０は、第２領域４２１０のゲインを第１領域４２００のゲインの１．２倍に設定する。これにより、第１領域４２００及び第２領域４２１０の露光量が均一化される。また、第３領域４２２０のシャッター速度が高速のシャッター速度とされるので、シャッター速度が１／１００秒の第１領域４２００よりも露光量が減少する。このため、システム制御部４０７０は、第３領域４２２０のゲインを第１領域４２００のゲインよりも高く設定する。これにより、各領域４２００〜４２２０の露光量が均一化される。
＜第２０実施形態＞
図６６は、第２０実施形態に係るスマートフォン５００１の構成を示すブロック図である。なお、図６６において、電子機器の一例であるスマートフォン５００１は図７のデジタルカメラ１に対応する構成である。また、レンズ部５０１０は図７のレンズ部１０に相当し、撮像部５０２０は図７の撮像部２０に相当し、撮像素子５１００は図７の撮像素子１００に相当し、駆動部５０２１は図７の駆動部２１に相当し、画像処理部５０３０は図７の画像処理部３０に相当し、ワークメモリ５０４０は図７のワークメモリ４０に相当し、表示部５０５０は図７の表示部５０に相当し、表示パネル５０５１は図７の表示パネル５１に相当し、タッチパネル５０５２は図７のタッチパネル５２に相当し、操作部５０５５は図７の操作部５５に相当し、記録部５０６０は図７の記憶部６０に相当し、システム制御部５０７０は図７のシステム制御部７０に相当する。これらの構成のうち、レンズ部５０１０、撮像部５０２０、撮像素子５１００、駆動部５０２１、画像処理部５０３０、ワークメモリ５０４０、表示部５０５０、操作部５０５５、記録部５０６０の構成については説明を省略する。なお、電子機器の一例をスマートフォン５００１としているが、タブレット型端末、液晶パネル付デジタルカメラなどであってもよい。
図６６に示すように、システム制御部５０７０は、操作検出部５０７１及び駆動制御部５０７２を有している。操作検出部５０７１は、画像の拡大、縮小及び移動の少なくともいずれか一つの操作を検出する。駆動制御部５０７２は、撮像部５０２０に指示信号を出力することにより、撮像部５０２０に画像（静止画、動画、ライブビュー画像）を取得させる。また、駆動制御部５０７２は、操作検出部５０７１で検出された操作に応じて撮像素子５１００を駆動制御する領域を選択する。また、駆動制御部５０７２は、表示部５０５０に表示されている画像に対応する撮像領域（画素領域）１１３Ａ中の領域をアクティブ状態に制御し、その領域以外の領域をスリープ状態（非アクティブ状態）に制御する。
ここで、「アクティブ状態」は、領域内の各画素が動作可能な状態（撮像可能な状態）であることを意味する。このアクティブ状態の領域においては、駆動部５０２１により各画素が駆動制御され、各画素から画素信号の読み出しが行われる。また、「スリープ状態」は、領域内の各画素が動作停止の状態（撮像停止の状態）であることを意味する。動作停止の状態としては、領域内の各画素において駆動部５０２１による駆動制御が行われていない状態を含む。すなわち、駆動部５０２１がリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５にパルスを印加しない状態を含む。また、動作停止の状態としては、領域内の各画素から画素信号の読み出しを行わない状態を含む。すなわち、駆動部５０２１が選択トランジスタ３０５に対して選択パルスを印加しない状態を含む。また、動作停止の状態としては、領域内の各画素から画素信号を読み出すが、読み出した画素信号を使用しない状態を含む。例えば、信号処理チップ１１１などにおいて領域内の各画素から読み出した画素信号を廃棄する状態を含む。
なお、操作検出部５０７１及び駆動制御部５０７２は、ボディ側ＣＰＵが制御プログラムに基づいて実行する処理や制御に相当する。
図６７〜図７０を参照してシステム制御部５０７０の動作を説明する。図６７は、第２０実施形態の撮像素子５１００における撮像領域１１３Ａを示す図である。また、図６８〜図７０は、スマートフォン５００１の表示部５０５０の表示例を示す図である。
駆動制御部５０７２は、撮像部５０２０に指示信号を出力することにより、例えば図６７に示すような画像（ここでは動画又はライブビュー画像）を撮像部５０２０に取得させる。図６７に示す例では、撮像部５０２０で取得された画像には、被写体として人Ｏ３１０及び家Ｏ３２０が写っている。
図６７に示す撮像領域１１３Ａ内の領域５２０１は、表示部５０５０の表示パネル５０５１に表示される画像に対応する領域である（図６８参照）。このとき、駆動制御部５０７２は、撮像領域１１３Ａ内の領域５２０１をアクティブ状態に制御し、撮像領域１１３Ａ内の領域５２０１以外の領域をスリープ状態に制御する。
次に、使用者は、図６８に示すように、表示パネル５０５１を指でつまむようにした後に指を遠ざける操作（ピンチアウト操作）を行う。タッチパネル５０５２は、使用者によるピンチアウト操作に応じた検出信号をシステム制御部５０７０に出力する。操作検出部５０７１は、タッチパネル５０５２からの検出信号に基づいて、使用者による画像を拡大するピンチアウト操作を検出する。駆動制御部５０７２は、操作検出部５０７１により検出されたピンチアウト操作に応じて画像を拡大表示するように制御する（図６９参照）。また、駆動制御部５０７２は、表示パネル５０５１に拡大表示された画像に対応する撮像領域１１３Ａ内の領域５２０２をアクティブ状態に制御し、撮像領域１１３Ａ内の領域５２０２以外の領域をスリープ状態に制御する。
また、使用者は、図６９に示すように、表示パネル５０５１上でピンチアウト操作を行う。タッチパネル５０５２は、使用者によるピンチアウト操作に応じた検出信号をシステム制御部５０７０に出力する。操作検出部５０７１は、タッチパネル５０５２からの検出信号に基づいて、使用者による画像を拡大するピンチアウト操作を検出する。駆動制御部５０７２は、操作検出部５０７１により検出されたピンチアウト操作に応じて画像を拡大表示するように制御する（図７０参照）。また、駆動制御部５０７２は、表示パネル５０５１に拡大表示された画像に対応する撮像領域１１３Ａ内の領域５２０３をアクティブ状態に制御し、撮像領域１１３Ａ内の領域５２０３以外の領域をスリープ状態に制御する。
このような構成によれば、駆動制御部５０７２は、表示パネル５０５１に表示されている画像に対応する領域以外の領域をスリープ状態に制御するので、撮像素子５１００を駆動する駆動部５０２１の消費電力を低減することができる。なお、上記の構成では、使用者のピンチアウト操作の場合について説明したが、使用者のピンチイン操作（表示パネル５０５１を指でつまむようにした後に指を近づける操作）やスクロール操作の場合にも適用可能である。すなわち、駆動制御部５０７２は、使用者のピンチイン操作に応じて表示パネル５０５１に縮小表示された画像に対応する撮像領域１１３Ａ内の領域をアクティブ状態に制御し、その領域以外の領域をスリープ状態に制御する。また、駆動制御部５０７２は、使用者のスクロール操作に応じて表示パネル５０５１に移動表示された画像に対応する撮像領域１１３Ａ内の領域をアクティブ状態に制御し、その領域以外の領域をスリープ状態に制御する。
上記の構成では、駆動制御部５０７２は、表示部５０５０に表示されている画像の領域をアクティブ状態に制御し、その領域以外の領域をスリープ状態に制御していた。しかし、駆動制御部５０７２は、表示部５０５０に表示されている画像の領域を含む領域をアクティブ状態に制御し、その領域以外の領域をスリープ状態に制御してもよい。このような構成によれば、スマートフォン５００１が画像（動画又はライブビュー画像）の撮影中に手振れが生じた場合でも、スリープ状態の領域が表示部５０５０に表示されてしまうのを防止することができる。また、駆動制御部５０７２は、表示部５０５０に表示されている画像の領域を含む領域をアクティブ状態に制御しているので、手振れが生じた場合に手振れ補正を行うことができる。
また、駆動制御部５０７２は、操作検出部５０７１で検出された操作に応じて撮像素子５１００を駆動制御する領域の間引き率を変更してもよい。具体的には、撮像素子５１００の領域５２０１の画素数が縦２５６０画素×横１９２０画素であるとする。また、記録部５０６０の記録画素数（記録部５０６０に記録される画像（静止画、動画）の画素数）が予め縦６４０画素×横４８０画素に設定されているものとする。駆動制御部５０７２は、領域５２０１で撮像を行う場合、縦及び横いずれも間引き率３／４で信号の読み出しを行う。すなわち、駆動制御部５０７２は、領域５２０１内のすべての画素のうちの１／４の画素から信号の読み出しを行う。また、駆動制御部５０７２は、領域５２０２（この領域５２０２は領域５２０１の縦横１／２のサイズの領域であるものとする。）で撮像を行う場合、縦及び横いずれも間引き率１／２で信号の読み出しを行う。すなわち、駆動制御部５０７２は、領域５２０２内のすべての画素のうちの１／２の画素から信号の読み出しを行う。また、駆動制御部５０７２は、領域５２０３（この領域５２０３は領域５２０１の縦横１／４のサイズの領域であるものとする。）で撮像を行う場合、縦及び横いずれも間引き率０で信号の読み出しを行う。すなわち、駆動制御部５０７２は、領域５２０２内のすべての画素から信号の読み出しを行う。
このような構成によれば、予め設定された記録画素数に応じた領域内の画素からだけ信号の読み出しが行われるので、より一層、撮像素子５１００を駆動する駆動部５０２１の消費電力を低減することができる。
また、画像処理部５０３０は、記録部５０６０の記録画素数が撮像素子５１００を駆動制御する領域の画素数を超えた場合、画像データの補間処理を行ってもよい。例えば、駆動制御部５０７２は、領域５２０３よりもサイズの小さい領域（領域５２０３の１／２のサイズの領域）で撮像を行う場合、その領域内のすべての画素から信号の読み出しを行う。そして、画像処理部５０３０は、領域内のすべての画素から読み出された信号（画像データ）に基づいて領域内の画素間の画像データを生成して記録部５０６０に記録する。このような構成によれば、撮像素子５１００を駆動制御する領域のサイズに制限を設ける必要がなくなる。
＜第２１実施形態＞
図７１は、第２１実施形態の撮像素子における撮像領域１１３Ａを示す図である。図７１に示すように、撮像領域１１３Ａは、方形状の単位領域Ａ１〜Ａ１６に１６分割されている。単位領域Ａ１〜Ａ１６は、それぞれ、複数個のブロックから構成される領域である。なお、単位領域は、それぞれ、１個や数個のブロックで構成されてもよい。この場合、単位領域の数は図７１に示す数よりも多くなる。
図７２は、第２１実施形態の撮像部６０２０、画像処理部６０３０及び記録部６０６０の構成を示すブロック図である。なお、図７２において、撮像部６０２０は図７の撮像部２０に相当し、画像処理部６０３０は図７の画像処理部３０に相当し、記録部６０６０は図７の記録部６０に相当する。
撮像部６０２０は、撮像領域１１３Ａにおいて領域ごとに異なるフレームレートで撮像可能である。この撮像部６０２０は、撮像素子の撮像領域１１３Ａ、撮像素子制御部６０２１、バッファ６０２２、及びセレクタ（選択部）６０２３を備えている。図７２においては、撮像素子の撮像領域１１３Ａにおける単位領域Ａ１〜Ａ１６は一列に横に配置されているが、実際は図７１に示したような縦横に並んで配置されている。図７２に示すように、各単位領域Ａ１〜Ａ１６で得られた画像データはセレクタ６０２３に出力される。
撮像素子制御部６０２１は、画像処理部６０３０の読出制御部６０３１からの制御信号に基づいて、撮像領域１１３Ａにおける各領域のフレームレートを設定するとともに、セレクタ６０２３に選択信号を出力することにより、単位領域Ａ１〜Ａ１６で得られた画像データを格納するバッファＢ１〜Ｂ１６を各領域のフレームレートに応じたバッファに切り替えさせる。バッファ６０２２（複数のバッファＢ１〜Ｂ１６）は、画像処理部６０３０に送信（転送）する画像データを一旦格納する格納領域である。バッファ６０２３（複数のバッファＢ１〜Ｂ１６）は、撮像領域１１３Ａの複数の単位領域Ａ１〜Ａ１６に対応して設けられている。バッファ６０２３（複数のバッファＢ１〜Ｂ１６）は、それぞれ、複数本の伝送路（レーン）Ｌ１〜Ｌ１６で画像処理部６０３０のインターフェイス部６０３２と接続されている。本実施形態では、複数本の伝送路Ｌ１〜Ｌ１６は、それぞれ、画像データの転送能力（単位時間に転送可能な画像データ量）はフレームレートによって決められる。本実施形態では、各伝送路Ｌ１〜Ｌ１６における画像データの転送能力は例えば６０ｆｐｓとなっている。セレクタ６０２３は、撮像素子制御部６０２１からの選択信号に基づいてスイッチングすることで、単位領域Ａ１〜Ａ１６で得られた画像データを格納するバッファＢ１〜Ｂ１６を切り替える。
画像処理部６０３０は、撮像部６０２０から送信された画像データを受け取り、受け取った画像データに対して画像処理を施す。この画像処理部６０３０は、読出制御部６０３１、インターフェイス部６０３２、及びメモリコントローラ６０３３を備えている。読出制御部６０３１は、センサ６０５０からの検出信号に基づいて、撮像領域１１３Ａのいずれの領域を高フレームレート（動画やライブビュー画像の撮影時のフレームレートよりも高いフレームレート）に設定するかを判定するエリア・フレームレート判定処理を実行する。そして、読出制御部６０３１は、エリア・フレームレート判定処理の結果に基づいて、撮像領域１１３Ａにおける各領域のフレームレートを指示する制御信号を撮像素子制御部６０２１に出力する。また、読出制御部６０３１は、エリア・フレームレート判定処理の結果に基づいて、インターフェイス部６０３２に格納された単位領域Ａ１〜Ａ１６ごとの画像データの並び替えを行う。
インターフェイス部６０３２は、複数本の伝送路Ｌ１〜Ｌ１６で複数のバッファＢ１〜Ｂ１６と接続され、各バッファＢ１〜Ｂ１６から送信される画像データを受信して記憶領域に格納する。メモリコントローラ６０３３は、インターフェイス部６０３２の記憶領域に格納されている画像データを読み出して記録部６０６０に出力する。センサ６０５０は、水平方向の加速度又は角加速度を検出する加速度センサである。記録部６０６０は、画像処理部６０３０から出力された画像データを記録するメモリである。
図７３は、撮像部６０２０から画像処理部６０３０への画像データの転送タイミングを示す図である。なお、単位領域Ａ１〜Ａ１６のフレームレートはすべて同一のフレームレートであって、高フレームレートではないものとする。図７３に示すように、１番目のフレームにおける単位領域Ａ１〜Ａ１６で得られた画像データＤ１−１〜Ｄ１６−１は、それぞれ、同一のタイミングでセレクタ６０２３を介してバッファＢ１〜Ｂ１６に格納される。バッファＢ１〜Ｂ１６に格納された画像データＤ１−１〜Ｄ１６−１は、同一のタイミングで伝送路Ｌ１〜Ｌ１６を介して画像処理部６０３０に転送される。
２番目のフレームにおける単位領域Ａ１〜Ａ１６で得られた画像データＤ１−２〜Ｄ１６−２も、それぞれ、同一のタイミングでセレクタ６０２３を介してバッファＢ１〜Ｂ１６に格納される。バッファＢ１〜Ｂ１６に格納された画像データＤ１−２〜Ｄ１６−２は、同一のタイミングで伝送路Ｌ１〜Ｌ１６を介して画像処理部６０３０に転送される。３番目のフレームにおける単位領域Ａ１〜Ａ１６で得られた画像データＤ１−３〜Ｄ１６−３も、それぞれ、同一のタイミングでセレクタ６０２３を介してバッファＢ１〜Ｂ１６に格納される。バッファＢ１〜Ｂ１６に格納された画像データＤ１−３〜Ｄ１６−３は、同一のタイミングで伝送路Ｌ１〜Ｌ１６を介して画像処理部６０３０に転送される。
図７３に示すように１フレームの各単位領域Ａ１〜Ａ１６で得られた画像データが同一のタイミングで撮像部６０２０から画像処理部６０３０に転送される場合は、読出制御部６０３１は、インターフェイス部６０３２の記憶領域に格納された単位領域Ａ１〜Ａ１６ごとの画像データの並び替えを行わない。
次に、撮像領域１１３Ａにおける左半分の領域（単位領域Ａ１，Ａ２，Ａ５，Ａ６，Ａ９，Ａ１０，Ａ１３，Ａ１４）から高フレームレートで画像データを読み出し、撮像領域１１３Ａにおける右半分の領域（単位領域Ａ３，Ａ４，Ａ７，Ａ８，Ａ１１，Ａ１２，Ａ１５，Ａ１６）からは画像データを読み出さない場合について説明する。
図７４は、左半分の領域（単位領域Ａ１，Ａ２，Ａ５，Ａ６，Ａ９，Ａ１０，Ａ１３，Ａ１４）から高フレームレートで画像データを読み出し、右半分の領域（単位領域Ａ３，Ａ４，Ａ７，Ａ８，Ａ１１，Ａ１２，Ａ１５，Ａ１６）からは画像データを読み出さない場合における撮像部６０２０、画像処理部６０３０及び記録部６０６０の構成を示すブロック図である。また、図７５は、左半分の領域（単位領域Ａ１，Ａ２，Ａ５，Ａ６，Ａ９，Ａ１０，Ａ１３，Ａ１４）から高フレームレートで画像データを読み出し、右半分の領域（単位領域Ａ３，Ａ４，Ａ７，Ａ８，Ａ１１，Ａ１２，Ａ１５，Ａ１６）からは画像データを読み出さない場合における撮像部６０２０から画像処理部６０３０への画像データの転送タイミングを示す図である。
この場合、読出制御部６０３１は、左半分の領域のフレームレートを高フレームレートとし、右半分の領域のフレームレートを０とする旨を指示する制御信号を撮像素子制御部６０２１に出力する。撮像素子制御部６０２１は、読出制御部６０３１からの制御信号に基づいて、左半分の領域のフレームレートを高フレームレートに設定し、右半分の領域のフレームレートを０に設定する。また、撮像素子制御部６０２１は、セレクタ６０２３に選択信号を出力することにより、単位領域Ａ１〜Ａ１６で得られた画像データを格納するバッファＢ１〜Ｂ１６を各領域のフレームレートに応じたバッファに切り替えさせる。
具体的には、図７４及び図７５に示すように、１番目のフレームにおける単位領域Ａ１，Ａ２，Ａ５，Ａ６，Ａ９，Ａ１０，Ａ１３，Ａ１４で得られた画像データＤ１−１，Ｄ２−１，Ｄ５−１，Ｄ６−１，Ｄ９−１，Ｄ１０−１，Ｄ１３−１，Ｄ１４−１は、それぞれ、同一のタイミングでセレクタ６０２３を介してバッファＢ１，Ｂ２，Ｂ５，Ｂ６，Ｂ９，Ｂ１０，Ｂ１３，Ｂ１４に格納される。バッファＢ１，Ｂ２，Ｂ５，Ｂ６，Ｂ９，Ｂ１０，Ｂ１３，Ｂ１４に格納された画像データＤ１−１，Ｄ２−１，Ｄ５−１，Ｄ６−１，Ｄ９−１，Ｄ１０−１，Ｄ１３−１，Ｄ１４−１は、同一のタイミングで伝送路Ｌ１，Ｌ２，Ｌ５，Ｌ６，Ｌ９，Ｌ１０，Ｌ１３，Ｌ１４を介して画像処理部６０３０に転送される。
２番目のフレームにおける単位領域Ａ１，Ａ２，Ａ５，Ａ６，Ａ９，Ａ１０，Ａ１３，Ａ１４で得られた画像データＤ１−２，Ｄ２−２，Ｄ５−２，Ｄ６−２，Ｄ９−２，Ｄ１０−２，Ｄ１３−２，Ｄ１４−２は、それぞれ、同一のタイミングでセレクタ６０２３を介してバッファＢ３，Ｂ４，Ｂ７，Ｂ８，Ｂ１１，Ｂ１２，Ｂ１５，Ｂ１６に格納される。バッファＢ３，Ｂ４，Ｂ７，Ｂ８，Ｂ１１，Ｂ１２，Ｂ１５，Ｂ１６に格納された画像データＤ１−２，Ｄ２−２，Ｄ５−２，Ｄ６−２，Ｄ９−２，Ｄ１０−２，Ｄ１３−２，Ｄ１４−２は、同一のタイミングで伝送路Ｌ３，Ｌ４，Ｌ７，Ｌ８，Ｌ１１，Ｌ１２，Ｌ１５，Ｌ１６を介して画像処理部６０３０に転送される。
２番目のフレームの画像データＤ１−２，Ｄ２−２，Ｄ５−２，Ｄ６−２，Ｄ９−２，Ｄ１０−２，Ｄ１３−２，Ｄ１４−２は、１番目のフレームの画像データＤ１−１，Ｄ２−１，Ｄ５−１，Ｄ６−１，Ｄ９−１，Ｄ１０−１，Ｄ１３−１，Ｄ１４−１の転送が終了していない時点から転送が開始される。従って、左半分の領域のフレームレートが高フレームレートである場合でも、左半分の領域内の各単位領域に対応するバッファ及び伝送路と、右半分の領域内の各単位領域に対応するバッファ及び伝送路とを交互に利用することにより、各伝送路の転送能力を超えたフレームレートで画像データを転送することができる。
上記説明した例では、撮像部６０２０は、左半分の領域（単位領域Ａ１，Ａ２，Ａ５，Ａ６，Ａ９，Ａ１０，Ａ１３，Ａ１４）から高フレームレートで画像データを読み出すことが可能であるが、右半分の領域（単位領域Ａ３，Ａ４，Ａ７，Ａ８，Ａ１１，Ａ１２，Ａ１５，Ａ１６）からは画像データを読み出すことができない。そこで、高フレームレートで画像データを読み出す領域（以下、この領域を第１領域という。）を撮像領域１１３Ａ全体の１／ｘ（ｘ＝３，４，５，・・・）とする。そして、撮像部６０２０は、第１領域からｘフレームの画像データを読み出す毎に、撮像領域１１３Ａにおける第１領域以外の領域（以下、この領域を第２領域という。）から１フレームの画像データを読み出す。これにより、撮像部６０２０は、撮像領域１１３Ａ全体の画像を読み出すことができるとともに、各伝送路Ｌ１〜Ｌ１６の転送能力を超えることなく画像データの転送を行うことができる。
次に、本実施形態の撮像装置の動作について説明する。なお、以下の説明においては、使用者（撮影者）が撮像装置を用いて自動車から前方の動画を撮影している状況であるものとする。図７６は、第２１実施形態の画像処理部６０３０における処理を示すフローチャートである。まず、読出制御部６０３１は、センサ６０５０からの検出信号に基づいて、撮像領域１１３Ａのいずれの領域を高フレームレートに設定するかを判定するエリア・フレームレート判定処理を実行する（ステップＳ６００１）。例えば、センサ６０５０が自動車が左に曲がっているときの加速度又は角加速度を検出した場合は、読出制御部６０３１は、センサ６０５０からの検出信号に基づいて、撮像領域１１３Ａの左側の領域（第１領域）を高フレームレートに設定すると判定する。また、読出制御部６０３１は、センサ６０５０で検出された加速度又は角加速度の大きさに基づいて、高フレームレートに設定する領域（第１領域）の面積を判定する。
次に、読出制御部６０３１は、エリア・フレームレート判定処理の結果に基づいて、撮像領域１１３Ａにおける各領域のフレームレートを指示する制御信号を撮像素子制御部６０２１に出力する（ステップＳ６００２）。例えば、センサ６０５０が自動車が左に曲がっているときの加速度又は角加速度を検出した場合は、読出制御部６０３１は、撮像領域１１３Ａの左側の所定面積の第１領域（単位領域で特定される領域）を高フレームレートに設定し、撮像領域１１３Ａの第１領域以外の第２領域（単位領域で特定される領域）を低フレームレートに設定することを指示する制御信号を撮像素子制御部６０２１に出力する。
その後、読出制御部６０３１は、撮像部６０２０から転送された画像データを受信してインターフェイス部６０３２の記憶領域に格納させる（ステップＳ６００３）。そして、読出制御部６０３１は、エリア・フレームレート判定処理の結果に基づいて、インターフェイス部６０３２の記憶領域に格納された単位領域Ａ１〜Ａ１６ごとの画像データの並び替えを行う（ステップＳ６００４）。例えば、読出制御部６０３１は、エリア・フレームレート判定処理で判定した第１領域及び第２領域の面積や、第１領域及び第２領域のフレームレートに基づいて、伝送路Ｌ１〜Ｌ１６を介して各々のタイミングで受信した画像データがどの単位領域の画像データであるかを特定する。そして、読出制御部６０３１は、特定した画像データの単位領域の位置に基づき、記憶領域における画像データのアドレスの位置が撮像領域１１３Ａにおける単位領域の位置と合致するように画像データを並び替える。
メモリコントローラ６０３３は、１つのフレーム中において更新されている画像データの領域が第１領域だけの場合は、第１領域の画像データだけを記録部６０６０に書き換えて記録させ、１つのフレーム中において更新されている画像データの領域が第１領域及び第２領域（つまり全体の領域）の場合は、第１領域及び第２領域の画像データを記録部６０６０に書き換えて記録させる（ステップＳ６００５）。次に、読出制御部６０３１は、動画の撮影が終了したか否かを判定する（ステップＳ６００６）。読出制御部６０３１は、動画の撮影が終了していないと判定した場合は（ステップＳ６００６のＮＯ）、ステップＳ６００１の処理に移行する。読出制御部６０３１は、動画の撮影が終了したと判定した場合は（ステップＳ６００６のＹＥＳ）、処理を終了する。
図７７は、第２１実施形態の撮像部６０２０における処理を示すフローチャートである。図７７に示す処理において、撮像素子制御部６０２１は、読出制御部６０３１から出力される制御信号に基づき、領域（第１領域、第２領域）ごとのフレームレートの設定と、セレクタ６０２３の切り替えとを行う（ステップＳ６０１１）。すなわち、撮像素子制御部６０２１は、読出制御部６０３１は、第１領域を高フレームレートに設定し、第２領域を低フレームレートに設定する。また、撮像素子制御部６０２１は、セレクタ６０２３に対して選択信号を出力して、単位領域Ａ１〜Ａ１６で得られた画像データを格納するバッファＢ１〜Ｂ１６を各領域のフレームレートに応じたバッファに切り替えさせる。
次に、撮像素子制御部６０２１は、単位領域Ａ１〜Ａ１６で得られた画像データをセレクタ６０２３を介してバッファＢ１〜Ｂ１６に格納させ（ステップＳ６０１２）、バッファＢ１〜Ｂ１６に格納された画像データを伝送路Ｌ１〜Ｌ１６を通じて画像処理部６０３０に送信させる（ステップＳ６０１３）。
本実施形態においては、読出制御部６０３１は、エリア・フレームレート判定処理において、第１領域における高フレームレートと第２領域における低フレームレートの比が整数倍となるように、第１領域及び第２領域のフレームレートを決定する。第１領域からの画像データの読み出しタイミング（転送タイミング）と第２領域からの画像データの読み出しタイミング（転送タイミング）とを同期させるためである。また、上記した構成では、撮像領域１１３Ａ全体を標準フレームレートで撮像した場合と、第１フレームレートを高フレームレートで撮像し、第２フレームレートを低いフレームレートで撮像した場合とで、消費電力を同一にすることが可能となる。
次に、第１領域及び第２領域の面積と、第１領域及び第２領域のフレームレートとの関係について説明する。図７８は、フレームレートと領域５２０１，５２０２との関係を示す図である。図７８の左図に示す例では、撮像部６０２０は、撮像領域１１３Ａ全体から標準フレームレート（ここでは６０ｆｐｓ）で画像データの読み出しを行っている。読出制御部６０３１が撮像領域１１３Ａにおける左側の第１領域５２０１のフレームレートを高フレームレート（ここでは１２０ｆｐｓ）に設定し、撮像領域１１３Ａにおける右側の第２領域５２０２のフレームレートを低フレームレート（ここでは３０ｆｐｓ）に設定すると判定する場合は、第１領域５０２１は撮像領域１１３Ａの１／３の面積となる。
具体的には、標準フレームレートをＡ（ｆｐｓ）とし、高フレームレートをＢ（ｆｐｓ）とし、低フレームレートをＣ（ｆｐｓ）とした場合、｛（１／Ｃ）／（１／Ａ）−１｝／｛（１／Ｃ）／（１／Ｂ）−１｝の計算式により第１領域の面積を求めることができる。図７８の左図の例では、｛（１／３０）／（１／６０）−１｝／｛（１／３０）／（１／１２０）−１｝＝１／３となり、第１領域５０２１の面積は撮像領域１１３Ａの１／３の面積と求められる。
図７８の右図に示す例では、撮像部６０２０は、撮像領域１１３Ａ全体から標準フレームレート（ここでは６０ｆｐｓ）で画像データの読み出しを行っている。読出制御部６０３１が撮像領域１１３Ａにおける左側の第１領域５２０１のフレームレートを高フレームレート（ここでは１２０ｆｐｓ）に設定し、撮像領域１１３Ａにおける右側の第２領域５２０２のフレームレートを低フレームレート（ここでは２０ｆｐｓ）に設定すると判定する場合は、第１領域５０２１は撮像領域１１３Ａの２／５の面積となる。すなわち、図７８の右図の例では、｛（１／２０）／（１／６０）−１｝／｛（１／２０）／（１／１２０）−１｝＝２／５となり、第１領域５０２１の面積は撮像領域１１３Ａの２／５の面積と求められる。
以上に説明したように、第２１実施形態では、撮像領域１１３Ａの所定領域のフレームレートを高くした場合でも、所定領域以外のフレームレートを低くするとともに、画像データを転送するバッファや伝送路を切り替えることで、確実に撮像部６０２０から画像処理部６０３０へ画像データを転送することができる。
上記した第２１実施形態では、読出制御部６０３１は、加速度又は角加速度を検出するセンサ６０５０からの検出信号に基づいてエリア・フレームレート判定処理を実行していたが、風力計で検出される風の向き及び強さに基づいて自動車の進行方向やスピードなどを認識してエリア・フレームレート判定処理を実行してもよい。なお、上記した第２１実施形態では、撮像装置を用いて自動車から撮影した場合を例として説明したが、自転車やスノーボードなどの部材に取り付けられた撮像装置で撮影した場合にも適用可能である。
＜第２２実施形態＞
アクションカメラで撮影を行う場合、例えば、自転車やラジコンなどにデジタルカメラを取り付けて、臨場感のある動画の撮影を行う場合、動画の撮影を行っているときに画角内に不意に被写体が飛び込んでくることがある。このように画角内に不意に飛び込んでくる被写体を撮影したい場合、その被写体に対して撮影条件（露出条件：シャッター速度、ＩＳＯ感度等。撮像条件ともいう。）が適正に設定されておらず、撮影者が所望した画像を撮影することができない。また、それとは逆に、被写体に対して撮影条件を設定できたとしても、不意に画角内に飛び込んでくる被写体を撮影したくない場合もあるため、被写体に対して適正な撮影条件を設定すべきでないことがある。そこで、第２２実施形態では、撮像素子の領域を所定の撮影条件で撮影する領域とランダム（不規則）に撮影条件を変更して撮影する領域とに分けて、それぞれの領域で撮影を行う。
図７９は、第２２実施形態に係る撮影システムの構成を示すブロック図である。図７９に示す撮影システムは、撮影装置（被設定装置）７００１、スマートフォン（設定装置、外部機器）７１００、自転車（被設置装置）７２００を備えている。撮影装置７００１は、自転車７３００に取り付けられる。この撮影装置７００１は、レンズ部７０１０、撮像部７０２０、画像処理部７０３０、ワークメモリ７０４０、操作部７０５５、記録部７０６０、制御部７０７０、測位部７０８１、姿勢検出部７０８２、計測部７０８３、及び通信部７０９０を有する。
なお、図７９において、撮影装置７００１は図７のデジタルカメラ１に相当し、レンズ部７０１０は図７のレンズ部１０に相当し、撮像部７０２０は図７の撮像部２０に相当し、撮像素子７１００は図７の撮像素子１００に相当し、駆動部７０２１は図７の駆動部２１に相当し、画像処理部７０３０は図７の画像処理部３０に相当し、ワークメモリ７０４０は図７のワークメモリ４０に相当し、操作部７０５５は図７の操作部５５に相当し、記録部７０６０は図７の記憶部６０に相当し、制御部７０７０は図７のシステム制御部７０に相当する。これらの構成のうち、レンズ部７０１０、撮像部７０２０、撮像素子７１００、駆動部７０２１、画像処理部７０３０、ワークメモリ７０４０、操作部７０５５、記録部７０６０の構成については説明を省略する。
制御部７０７０は、撮影装置７００１の全体の処理及び動作を制御する。図７９に示すように、制御部７０７０は、設定部７０７１を備えている。設定部７０７１は、例えば図２９に示すように、撮像素子７１００の領域を第１撮像領域と第２撮像領域とに分割する。また、設定部７０７１は、第１撮像領域の撮影条件（以下、第１撮影条件という。）として動画を撮影するときの通常の撮影条件を設定し、第２撮像領域の撮影条件（以下、第２撮影条件という。）としてシャッター速度やＩＳＯ感度等が不規則に変化する撮影条件を設定する。
測位部７０８１は、現在位置を測位するＧＰＳ(Global Positioning System)で構成されている。測位部７０８１は、測位した現在位置の情報を制御部７０７０に出力する。姿勢検出部７０８２は、互いに直交する３つの軸回りの回転ぶれと、３つの軸方向の並進ぶれとを検出するセンサである。例えば、姿勢検出部７０８２は、センサ自体の３軸回りの角加速度を検出する３軸ジャイロセンサと、センサ自体の３軸方向の並進加速度を検出する３軸加速度センサとで構成される。姿勢検出部７０８２は、検出した加速度（角加速度、直線加速度）を示す加速度情報を制御部７０７０に出力する。計測部７０８３は、自転車７３００のギアの回転数等の被接地装置７３００に関する情報を計測するセンサである。計測部７０８３は、計測したギアの回転数等を示す情報を制御部７０７０に出力する。通信部７０９０は、通信回線（無線回線）を通じてスマートフォン７２００及び自転車７３００と情報を送受信する。
スマートフォン（設定装置）７２００は、表示部７２０１、操作部７２０２、制御部７２０３、及び通信部７２０４を有している。表示部７２０１は、例えば液晶表示パネルで構成されている。操作部７２０２は、操作ボタンや表示部７２０１上に形成されたタッチパネルなどで構成されている。制御部７２０３は、スマートフォン７２００の全体の処理及び動作を制御する。通信部７２０４は、通信回線（無線回線）を通じて撮影装置７００１及び自転車７３００と情報を送受信する。
自転車（被設置装置）７３００には、計測部７３０１、制御部７３０２、及び通信部７３０３が取り付けられている。計測部７３０１は、自転車７３００のギアの回転数等を計測するセンサである。計測部７３０１は、計測したギアの回転数等を示す情報を制御部７３０２に出力する。制御部７３０２は、計測部７３０１及び通信部７３０３の動作を制御する。通信部７３０３は、通信回線（無線回線）を通じて撮影装置７００１及びスマートフォン７２００と情報を送受信する。
各装置７００１，７２００，７３００の通信部７０９０，７２０４，７３０３は、制御部７０７０，７２０３，７３０２の指示に応じて、各装置との通信を確立し様々な情報を授受する。情報とは、例えば撮影装置７００１からスマートフォン７２００へ送るライブビュー画像であり、スマートフォン７２００から撮影装置７００１へ送る操作部７２０２により設定された撮影条件や領域決定情報（第１撮像領域及び第２撮像領域の範囲などを示す情報）である。
撮影装置７００１の制御部７０７０だけでなく、スマートフォン７２００の制御部７２０３が、撮像素子７１００の領域を第１撮像領域と第２撮像領域とに分割するように制御部７０７０に対して指示することも可能である。具体的な方法として、撮影装置７００１の制御部７０７０は、通信部７０９０を介してライブビュー画像をスマートフォン７２００に送信する。スマートフォン７２００の制御部７２０３は、通信部７２０４を介して、撮影装置７００１から送信されたらライブビュー画像を受信し、表示部７２０１にライブビュー画像を表示する。スマートフォン７２００の制御部７２０３は、表示部７２０１に表示されたライブビュー画像に対して使用者の操作により領域が決定されると、領域決定情報を通信部７２０４を介して撮影装置７００１に送信する。撮影装置７００１の制御部７０７０は、スマートフォン７２００から送信された領域決定情報に基づいて、撮像素子７１０の領域を分割する。領域決定情報とは、領域を特定するための撮像素子７１００上の座標や、顔認識等により人物抽出をした情報などである。
（１）不意に画角に飛び込んできた被写体を撮影する場合；
撮影装置７００１の設定部７０７１は、撮像素子７１００内の領域を所定の撮影条件で撮影する第１撮像領域とランダムに撮影条件を変更して撮影する第２撮像領域とに分割する。第１撮像領域では、使用者（撮影者）が撮影をしたい代表の撮影条件が設定される。第２撮像領域では、例えばフレームレート、シャッター速度、ゲイン、露出補正などの撮影条件をフレームごとにランダムに変更する。設定部７０７１は、第２撮像領域において撮影条件をランダムに変更することで、不特定の被写体が画角内に不意に飛び込んできたとしても、その被写体に適した撮影条件で撮影された画像（動画）を撮影することができる。
（２）日向と日陰を撮影する場合；
不意に画角に飛び込んでくる被写体として、太陽や影がある。撮影装置７００１が設置された自転車７３００が日向に入るか、撮影装置７００１内の画角に太陽が入り込むと白飛びを起こし、撮影装置７００１が設置された自転車７３００が日陰に入ってしまうと、黒潰れが生じやすい。また、撮影装置７００１が設置された非設置装置７３００が日陰に入って、またすぐに日陰から抜けて、を繰り返すような撮影状況（例えば、晴れた日に木が生い茂った山の中での撮影）においては、設定部７０７１は、第２撮像領域の撮影条件をランダムに変更するのではなく、ランダムで撮影する領域の撮像結果を用いることで、撮影条件を頻繁に変更しすぎないように設定する。
また、制御部７０７０は、測位部７０１で測位された現在位置の情報や、外部装置（図示せず）から通信部７０９０を介して受信する情報（例えば天気予報や天気図）を取得する。また、撮影装置７００１が自転車７３００に取り付けられた場合は、制御部７０７０は、姿勢検出部７０８２により検出された加速度情報を取得する。また、撮影装置７００１が自転車７３００に取り付けられた場合は、制御部７０７０は、計測部７０８３により検出された自転車７３００のギアの回転数を示す情報を取得する。また、制御部７０７０は、自転車７３００の計測部７３０１により計測された自転車７３００のギアの回転数を示す情報を通信部７０９０を介して取得する。
制御部７０７０は、取得した情報に基づいて、太陽の位置（方角）や高度（地面からの角度）、影ができる方向などを推測する。また、制御部７０７０は、自転車７３００における撮影装置７００１の取り付け位置（又は／及び角度）、回転数等の情報に基づく自転車７３００の移動距離、現在位置の情報に基づく建物の位置情報、太陽の位置や高度などから、何秒後に日陰に入るか、また何秒後に日陰から日向に移動するかを推測する。撮影装置が設置された自転車７３００が日陰の中に入るとともに制御部７０７０によって急激に撮影条件を変更しようとすると撮像部７０２０内の駆動部７０２１への負担が大きい。そのため、制御部７０７０は、撮影装置が設置された自転車７３００が日陰に入ることを事前に予測し、ランダムに撮影条件を変える第２撮像領において、日陰に入る前（直前）に撮影条件（例えばゲインを高め）に設定する。また、制御部７０７０は、日陰から抜ける瞬間、つまり日陰から日向へ移動するときに白飛びが発生するおそれがあるので、日陰から抜ける所定時間前から第２撮像領の撮影条件（例えばゲインを低め）に設定する。所定時間は、撮影装置７００１の移動量や速度、日時、天気などから決定するようにしてもよい。
（３）撮影条件をリモートで設定する場合；
撮影装置（被設定装置）７００１の制御部７０７０は、スマートフォン（設定装置）７２００の制御部７２０３に対してそれぞれの通信部７０９０，７２０４を介して無線回線で接続する。スマートフォン７２００の制御部７２０３は、使用者による操作部７２０２の操作に応じて、撮像領域を示す領域決定情報及びその領域における撮影条件を示す情報を制御部７０７０に送信する。その結果、使用者は、スマートフォン７２００の表示部７２０１の画面から撮影装置７００１で撮像した画像（ライブビュー画像）を用いて撮影条件を設定することができる。設定可能な撮影条件としては、フレームレート、シャッター速度、ゲイン、露出補正などがある。また、使用者は、操作部７２０２を操作することで、不意に画角内に飛び込んでくる被写体を撮影したいか否かを設定することも可能である。
このような構成によれば、画角に不意に飛び込んできた被写体を撮影することができ、又は画角に不意に飛び込んできた被写体を撮影しないようにすることもできる。
＜第２３実施形態＞
図８０は、第２３実施形態の第１撮像領域及び第２撮像領域の撮影条件の切替タイミングを示す図である。第２２実施形態では、第１撮像領域を使用者（撮影者）が撮影をしたい代表の撮影条件が設定された領域、第２撮像領域を撮影条件がランダムに変更される領域とした。しかし、このような構成に限定されず、図８０に示すように、制御部７０７０は、所定時間毎に、第１撮像領域の撮影条件と第２撮像領域の撮影条件とを交互に切り替えるように構成してもよい。すなわち、制御部７０７０は、第１撮像領域において使用者が撮影をしたい代表の撮影条件が設定された状態から撮影条件をランダムに変更する状態に変更するとともに、第２撮像領域において撮影条件をランダムに変更する状態から使用者が撮影をしたい代表の撮影条件が設定された状態に変更する。制御部７０７０は、所定時間経過後に、第２撮像領域において使用者が撮影をしたい代表の撮影条件が設定された状態から撮影条件をランダムに変更する状態に変更するとともに、第１撮像領域において撮影条件をランダムに変更する状態から使用者が撮影をしたい代表の撮影条件が設定された状態に変更する。このような撮影条件の切り替えを所定時間毎に行う。
撮影条件をランダムに変更する領域は、撮影条件を頻繁に変更するため、制御部７０７０や駆動部７０２１の負荷が多く、撮像素子７１００における撮影条件をランダムに変更する領域に熱が溜まりやすい。これに対して、もう一方の領域（撮影条件をランダムに変更しない領域）は撮影条件が一定のため、ランダムに撮影条件を変更する領域と比較して制御部７０７０や駆動部７０２１の負荷は少なく、その領域にも熱が溜まりにくい。このように、制御部７０７０は、ランダムに撮影条件を変更する領域の切替えを適宜行うことで、撮像素子７１００の一部の領域にのみ負荷が多くなることを防ぐことができる。また、上記した影から出たり入ったりする撮影状況の場合は、所定時間毎に切替えるのではなく、例えば日向での撮影のときは第１撮像領域を使用者（撮影者）が撮影をしたい代表の撮影条件が設定された領域、第２撮像領域を撮影条件がランダムに変更される領域とし、日陰での撮影のときには、第２撮像領域を使用者（撮影者）が撮影をしたい代表の撮影条件が設定された領域、第１撮像領域を撮影条件がランダムに変更される領域と変更するようにしてもよい。また、制御部７０７０は、所定時間毎にランダムに撮影条件を変更する領域の切替えを行うのではなく、駆動部７０２１の熱をモニタリングし、撮像素子７１００が所定温度以上になったときに、ランダムに撮影条件を変更するように領域の切り替えを行うようにしてもよい。
上記した第２２実施形態及び第２３実施形態では、制御部７０７０（つまり設定部７０７１）は、ランダムに撮影条件を変更する領域の面積（画素数）を、代表の撮影条件が設定された領域の面積よりも小さくするように設定してもよい。また、制御部７０７０は、その面積比を変更するようにしてもよい。例えば、撮影条件を頻繁に変えるべき状況、例えば晴れた日に木が生い茂った山の中での撮影状況においては、制御部７０７０は、ランダムに撮影条件を変更する領域の面積を大きくするようにしてもよい。またランダムに撮影条件を変更する領域を、撮像素子７１００の周辺に配置するようにしてもよい。これにより、不意に画角内に飛び込んでくる被写体を検出しやすくなる。また、スマートフォン７２００を操作することにより、ランダムに撮影条件を変更する領域の位置を設定できるようにしてもよい。使用者（撮影者）が、撮影装置７００１に対してどの方向から被写体が画角内に飛び込んでくるかを推測した場合、その方向の画素をランダムに撮影条件を変更する領域として設定したり、画素数を多くするようにしてもよい。
また、第２２実施形態及び第２３実施形態では、所定の領域において撮影条件をランダムに変更する場合、例えば制御部７０７０が乱数発生器から乱数を抽出し、抽出した乱数に基づいて撮影条件を決定してもよい。また、第２２実施形態及び第２３実施形態では、１フレーム毎に撮影条件をランダムに変更していたが、数フレーム毎に撮影条件をランダムに変更してもよい。また、所定の領域において撮影条件をランダムに変更していたが、撮影条件を規則的に（所定の規則に従って）変更してもよい。また、被設置装置は自転車７３００としていたがラジコンなどであってもよい。
また、第２２実施形態及び第２３実施形態において、制御部７０７０はランダムに変更する撮影条件を撮影状況に合わせて最適化してもよい。例えば、制御部７０７０は、所定時間撮影した画像に基づいて撮影状況を判定し、判定した撮影状況に基づいてランダムに変更する撮影条件の幅を狭くしてもよい。このような制御部７０７０に学習機能を持たせることにより、制御部７０７０や撮像部７０２０の処理負担を軽減させることができる。
１，１Ｂ…デジタルカメラ、１Ａ…撮像装置、２０…撮像部、３０，３０…画像処理部、５０…表示部、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部、７１…分割部、７２…駆動制御部、７３…制御部、７４…明滅検知部、１００…撮像素子、１１３Ａ…画素領域（撮像領域）、４１６…演算回路（信号処理部、ブロック判定部）、１００１，１００１Ｂ…電子機器、１００１Ａ…撮像装置、１０２０…撮像部、１０３０…画像処理部、１０３１…画像生成部、１０３２…検出部、１０５０…表示部、１０５１…表示パネル、１０５２…タッチパネル（選択部）、１０７０…システム制御部、１０７０Ａ…第１システム制御部、１０７０Ｂ…第２システム制御部、１０７１…表示制御部、１０７２…設定部（フレームレート設定部）、１０７３…撮像制御部、１０７４…ＡＦ処理部、１１００…撮像素子、２００１，２００１Ｂ…電子機器、２００１Ａ…撮像装置、２０２０…撮像部、２０３０…画像処理部、２０３１…検出部（態様検出部）、２０５０，２０５０Ａ，２０５０Ｂ…表示部、２０５１…表示面、２０５２…タッチパネル、２０７０…システム制御部、２０７０Ａ…第１システム制御部、２０７０Ｂ…第２システム制御部、２０７１…設定部、２０７２…制御部、２０７３…表示制御部、２０７４…ＡＦ処理部（焦点検出部）、２０７５…ＡＥ処理部、２１００…撮像素子、３００１，３００１Ｂ…電子機器、３００１Ａ…撮像装置、３０２０…撮像部、３０３０…画像処理部、３０３１…変換部、３０５０…表示部、３０５１…表示画面、３０５２…タッチパネル、３０７０…システム制御部、３０７０Ａ…第１システム制御部、３０７０Ｂ…第２システム制御部、３０７１…領域分割部、３０７２…制御部、３１００…撮像素子、４００１…デジタルカメラ（電子機器）、４１００…撮像素子、４０７０…システム制御部（制御部）、５００１…スマートフォン（電子機器）、５０３０…画像処理部、５０７０…システム制御部、５０７１…操作検出部、５０７２…駆動制御部、６０２０…撮像部、６０３０…画像処理部、６０２１…セレクタ（選択部）、６０２３…バッファ、６０３２…読出制御部（制御部）、６０５０…センサ、Ａ１〜Ａ１６…単位領域、Ｌ１〜Ｌ１６…伝送路、７００１…撮影装置（被設定装置）、７０２０…撮像部、７０７０…制御部、７０７１…設定部、７２００…スマートフォン（設定装置、外部機器）、７３００…自転車（被設置装置）、７０９０…通信部

Claims (69)

  1. 撮像素子を駆動制御する駆動制御部と、
    前記撮像素子を第１領域と第２領域とに分割する分割部と、
    前記駆動制御部が前記第２領域から読み出す信号に基づいて光源の明滅を検知する明滅検知部と、を備える撮像装置。
  2. 前記駆動制御部は、前記明滅検知部により検知された前記光源の明滅に基づいて撮像開始のタイミングを変更する請求項１記載の撮像装置。
  3. 前記駆動制御部が前記第１領域から読み出す信号に基づいてライブビュー画像を表示部に表示させる制御部を備え、
    前記明滅検知部は、前記ライブビュー画像の表示中に、前記光源の明滅を検知する請求項１または請求項２記載の撮像装置。
  4. 前記明滅検知部は、撮像開始の操作に応じて、前記光源の明滅を検知する請求項１または請求項２記載の撮像装置。
  5. 前記駆動制御部は、前記第１領域のフレームレートよりも高いフレームレートで前記第２領域を駆動制御する請求項１から４のいずれか一項に記載の撮像装置。
  6. 前記駆動制御部は、前記光源の明滅周波数の整数倍のフレームレートで前記第２領域を駆動制御する請求項５記載の撮像装置。
  7. 前記駆動制御部は、前記光源の明滅周波数に合わせて変更したフレームレートで前記第２領域を駆動制御する請求項５記載の撮像装置。
  8. 前記分割部は、前記第２領域を第３領域と第４領域とに分割し、
    前記駆動制御部は、前記第３領域と前記第４領域とを異なるフレームレートで駆動制御する請求項５記載の撮像装置。
  9. 前記第２領域は複数のブロックで構成され、
    各ブロックに含まれる複数の画素からの信号を平均化する信号処理部を含む請求項１から８のいずれか一項に記載の撮像装置。
  10. 前記各ブロックからの信号に基づいて、前記光源の明滅のコントラストが高いブロックを判定するブロック判定部を含み、
    前記明滅検知部は、前記ブロック判定部により判定された前記ブロックからの信号に基づいて、前記光源の明滅を検知する請求項９記載の撮像装置。
  11. 前記分割部は、前記第２領域を前記第１領域の周囲に設定する請求項１から１０のいずれか一項に記載の撮像装置。
  12. 撮像光学系からの光束を受光する第１撮像素子と、
    前記撮像光学系からの光束を受光する第２撮像素子と、
    前記第２撮像素子からの信号に基づいて前記第１撮像素子における光源の明滅を検知する明滅検知部と、を備える撮像装置。
  13. 撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子を第１領域と第２領域とに分割することと、
    前記第２領域からの信号に基づいて光源の明滅を検知することと、を含む撮像装置の制御方法。
  14. 撮像素子を有する制御装置に、
    前記撮像素子を第１領域と第２領域とに分割する分割処理と、
    前記第２領域からの信号に基づいて光源の明滅を検知する明滅検知処理と、を実行させる制御プログラム。
  15. 撮像素子を有し、該撮像素子の撮像領域において動画と静止画のうち少なくともいずれか一方を撮像可能な撮像部と、
    前記撮像部により前記撮像領域において前記動画を撮像中に、前記撮像領域内に前記第１領域を設定する設定部と、
    前記設定部により前記第１領域が設定されると、前記第１領域と前記第１領域とは異なる前記第２領域とのいずれか一方について動画を生成し、他方について静止画を生成する画像生成部と、を備えることを特徴とする電子機器。
  16. 前記撮像部により撮像された前記動画と前記静止画のうち少なくともいずれか一方から被写体を検出する検出部を備え、
    前記設定部は、前記検出部により検出された一又は複数の被写体の領域を前記第１領域として設定することを特徴とする請求項１５に記載の電子機器。
  17. 前記撮像部により撮像された前記動画と前記静止画の少なくともいずれか一方を表示部に表示させる表示制御部と、
    前記表示部に表示された前記動画と前記静止画の少なくともいずれか一方において、前記第１領域を選択可能な選択部と、をさらに備えることを特徴とする請求項１５または１６に記載の電子機器。
  18. 前記選択部は、前記表示部に形成されたタッチパネルを有することを特徴とする請求項１７に記載の電子機器。
  19. 前記設定部は、前記撮像部により撮像されたライブビュー画像を前記表示部に表示させているときに、前記第１領域を設定することを特徴とする請求項１５から１８のいずれか一項に記載の電子機器。
  20. 前記動画のフレームレートを設定するフレームレート設定部を備えることを特徴とする請求項１５から１９のいずれか一項に記載の電子機器。
  21. 前記フレームレート設定部は、前記動画が生成される前記第１領域または前記第２領域が複数ある場合、領域毎に前記動画のフレームレートを異ならせることを特徴とする請求項２０に記載の電子機器。
  22. 撮像素子を有し、該撮像素子の撮像領域において動画と静止画のうち少なくともいずれか一方を撮像可能な撮像部を含む電子機器の制御方法であって、
    前記撮像部により前記撮像領域において前記動画を撮像中に、前記撮像領域内に前記第１領域を設定することと、
    前記設定部により前記第１領域が設定されると、前記第１領域と前記第１領域とは異なる前記第２領域とのいずれか一方について動画を生成し、他方について静止画を生成することと、を含むことを特徴とする電子機器の制御方法。
  23. 撮像素子を有し、該撮像素子の撮像領域において動画と静止画のうち少なくともいずれか一方を撮像可能な電子機器の制御装置に、
    前記撮像部により前記撮像領域において前記動画を撮像中に、前記撮像領域内に前記第１領域を設定する設定処理と、
    前記設定部により前記第１領域が設定されると、前記第１領域と前記第１領域とは異なる前記第２領域とのいずれか一方について動画を生成し、他方について静止画を生成する画像生成処理と、
    を実行させることを特徴とする制御プログラム。
  24. 撮像素子を有する撮像部と、
    主要被写体を検出する検出部と、
    前記撮像素子の撮像領域において、前記検出部が検出した前記主要被写体を含む第１領域と該第１領域とは異なる第２領域とを設定する設定部と、
    前記第１領域と前記第２領域とを異なる撮像条件で撮像を行わせる制御部と、を備える電子機器。
  25. 前記設定部は、前記主要被写体の移動に合わせて前記第１領域を変化させる請求項２４記載の電子機器。
  26. 前記主要被写体の焦点位置を検出する焦点検出部を備え、
    前記設定部は、前記焦点検出部が検出した焦点位置に関する情報に基づいて前記主要被写体の移動を予測する請求項２５記載の電子機器。
  27. 前記制御部は、前記第１領域に対して、前記撮像条件としてのゲイン及びフレームレートの少なくとも一方について前記第２領域よりも高く設定する請求項２４から２６のいずれか一項に記載の電子機器。
  28. 前記設定部は、前記検出部が前記主要被写体を検出していない場合に、前記撮像領域において、第３領域を分散的に配置するとともに前記第３領域とは異なる第４領域を分散的に配置し、
    前記制御部は、前記第３領域を焦点検出に関する撮像条件で撮像させ、前記第４領域を露出検出に関する撮像条件で撮像させる請求項２４から２７のいずれか一項に記載の電子機器。
  29. 前記設定部は、前記検出部が前記主要被写体を検出した場合に、前記第２領域において、第３領域を分散的に配置するとともに前記第３領域とは異なる第４領域を分散的に配置し、
    前記制御部は、前記第３領域を焦点検出に関する撮像条件で撮像させ、前記第４領域を露出検出に関する撮像条件で撮像させる請求項２４から２７のいずれか一項に記載の電子機器。
  30. 前記第１領域を表示部に表示する表示制御部を備える請求項２４から２９のいずれか一項に記載の電子機器。
  31. 前記表示制御部は、前記主要被写体の少なくとも一部を前記第２領域の所定位置に拡大表示する請求項３０記載の電子機器。
  32. 前記主要被写体としての人物の表情及び動作を含む態様を検出する態様検出部を備え、
    前記制御部は、前記態様検出部により検出された前記態様が特定態様である場合に、前記撮像部に本撮像を行わせる請求項２４から３１のいずれか一項に記載の電子機器。
  33. 前記設定部は、前記撮像領域において、静止画を撮像するための第５領域と、動画を撮像するための第６領域とを設定し、前記第５領域において、前記第１領域と前記第２領域とを設定する請求項２４から３２のいずれか一項に記載の電子機器。
  34. 前記制御部は、前記第５領域と前記第６領域とを異なる撮像条件で撮像を行わせる請求項３３記載の電子機器。
  35. 前記設定部は、前記撮像領域において、前記第５領域を分散的に配置するとともに前記第６領域を分散的に配置する請求項３３または請求項３４記載の電子機器。
  36. 撮像素子を有する撮像部と、
    被写体の状態変化を検出する検出部と、
    該検出部が検出する前記状態変化を契機として、前記撮像素子の撮像領域において、前記被写体の焦点位置の検出を行うための領域と露出検出を行うための領域とが設定された第１設定状態と、該第１設定状態とは異なる第２設定状態とを切り替える切替部と、を備える電子機器。
  37. 撮像素子を有する電子機器の制御方法であって、
    主要被写体を検出することと、
    前記撮像素子の撮像領域において、検出した前記主要被写体を含む第１領域と該第１領域とは異なる第２領域とを設定することと、
    前記第１領域と前記第２領域とを異なる撮像条件で撮像を行わせることと、を含む電子機器の制御方法。
  38. 撮像素子を有する電子機器の制御装置に、
    主要被写体を検出する検出処理と、
    前記撮像素子の撮像領域において、前記検出処理が検出した前記主要被写体を含む第１領域と該第１領域とは異なる第２領域とを設定する設定処理と、
    前記第１領域と前記第２領域とを異なる撮像条件で撮像を行わせる制御処理と、を実行させる制御プログラム。
  39. 撮像素子を有する電子機器の制御方法であって、
    被写体の状態変化を検出することと、
    前記状態変化を契機として、前記撮像素子の撮像領域において、前記被写体の焦点位置の検出を行うための領域と露出検出を行うための領域とが設定された第１設定状態と、該第１設定状態とは異なる第２設定状態とを切り替えることと、を含む電子機器の制御方法。
  40. 撮像素子を有する電子機器の制御装置に、
    被写体の状態変化を検出する検出処理と、
    該検出処理が検出する前記状態変化を契機として、前記撮像素子の撮像領域において、前記被写体の焦点位置の検出を行うための領域と露出検出を行うための領域とが設定された第１設定状態と、該第１設定状態とは異なる第２設定状態とを切り替える切替処理と、を実行させる制御プログラム。
  41. 撮像素子で撮像された被写体像の輝度分布データに基づいて、前記撮像素子の撮像領域を輝度レベルに応じた複数の領域に分割する領域分割部と、
    前記領域分割部により分割された各領域の輝度レベルが特定範囲内に入るように前記撮像素子の撮像条件を前記各領域ごとに設定する制御部と、を備える電子機器。
  42. 前記領域分割部は、輝度レベルの閾値に基づいて前記撮像領域を前記複数の領域に分割する請求項４１記載の電子機器。
  43. 前記領域分割部は、前記制御部により前記撮像条件が設定されても、前記複数の領域のうちの所定領域の輝度レベルが前記特定範囲内に入らない場合、前記撮像条件の設定後における前記所定領域の輝度レベルの閾値に基づいて該所定領域をさらに複数の領域に分割する請求項４１または請求項４２記載の電子機器。
  44. 前記制御部は、前記撮像素子の飽和レベルに基づいて前記特定範囲を決定する請求項４１から４３のいずれか一項に記載の電子機器。
  45. 前記制御部は、前記撮像条件として、ゲイン、露光時間、及びフレームレートの少なくとも１つを設定する請求項４１から４４のいずれか一項に記載の電子機器。
  46. 前記複数の領域ごとの撮像条件に合わせて画像処理を実行する画像処理部を備える請求項４１から４５のいずれか一項に記載の電子機器。
  47. 前記制御部が設定した前記撮像条件に基づいて、前記各領域の輝度レベルを該各領域において同一又は略同一の撮像条件で撮像された場合の輝度レベルに変換する変換部を備える請求項４１から４６のいずれか一項に記載の電子機器。
  48. 前記変換部は、前記撮像素子または画像処理部に設けられる請求項４７記載の電子機器。
  49. 前記制御部は、前記複数の領域ごとの撮像条件による撮像タイミングの一部が重複するように前記撮像素子を制御する請求項４１から４８のいずれか一項に記載の電子機器。
  50. 撮像素子を有する電子機器の制御方法であって、
    前記撮像素子で撮像された被写体像の輝度分布データに基づいて、前記撮像素子の撮像領域を輝度レベルに応じた複数の領域に分割することと、
    分割された各領域の輝度レベルが特定範囲内に入るように前記撮像素子の撮像条件を前記各領域ごとに設定することと、を含む電子機器の制御方法。
  51. 撮像素子を有する電子機器の制御装置に、
    前記撮像素子で撮像された被写体像の輝度分布データに基づいて、前記撮像素子の撮像領域を輝度レベルに応じた複数の領域に分割する領域分割処理と、
    前記領域分割処理により分割された各領域の輝度レベルが特定範囲内に入るように前記撮像素子の撮像条件を前記各領域ごとに設定する制御処理と、を実行させる制御プログラム。
  52. 被写体からの光束を複数の領域で受光し、前記複数の領域を異なる撮像条件で撮像可能な撮像素子と、
    前記複数の領域において、露出に関する処理に対して複数の撮像条件により撮像を制御する制御部と、を備える電子機器。
  53. 前記制御部は、飽和レベルの領域において輝度レベルが前記飽和レベルよりも低下するように撮像条件を変更する請求項５２に記載の電子機器。
  54. 前記制御部は、前記複数の領域のうちの第１領域において商用電源の周波数の整数倍のフレームレートを撮像条件として設定し、前記複数の領域のうちの第２領域において前記フレームレートよりも高いフレームレートを撮像条件として設定する請求項５２または請求項５３に記載の電子機器。
  55. 画像の拡大、縮小及び移動の少なくともいずれか一つの操作を検出する操作検出部と、
    前記操作検出部で検出された操作に応じて撮像素子を駆動制御する領域を選択する駆動制御部と、を備える電子機器。
  56. 前記駆動制御部は、表示部に表示されている画像の領域をアクティブ状態とし、前記領域以外の領域をスリープ状態とする請求項５５に記載の電子機器。
  57. 前記駆動制御部は、表示部に表示されている画像の領域を含む領域をアクティブ状態とし、前記領域以外の領域をスリープ状態とする請求項５５に記載の電子機器。
  58. 前記駆動制御部は、前記操作検出部で検出された操作に応じて前記撮像素子を駆動制御する領域の間引き率を変更する請求項５５から５７のいずれか１項に記載の電子機器。
  59. 記録部の記録画素数が前記撮像素子を駆動制御する領域の画素数を超えた場合、画像データの補間処理を行う画像処理部をさらに備える請求項５５から５８のいずれか１項に記載の電子機器。
  60. 撮像領域において領域ごとに異なるフレームレートで撮像可能な撮像部と、
    前記撮像部で撮像された画像データの画像処理を行う画像処理部と、を備え、
    前記撮像部は、
    前記撮像領域の複数の単位領域に対応して設けられた複数のバッファと、
    前記領域ごとのフレームレートに基づいて前記単位領域で得られた画像データを格納する前記バッファを選択する選択部と、を含むことを特徴とする撮像装置。
  61. 前記画像処理部は、前記複数のバッファに対応して設けられた複数の伝送路を通じて受け取った画像データを前記複数の単位領域の配置に基づいて並び替える請求項６０に記載の撮像装置。
  62. 前記撮像部は、一又は複数の単位領域からなる第１領域において第１フレームレートで撮像し、一又は複数の単位領域からなる第２領域において前記第１フレームレートよりも低く該第１フレームレートとの比が整数倍となる第２フレームレートで撮像する請求項６０または請求項６１に記載の撮像装置。
  63. 加速度又は角加速度を検出するセンサと、
    前記センサの検出結果に基づいて前記領域ごとのフレームレートを決定する制御部と、を備える請求項６０から請求項６２のいずれか１項に記載の撮像装置。
  64. 第１撮影条件により撮像する第１撮像領域と、前記第１撮影条件とは異なる第２撮影条件により撮像する第２撮像領域とを有する撮像部と、
    前記第１撮影条件または前記第２撮影条件の少なくともいずれか一方の撮影条件を不規則に変更して設定する設定部と、を備える撮影装置。
  65. 請求項６４に記載の撮影装置において、
    前記設定部により変更される前記第１撮影条件および前記第２撮影条件の所定時刻における変更頻度を異ならせる制御部と、を備える撮影装置。
  66. 請求項６４または請求項６５に記載の撮影装置において、
    前記設定部は、前記第１撮影条件または前記第２撮影条件の一方の撮影条件を不規則に変更した場合、他方の撮影条件を所定の撮影条件に設定する撮影装置。
  67. 請求項６４から請求項６６のいずれか１項に記載の撮影装置において、
    前記第１撮像領域または前記第２撮像領域の内、撮像条件を不規則に設定された領域の面積を小さくする撮影装置。
  68. 請求項６４から請求項６７のいずれか１項に記載の撮影装置において、
    前記撮像部は、前記撮影条件が不規則に設定された領域が周辺に配置する撮影装置。
  69. 請求項６４から請求項６８のいずれか１項に記載の撮影装置において、
    外部機器と通信を行う通信部をさらに備え、
    前記設定部は、前記外部機器にて設定された前記撮影条件または前記撮像領域を決定する領域決定情報の少なくともいずれか一方を前記通信部を介して受信し、受信した前記撮影条件または前記領域決定情報の少なくともいずれか一方に基づいて前記撮影装置の設定を行う撮影装置。
JP2014200650A 2013-10-01 2014-09-30 電子機器、電子機器の制御方法、及び制御プログラム電子機器 Active JP6547266B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014200650A JP6547266B2 (ja) 2013-10-01 2014-09-30 電子機器、電子機器の制御方法、及び制御プログラム電子機器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013206196 2013-10-01
JP2013206196 2013-10-01
JP2014200650A JP6547266B2 (ja) 2013-10-01 2014-09-30 電子機器、電子機器の制御方法、及び制御プログラム電子機器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019116734A Division JP6816793B2 (ja) 2013-10-01 2019-06-24 電子機器

Publications (2)

Publication Number Publication Date
JP2015092660A true JP2015092660A (ja) 2015-05-14
JP6547266B2 JP6547266B2 (ja) 2019-07-24

Family

ID=53195585

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014200650A Active JP6547266B2 (ja) 2013-10-01 2014-09-30 電子機器、電子機器の制御方法、及び制御プログラム電子機器
JP2019116734A Active JP6816793B2 (ja) 2013-10-01 2019-06-24 電子機器
JP2020213369A Active JP7318631B2 (ja) 2013-10-01 2020-12-23 撮像素子及び電子機器
JP2023116067A Pending JP2023133358A (ja) 2013-10-01 2023-07-14 撮像素子

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2019116734A Active JP6816793B2 (ja) 2013-10-01 2019-06-24 電子機器
JP2020213369A Active JP7318631B2 (ja) 2013-10-01 2020-12-23 撮像素子及び電子機器
JP2023116067A Pending JP2023133358A (ja) 2013-10-01 2023-07-14 撮像素子

Country Status (1)

Country Link
JP (4) JP6547266B2 (ja)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057492A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017057267A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、および焦点検出装置
WO2017057279A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、画像処理装置、および表示装置
WO2017057268A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、および制御装置
WO2017057494A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017057280A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、および被写体検出装置
WO2017057495A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017057493A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017170725A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、被写体検出装置、および電子機器
WO2017170726A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置および電子機器
WO2017170724A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、レンズ調節装置、および電子機器
JP2017188849A (ja) * 2016-04-08 2017-10-12 株式会社シマノ 自転車用撮影装置およびその制御装置
JP2017204679A (ja) * 2016-05-09 2017-11-16 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP2018160830A (ja) * 2017-03-23 2018-10-11 株式会社ニコン 撮像装置
CN109196854A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
CN109196855A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
WO2019065916A1 (ja) * 2017-09-29 2019-04-04 株式会社ニコン 動画圧縮装置、電子機器、および動画圧縮プログラム
JP2019103031A (ja) * 2017-12-05 2019-06-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2019131346A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP2019117132A (ja) * 2017-12-27 2019-07-18 株式会社バンザイ 車両用ヘッドライトテスター
WO2019172437A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP2019170407A (ja) * 2018-03-26 2019-10-10 国立大学法人東北大学 信号制御装置、信号制御プログラム、及び信号制御方法
JP2020145624A (ja) * 2019-03-07 2020-09-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020155886A (ja) * 2019-03-19 2020-09-24 キヤノン株式会社 撮像デバイス、撮像手段の制御方法、プログラム及び記憶媒体
WO2020202414A1 (ja) * 2019-03-29 2020-10-08 株式会社ニコン 撮像装置および制御プログラム
WO2020202413A1 (ja) * 2019-03-29 2020-10-08 株式会社ニコン 撮像素子および撮像装置
WO2021038692A1 (ja) * 2019-08-26 2021-03-04 株式会社日立国際電気 撮像装置、撮像方法、および映像処理プログラム
JP2021044668A (ja) * 2019-09-10 2021-03-18 キヤノン株式会社 撮像装置、制御方法、およびプログラム
US11616915B2 (en) 2020-05-19 2023-03-28 Canon Kabushiki Kaisha Apparatus and method thereof, and storage medium for detecting a change in external light that occurs during shooting an image
JP7444958B1 (ja) 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7547052B2 (ja) 2020-02-10 2024-09-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
JP7570856B2 (ja) 2020-09-10 2024-10-22 キヤノン株式会社 撮像装置、撮像装置の駆動方法、撮像システムおよび移動体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065119A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd 撮像装置及び方法
JP2007174537A (ja) * 2005-12-26 2007-07-05 Victor Co Of Japan Ltd 撮像装置
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP2008085859A (ja) * 2006-09-28 2008-04-10 Canon Inc 撮像装置及びその制御方法並びに撮像システム
JP2009065519A (ja) * 2007-09-07 2009-03-26 Denso Corp 画像処理装置
JP2010008507A (ja) * 2008-06-24 2010-01-14 Olympus Imaging Corp カメラ
JP2010114834A (ja) * 2008-11-10 2010-05-20 Olympus Imaging Corp 撮像装置
JP2011254339A (ja) * 2010-06-03 2011-12-15 Hitachi Ltd 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268535A (ja) * 1992-03-24 1993-10-15 Toshiba Corp 視覚センサー
JPH07135592A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP4172898B2 (ja) * 2000-05-31 2008-10-29 Ｈｏｙａ株式会社 電子内視鏡装置
JP4349232B2 (ja) * 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びｍｏｓ型固体撮像装置
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP5043635B2 (ja) * 2007-12-28 2012-10-10 キヤノン株式会社 撮像装置
JP5655291B2 (ja) * 2009-11-05 2015-01-21 株式会社ニコン 電子カメラ
JP5500007B2 (ja) * 2010-09-03 2014-05-21 ソニー株式会社 固体撮像素子およびカメラシステム
JP2013046232A (ja) * 2011-08-24 2013-03-04 Nippon Hoso Kyokai <Nhk> 固体撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065119A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd 撮像装置及び方法
JP2007174537A (ja) * 2005-12-26 2007-07-05 Victor Co Of Japan Ltd 撮像装置
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP2008085859A (ja) * 2006-09-28 2008-04-10 Canon Inc 撮像装置及びその制御方法並びに撮像システム
JP2009065519A (ja) * 2007-09-07 2009-03-26 Denso Corp 画像処理装置
JP2010008507A (ja) * 2008-06-24 2010-01-14 Olympus Imaging Corp カメラ
JP2010114834A (ja) * 2008-11-10 2010-05-20 Olympus Imaging Corp 撮像装置
JP2011254339A (ja) * 2010-06-03 2011-12-15 Hitachi Ltd 撮像装置

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184766A (ja) * 2015-09-30 2020-11-12 株式会社ニコン 撮像装置、画像処理装置、および表示装置
CN112714252B (zh) * 2015-09-30 2023-04-07 株式会社尼康 摄像装置
JP2022174185A (ja) * 2015-09-30 2022-11-22 株式会社ニコン 撮像装置
WO2017057268A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、および制御装置
WO2017057494A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017057280A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、および被写体検出装置
WO2017057495A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017057493A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017057492A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
US11716545B2 (en) 2015-09-30 2023-08-01 Nikon Corporation Image capturing device, image processing device and display device for setting different exposure conditions
WO2017057279A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、画像処理装置、および表示装置
WO2017057267A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置、および焦点検出装置
US10810716B2 (en) 2015-09-30 2020-10-20 Nikon Corporation Image capturing device, image processing device and display device for setting different exposure conditions
CN108141538A (zh) * 2015-09-30 2018-06-08 株式会社尼康 摄像装置及图像处理装置
JPWO2017057495A1 (ja) * 2015-09-30 2018-07-12 株式会社ニコン 撮像装置および画像処理装置
JPWO2017057492A1 (ja) * 2015-09-30 2018-07-19 株式会社ニコン 撮像装置および画像処理装置
JPWO2017057268A1 (ja) * 2015-09-30 2018-07-19 株式会社ニコン 撮像装置、および制御装置
JPWO2017057279A1 (ja) * 2015-09-30 2018-07-19 株式会社ニコン 撮像装置、画像処理装置、および表示装置
JPWO2017057494A1 (ja) * 2015-09-30 2018-07-19 株式会社ニコン 撮像装置および画像処理装置
JPWO2017057280A1 (ja) * 2015-09-30 2018-08-16 株式会社ニコン 撮像装置、および被写体検出装置
JPWO2017057267A1 (ja) * 2015-09-30 2018-08-16 株式会社ニコン 撮像装置、および焦点検出装置
JPWO2017057493A1 (ja) * 2015-09-30 2018-09-06 株式会社ニコン 撮像装置および画像処理装置
CN112714252A (zh) * 2015-09-30 2021-04-27 株式会社尼康 摄像装置
WO2017170725A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、被写体検出装置、および電子機器
CN109196855A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
CN109196854A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
US11483467B2 (en) 2016-03-31 2022-10-25 Nikon Corporation Imaging device, image processing device, and electronic apparatus
CN109196854B (zh) * 2016-03-31 2022-05-17 株式会社尼康 摄像装置、图像处理装置及电子设备
US12028610B2 (en) 2016-03-31 2024-07-02 Nikon Corporation Imaging device, image processing device, and electronic apparatus
US10885610B2 (en) 2016-03-31 2021-01-05 Nikon Corporation Image device, image processing device, and electronic apparatus
WO2017170724A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、レンズ調節装置、および電子機器
WO2017170726A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置および電子機器
EP3439282A4 (en) * 2016-03-31 2019-11-13 Nikon Corporation IMAGE CAPTURE DEVICE, IMAGE PROCESSING DEVICE, AND ELECTRONIC APPARATUS
EP3439283A4 (en) * 2016-03-31 2020-03-25 Nikon Corporation IMAGE RECORDING DEVICE, IMAGE PROCESSING DEVICE AND ELECTRONIC DEVICE
US10536638B2 (en) 2016-04-08 2020-01-14 Shimano Inc. Bicycle image capturing device and controller for bicycle image capturing device
JP2017188849A (ja) * 2016-04-08 2017-10-12 株式会社シマノ 自転車用撮影装置およびその制御装置
JP2017204679A (ja) * 2016-05-09 2017-11-16 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP2022115944A (ja) * 2017-03-23 2022-08-09 株式会社ニコン 撮像装置
JP7439856B2 (ja) 2017-03-23 2024-02-28 株式会社ニコン 撮像装置
JP2018160830A (ja) * 2017-03-23 2018-10-11 株式会社ニコン 撮像装置
WO2019065916A1 (ja) * 2017-09-29 2019-04-04 株式会社ニコン 動画圧縮装置、電子機器、および動画圧縮プログラム
JPWO2019065916A1 (ja) * 2017-09-29 2020-11-05 株式会社ニコン 動画圧縮装置、電子機器、および動画圧縮プログラム
JP2019103031A (ja) * 2017-12-05 2019-06-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7157529B2 (ja) 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP2019114949A (ja) * 2017-12-25 2019-07-11 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
WO2019131346A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
CN111512627A (zh) * 2017-12-25 2020-08-07 佳能株式会社 成像装置、成像系统以及成像装置的驱动方法
US11284023B2 (en) 2017-12-25 2022-03-22 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and drive method of imaging apparatus
JP7050486B2 (ja) 2017-12-27 2022-04-08 株式会社バンザイ 車両用ヘッドライトテスター
JP2019117132A (ja) * 2017-12-27 2019-07-18 株式会社バンザイ 車両用ヘッドライトテスター
US11082623B2 (en) 2018-03-09 2021-08-03 Fujifilm Corporation Imaging control device, imaging apparatus, imaging control method, and imaging control program with light measurement
JPWO2019172437A1 (ja) * 2018-03-09 2021-02-04 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
WO2019172437A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP2019170407A (ja) * 2018-03-26 2019-10-10 国立大学法人東北大学 信号制御装置、信号制御プログラム、及び信号制御方法
JP2020145624A (ja) * 2019-03-07 2020-09-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7204539B2 (ja) 2019-03-07 2023-01-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020155886A (ja) * 2019-03-19 2020-09-24 キヤノン株式会社 撮像デバイス、撮像手段の制御方法、プログラム及び記憶媒体
JP7256661B2 (ja) 2019-03-19 2023-04-12 キヤノン株式会社 撮像デバイス、撮像手段の制御方法、プログラム及び記憶媒体
WO2020202413A1 (ja) * 2019-03-29 2020-10-08 株式会社ニコン 撮像素子および撮像装置
WO2020202414A1 (ja) * 2019-03-29 2020-10-08 株式会社ニコン 撮像装置および制御プログラム
WO2021038692A1 (ja) * 2019-08-26 2021-03-04 株式会社日立国際電気 撮像装置、撮像方法、および映像処理プログラム
JP7237164B2 (ja) 2019-08-26 2023-03-10 株式会社日立国際電気 撮像装置、撮像方法、および映像処理プログラム
JPWO2021038692A1 (ja) * 2019-08-26 2021-03-04
JP7379030B2 (ja) 2019-09-10 2023-11-14 キヤノン株式会社 撮像装置、制御方法、およびプログラム
JP2021044668A (ja) * 2019-09-10 2021-03-18 キヤノン株式会社 撮像装置、制御方法、およびプログラム
JP7547052B2 (ja) 2020-02-10 2024-09-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US11616915B2 (en) 2020-05-19 2023-03-28 Canon Kabushiki Kaisha Apparatus and method thereof, and storage medium for detecting a change in external light that occurs during shooting an image
JP7570856B2 (ja) 2020-09-10 2024-10-22 キヤノン株式会社 撮像装置、撮像装置の駆動方法、撮像システムおよび移動体
JP7444958B1 (ja) 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
JP6816793B2 (ja) 2021-01-20
JP2021064952A (ja) 2021-04-22
JP7318631B2 (ja) 2023-08-01
JP2019195210A (ja) 2019-11-07
JP6547266B2 (ja) 2019-07-24
JP2023133358A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
JP7318631B2 (ja) 撮像素子及び電子機器
US11206353B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
JP6780745B2 (ja) 電子機器
JP6372488B2 (ja) 電子機器
JP6516014B2 (ja) 撮像装置および画像処理装置
CN105934944B (zh) 摄像元件及摄像装置
JP2014179778A (ja) 信号処理装置、撮像素子、撮像装置および電子機器
JP2015138994A (ja) 電子機器
JP6516016B2 (ja) 撮像装置および画像処理装置
JP7283488B2 (ja) 撮像素子及び電子機器
JP6822507B2 (ja) 電子機器
JP2016158294A (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP6516015B2 (ja) 撮像装置および画像処理装置
JP2020171054A (ja) 電子機器
JP2020108158A (ja) 電子機器
JP2018148590A (ja) 電子機器、及び撮像素子
JP2018152869A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R150 Certificate of patent or registration of utility model

Ref document number: 6547266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250