JP2020098943A - 電子機器 - Google Patents

Abstract

【課題】適切な画像を得ること。【解決手段】電子機器は、被写体像を撮像する複数の撮像領域を有する撮像素子と、複数の前記撮像領域のうち第１撮像領域に第１撮像条件を設定し、複数の前記撮像領域のうち第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定する設定部と、前記第１撮像領域及び前記第２撮像領域で撮像された前記被写体像の画像に対して前記撮像素子の動きによる前記被写体像のぶれの補正を行う補正部と、を備える。【選択図】図１

Description

本発明は、電子機器に関する。

撮像素子からの信号により画像を生成する画像処理技術を搭載した撮像装置が知られている（特許文献１参照）。
従来から画像の画質向上が要求されていた。

特開２００６−１９７１９２号公報

発明の一態様による電子機器は、被写体像を撮像する複数の撮像領域を有する撮像素子と、複数の前記撮像領域のうち第１撮像領域に第１撮像条件を設定し、複数の前記撮像領域のうち第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定する設定部と、前記第１撮像領域及び前記第２撮像領域で撮像された前記被写体像の画像に対して前記撮像素子の動きによる前記被写体像のぶれの補正を行う補正部と、を備える。

第１の実施の形態によるカメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 撮像素子の機能的構成を示すブロック図である。 図６(a)〜図６(c)は、撮像素子の撮像面に設定される第１撮像領域および第２撮像領域の配置を例示する図である。 図７(a)は、記録用画像を例示する図、図７(b)は、検出用画像を例示する図である。 撮像画面における被写体領域を例示する図である。 設定画面を例示する図である。 記録用画像の撮像タイミングと、検出用画像の撮像タイミングと、モニタ用画像の表示タイミングとを例示する図である。 ぶれ補正部として機能する制御部を説明する図である。 図１２(a)および図１２(b)は、像ぶれ補正を説明する模式図である。 図１３(a)〜図１３(e)は、像ぶれ補正を説明する模式図である。 カーネルを例示する図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部の領域を拡大した図である。 フォーカスポイントを拡大した図である。 図１８(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１８(b)は、モニタ用画像および探索範囲を例示する図である。 第１の実施の形態による処理の流れを説明するフローチャートである。 像ぶれ補正処理の流れを説明するフローチャートである。 図２１(a)は、静止画を例示する図、図２１(b)および図２１(c)は、第２の実施の形態による静止画ぶれ補正の概要を説明する図である。 記録用画像の撮像タイミングと、ぶれ補正画像の表示タイミングとを例示する図である。 像ぶれ処理の流れを説明するフローチャートである。 第３の実施の形態による静止画ぶれ補正の概要を説明する図である。 記録用画像の撮像タイミングと、ぶれ補正画像の表示タイミングとを例示する図である。 撮像素子の撮像面に設定される第１撮像領域、第２撮像領域、第３撮像領域および第４撮像領域の配置を例示する図である。 図２７(a)は、第１の記録用画像による静止画であり、図２７(b)は、第２の記録用画像による静止画である。 変形例２による撮像システムの構成を例示するブロック図である。 モバイル機器へのプログラムの供給を説明する図である。

（第１の実施の形態）
第１の実施の形態による撮像装置を搭載する電子機器について説明する。図１のデジタルカメラ１（以降、カメラ１と称する）は、電子機器の一例である。カメラ１は、レンズ交換式のカメラでも、レンズ一体型のカメラでもよい。また、スマートフォン等の携帯端末に搭載されるカメラでもよい。また、ビデオカメラやモバイルカメラ等の撮像装置として構成してもよい。

カメラ１には、イメージセンサの一例として撮像素子３２ａが搭載される。撮像素子３２ａは、撮像領域に設定された撮像条件で撮像を行う。また、撮像素子３２ａは、撮像領域ごとに異なる撮像条件で撮像を行うことが可能に構成されている。第１の実施の形態では、カメラ１の画像処理部３３が、動画を撮像中のカメラ１に生じた揺動（カメラ１の振れと称する）に伴う像ぶれの影響を抑える処理を行う。像ぶれは、撮像素子３２ａの撮像面の被写体像が動くことをいう。このようなカメラ１の詳細について、図面を参照して説明する。なお、像ぶれは、被写体像に対して撮像素子３２ａが動くともいえる。

＜カメラの説明＞
図１は、一実施の形態によるカメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７と、測光用センサ３８と、振れセンサ３９とを有する。

撮像光学系３１は、被写体からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像領域の全域において同じ撮像条件で撮像したり、撮像領域ごとに異なる撮像条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。駆動部３２ｂに対する電荷蓄積時間（露光時間）、ＩＳＯ感度（ゲイン）、フレームレートなどの撮像指示は、制御部３４から駆動部３２ｂへ送信される。

画像処理部３３は、入力部３３ａと、補正部３３ｂと、生成部３３ｃとを含む。入力部３３ａには、撮像部３２によって生成された画像データが入力される。補正部３３ｂは、上記入力された画像データに対して、手ぶれに伴う像ぶれに対して補正処理を行う。補正処理の詳細については後述する。生成部３３ｃは、上記入力された画像データと補正処理後の画像データとに対する画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部３３ｃは、表示部３５により表示する画像や、記録する画像を生成する。

制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。例えば、制御部３４は、撮像部３２で生成された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間、撮像光学系３１の絞り値、ＩＳＯ感度等の露出条件を決定して駆動部３２ｂへ指示する。また、カメラ１に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の検出については後述する。

制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、レンズ移動制御部３４ｄとが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。

物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって生成された画像データから、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの被写体要素を検出する。

設定部３４ｂは、撮像素子３２ａの撮像領域に対して撮像条件を設定する。撮像条件は、上記露出条件（電荷蓄積時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、設定部３４ｂは、複数の撮像領域に同じ撮像条件を設定することも、複数の撮像領域において異なる撮像条件をそれぞれ設定することも可能である。

撮像制御部３４ｃは、設定部３４ｂによって撮像領域に設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。撮像領域に配置される画素の数は、単数でも複数でもよい。また、複数の撮像領域間で配置される画素の数が異なっていてもよい。

レンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイントと呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。フォーカスを合わせると、被写体の像の尖鋭度が高まる。すなわち、レンズ移動機構３１ｍによって撮像光学系３１のフォーカスレンズを光軸方向に移動させることにより、撮像光学系３１による像を調節する。レンズ移動制御部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号、例えば被写体の像を撮像光学系３１のフォーカスレンズで調節するための信号を、撮像光学系３１のレンズ駆動機構３１ｍに送る。このように、レンズ移動制御部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを光軸方向に移動させる移動部として機能する。レンズ移動制御部３４ｄがＡＦ動作のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。

表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。

操作部材３６は、録画ボタン、シャッターボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。本実施の形態では、動画を記録することを録画と称する。

記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。

測光用センサ３８は、被写体の明るさを検出し、検出信号を出力する。振れセンサ３９は、例えば角速度センサおよび加速度センサによって構成される。振れセンサ３９は、カメラ１の振れを検出し、検出信号を出力する。カメラ１の振れは、手ぶれとも称される。
本実施の形態では、カメラ１の振れによって像ぶれが生じるものとする。
なお、振れセンサ３９による検出信号に基づいて像ぶれを検出する代わりに、撮像された被写体の画像データに基づいて像ぶれを検出してもよい。

＜積層型の撮像素子の説明＞
上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。
なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。また、撮像素子１００は、撮像チップ１１１がメモリチップ１１３に積層され、メモリチップ１１３が信号処理チップ１１２に積層される構成でもよい。

図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。

マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。

半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。

配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。

なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。

信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。

また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。

メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。

図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が１つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。

画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の単位領域１３１、すなわち、そのブロック内の画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。

図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により１つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｄにより示す。

単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。

単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。

さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。

なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。

単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線３０８を介して出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。例えば、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休止させることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。

図５は、図４に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。マルチプレクサ４１１は、単位領域１３１を形成する４個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１１に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１２に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１３に形成される。

メモリチップ１１３に形成された演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１２に設けられてもよい。なお、図５では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
また、演算回路４１５は、後段の制御部、画像処理部等の機能を含めた構成としてもよい。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像素子のブロック制御＞
本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４の撮像制御部３４ｃは、上記複数の領域を上記ブロックに対応させて、ブロックごとに設定された撮像条件で撮像を行わせる。ブロックを構成する画素の数は、単数でも複数でもよい。

カメラ１は、記録する動画を撮像する場合、所定のフレームレート（例えば６０ｆｐｓ）で撮像を繰り返す。モニタ用の動画を撮像する場合も同様である。モニタ用の動画は、録画ボタンが操作される前や、シャッターボタンが操作される前に撮像する動画である。本実施の形態では、録画ボタンが操作された場合に記録する動画を記録用画像と称し、モニタ用の動画をモニタ用画像と称する。図６(a)は、記録用画像やモニタ用画像を撮像するときに撮像素子３２ａの撮像面に設定される第１撮像領域Ｂ１および第２撮像領域Ｂ２の配置を例示する図である。

＜第１撮像領域と第２撮像領域＞
図６(a)によれば、第１撮像領域Ｂ１は、ブロックの奇数列における偶数行のブロックと、ブロックの偶数列における奇数行のブロックとによって構成される。また、第２撮像領域Ｂ２は、ブロックの偶数列における偶数行のブロックと、ブロックの奇数列における奇数行のブロックとによって構成される。このように、撮像素子３２ａの撮像面が第１撮像領域Ｂ１に属する複数のブロックと、第２撮像領域Ｂ２に属する複数のブロックとによって市松模様状に分割されている。

＜記録用画像と検出用画像＞
図７(a)、図７(b)は、記録用画像５１と検出用画像５２とを例示する図である。制御部３４は、１フレームの撮像を行った撮像素子３２ａの第１撮像領域Ｂ１から読み出された光電変換信号に基づいて、記録用画像５１を生成する。また、制御部３４は、上記撮像素子３２ａの第２撮像領域Ｂ２から読み出された光電変換信号に基づいて、検出用画像５２を生成する。
本実施の形態では、光電変換信号を画像データとも称する。また、被写体検出、焦点検出、撮像条件設定、および画像生成に用いる画像を検出用画像５２と称する。上述したように、記録用画像５１は記録する動画である。

記録用画像５１は、表示部３５に表示するモニタ用画像の生成にも用いられる。また、検出用画像５２は、被写体検出のための情報取得用、焦点検出のための情報取得用、撮像条件設定のための情報取得用、画像生成のための情報取得用として用いられる。具体的には、制御部３４は、検出用画像５２のうち後述する注目領域の画像データに基づいて物体検出部３４ａにより被写体要素を検出し、検出用画像５２のうち後述する注目領域の画像データに基づいてレンズ移動制御部３４ｄにより焦点検出処理を行い、検出用画像５２のうち後述する注目領域の画像データに基づいて設定部３４ｂにより露出演算処理を行い、検出用画像５２のうち後述する注目領域の画像データに基づいて画像処理部３３により画像生成処理を行う。

＜ブロック当たりの読み出し信号数＞
制御部３４は、記録用画像５１のために撮像素子３２ａの第１撮像領域Ｂ１から読み出す画像データの密度を、記録用画像５１として必要な値に設定する。撮像素子３２ａの第１撮像領域Ｂ１に含まれる画素の全てについて画像データの読み出しが必要でない場合には、第１撮像領域Ｂ１に含まれる画素よりも少ない数の画素から画像データを読み出してもよい。

また、制御部３４は、検出用画像５２のために撮像素子３２ａの第２撮像領域Ｂ２から読み出す画像データの密度を、上述した情報取得に必要な値に設定する。撮像素子３２ａの第２撮像領域Ｂ２に含まれる画素の全てについて画像データの読み出しが必要でない場合には、第２撮像領域Ｂ２に含まれる画素よりも少ない数の画素から画像データを読み出してもよい。

制御部３４は、撮像素子３２ａの第１撮像領域Ｂ１と、撮像素子３２ａの第２撮像領域Ｂ２とで、上記１ブロック当たりの読み出し信号数を異ならせることができる。例えば、撮像素子３２ａの第１撮像領域Ｂ１と第２撮像領域Ｂ２とで、所定の画素数当たりに読み出す画像データの密度を異ならせてもよい。
なお、ブロックを構成する画素の数が１のときは、１ブロック当たりの読み出し信号数はゼロか１である。

一般に、カメラ１の表示部３５は、撮像素子２２が有する画素数に比べて表示解像度が低い。制御部３４は、表示部３５にモニタ用画像を表示するため、記録用画像５１の画像データを所定データ数ごとに間引く、あるいは所定データ数ごとに加算するなどして、記録用画像５１の画像データより少ない数の画像データを生成し、表示部３５の表示解像度に対応させる。
上述した所定データ数ごとの加算処理は、例えば、信号処理チップ１１２またはメモリチップ１１３に設けた演算回路４１５によって行ってもよい。

制御部３４は、以上説明したように、１フレームの撮像を行った撮像素子３２ａから読み出した画像データによって、記録用画像５１および検出用画像５２をそれぞれ生成する。図７(a)、図７(b)によると、記録用画像５１および検出用画像５２は同じ画角で撮像され、共通の被写体の像を含む。記録用画像５１の取得と検出用画像５２の取得は、後に説明する図１０に示すように、並行して行うことができる。

＜第１撮像領域および第２撮像領域の他の分割例＞
なお、撮像領域における第１撮像領域Ｂ１および第２撮像領域Ｂ２を市松模様状に分割する代わりに、図６(b)または図６(c)のように分割してもよい。図６(b)の例によれば、第１撮像領域Ｂ１は、ブロックの偶数列によって構成される。また、第２撮像領域Ｂ２は、ブロックの奇数列によって構成される。また、図６(c)の例によれば、第１撮像領域Ｂ１は、ブロックの奇数行によって構成される。また、第２撮像領域Ｂ２は、ブロックの偶数行によって構成される。

図６(b)、図６(c)のいずれの場合も、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第１撮像領域Ｂ１から読み出された画像データに基づいて、記録用画像５１を生成する。また、制御部３４は、上記撮像素子３２ａの第２撮像領域Ｂ２から読み出された画像データに基づいて、検出用画像５２を生成する。記録用画像５１および検出用画像５２は同じ画角で撮像され、共通の被写体の像を含む。記録用画像５１の取得と検出用画像５２の取得は、後に説明する図１０に示すように、並行して行うことができる。

なお、上記の記録用画像５１を、焦点検出処理等に用いてもよい。また、モニタ用画像を表示部３５に表示させる代わりに、カメラ１の外部にあるモニタへカメラ１からモニタ用画像を送信し、外部のモニタにモニタ用画像を表示させてもよい。

本実施の形態において、記録用画像５１を撮像する第１撮像領域Ｂ１に設定する撮像条件を第１撮像条件と呼び、検出用画像５２を撮像する第２撮像領域Ｂ２に設定する撮像条件を第２撮像条件と呼ぶことにする。制御部３４は、第１撮像条件と第２撮像条件とを同じ条件に設定してもよく、異なる条件に設定してもよい。

一例をあげると、制御部３４は、第１撮像領域Ｂ１に設定する第１撮像条件を、記録用画像５１に適した条件に設定する。このとき、第１撮像領域Ｂ１の全体で一様に同じ第１撮像条件を設定する。一方、制御部３４は、第２撮像領域Ｂ２に設定する第２撮像条件を、上記情報取得等に適した条件に設定する。第２撮像条件として設定する条件は、第２撮像領域Ｂ２の全体で一様に同じ第２撮像条件を設定してもよいし、第２撮像領域Ｂ２のうちの領域ごとに異なる第２撮像条件を設定してもよい。

制御部３４は、例えば、被写体検出、焦点検出、撮像条件設定、および画像生成のための情報取得に適した条件がそれぞれ異なる場合は、第２撮像領域Ｂ２に設定する第２撮像条件を、第２撮像領域Ｂ２のうちの領域ごとに、被写体検出に適した条件、焦点検出に適した条件、撮像条件設定に適した条件、および画像生成に適した条件を、それぞれ設定してよい。

また、制御部３４は、第２撮像領域Ｂ２に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、検出用画像５２の１フレーム目に第２撮像領域Ｂ２に設定する第２撮像条件を被写体検出に適した条件とし、検出用画像５２の２フレーム目に第２撮像領域Ｂ２に設定する第２撮像条件を焦点検出に適した条件とし、検出用画像５２の３フレーム目に第２撮像領域Ｂ２に設定する第２撮像条件を撮像条件設定に適した条件とし、検出用画像５２の４フレーム目に第２撮像領域Ｂ２に設定する第２撮像条件を画像生成に適した条件とする。これらの場合において、各フレームにおける第２撮像領域Ｂ２の全体で一様に同じ第２撮像条件を設定してもよいし、領域ごとに異なる第２撮像条件を設定してもよい。

＜第１撮像領域と第２撮像領域の面積比＞
さらにまた、図６(a)〜図６(c)において、第１撮像領域Ｂ１と第２撮像領域Ｂ２との面積比を異ならせてもよい。制御部３４は、例えば、ユーザによる操作、または制御部３４の判断に基づき、撮像面で第１撮像領域Ｂ１が占める比率を第２撮像領域Ｂ２が占める比率よりも高く設定したり、撮像面で第１撮像領域Ｂ１と第２撮像領域Ｂ２とが占める比率を図６(a)〜図６(c)に例示したように同等に設定したり、撮像面で第１撮像領域Ｂ１が占める比率を第２撮像領域Ｂ２が占める比率よりも低く設定したりする。

＜第１撮像領域と第２撮像領域の稼働率＞
また、制御部３４は、第１撮像領域Ｂ１に含まれるブロックの稼働率と第２撮像領域Ｂ２に含まれるブロックの稼働率とを、それぞれ設定することができる。例えば、第１撮像領域Ｂ１に含まれるブロックの稼働率と第２撮像領域Ｂ２に含まれるブロックの稼働率をともに８０％に設定する場合、図６(a)〜図６(c)に例示した第１撮像領域Ｂ１に含まれる８割のブロックで撮像を行うとともに、第２撮像領域Ｂ２に含まれる８割のブロックで撮像を行う。

これに対して、例えば、第１撮像領域Ｂ１と第２撮像領域Ｂ２とに含まれるブロックの稼働率をそれぞれ５０％と８０％とに設定する場合、図６(a)〜図６(c)に例示した第１撮像領域Ｂ１に含まれるブロックの半数で撮像を行うとともに、第２撮像領域Ｂ２に含まれるブロックの８割で撮像を行う。第１撮像領域Ｂ１に含まれるブロックの半数で撮像を行う場合、例えば、１ブロックおきに駆動するなどして、半数のブロックを駆動して、残り半数のブロックの駆動を休止させる。

＜被写体の例示＞
図８は、カメラ１の撮像画面における被写体領域を例示する図である。図８において、被写体領域には、人物６１と、自動車６２と、バッグ６３と、山６４と、雲６５、雲６６とが含まれている。人物６１は、バッグ６３を両手で抱えている。人物６１の右後方に、自動車６２が止まっている。図６(a)、図６(b)または図６(c)のように第１撮像領域Ｂ１および第２撮像領域Ｂ２を定める場合、第１撮像領域Ｂ１から読み出した画像データによって図７(a)のような記録用画像５１が得られる。また、第２撮像領域Ｂ２から読み出した画像データによって図７(b)のような検出用画像５２が得られる。

被写体に対応させて、撮像素子３２ａのブロックに異なる撮像条件を設定する一例として、各被写体領域に対応するブロックごとに撮像条件を設定することができる。例えば、人物６１の領域に含まれるブロックと、自動車６２に含まれるブロックと、バッグ６３に含まれるブロックと、山６４に含まれるブロックと、雲６５に含まれるブロックと、雲６６に含まれるブロックとに対し、それぞれ撮像条件を設定する。これらの各ブロックに対して適切に撮像条件を設定するためには、上述した検出用画像５２を適切な露出条件で撮像し、白とびや黒つぶれがない画像が得られていることが必要である。白飛びは、オーバー露光によって画像の高輝度部分のデータの階調が失われるこという。また、黒潰れは、アンダー露光によって画像の低輝度部分のデータの階調が失われることをいう。
白とびや黒つぶれが生じた検出用画像５２では、例えば個々の被写体領域の輪郭（エッジ）が現れず、検出用画像５２に基づいて被写体要素を検出することが困難になるからである。

＜第２撮像領域に設定する撮像条件＞
そこで、第１の実施の形態では、撮像素子３２ａの第２撮像領域Ｂ２に対し、検出用画像５２を取得するための第２撮像条件を適切に設定することにより、検出用画像５２に基づく被写体検出、焦点検出、撮像条件設定、および画像生成を適切に行えるようにする。第１の実施の形態では、第２撮像条件を以下のように設定する。

仮に、検出用画像５２が暗すぎる画像、または、明るすぎる画像であると仮定すると、撮像画面内のエッジや色差等が抽出しづらくなり、被写体を検出しづらくなる。これに対し、検出用画像５２が、白飛びや黒つぶれがない適切な明るさで得られていると、画面内のエッジや色差等が抽出しやすくなり、被写体検出や被写体認識の精度の向上を期待できる。制御部３４は、例えば、検出用画像５２を得るための第２撮像条件としての第２ゲインを、記録用画像５１を得るための第１撮像条件としての第１ゲインに比べて高くする。記録用画像５１の第１ゲインに比べて高い第２ゲインを検出用画像５２のために設定するので、記録用画像５１が暗い画像である場合でも、物体検出部３４ａは、明るい検出用画像５２に基づいて正確に被写体検出を行うことが可能になる。被写体検出を正確に行うことができると、画像を被写体ごとに適切に分割することができる。

＜検出用画像に基づく被写体要素の検出＞
例えば、カメラ１のメインスイッチがオン操作されると、制御部３４は、撮像素子３２ａに第１撮像領域Ｂ１および第２撮像領域Ｂ２をセットする。上述したように、第１撮像領域Ｂ１は、記録用画像５１を撮像する領域である。また、第２撮像領域Ｂ２は、検出用の検出用画像５２を撮像する領域である。

次に、制御部３４は、撮像素子３２ａの第１撮像領域Ｂ１に記録用の第１ゲインを設定するとともに、撮像素子３２ａの第２撮像領域Ｂ２に上記第１ゲインよりも高い第２ゲインを設定する。ゲイン設定を行った制御部３４は、撮像素子３２ａの第２撮像領域Ｂ２で検出用画像５２のための撮像を行わせ、撮像素子３２ａの第２撮像領域Ｂ２から読み出した画像データに基づき検出用画像５２を生成する。制御部３４は、物体検出部３４ａによって、検出用画像５２に基づいて被写体要素を検出させる。
一方、制御部３４は、撮像素子３２ａの第１撮像領域Ｂ１で記録用画像５１の撮像を行わせる。録画ボタンが操作される前は、記録部３７による記録用画像５１の記録を行わないものの、記録用画像５１に基づいてモニタ用画像を生成するために記録用画像５１を撮像する。設定部３４ｂは、物体検出部３４ａによって検出された被写体要素に基づき、記録用画像５１を分割する。

＜領域ごとの撮像条件の設定＞
図８を参照して説明すると、撮像部３２で取得された記録用画像５１は、例えば人物６１の領域と、自動車６２の領域と、バッグ６３の領域と、山６４の領域と、雲６５の領域と、雲６６の領域と、その他の領域とに分割される。制御部３４は、物体検出部３４ａによって被写体検出処理が行われ、設定部３４ｂによって画像を自動で分割すると、図９に例示するような設定画面を表示部３５に表示させる。図９において、モニタ用画像６０ａが表示部３５に表示され、モニタ用画像６０ａの右側に撮像条件の設定画面７０が表示される。

設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ感度）が挙げられている。フレームレートは、カメラ１によって１秒間に撮像される動画のフレーム数である。シャッタースピードは露光時間に対応する。ゲインはＩＳＯ感度に対応する。撮像条件の設定項目は、図９に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。

本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザ操作によって選択された領域を撮像条件の設定（変更）の対象にすることができる。例えば、タッチ操作が可能なカメラ１において、ユーザは、モニタ用画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい被写体の表示位置をタッチ操作する。制御部３４は、例えば人物６１の表示位置がタッチ操作された場合に、モニタ用画像６０ａにおいて人物６１に対応する領域を撮像条件の設定（変更）対象領域にするとともに、人物６１に対応する領域の輪郭を強調して表示させる。

図９において、輪郭を強調して表示する領域は、撮像条件の設定（変更）の対象となる領域を示す。強調した表示とは、例えば、太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等である。図９の例では、人物６１に対応する領域の輪郭を強調したモニタ用画像６０ａが表示されているものとする。この場合は、強調表示されている領域が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザによってシャッタースピード（ＴＶ）の表示７１がタッチ操作されると、制御部３４は、強調して表示されている領域（人物６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。

シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザによってタッチ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タッチ操作に応じて増減させるとともに、強調して表示されている領域（人物６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タッチ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。

なお、設定部３４ｂは、ユーザの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部３４ｂは、制御部３４の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域（人物６１以外の他の領域）については、設定されている撮像条件が維持される。

制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。

制御部３４は、操作部材３６を構成する不図示の録画ボタン、または録画開始を指示する表示（例えば図９のレリーズアイコン７４）が操作されると、記録部３７によって記録用画像５１の記録を開始させる。
記録用画像５１の撮像条件は、上記の分割された領域（人物６１、自動車６２、バッグ６３、山６４、雲６５、雲６６）ごとに異なる撮像条件を適用することも、上記の分割された領域に共通の撮像条件を適用することもできる。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。画像処理は、上記の分割された領域ごとに異なる画像処理条件で行うこともできる。

例えば、制御部３４は、上記のように分割された各領域に対する撮像条件として、第１条件から第６条件を設定する。なお、以降は、第１条件を設定する人物６１の領域を第１領域６１と呼び、第２条件を設定する自動車６２の領域を第２領域６２と呼び、第３条件を設定するバッグ６３の領域を第３領域６３と呼び、第４条件を設定する山６４の領域を第４領域６４と呼び、第５条件を設定する雲６５の領域を第５領域６５と呼び、第６条件を設定する雲６６の領域を第６領域６６と呼ぶ。
このように設定され、取得された記録用画像５１の画像データは、記録部３７によって記録される。制御部３４は、操作部材３６を構成する不図示の録画ボタンが再度操作される、または、録画終了を指示する表示が操作されると、記録部３７による記録用画像５１の記録を終了させる。

＜記録用画像５１および検出用画像５２を撮像するタイミング＞
図１０は、記録用画像５１（Ｄｖ１、Ｄｖ２、Ｄｖ３、…）の撮像タイミングと、検出用画像５２（Ｄi、Ｄii、Ｄiii、Ｄiｖ…）の撮像タイミングと、モニタ用画像（ＬＶ１、ＬＶ２、ＬＶ３、…）の表示タイミングとを例示する図である。撮像制御部３４ｃは、時刻ｔ０においてカメラ１のメインスイッチがオン操作されると、設定部３４ｂによって設定される撮像条件で、撮像部３２により記録用画像５１と検出用画像５２とを撮像させる。撮像制御部３４ｃは、撮像素子３２ａの第１撮像領域Ｂ１で記録用画像５１のための撮像を行わせる。これにより、撮像素子３２ａが１フレーム目の記録用画像Ｄｖ１、２フレーム目の記録用画像Ｄｖ２、３フレーム目の記録用画像Ｄｖ３、…を順次撮像する。本例では、撮像素子３２ａの第１撮像領域Ｂ１により、記録用画像５１の撮像を繰り返す。

また、撮像制御部３４ｃは、記録用画像５１の撮像の１フレーム期間において、撮像素子３２ａの第２撮像領域Ｂ２により、検出用画像５２のための撮像を４回行わせる。これにより、撮像素子３２ａが１フレーム目の検出用画像Ｄi、２フレーム目の検出用画像Ｄii、３フレーム目の検出用画像Ｄiii、４フレーム目の検出用画像Ｄiｖを順次撮像する。本例では、記録用画像５１の１フレーム期間に対して、検出用画像５２として４フレームの検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像する。

図１０の例では、第１撮像領域Ｂ１による１フレームの記録用画像５１の撮像と並行して、第２撮像領域Ｂ２により４フレームの検出用画像５２を撮像する。４フレームの検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖのうちの検出用画像Ｄiは、例えば被写体検出用に、検出用画像Ｄiiは、例えば焦点検出用に、検出用画像Ｄiiiは、例えば撮像条件設定用に、検出用画像Ｄiｖは、例えば画像生成用に、それぞれ用いられる。

また、制御部３４は、第１フレームの記録用画像Ｄｖ１に基づいて第１フレームのモニタ用画像ＬＶ１を表示部３５に表示させる。そして撮像制御部３４ｃは、第１フレームの記録用画像Ｄｖ１の撮像と並行して撮像した検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖに基づいて検出した被写体位置や、決定した撮像条件を、第２フレームの記録用画像Ｄｖ２の撮像に反映させるように、撮像部３２を制御する。

同様に、制御部３４は、第２フレームの記録用画像Ｄｖ２に基づいて第２フレームのモニタ用画像ＬＶ２を表示部３５に表示させる。そして撮像制御部３４ｃは、第２フレームの記録用画像Ｄｖ２の撮像と並行して撮像した検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖに基づいて検出した被写体位置や、決定した撮像条件を、第３フレームの記録用画像Ｄｖ３の撮像に反映させるように、撮像部３２を制御する。制御部３４は、以降も同様の処理を繰り返す。

制御部３４は、時刻ｔ１においてカメラ１の録画ボタンが操作されると、その時点より後に撮像された記録用画像５１（記録用画像Ｄｖ３以降）の画像データを、記録部３７によって記録させる。

なお、撮像制御部３４ｃは、撮像素子３２ａの第１撮像領域Ｂ１で第１フレームの記録用画像Ｄｖ１の撮像を開始する前に、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄiと、検出用画像Ｄiiと、検出用画像Ｄiiiと、検出用画像Ｄiｖとを撮像させてもよい。例えば、ユーザによりカメラ１の電源オン操作が行われた後、第１撮像領域Ｂ１における第１フレームの記録用画像Ｄｖ１の撮像より先に、第２撮像領域Ｂ２において検出用画像Ｄiと、検出用画像Ｄiiと、検出用画像Ｄiiiと、検出用画像Ｄiｖとを撮像させる。そして撮像制御部３４ｃは、検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖに基づいて検出した被写体位置や、決定した撮像条件を、第１フレームの記録用画像Ｄｖ１の撮像に反映させるように、撮像部３２を制御する。

また、カメラ１の電源オン操作後、撮像制御部３４ｃが自動的に検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖの撮像を開始させる代わりに、以下の操作を待って検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖの撮像を開始させてもよい。撮像制御部３４ｃは、例えば、撮像に関連する操作がユーザにより行われた場合に、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖの撮像を開始させる。撮像に関連する操作としては、例えば、撮像倍率を変更する操作、絞りを変更する操作、焦点調節に関する操作（例えばフォーカスポイントの選択）等がある。変更の操作が終了し新たな設定が確定すると、撮像制御部３４ｃは、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像させる。これにより、第１フレームの記録用画像Ｄｖ１を行う前に、検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを生成できる。

さらにまた、撮像制御部３４ｃは、例えば表示部３５の画面上に対してメニュー操作が行われている場合に、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖの撮像を行わせてもよい。この理由は、メニュー画面から撮像に関連する操作が行われている場合において、新たな設定が行われる可能性が高いからである。この場合、撮像制御部３４ｃは、メニュー画面によってユーザが操作している期間に、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖの撮像を繰り返し行わせる。

なお、第１フレームの記録用画像Ｄｖ１の撮像を開始する前に検出用画像Ｄi、検出用画像Ｄii、検出用画像Ｄiii、検出用画像Ｄiｖの撮像を行った場合において、検出用画像Ｄi、検出用画像Ｄii、検出用画像Ｄiii、検出用画像Ｄiｖの撮像を行った後は、記録用画像Ｄｖ１の撮像を開始してよい。例えば、検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖに基づいて検出した被写体位置や、決定した撮像条件を反映して記録用画像Ｄｖ１を撮像し、記録用画像Ｄｖ１に基づきモニタ用画像ＬＶ１を表示できるように、撮像制御部３４ｃが撮像部３２を制御する。

また、撮像に関連しない操作、例えば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合には、撮像制御部３４ｃは、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖの撮像を行わせなくてもよい。この理由は、撮像のための新たな設定が行われる可能性が低い場合に、無駄に検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像させないためである。

さらにまた、操作部材３６が検出用画像Ｄi、検出用画像Ｄii、検出用画像Ｄiiiの撮像を指示するための専用ボタンを有する場合には、ユーザにより専用ボタンが操作されると、撮像制御部３４ｃは、撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像させてよい。

また、ユーザが専用ボタンを操作している間に操作部材３６が操作信号を出力し続ける構成を有する場合には、撮像制御部３４ｃは、専用ボタンの操作が行われている期間中、所定の周期ごとに撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像させてもよいし、専用ボタンの操作が終了した時点で撮像素子３２ａの第２撮像領域Ｂ２において検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像させてもよい。これにより、ユーザが所望するタイミングで検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像させることができる。

なお、以上の説明では、撮像素子３２ａの第２撮像領域Ｂ２において、それぞれ用途が異なる４フレームの検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖを撮像する例を説明したが、必ずしも４フレームの検出画像を撮像しなくてもよい。例えば、検出用画像Ｄiを被写体検出用と焦点調節用とに共用できる場合は、検出用画像Ｄiと、撮像条件設定用に用いる検出用画像Ｄiiとを撮像すればよい。
検出用画像Ｄi、Ｄii、Ｄiii、Ｄiｖをいずれの用途に用いるかは、ユーザが表示部３５に表示されるメニュー画面から選択、決定可能に構成してよい。

＜像ぶれ補正＞
第１の実施の形態では、手ぶれに伴うカメラ１の振れに基づき、撮像素子３２ａの第１撮像領域Ｂ１から読み出した記録用画像５１にトリミング処理を施すことによって、撮像された記録用画像５１の像ぶれを抑える。このような像ぶれの抑制は、像ぶれ補正とも称される。像ぶれ補正の詳細について以下に説明する。
一般に、手ぶれによりカメラ１で発生する像ぶれは、カメラ１の回転運動に伴う像ぶれ（角度ぶれとも称する）と、カメラ１の並進移動に伴う像ぶれ（並進ぶれとも称する）とに分けられる。制御部３４は、カメラ１の回転運動による像ぶれと、カメラ１の並進移動による像ぶれとを算出する。

図１１は、ぶれ補正部として機能する制御部３４を説明する図である。制御部３４は、ぶれ量演算部３４ｅと、目標移動量演算部３４ｆとを有する。
ぶれ量演算部３４ｅは、振れセンサ３９によるＸ軸（図３）と平行な軸回り（Pitch方向）の検出信号を用いて、回転運動によるＹ軸方向の像ぶれを算出する。また、ぶれ量演算部３４ｅは、振れセンサ３９によるＹ軸（図３）と平行な軸回り（Yaw方向）の検出信号を用いて、回転運動によるＸ軸方向の像ぶれを算出する。

ぶれ量演算部３４ｅはさらに、振れセンサ３９によるＸ軸方向の検出信号を用いて、並進運動によるＸ軸方向の像ぶれを算出する。さらにまた、ぶれ量演算部３４ｅは、振れセンサ３９によるＹ軸方向の検出信号を用いて、並進運動によるＹ軸方向の像ぶれを算出する。

目標移動量演算部３４ｆは、ぶれ量演算部３４ｅによって算出された、回転運動によるＸ軸方向およびＹ軸方向の像ぶれと、並進運動によるＸ軸方向およびＹ軸方向の像ぶれとを軸ごとに足し合わせて、Ｘ軸方向およびＹ軸方向の像ぶれを算出する。例えば、ある軸方向についてぶれ量演算部３４ｅによって算出された回転運動による像ぶれと並進運動による像ぶれの向きが同じ場合は、足し合わせにより像ぶれが大きくなるが、算出された２つの像ぶれの向きが異なる場合は、足し合わせにより像ぶれが小さくなる。このように、各軸の像ぶれの向きにより、正負の符号をつけて足し合わせ演算を行う。

次に、目標移動量演算部３４ｆは、足し合わせ後のＸ軸方向およびＹ軸方向の像ぶれと、撮影倍率（撮像光学系３１のズームレンズの位置に基づいて算出する）と、カメラ１から被写体までの距離（撮像光学系３１のフォーカスレンズの位置に基づいて算出する）とに基づいて、被写体像に対する像面（撮像素子３２ａの撮像面）の像ぶれ量を算出する。

図１２(a)および図１２(b)は、像ぶれ補正を説明する模式図である。図１２(a)において、制御部３４は、記録用画像５１の中に記録用画像５１よりも小さいトリミング範囲Ｗ１を設定する。トリミング範囲Ｗ１の大きさは、例えば記録用画像５１のサイズの６０％とする。なお、トリミング範囲Ｗ１の大きさを、振れセンサ３９による検出信号の平均的な大きさによって決定してもよい。制御部３４は、例えば、直近の所定時間における振れセンサ３９による検出信号の平均値が大きいほどトリミング範囲Ｗ１を小さくし、振れセンサ３９による検出信号の平均値が小さいほどトリミング範囲Ｗ１を大きくする。

制御部３４は、上述したように設定したトリミング範囲Ｗ１を、記録用画像５１の中でカメラ１の振れ方向と反対方向に移動させることによって記録用画像５１に対する像ぶれ補正を行う。そのため、目標移動量演算部３４ｆは、上述した像面の像ぶれ量を打ち消すのに必要なトリミング範囲Ｗ１の移動方向および移動量を、目標移動量として演算する。目標移動量演算部３４ｆは、補正部３３ｂに対して演算した目標移動量を補正部３３ｂへ出力する。

図１２(b)は、記録用画像５１の中でトリミング範囲Ｗ１を移動させた状態を例示する。すなわち、図１２(a)の状態からカメラ１が上方に振れ、記録用画像５１における被写体像が下方に像ぶれしたため、補正部３３ｂによってトリミング範囲Ｗ１が下方に移動された状態を示す。このような像ぶれ補正により、手ぶれによって記録用画像５１における被写体の位置が移動しても、トリミング範囲Ｗ１において略同じ位置に被写体が収まる。図１２(a)および図１２(b)においてハッチング処理した領域は、トリミング範囲Ｗ１の移動代に相当する。

補正部３３ｂは、図１２(a)および図１２(b)に例示した画像５１−１および画像５１−２のように、記録用画像５１の画像データのうちのトリミング範囲Ｗ１に相当する画像の画像データをそれぞれ抽出し、抽出した画像データを像ぶれ補正後の記録用画像５１の画像データとする。制御部３４は、このような像ぶれ補正を、記録用画像５１を構成するフレームごとに行う。

第１の実施の形態において、制御部３４は、記録用画像５１だけでなく検出用画像５２に対しても記録用画像５１と同様の像ぶれ補正を行う。制御部３４はさらに、検出用画像５２に対して設定する後述の注目領域も、検出用画像５２の中で移動させる。図１３を参照して、以下に詳細に説明する。

図１３(a)〜図１３(d)は、像ぶれ補正を説明する模式図である。図１３(a)は、記録用画像５１に対する像ぶれ補正を説明する図であり、図１３(b)は、図１３(a)の記録用画像５１に対応する、検出用画像５２に対する像ぶれ補正を説明する図である。図１３(b)において、制御部３４は、対応する記録用画像５１と同様に、検出用画像５２の中に検出用画像５２よりも小さいトリミング範囲Ｗ２を設定する。トリミング範囲Ｗ２の大きさは、記録用画像５１の場合と同様に、検出用画像５２のサイズの６０％とする。なお、トリミング範囲Ｗ２の大きさを、振れセンサ３９による検出信号の平均的な大きさによって決定してよい点も、記録用画像５１の場合と同様である。

制御部３４は、上述したように設定したトリミング範囲Ｗ２を、検出用画像５１の中でカメラ１の振れ方向と反対の方向へ移動させることによって、検出用画像５２に対する像ぶれ補正を行う。補正部３３ｂは、図１３(b)に例示した画像５２−２のように、検出用画像５２の画像データのうちのトリミング範囲Ｗ２に相当する画像の画像データを抽出し、抽出した画像データを像ぶれ補正後の検出用画像５２の画像データとする。

制御部３４は、検出用画像５２に対して設定した注目範囲６１−２についても、検出用画像５２の中でトリミング範囲Ｗ２とともにカメラ１の振れ方向と反対の方向へ移動させる。このとき、移動までのトリミング範囲Ｗ２と異動後のトリミング範囲Ｗ２との距離は、移動前の注目範囲６１−２と移動後の注目範囲６１−２との距離と同じとなる。ここで、移動前のトリミング範囲Ｗ２と異動後のトリミング範囲Ｗ２との距離とは、例えば、移動前のトリミング範囲Ｗ２の重心と移動後のトリミング範囲Ｗ２の重心との距離である。ここでいう距離は、トリミング範囲Ｗ２の移動量に一致する。なお、移動前の注目範囲６１−２と移動後の注目範囲６１−２との距離につても同様である。注目範囲６１−２とは、検出用画像５２の中で物体検出部３４ａが被写体要素を検出する領域、検出用画像５２の中でレンズ移動制御部３４ｄが焦点検出処理を行う領域、検出用画像５２の中で設定部３４ｂが露出演算処理を行う領域、検出用画像５２の中で画像処理部３３が画像生成処理時に参照する領域に対応する。注目範囲６１−２の形状は、正方形でも長方形でもよく、円形や楕円形状でもよい。また、注目範囲６１−２の大きさは、被写体要素を検出する領域、焦点検出処理を行う領域、露出演算処理を行う領域、および画像生成処理時に参照する領域の大きさに合わせて適宜変更してよい。なお、移動後の注目領域６１−２は、移動前の注目領域６１−２と一部が重なっていても（移動前の注目領域６１−２を含んでいても）よく、重なっていなくてもよい。また、移動後の注目領域６１−２は、移動前の注目領域６１−２を包含していてもよい。

制御部３４は、検出用画像５２を得るための第２撮像条件の中で、注目範囲６１−２と、第２撮像領域Ｂ２における他の領域とで異なる撮像条件を設定することができる。注目範囲６１−２を検出用画像５２の中でトリミング範囲Ｗ２とともに移動させる場合に、制御部３４は、注目範囲６１−２の移動に伴って第２撮像条件の設定を変更する。すなわち、移動後の注目範囲６１−２の位置に合わせて、第２撮像領域Ｂ２に対する第２撮像条件を設定し直す。

図１３(c)は、記録用画像５１に対する像ぶれ補正を説明する図であり、記録用画像５１の中でトリミング範囲Ｗ１を下方の限界まで移動させた状態を例示する。図１３(d)は、検出用画像５２に対する像ぶれ補正を説明する図であり、検出用画像５２の中でトリミング範囲Ｗ２を下方の限界まで移動させた状態を例示する。図１３(c)のトリミング範囲Ｗ１は、記録用画像５１の中で移動するので、図１３(c)に示す位置よりも下方には移動できない。同様に、図１３(d)のトリミング範囲Ｗ２も、検出用画像５２の中で移動するので、図１３(d)に示す位置よりも下方には移動できない。

しかしながら、制御部３４は、検出用画像５２に対して設定した注目範囲６１−３については、図１３(d)に示すように、トリミング範囲Ｗ２の中でカメラ１の振れ方向と反対の方向へ継続して移動させる。注目範囲６１−３の移動方向および移動量は、目標移動量演算部３４ｆから補正部３３ｂに対して出力された目標移動量である。

制御部３４は、検出用画像５２の中でトリミング範囲Ｗ２を下方の限界まで移動した以降において、注目する被写体（例えば、人物の頭部）がさらに下方に移動すると、注目範囲６１−３をトリミング範囲Ｗ２の中で移動させる。移動後の注目範囲６１−３に、人物の頭部が収まるようにするためである。このとき、移動前のトリミング範囲Ｗ２と異動後のトリミング範囲Ｗ２との距離は、移動前の注目範囲６１−３と移動後の注目範囲６１−３との距離と異なる。ここで、移動までのトリミング範囲Ｗ２と異動後のトリミング範囲Ｗ２との距離とは、例えば、移動前のトリミング範囲Ｗ２の重心と移動後のトリミング範囲Ｗ２の重心との距離である。ここでいう距離は、トリミング範囲Ｗ２の移動量に一致する。なお、移動前の注目範囲６１−３と移動後の注目範囲６１−３との距離についても同様である。これにより、カメラ１が振れても、検出用画像５２の中で物体検出部３４ａが被写体要素を検出する領域、検出用画像５２の中でレンズ移動制御部３４ｄが焦点検出処理を行う領域、検出用画像５２の中で設定部３４ｂが露出演算処理を行う領域、検出用画像５２の中で画像処理部３３が画像生成処理時に参照する領域には、同じ被写体（本例では人物の頭部）が存在することとなる。この結果、カメラ１の振れによって注目する被写体が異なってしまう場合に比べて、被写体要素の検出、焦点検出、露出演算、画像生成に及ぼす影響を抑えることができる。

＜検出用画像５２を用いる処理＞
第１の実施の形態では、上記のように撮像し、像ぶれ補正を行った検出用画像５２を、画像処理、焦点検出処理、被写体検出処理、および露出条件設定処理に用いる。ここでは、各処理の一例を説明する。
＜画像処理の例示＞
画像処理部３３（生成部３３ｃ）は、例えば、検出用画像５２の画像データのうちの注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いて画像処理を行う。図１４は、カーネルを例示する図であり、図９のモニタ用画像６０ａにおける注目領域９０に対応する。図１４において、注目画素Ｐを中心とする注目領域９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒ１〜Ｐｒ８とする。注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む参照画素Ｐｒ１〜Ｐｒ８の位置が参照位置である。

（１）画素欠陥補正処理
画素欠陥補正処理は、撮像した画像に対して行う画像処理の１つである。一般に、固体撮像素子である撮像素子３２ａは、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部３３の生成部３３ｃは、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。

画像処理部３３の生成部３３ｃは、例えば、１フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素Ｐ（処理対象画素）とし、注目画素Ｐを中心とする注目領域９０に含まれる注目画素Ｐの周囲の画素を参照画素Ｐｒ１〜Ｐｒ８とする。

画像処理部３３の生成部３３ｃは、参照画素Ｐｒ１〜Ｐｒ８における画像データの最大値、最小値を算出し、注目画素Ｐから出力された画像データがこれら最大値または最小値を超えるときは注目画素Ｐから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不図示の不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。

第１の実施の形態において、画像処理部３３の生成部３３ｃが、上述した画素欠陥補正処理を検出用画像５２の画像データに対して行うことにより、検出用画像５２に基づく被写体検出処理、焦点検出処理、および露出演算処理において画素欠陥の影響が及ぶことを防止できる。
なお、画素欠陥補正処理は、検出用画像５２に限らず、記録用画像５１に対して行ってもよい。画像処理部３３の生成部３３ｃが、上述した画素欠陥補正処理を記録用画像５１の画像データに対して行うことにより、記録用画像５１における画素欠陥の影響を防止できる。

（２）色補間処理
色補間処理は、撮像した画像に対して行う画像処理の１つである。図３に例示したように、撮像素子１００の撮像チップ１１１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒがベイヤー配列されている。画像処理部３３の生成部３３ｃは、各画素位置において配置されたカラーフィルタＦの色成分と異なる色成分の画像データが不足するので、公知の色補間処理を行うことにより、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する。

第１の実施の形態において、画像処理部３３の生成部３３ｃが、色補間処理を検出用画像５２の画像データに対して行うことにより、色補間された検出用画像５２に基づき、被写体検出処理、焦点検出処理、および露出演算処理を適切に行うことが可能になる。
なお、色補間処理は、検出用画像５２に限らず、記録用画像５１に対して行ってもよい。画像処理部３３の生成部３３ｃが、上述した色補間処理を記録用画像５１の画像データに対して行うことにより、色補間された記録用画像５１を得ることができる。

（３）輪郭強調処理
輪郭強調処理は、撮像した画像に対して行う画像処理の１つである。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ^２−１)個の参照画素Ｐｒの位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。

画像処理部３３の生成部３３ｃは、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

第１の実施の形態において、画像処理部３３の生成部３３ｃが、上述した輪郭強調処理を検出用画像５２の画像データに対して行うことにより、輪郭が強調された検出用画像５２に基づき、被写体検出処理、焦点検出処理、および露出演算処理を適切に行うことができる。
なお、輪郭強調処理は、検出用画像５２に限らず、記録用画像５１に対して行ってもよい。画像処理部３３の生成部３３ｃが、上述した輪郭強調処理を記録用画像５１の画像データに対して行うことにより、輪郭が強調された記録用画像５１を得ることができる。輪郭強調の強さは、検出用画像５２の画像データに対して行う場合と、記録用画像５１の画像データに対して行う場合とで異なっていてもよい。

（４）ノイズ低減処理
ノイズ低減処理は、撮像した画像に対して行う画像処理の１つである。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ^２−１)個の参照画素Ｐｒの位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。

画像処理部３３の生成部３３ｃは、注目画素Ｐにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

第１の実施の形態において、画像処理部３３の生成部３３ｃが、上述したノイズ低減処理を検出用画像５２の画像データに対して行うことにより、検出用画像５２に基づく被写体検出処理、焦点検出処理、および露出演算処理においてノイズの影響が及ぶことを防止できる。
なお、ノイズ低減処理は、検出用画像５２に限らず、記録用画像５１に対して行ってもよい。画像処理部３３の生成部３３ｃが、上述したノイズ低減処理を記録用画像５１の画像データに対して行うことにより、ノイズが低減された記録用画像５１を得ることができる。ノイズ低減の度合いは、検出用画像５２の画像データに対して行う場合と、記録用画像５１の画像データに対して行う場合とで異なっていてもよい。

＜焦点検出処理の例示＞
制御部３４（レンズ移動制御部３４ｄ）が行う焦点検出処理の一例について説明する。制御部３４のレンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイント）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。本実施の形態のＡＦ動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部３４のレンズ移動制御部３４ｄ（生成部）は、撮像光学系３１の異なる瞳の領域を通過した光束による複数の被写体像の像ズレ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を算出する。制御部３４のレンズ移動制御部３４ｄは、デフォーカス量をゼロ（許容値以下）にする位置、すなわち合焦位置へ撮像光学系３１のフォーカスレンズを移動させ、撮像光学系３１の焦点を調節する。

図１５は、撮像素子３２ａの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ１１１のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図１５の例では、１５本の焦点検出画素ライン１６０が所定の間隔で設けられる。焦点検出画素ライン１６０を構成する焦点検出用画素は、焦点検出用、記録用画像５１および検出用画像５２の画像データを出力する。撮像チップ１１１において焦点検出画素ライン１６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、記録用画像５１および検出用画像５２の画像データを出力する。

図１６は、図１５に示すフォーカスポイント８０Ａに対応する上記焦点検出画素ライン１６０の一部の領域を拡大した図である。図１６において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。

赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂにおいて、マイクロレンズＬおよび不図示のカラーフィルタの内側（背後）に例示した正方形状の領域は、撮像用画素の光電変換部を示す。各撮像用画素は、撮像光学系３１（図１）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の光電変換部に到達する。
なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの光電変換部（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。

焦点検出用画素は、マイクロレンズＬおよび不図示のカラーフィルタの内側（背後）に２つの光電変換部Ｓ１およびＳ２を有する。例えば、画素位置の左側に配置された第１の光電変換部Ｓ１と、画素位置の右側に配置された第２の光電変換部Ｓ２とを有する。これにより、第１の光電変換部Ｓ１には、撮像光学系３１（図１）の射出瞳の第１の領域を通る第１の光束が入射し、第２の光電変換部Ｓ２には、撮像光学系３１（図１）の射出瞳の第２の領域を通る第２の光束が入射する。

本実施の形態では、例えば、光電変換部と、光電変換部による光電変換信号を読み出す読出回路１０５（図２）とを含めて「画素」と呼ぶ。読出回路１０５は、転送トランジスタ（ＴＸ）、増幅トランジスタ（ＡＭＰ）、リセットトランジスタ（ＲＳＴ）および選択トランジスタ（ＳＥＬ）を含む例を説明するが、読出回路１０５の範囲は、必ずしも本例の通りでなくてもよい。

なお、撮像チップ１１１における焦点検出画素ライン１６０の位置は、図１５に例示した位置に限定されない。また、焦点検出画素ライン１６０の数についても、図１５の例に限定されるものではない。例えば、画素位置の全てに焦点検出用画素を配置してもよい。

また、撮像チップ１１１における焦点検出画素ライン１６０は、撮像チップ１１１のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものであってもよい。図１６のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。

さらにまた、図１６の例では、焦点検出用画素がそれぞれ焦点検出用の第１および第２の光束の双方を受光する構成を説明したが、焦点検出用画素が焦点検出用の第１および第２の光束のうちの一方を受光する構成にしてもよい。

制御部３４のレンズ移動制御部３４ｄは、焦点検出用画素の光電変換部Ｓ１およびＳ２から出力される焦点検出用の光電変換信号に基づいて、撮像光学系３１（図１）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出する。そして、像ズレ量（位相差）に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。

フォーカスポイント８０Ａ（図１５）は、図９に例示したモニタ用画像６０ａにおいて、ユーザによって選ばれているものとする。図１７は、フォーカスポイント８０Ａを拡大した図である。図１７において枠１７０で囲む位置は、焦点検出画素ライン１６０（図１５）に対応する。

本実施の形態において、制御部３４のレンズ移動制御部３４ｄは、検出用画像５２のうちの枠１７０で示す焦点検出用画素による信号データを用いて焦点検出処理を行う。レンズ移動制御部３４ｄは、図１３(b)および図１３(d)の検出用画像５２における注目範囲６１−２、６１−３を、図１７の枠１７０で示す範囲に対応させて設定する。
レンズ移動制御部３４ｄは、像ぶれ補正処理を行った検出用画像５２の焦点検出用画素の信号データを用いることで、焦点検出処理を適切に行うことができる。また、例えばゲインを高めに設定したり、像ズレ量（位相差）の検出に適した画像処理を施したりした検出用画像５２の焦点検出用画素の信号データを用いることで、焦点検出処理を適切に行うことができる。

以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合は以下のように行うことができる。

コントラスト検出方式を用いる場合、制御部３４は、撮像光学系３１のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子３２ａの第２撮像領域Ｂ２に含まれる撮像用画素から出力された信号データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
すなわち、制御部３４のレンズ移動制御部３４ｄは、検出用画像５２のうちのフォーカスポイント８０Ａに対応する撮像用画素による信号データを用いて焦点評価値演算を行う。レンズ移動制御部３４ｄは、図１３(b)および図１３(d)の検出用画像５２における注目範囲６１−２、６１−３を、図１５のフォーカスポイント８０Ａの枠で示す範囲に対応させて設定する。
レンズ移動制御部３４ｄは、像ぶれ補正処理を行った検出用画像５２の信号データを用いることで、焦点検出処理を適切に行うことができる。また、例えばゲインを高めに設定したり、像ズレ量（位相差）の検出に適した画像処理を施したりした検出用画像５２の信号データを用いることで、焦点検出処理を適切に行うことができる。

＜被写体検出処理＞
図１８(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１８(b)は、モニタ用画像６０ａおよび探索範囲１９０を例示する図である。制御部３４の物体検出部３４ａは、モニタ用画像６０ａから対象物（例えば、図９の被写体要素の１つであるバッグ６３）を検出する。制御部３４の物体検出部３４ａは、対象物を検出する範囲をモニタ用画像６０ａの全範囲としてもよいが、検出処理を軽くするために、モニタ用画像６０ａの一部を探索範囲１９０としてもよい。

図９に例示したモニタ用画像６０ａにおいて、人物６１の持ち物であるバッグ６３を検出する場合を説明する。制御部３４の物体検出部３４ａは、人物６１を含む領域の近傍に探索範囲１９０を設定する。なお、人物６１を含む領域６１を探索範囲に設定してもよい。

本実施の形態において、制御部３４の物体検出部３４ａは、検出用画像５２のうちの探索範囲１９０を構成する画像データを用いて被写体検出処理を行う。物体検出部３４ａは、図１３(b)および図１３(d)の検出用画像５２における注目範囲６１−２、６１−３を、図１８の探索範囲１９０に対応させて設定する。
物体検出部３４ａは、像ぶれ補正処理を行った検出用画像５２の画像データを用いることで、被写体検出処理を適切に行うことができる。また、例えばゲインを高めに設定したり、被写体要素の検出に適した画像処理を施したりした検出用画像５２の画像データを用いることで、被写体検出処理を適切に行うことができる。
なお、被写体検出処理は、検出用画像５２に限らず、記録用画像５１に対して行ってもよい。

＜撮像条件を設定する処理＞
制御部３４の設定部３４ｂは、例えば、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、撮像画面のうちの測光範囲を構成する画像データを用いて露出演算処理を行う。設定部３４ｂは、露出演算結果に基づき以下のように撮像条件を設定する。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部３４ｂは、白とびまたは黒つぶれを解消するように撮像条件を設定する。

本実施の形態において、制御部３４の設定部３４ｂは、検出用画像５２のうちの測光範囲を構成する画像データを用いて露出演算処理を行う。設定部３４ｂは、図１３(b)および図１３(d)の検出用画像５２における注目範囲６１−２、６１−３を、測光範囲に対応させて設定する。
設定部３４ｂは、像ぶれ補正処理を行った検出用画像５２の画像データを用いることで、演算処理を適切に行うことができる。また、例えばゲインを低めに設定した検出用画像５２の画像データを用いることで、演算処理を適切に行うことができる。

上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定するときに行う測光（測色）範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定するときに行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定するときに行う測光範囲に対しても同様である。
また、撮像条件を設定する処理は、検出用画像５２に限らず、記録用画像５１に対して行ってもよい。

＜フローチャートの説明＞
図１９は、領域ごとに撮像条件を設定して撮像するカメラ１の処理の流れを説明するフローチャートである。例えば、カメラ１のメインスイッチがオン操作されると、制御部３４は、図１９に示す処理を実行するプログラムを起動させる。ステップＳ１０において、制御部３４は、撮像素子３２ａに第１撮像領域Ｂ１および第２撮像領域Ｂ２をセットしてステップＳ２０へ進む。上述したように、第１撮像領域Ｂ１は記録用画像５１を撮像する領域であり、第２撮像領域Ｂ２は検出用画像５２を撮像する領域である。

ステップＳ２０において、制御部３４は、撮像素子３２ａに動画の撮像を開始させてステップＳ３０へ進む。撮像素子３２ａは、第１撮像領域Ｂ１で記録用画像５１の撮像を繰り返し、第２撮像領域Ｂ２で検出用画像５２の撮像を繰り返す。ステップＳ３０において、制御部３４は、カメラ１の振れの有無を判断する。制御部３４は、カメラ１の振れを検知した場合にステップＳ３０を肯定判定してステップＳ４０へ進み、カメラ１の振れを検知しない場合には、ステップＳ３０を否定判定してステップＳ５０へ進む。

ステップＳ４０において、制御部３４は、動画に対する像ぶれ補正処理を行う。図２０は、像ぶれ補正処理の流れを説明する図である。図２０のステップＳ４２において、制御部３４は像ぶれ量を算出する。具体的には、目標移動量演算部３４ｆにより、ぶれ量演算部３４ｅで演算された像ぶれと、撮影倍率（撮像光学系３１のズームレンズの位置に基づいて算出する）と、カメラ１から被写体までの距離（撮像光学系３１のフォーカスレンズの位置に基づいて算出する）とに基づいて、撮像素子３２ａの撮像面の像ぶれ量を算出してステップＳ４４へ進む。

ステップＳ４４において、制御部３４は像ぶれ量に基づく像ぶれ補正を行う。具体的には、目標移動量演算部３４ｆが算出した像ぶれ量を打ち消すために、記録用画像５１におけるトリミング範囲Ｗ１の目標移動量を演算する。そして、図１３(a)に示すように、補正部３３ｂが記録用画像５１の中でトリミング範囲Ｗ１を移動させる。このような像ぶれ補正により、手ぶれによって記録用画像５１における被写体の位置が移動しても、トリミング範囲Ｗ１において略同じ位置に被写体が収まる。

目標移動量演算部３４ｆは、上記目標移動量を、検出用画像５２におけるトリミング範囲Ｗ２にも適用する。そして、図１３(b)に示すように、補正部３３ｂが検出用画像５２の中でトリミング範囲Ｗ２を移動させる。このような像ぶれ補正により、手ぶれによって検出用画像５２における被写体の位置が移動しても、トリミング範囲Ｗ２において略同じ位置に被写体が収まる。

ステップＳ４６において、制御部３４は、検出用画像５２に対して注目範囲６１−２を設定し、注目範囲６１−２についても、図１３(b)に示すように、トリミング範囲Ｗ２とともに検出用画像５２の中で移動させて図１９のステップＳ５０へ進む。制御部３４は、トリミング範囲Ｗ２を図１３(b)の下方限界まで移動した以降は、図１３(d)に示すように、注目範囲６１−３のみを検出用画像５２の中で下方に移動させる。注目範囲６１−２，６１−３を移動することにより、カメラ１が振れても同じ被写体に注目を続けるので、注目する被写体が異なる場合に比べて、被写体要素の検出、焦点検出、露出演算、画像生成に及ぼす影響を抑えることができる。

図１９のステップＳ５０において、制御部３４は、表示部３５にモニタ用画像の表示を開始させてステップＳ６０へ進む。ステップＳ６０において、制御部３４は、第２撮像領域Ｂ２で撮像された検出用画像５２に基づいて被写体を検出する処理を物体検出部３４ａで開始させてステップＳ７０へ進む。

モニタ用画像の表示の開始により、第１撮像領域Ｂ１で撮像された記録用画像５１に基づくモニタ用画像が表示部３５に逐次表示される。なお、モニタ用画像の表示中にＡＦ動作を行う設定がなされている場合、制御部３４のレンズ移動制御部３４ｄは、第２撮像領域Ｂ２で撮像された検出用画像５２に基づいて焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるＡＦ動作を制御する。
また、モニタ用画像の表示中にＡＦ動作を行う設定がなされていない場合、制御部３４のレンズ移動制御部３４ｄは、後にＡＦ動作が指示された時点でＡＦ動作を行う。

ステップＳ７０において、制御部３４の設定部３４ｂは、撮像素子３２ａにより撮像された撮像画面を、被写体要素を含む複数の領域に分割してステップＳ８０へ進む。ステップＳ８０において、制御部３４は表示部３５に領域の表示を行う。制御部３４は、図９に例示したように、モニタ用画像６０ａのうち撮像条件の設定（変更）の対象となる領域を強調表示させる。制御部３４は、強調表示する領域を、ユーザによるタッチ操作位置に基づいて決定する。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ９０へ進む。
なお、制御部３４は、ユーザの指で表示画面上の他の被写体の表示位置がタッチ操作された場合は、その被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。

ステップＳ９０において、制御部３４は、ＡＦ動作が必要か否かを判定する。制御部３４は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザ操作によってフォーカスポイントの位置が変更された場合、または、ユーザ操作によってＡＦ動作の実行が指示された場合に、ステップＳ９０を肯定判定してステップＳ１００へ進む。制御部３４は、焦点調節状態が変化せず、ユーザ操作によりフォーカスポイントの位置が変更されず、ユーザ操作によってＡＦ動作の実行も指示されない場合には、ステップＳ９０を否定判定してステップ１１０へ進む。

ステップＳ１００において、制御部３４は、ＡＦ動作を行わせてステップＳ１１０へ進む。制御部３４のレンズ移動制御部３４ｄは、第２撮像領域Ｂ２で撮像された検出用画像５２に基づいて焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体にフォーカスを合わせるＡＦ動作を制御する。

ステップＳ１１０において、制御部３４の設定部３４ｂは、ユーザ操作に応じて、強調して表示されている領域に対する撮像条件を設定（変更）してステップＳ１２０へ進む。設定部３４ｂは、例えば第１撮像領域Ｂ１に対する撮像条件を設定（変更）する。また、設定部３４ｂは、第２撮像領域Ｂ２に対する撮像条件を設定（変更）してもよい。
なお、撮像条件を設定（変更）するユーザ操作が行われない場合、設定部３４ｂは、第１撮像領域Ｂ１および第２撮像領域Ｂ２に対し、初期設定の撮像条件を継続して設定する。
設定部３４ｂは、撮像条件を設定（変更）した状態で新たに測光し直して撮像条件を決定する場合、第２撮像領域Ｂ２で撮像される検出用画像５２に基づいて露出演算処理を行う。

ステップＳ１２０において、制御部３４の撮像制御部３４ｃは画像処理部３３へ指示を送り、記録用画像の画像データに対して画像処理を行わせてステップＳ１３０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。

ステップＳ１３０において、制御部３４は、録画ボタンの操作の有無を判定する。制御部３４は、操作部材３６を構成する不図示の録画ボタン、または録画を指示する表示アイコン７４（図９）が操作された場合、ステップＳ１３０を肯定判定してステップＳ１４０へ進む。制御部３４は、録画ボタンの操作が行われない場合には、ステップＳ１３０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻った場合、制御部３４は、上述した処理を繰り返す。

ステップＳ１４０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録する処理を開始させてステップＳ１５０へ進む。ステップＳ１５０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、例えば録画ボタンが再び操作された場合にステップＳ１５０を肯定判定して図１９による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ１５０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻った場合、制御部３４は、上述した処理を繰り返す。記録する処理を開始している場合には、記録処理を継続しながら上述した処理を繰り返す。

以上の説明では、撮像素子３２ａとして、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能な積層型の撮像素子１００を例示したが、必ずしも積層型の撮像素子として構成する必要はない。

以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１は、例えば、カメラ１の振れによって撮像素子３２ａの撮像面を被写体像が移動すると、振れ方向と反対方向の領域の撮像条件を変更し、変更後の撮像条件によって撮像を行う。これにより、適切に、被写体像の画像を生成できる。また、適切に、被写体要素を検出できる。さらに、適切に、焦点検出を行うことができる。また、適切に、露出演算を行うことができる。

（２）カメラ１は、撮像素子３２ａの撮像面を被写体像が移動すると、振れ方向と反対方向の領域に注目範囲を移動し、注目範囲に設定する撮像条件を変更する。これにより、注目範囲で撮像される被写体像に基づき、適切に、被写体像の画像を生成できる。また、適切に、被写体要素を検出できる。さらに、適切に、焦点検出を行うことができる。また、適切に、露出演算を行うことができる。

（３）カメラ１は、カメラ１が振れてもトリミング範囲の同じ位置に被写体像が存在するようにトリミング範囲を移動する。これにより、被写体像の像ぶれを適切に抑えることができる。

（４）カメラ１は、トリミング範囲の移動とともに、トリミング範囲に含まれる注目範囲を移動する。これにより、カメラ１が振れても同じ被写体像に注目することができる。

（５）カメラ１は、トリミング範囲を移動できなくても注目範囲のみを移動する。これにより、カメラ１の振れによる被写体像の像ぶれが抑えきれない場合でも、同じ被写体像に注目することができる。

--- 第１の実施の形態の変形例１ ---
制御部３４は、検出用画像５２に対して設定した図１３(b)、図１３(d)の注目範囲６１−２、６１−３について、検出用画像５２の中で移動させる代わりに、注目範囲６１−２、６１−３の面積を広げてもよい。図１３(e)は、第１の実施の形態の変形例１における、検出用画像５２に対する像ぶれ補正を説明する図である。制御部３４は、例えば、検出用画像５２に対して設定した図１３(b)の注目範囲６１−２の面積を、検出用画像５２の中でトリミング範囲Ｗ２の移動に伴って徐々に広げる。注目範囲６１−２の面積を広げる方向は、トリミング範囲Ｗ２を移動させる方向と同じであり、カメラ１の振れと反対方向である。図１３(e)の注目範囲６１−３の面積は、図１３(b)の注目範囲６１−２の面積よりも下方に向かって広い。

また、制御部３４は、検出用画像５２の中でトリミング範囲Ｗ２を下方の限界まで移動した以降において、注目する被写体（例えば、人物の頭部）がさらに下方に移動する場合は、注目範囲６１−３の面積をトリミング範囲Ｗ２の中で徐々に下方に広げる。面積を広げた注目範囲６１−３に、人物の頭部が収まるようにするためである。これにより、カメラ１が振れても、検出用画像５２の中で物体検出部３４ａが被写体要素を検出する領域、検出用画像５２の中でレンズ移動制御部３４ｄが焦点検出処理を行う領域、検出用画像５２の中で設定部３４ｂが露出演算処理を行う領域、検出用画像５２の中で画像処理部３３が画像生成処理時に参照する領域には、同じ被写体（本例では人物の頭部）が存在することとなる。この結果、カメラ１の振れによって注目する被写体が異なってしまう場合に比べて、被写体要素の検出、焦点検出、露出演算、画像生成に及ぼす影響を抑えることができる。

制御部３４は、注目範囲６１−２、６１−３の面積を広げる場合に、注目範囲６１−２、６１−３の面積の変化に伴って第２撮像条件の設定を変更する。すなわち、面積を変更した後の注目範囲６１−２、６１−３の位置、面積に合わせて、第２撮像領域Ｂ２に対する第２撮像条件を設定し直す。

（第２の実施の形態）
第２の実施の形態では、カメラ１の画像処理部３３が、静止画を撮像中のカメラ１の振れに伴う像ぶれの影響を抑える処理を行う。このようなカメラ１の詳細について、以下に説明する。
第２の実施の形態におけるカメラ１は、第１の実施の形態と同様に、レンズ交換式であってもレンズ交換式でなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。

第２の実施の形態では、記録する静止画を撮像する場合、撮像素子３２ａの撮像面に第１撮像領域Ｂ１のみを設定して静止画を撮像する。第１撮像領域Ｂ１に含まれるブロックの稼働率は、第１の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率１００％に設定してもよいし、稼働率を７０％あるいは５０％に設定してもよい。
なお、撮像素子３２ａの撮像面に第１撮像領域Ｂ１のみを設定する代わりに、撮像面に設定されている第１撮像領域Ｂ１および第２撮像領域Ｂ２のうち、第１撮像領域Ｂ１のみを稼働して第２撮像領域Ｂ２を休止させてもよい。
記録する静止画は、シャッターボタンが操作されたときに撮像する静止画である。第２の実施の形態では、シャッターボタンが操作された場合に記録する静止画を記録用画像と称する。また、静止画の撮像を指示する表示（例えば図９のレリーズアイコン７４）が操作されたときに記録用画像を撮像してもよい。

図２１(a)は、カメラ１によってフラッシュ光を使わずに室内で撮像された静止画を例示する図である。図２１(a)の静止画は、撮像素子３２ａの画面の左右で異なる撮像条件を設定し、撮像されたものである。例えば、画面左側の男性の衣装よりも画面右側の女性の衣装が白く明るい場合、画面左側に対応する撮像素子３２ａの領域（第１撮像領域Ｂ１の左側）に対し、画面右側に対応する撮像素子３２ａの領域（第１撮像領域Ｂ１の右側）よりも長い露光時間が設定される。画面左側に対応する撮像素子３２ａの領域の露光時間を第１露光時間とし、画面右側に対応する撮像素子３２ａの領域の露光時間を第２露光時間とすると、第１露光時間＞第２露光時間である。これにより、画面右側の女性の衣装がオーバー露光になるのを防ぎつつ、画面左側の男性の衣装がアンダー露光にならないように撮像することができる。

例えば、図２１(a)の静止画を撮影する会場の演出によって照明光量が絞られると、撮像素子３２ａに設定される第１露光時間および第２露光時間は、いわゆる手ぶれ限界と称される露光時間（例えば、１／６０秒とする）よりも長くなる。そのため、カメラ１は、静止画を撮像中のカメラ１の振れに伴う像ぶれの影響を抑える処理を行う。図２１(b)および図２１(c)は、第２の実施の形態による静止画ぶれ補正の概要を説明する模式図である。

＜像ぶれ補正＞
第２の実施の形態では、静止画の像ぶれ補正を行う場合、上記手ぶれ限界とされる露光時間（１／６０秒）よりも短い露光時間（後述する短縮露光時間：例えば、１／３００秒）で複数枚の記録用画像を撮像する。例えば、画面左側に対応する撮像素子３２ａの領域によって、短縮露光時間で第１の記録用画像５１Ｌを複数枚（ｎ枚とする）撮像するとともに、画面右側に対応する撮像素子３２ａの領域によって、上記短縮露光時間で第２の記録用画像５１Ｒを複数枚（ｍ枚とする）撮像する。本例では、ｎ＞ｍとする。

制御部３４は、上記ｎ枚の第１の記録用画像５１Ｌの短縮露光時間の和（ｎ×短縮露光時間）が上記第１露光時間となるように、第１の記録用画像の枚数ｎを決定する。また、ｍ枚の第２の記録用画像５１Ｒの短縮露光時間の和（ｍ×短縮露光時間）が上記第２露光時間となるように、第２の記録用画像の枚数ｍを決定する。

そして、制御部３４および補正部３３ｂは、図２１(b)に示すように、画面左側に対応する撮像素子３２ａの領域で撮像されたｎ枚の第１の記録用画像５１（ＤＬ−１〜ＤＬ−ｎ）に対し、各画像における特徴点の位置を合わせて重ね合わせる第１の合成処理を行う。このような合成処理は、公知であるため詳細な説明は省略する。

また、制御部３４および補正部３３ｂは、図２１(c)に示すように、画面右側に対応する撮像素子３２ａの領域で撮像されたｍ枚の第２の記録用画像５１（ＤＲ−１〜ＤＲ−ｍ）に対し、各画像における特徴点の位置を合わせて重ね合わせる第２の合成処理を行う。補正部３３ｂはさらに、第１の合成処理後の第１画像と、第２の合成処理後の第２画像とを合成し、図２１(a)のような合成画像を得る。補正部３３ｂは、合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。制御部３４および補正部３３ｂは、このように静止画に対する像ぶれ補正を行う。

＜記録用画像５１Ｌおよび５１Ｒを撮像するタイミング＞
図２２は、記録用画像５１Ｌ（ＤＬ−１、ＤＬ−２、ＤＬ−３、…）の撮像タイミングと、記録用画像５１Ｒ（ＤＲ−１、ＤＲ−２、ＤＲ−３、…）の撮像タイミングと、ぶれ補正後の記録用画像に基づく表示（ぶれ補正画像）の表示タイミングとを例示する図である。撮像制御部３４ｃは、時刻ｔ２においてレリーズ操作（例えばシャッターボタン押下操作）が行われるまでは、第１の実施の形態で説明した、録画ボタンが操作される前（時刻ｔ１以前）の処理を行う。

撮像制御部３４ｃは、時刻ｔ２においてレリーズ操作が行われると、撮像素子３２ａの撮像面に設定される第１撮像領域Ｂ１により、図２２のタイミングで撮像を行う。すなわち、撮像制御部３４ｃは、設定部３４ｂによって第１撮像領域Ｂ１に設定される撮像条件で、撮像部３２に記録用画像５１を撮像させる。本例の場合、物体検出部３４ａが、上述した図１０の検出用画像Ｄiに基づいて画面左側の男性と画面右側の女性とを検出し、設定部３４ｂが、検出結果に基づいて第１撮像領域Ｂ１を画面左側と画面右側とに分割したものとする。

＜像ぶれ補正する撮像＞
設定部３２ｂは、上述した図１０の検出用画像Ｄiiiに基づいて露出演算を行うことにより、画面左側と画面右側とで異なる撮像条件（例えば、上記第１露光時間と第２露光時間）を設定する。撮像制御部３４ｃは、第１露光時間および第２露光時間の少なくとも一方が、手ぶれ限界として予め定めた露光時間（例えば、１／６０秒）よりも長い場合、像ぶれ補正する撮像を行う。すなわち、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域によって、短縮露光時間で第１の記録用画像５１Ｌをｎ枚撮像するとともに、第１撮像領域Ｂ１のうち画面右側に対応する撮像素子３２ａの領域によって、上記短縮露光時間で第２の記録用画像５１Ｒをｍ枚撮像する。

図２２によれば、画面右側に対応する撮像素子３２ａの領域によってｍ枚の第２の記録用画像５１Ｒの撮像が終了した後にも、画面左側に対応する撮像素子３２ａの領域によって第１の記録用画像５１Ｌを撮像する。この理由は、ｎ＞ｍとしたからである。第２の実施の形態では、第２の記録用画像５１Ｒの撮像が終了した後に第１の記録用画像５１Ｌを撮像する場合、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域を、第２の記録用画像５１Ｒの撮像が終了する前の時点よりも、画面右側へ広げて（拡張して）第１の記録用画像５１Ｌを撮像する。このことは、第１撮像領域Ｂ１のうち画面右側に対応する撮像素子３２ａの領域の少なくとも一部に第１露光時間に対応する短縮露光時間を設定することにより行う。

図２１(b)において、第１の記録用画像ＤＬ−ｎ−ｍ＋１〜ＤＬ−ｎのサイズが第１の記録用画像ＤＬ−１〜ＤＬ−ｍのサイズよりも大きい（本例では右方向に広い）ので、画面右側に位置する女性の一部が含まれる。これにより、第２の記録用画像５１Ｒの撮像が終了した後にカメラ１の振れが大きくなったとしても（手ぶれにより図２１（ｂ）において人物に対して撮像素子３２ａの領域が向かって左にずれても）、第１の合成処理後の第１画像（図２１(b)）と、第２の合成処理後の第２画像（図２１(c)）との合成時において、画像のデータが不足することなく、図２１(a)に示すような合成画像を得ることができる。補正部３３ｂは、この合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。

＜通常の撮像＞
撮像制御部３４ｃは、設定部３２ｂによって設定された第１露光時間および第２露光時間が、いずれも手ぶれ限界として予め定めた露光時間（例えば、１／６０秒）よりも短い場合は、像ぶれ補正が不要なので通常の撮像を行う。すなわち、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域に第１露光時間を設定するとともに、第１撮像領域Ｂ１のうち画面右側に対応する撮像素子３２ａの領域に第２露光時間を設定し、１枚の記録用画像５１（５１Ｌと５１Ｒ）を撮像する。

＜フローチャートの説明＞
静止画の像ぶれ補正を行う処理の流れについて、図２３のフローチャートを参照して説明する。図２３において、ステップＳ１０からステップＳ１１０までの処理は、図１９の処理と同様なので説明を省略する。制御部３４は、図１９のステップＳ１１０の次に進むステップＳ２１０において、シャッターボタンの操作の有無を判定する。制御部３４は、操作部材３６を構成する不図示のシャッターボタン、または撮像を指示する表示アイコン７４（図９）が操作された場合、ステップＳ２１０を肯定判定してステップＳ２２０へ進む。制御部３４は、シャッターボタンの操作が行われない場合には、ステップＳ２１０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻った場合、制御部３４は、ステップＳ３０〜Ｓ２１０までの処理を繰り返す。

ステップＳ２２０において、制御部３４は、静止画に対する像ぶれ補正の必要の有無を判定する。制御部３４は、上述した第１露光時間および第２露光時間の少なくとも一方が、手ぶれ限界として予め定めた露光時間（例えば、１／６０秒）よりも長い場合、ステップＳ２２０を肯定判定してステップＳ２３０へ進む。制御部３４は、上述した第１露光時間および第２露光時間がいずれも手ぶれ限界として予め定めた露光時間よりも短い場合には、ステップＳ２２０を否定判定してステップＳ２５０へ進む。

ステップＳ２３０において、制御部３４は、短縮露光時間で複数枚の撮像を行う。図２２の例では、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域によって、短縮露光時間で第１の記録用画像５１Ｌをｎ枚撮像するとともに、第１撮像領域Ｂ１のうち画面右側に対応する撮像素子３２ａの領域によって、上記短縮露光時間で第２の記録用画像５１Ｒをｍ枚撮像する。このとき、第２の記録用画像５１Ｒの撮像が終了した後に第１の記録用画像５１Ｌを撮像する場合、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域を、第２の記録用画像５１Ｒの撮像が終了する前の時点よりも、画面右側へ広げて第１の記録用画像５１Ｌを撮像する。

ステップＳ２４０において、制御部３４および補正部３３ｂは、記録用画像に対する像ぶれ補正を行う。具体的には、複数枚撮像した記録用画像に対し、各画像における特徴点の位置を合わせて重ね合わせて合成する合成処理を行う。

ステップＳ２５０において、制御部３４は、通常の撮像を行う。すなわち、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域に第１露光時間を設定するとともに、第１撮像領域Ｂ１のうち画面右側に対応する撮像素子３２ａの領域に第２露光時間を設定し、１枚の記録用画像５１Ｌ、５１Ｒを撮像する。

ステップＳ２６０において、制御部３４の撮像制御部３４ｃは画像処理部３３へ指示を送り、記録用画像の画像データに対する画像処理を行わせてステップＳ２７０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。

ステップＳ２７０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ２８０へ進む。ステップＳ２８０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ２８０を肯定判定して図２３による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ２８０を否定判定してステップＳ１０へ戻る。ステップＳ１０へ戻った場合、制御部３４は、上述した処理を繰り返す。

以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１は、複数の撮像領域で異なる撮像条件で撮像された被写体像の画像に対し、カメラ１の振れに伴う像ぶれの影響を抑える像ぶれ補正を、それぞれ適切に行うことができる。

（２）カメラ１は、例えば、第１撮像条件を設定する画面左側と第２撮像条件を設定する画面右側とで異なる露光時間が設定された場合や、画面左側と画面右側とで像ぶれの大きさが異なる場合において、画面左側と画面右側とで、それぞれ適切に像ぶれ補正を行うことができる。

（３）カメラ１は、例えば、第１撮像条件を設定する画面左側の領域を広げて第１の記録用画像５１Ｌのサイズを大きくする。
これにより、例えば、第２の記録用画像５１Ｒの撮像が終了した後にカメラ１の振れが大きくなったとしても、第１の像ぶれ補正後の第１画像（図２１(b)）と、第２の像ぶれ補正後の第２画像（図２１(c)）との合成時において、画像のデータが不足することなく、図２１(a)に示すような合成画像を得ることができる。

（４）カメラ１は、例えば、第１撮像領域Ｂ１の左側範囲を右側方向へ広げて大きくする。第１撮像領域Ｂ１の左側範囲を拡大することによって、より広い範囲の被写体像を第１の記録用画像５１Ｌに含めることができる。

（５）カメラ１は、複数の第１の記録用画像５１Ｌの位置を、他の第１の記録用画像５１Ｌの位置と合うようにずらして（位置合わせする）合成を行う。
これにより、複数の第１の記録用画像５１Ｌの間で位置合わせした合成画像を得ることができる。

（６）カメラ１は、第１の記録用画像５１Ｌの被写体像が他の第１の記録用画像５１Ｌの被写体像の位置と重なるように、第１の記録用画像５１Ｌの位置を変えて（位置合わせする）合成を行う。
これにより、複数の第１の記録用画像５１Ｌの間で被写体像の位置がずれていたとしても、その被写体像のずれ、すなわち像ぶれを抑えた合成画像を得ることができる。

（第３の実施の形態）
第３の実施の形態は、第２の実施の形態と異なる態様で、静止画を撮像中のカメラ１の振れに伴う像ぶれの影響を抑える。
第３の実施の形態におけるカメラ１は、第１および第２の実施の形態と同様に、レンズ交換式であってもレンズ交換式でなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。

第３の実施の形態は、第２の実施の形態と比べて、画面左側に対応する撮像素子３２ａの領域に第１の短縮露光時間を設定するとともに、画面右側に対応する撮像素子３２ａの領域に第２の短縮露光時間（第１の短縮露光時間＞第２の短縮露光時間）を設定して、ｎ枚の記録用画像５１−１〜５１−ｎを撮像する点において相違する。換言すると、画面左側に対応する撮像素子３２ａの領域により撮像する第１の記録用画像５１Ｌの枚数と、画面右側に対応する撮像素子３２ａの領域により撮像する第２の記録用画像５１Ｒの枚数とが同じ（ｎ枚）である。
以下、図面を参照して第２の実施の形態との相違点を中心に説明する。

＜像ぶれ補正＞
図２４は、第３の実施の形態による静止画ぶれ補正の概要を説明する模式図である。
制御部３４は、例えば、上記ｎ枚の第１の記録用画像５１Ｌの第１の短縮露光時間の和（ｎ×第１の短縮露光時間）が上記第１露光時間となるように、第１の記録用画像の枚数ｎと第１の短縮露光時間とを決定する。また、ｎ枚の第２の記録用画像５１Ｒの第２の短縮露光時間の和（ｎ×第２の短縮露光時間）が上記第２露光時間となるように、第２の短縮露光時間を決定する。

そして、制御部３４および補正部３３ｂは、図２４に示すように、ｎ枚の記録用画像５１−１〜５１−ｎに対し、各画像における特徴点の位置を合わせて重ね合わせる合成処理を行う。このような合成処理は、公知であるため詳細な説明は省略する。補正部３３ｂは、合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。制御部３４および補正部３３ｂは、このように静止画に対する像ぶれ補正を行う。

＜記録用画像５１を撮像するタイミング＞
図２５は、画面左側に対応する撮像素子３２ａの領域における記録用画像５１Ｌ（ＤＬ１、ＤＬ２、ＤＬ３、…）の撮像タイミングと、画面右側に対応する撮像素子３２ａの領域における記録用画像５１Ｒ（ＤＲ１、ＤＲ２、ＤＲ３、…）の撮像タイミングと、ぶれ補正後の記録用画像に基づく表示（ぶれ補正画像）の表示タイミングとを例示する図である。撮像制御部３４ｃは、時刻ｔ３においてレリーズ操作（例えばシャッターボタン押下操作）が行われるまでは、第１の実施の形態で説明した、録画ボタンが操作される前（時刻ｔ１以前）の処理を行う。

撮像制御部３４ｃは、時刻ｔ３においてレリーズ操作が行われると、撮像素子３２ａの撮像面に設定される第１撮像領域Ｂ１により、図２５のタイミングで撮像を行う。すなわち、撮像制御部３４ｃは、設定部３４ｂによって第１撮像領域Ｂ１に設定される撮像条件で、撮像部３２に記録用画像５１を撮像させる。第２の実施の形態と同様に、上述した図１０の検出用画像Ｄiに基づいて物体検出部３４ａが画面左側の男性と画面右側の女性とを検出し、検出結果に基づいて設定部３４ｂが画面左側と画面右側とに分割したものとする。

＜像ぶれ補正する撮像＞
また、第２の実施の形態と同様に、設定部３２ｂが上述した図１０の検出用画像Ｄiiiに基づいて露出演算を行うことにより、画面左側と画面右側とで異なる撮像条件（例えば、上記第１露光時間と第２露光時間）を設定する。撮像制御部３４ｃは、第１露光時間および第２露光時間の少なくとも一方が、手ぶれ限界として予め定めた露光時間（例えば１／６０秒）よりも長い場合、像ぶれ補正する撮像を行う。すなわち、第１撮像領域Ｂ１のうち画面左側に対応する撮像素子３２ａの領域に第１の短縮露光時間を設定するとともに、第１撮像領域Ｂ１のうち画面右側に対応する撮像素子３２ａの領域に第２の短縮露光時間を設定した上で、記録用画像５１（５１Ｌと５１Ｒ）をｎ枚撮像する。

図２５によれば、画面左側と右側とで、撮像される記録用画像５１の枚数ｎが同じである。この理由は、１枚当たりの短縮露光時間として、第１の短縮露光時間よりも第２の短縮露光時間を短くしたことによる。第３の実施の形態では、画面左側と右側とで、同じｎ枚の記録用画像を撮像するので、カメラ１の振れが大きくなったとしても、画面左側と右側との間の画像のデータが不足することなく、図２４に示すような合成画像を得ることができる。補正部３３ｂは、この合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。

＜通常の撮像＞
撮像制御部３４ｃは、設定部３２ｂによって設定された第１露光時間および第２露光時間が、いずれも手ぶれ限界として予め定めた露光時間（例えば、１／６０秒）よりも短い場合は、像ぶれ補正が不要なので通常の撮像を行う。

以上説明した第３の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１は、複数の撮像領域で異なる撮像条件で撮像された被写体像の画像に対し、カメラ１の振れに伴う像ぶれの影響を抑える像ぶれ補正を、適切に行うことができる。

（２）カメラ１は、例えば、第１撮像条件を設定する画面左側と第２撮像条件を設定する画面右側とで異なる露光時間が設定された場合や、画面左側と画面右側とで像ぶれの大きさが異なる場合において、適切に像ぶれ補正を行うことができる。

（３）カメラ１は、例えば、第１撮像条件を設定する画面左側と第２撮像条件を設定する画面右側とで異なる露光時間で撮像された被写体像の画像に対し、適切に像ぶれ補正を行うことができる。

（４）カメラ１は、例えば、第１撮像条件を設定する画面左側と第２撮像条件を設定する画面右側とで、撮像の同時性を保つことができる。

（第４の実施の形態）
第４の実施の形態は、第１の実施の形態による動画の像ぶれ補正を、２つの条件（例えば、トリミング範囲の広さが異なる）で並行して行う。
第４の実施の形態におけるカメラ１は、第１および第２の実施の形態と同様に、レンズ交換式であってもレンズ交換式でなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。

第４の実施の形態において、制御部３４は、記録用画像やモニタ用画像を撮像するときに、撮像素子３２ａの撮像面に４つの撮像領域を設定する。図２６は、撮像素子３２ａの撮像面に設定される第１撮像領域Ｂ１、第２撮像領域Ｂ２、第３撮像領域Ｃ１、および第４撮像領域Ｃ４の配置を例示する図である。図２６の部分拡大図によれば、撮像素子３２ａに定義されている複数のブロックのうちの４つを１単位とするブロックの単位Ｕが、画素領域の水平方向および垂直方向に繰り返し配置される。

ブロックの単位Ｕは、第１撮像領域Ｂ１に属するブロックと、第２撮像領域Ｂ２に属するブロックと、第３撮像領域Ｃ１に属するブロックと、第４撮像領域Ｃ２に属するブロックとを含む。制御部３４は、例えば、１フレームの撮像を行った撮像素子３２ａの第１撮像領域Ｂ１から読み出された光電変換信号に基づいて、第１の記録用画像５１Ａを生成する。また、制御部３４は、上記撮像素子３２ａの第２撮像領域Ｂ２から読み出された光電変換信号に基づいて、第１の検出用画像５２Ａを生成する。制御部３４はさらに、１フレームの撮像を行った撮像素子３２ａの第３撮像領域Ｃ１から読み出された光電変換信号に基づいて、第２の記録用画像５１Ｂを生成する。また、制御部３４は、上記撮像素子３２ａの第４撮像領域Ｃ２から読み出された光電変換信号に基づいて、第２の検出用画像５２Ｂを生成する。

第１の記録用画像５１Ａ、第１の検出用画像５２Ａ、第２の記録用画像５１Ｂ、および第２の検出用画像５２Ｂは、いずれも同じ画角で撮像され、共通の被写体の像を含む。これらの画像の撮像は、並行して行うことができる。

第４の実施の形態において、第１の記録用画像５１Ａを撮像する第１撮像領域Ｂ１に設定する撮像条件を第１撮像条件と呼び、第１の検出用画像５２Ａを撮像する第２撮像領域Ｂ２に設定する撮像条件を第２撮像条件と呼ぶことにする。また、第２の記録用画像５１Ｂを撮像する第３撮像領域Ｃ１に設定する撮像条件を第３撮像条件と呼び、第２の検出用画像５２Ｂを撮像する第４撮像領域Ｃ２に設定する撮像条件を第４撮像条件と呼ぶことにする。
制御部３４は、第１撮像条件と第２撮像条件、第３撮像条件と第４撮像条件とを同じ条件に設定してもよく、異なる条件に設定してもよい。

第４の実施の形態において、制御部３４は、上述したように並行して撮像する動画に対し、異なる像ぶれ補正を行う。例えば、第１の記録用画像５１Ａおよび第１の検出用画像５２Ａと、第２の記録用画像５１Ｂおよび第２の検出用画像５２Ｂとで、条件を変えて像ぶれ補正を行う。具体的には、制御部３４は、第１の記録用画像５１Ａの中に第１の記録用画像５１Ａのサイズの９０％のトリミング範囲Ｗ１を設定する。第１の検出用画像５２Ａの中に設定するトリミング範囲Ｗ２についても同様である。また、トリミング範囲Ｗ１、Ｗ２を設定した以降の像ぶれ補正処理も、第１の実施の形態の場合と同様である。

一方で、制御部３４は、第２の記録用画像５１Ｂの中に第２の記録用画像５１Ｂのサイズの６０％のトリミング範囲Ｗ３を設定する。第２の検出用画像５２Ｂの中に設定するトリミング範囲Ｗ４についても同様である。また、トリミング範囲Ｗ３、Ｗ４を設定した以降の像ぶれ補正処理も、第１の実施の形態の場合と同様である。

一般に、カメラ１が大きく振れた場合におけるトリミング範囲Ｗ１〜Ｗ４の移動代を十分に確保するために、トリミング範囲Ｗ１〜Ｗ４を狭く設定することが多い。このため、像ぶれ補正後の動画の画面サイズは小さくなりがちである。しかしながら、複数通りのトリミング範囲を設定することで、通常は広いトリミング範囲を設定した像ぶれ補正を採用し、カメラ１の振れが大きい場合には狭いトリミング範囲を設定した像ぶれ補正を採用することが可能となる。

以上説明した第４の実施の形態によれば、動画の像ぶれ補正を、２つの条件（例えば、トリミング範囲の広さが異なる）で並行して行うことができる。

--- 第４の実施の形態の変形例１ ---
第４の実施の形態の変形例１は、第１の実施の形態による動画の像ぶれ補正と、第２または第３の実施の形態による静止画の像ぶれ補正とを並行して行う。
第４の実施の形態の変形例１では、記録する静止画を撮像する場合、例えば、撮像素子３２ａの撮像面に設定される、第３撮像領域Ｃ１（図２６）によって静止画を撮像する。第３撮像領域Ｃ１に含まれるブロックの稼働率は、第１の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率１００％に設定してもよいし、稼働率を７０％あるいは５０％に設定してもよい。撮像素子３２ａの撮像面に設定される、第４撮像領域Ｃ２（図２６）は、休止させる。
なお、図２６において第４撮像領域Ｃ２を設定せずに、第３撮像領域Ｃ１の位置と第４撮像領域Ｃ２の位置とをまとめ合わせて、第３撮像領域Ｃ１として設定してもよい。

第４の実施の形態の変形例１において、１フレームの撮像を行った撮像素子３２ａの第１撮像領域Ｂ１から読み出された光電変換信号に基づいて、第１の記録用画像５１Ａを生成する。また、制御部３４は、上記撮像素子３２ａの第２撮像領域Ｂ２から読み出された光電変換信号に基づいて、第１の検出用画像５２Ａを生成する。制御部３４はさらに、１フレームの撮像を行った撮像素子３２ａの第３撮像領域Ｃ１から読み出された光電変換信号に基づいて、第２の記録用画像５１を生成する。第１の記録用画像５１Ａおよび第１の検出用画像５２Ａは、動画である。第２の記録用画像５１は、静止画である。

制御部３４は、第１の記録用画像５１Ａおよび第１の検出用画像５２Ａに対し、第１の実施形態と同様に、動画に対する像ぶれ補正を行う。また、制御部３４は、第２の記録用画像５１に対し、第２の実施の形態または第３の実施の形態と同様に、静止画に対する像ぶれ補正を行う。

第４の実施の形態の変形例１によれば、動画に対する像ぶれ補正と静止画に対する像ぶれ補正とを並行して行うことができる。

--- 第４の実施の形態の変形例２ ---
第４の実施の形態の変形例２は、第２または第３の実施の形態による静止画の像ぶれ補正を、２つの条件で並行して行う。２つの条件とは、例えば、短縮露光時間が異なったり、複数枚の記録用画像の位置を合わせて合成するときの合成枚数が異なったりすることである。

第４の実施の形態の変形例２では、記録する第１の静止画を撮像する場合、例えば、撮像素子３２ａの撮像面に設定される、第１撮像領域Ｂ１（図２６）によって第１の静止画を撮像する。第３撮像領域Ｃ１に含まれるブロックの稼働率は、第１の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率１００％に設定してもよいし、稼働率を７０％あるいは５０％に設定してもよい。撮像素子３２ａの撮像面に設定される、第２撮像領域Ｂ２（図２６）は、休止させる。
なお、図２６において第２撮像領域Ｂ２を設定せずに、第１撮像領域Ｂ１の位置と第２撮像領域Ｂ２の位置とをまとめ合わせて、第１撮像領域Ｂ１として設定してもよい。

また、第４の実施の形態の変形例２において、記録する第２の静止画を撮像する場合、例えば、撮像素子３２ａの撮像面に設定される、第３撮像領域Ｃ１（図２６）によって第２の静止画を撮像する。第３撮像領域Ｃ１に含まれるブロックの稼働率は、第１の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率１００％に設定してもよいし、稼働率を７０％あるいは５０％に設定してもよい。撮像素子３２ａの撮像面に設定される、第４撮像領域Ｃ２（図２６）は、休止させる。
なお、図２６において第４撮像領域Ｃ２を設定せずに、第３撮像領域Ｃ１の位置と第４撮像領域Ｃ２の位置とをまとめ合わせて、第３撮像領域Ｃ１として設定してもよい。

第４の実施の形態の変形例２において、１フレームの撮像を行った撮像素子３２ａの第１撮像領域Ｂ１から読み出された光電変換信号に基づいて、第１の記録用画像５１Ａを生成する。また、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第３撮像領域Ｃ１から読み出された光電変換信号に基づいて、第２の記録用画像５１Ｂを生成する。第１の記録用画像５１Ａは、第１の静止画である。第２の記録用画像５１Ｂは、第２の静止画である。

制御部３４は、第１の記録用画像５１Ａおよび第２記録用画像５２Ｂに対し、それぞれ、第２の実施の形態または第３の実施の形態と同様に、静止画に対する像ぶれ補正を行う。例えば、第１の記録用画像５１Ａと、第２の記録用画像５１Ｂとで、条件を変えて像ぶれ補正を行う。図２７は、異なる条件で滝を撮像した静止画を例示する図である。図２７(a)は、第１の記録用画像５１Ａによる静止画であり、図２７(b)は、第２の記録用画像５１Ｂによる静止画である。図２７(a)、図２７(b)の静止画は、水の流れと岩などの背景とで異なる撮像条件を設定し、撮像されたものである。

例えば、動きが大きい水の流れに対応する撮像素子３２ａの領域に対し、岩などの背景に対応する撮像素子３２ａの領域よりも短い短縮露光時間を設定することにより、背景の像ぶれを抑えて、水の流れを撮ることができる。しかしながら、水の流れをほとんど止めて粒状感を表現した場合と、水の流れを止めないで表現したい場合とで、短縮露光時間や記録用画像の枚数の組み合わせを変えたい場合がある。このため、撮像制御部３４ｃは、第１の記録用画像５１Ａの短縮露光時間を第２の記録用画像５１Ｂの短縮露光時間より短くする。または、あるいは上記に加えて、撮像制御部３４ｃは、第１の記録用画像５１Ａの枚数を、第２の記録用画像５１Ｂの枚数より少なくする。

第４の実施の形態の変形例２によれば、静止画の像ぶれ補正を、２つの条件（例えば、短縮露光時間が異なる）で並行して行うことができる。

--- 第４の実施の形態の変形例３ ---
第４の実施の形態の変形例３は、第２または第３の実施の形態による静止画の像ぶれ補正を、４つの条件（例えば、短縮露光時間が異なる）で、並行して行う。４つの条件とは、例えば、短縮露光時間が異なったり、複数枚の記録用画像の位置を合わせて合成するときの合成枚数が異なったりすることである。

第４の実施の形態の変形例３では、記録する第１の静止画を撮像する場合、例えば、撮像素子３２ａの撮像面に設定される、第１撮像領域Ｂ１（図２６）によって第１の静止画を撮像する。記録する第２の静止画を撮像する場合、撮像素子３２ａの撮像面に設定される、第２撮像領域Ｂ２（図２６）によって第２の静止画を撮像する。さらに、記録する第３の静止画を撮像する場合、撮像素子３２ａの撮像面に設定される、第３撮像領域Ｂ１（図２６）によって第３の静止画を撮像する。記録する第４の静止画を撮像する場合、撮像素子３２ａの撮像面に設定される、第４撮像領域Ｃ２（図２６）によって第４の静止画を撮像する。
上記第１撮像領域Ｂ１、第２撮像領域Ｂ２、第３撮像領域Ｃ１、第４撮像領域Ｃ２に含まれるブロックの稼働率は、それぞれ、第１の実施の形態の場合と同様に、適宜設定して構わない。

第４の実施の形態の変形例３において、１フレームの撮像を行った撮像素子３２ａの第１撮像領域Ｂ１から読み出された光電変換信号に基づいて、第１の記録用画像５１Ａを生成する。また、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第２撮像領域Ｂ２から読み出された光電変換信号に基づいて、第２の記録用画像５１Ｂを生成する。さらに、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第３撮像領域Ｃ１から読み出された光電変換信号に基づいて、第３の記録用画像５１Ｃを生成する。そして、制御部３４は、１フレームの撮像を行った撮像素子３２ａの第４撮像領域Ｃ２から読み出された光電変換信号に基づいて、第４の記録用画像５１Ｄを生成する。
第１の記録用画像５１Ａは、第１の静止画である。第２の記録用画像５１Ｂは、第２の静止画である。第３の記録用画像５１Ｃは、第３の静止画である。第４の記録用画像５１Ｄは、第４の静止画である。

制御部３４は、第１の記録用画像５１Ａ、第２記録用画像５２Ｂ、第３の記録用画像５１Ｃ、および第４の記録用画像５２Ｄに対し、それぞれ、第２の実施の形態または第３の実施の形態と同様に、静止画に対する像ぶれ補正を行う。例えば、各記録用画像５１Ａ〜５１Ｄとで、条件を変えて像ぶれ補正を行う。

第４の実施の形態の変形例３によれば、静止画の像ぶれ補正を、４つの条件（例えば、短縮露光時間が異なる）で並行して行うことができる。

次のような変形も、上述した発明の範囲内であり、変形例の１つ、もしくは複数を上述の実施の形態または変形例と組み合わせることも可能である。
（変形例１）
上述した第１の実施の形態では、電子機器の一例としてカメラ１を説明したが、撮像素子３２ａを備えるスマートフォンのように、カメラ機能を備えた高機能携帯電話機、タブレット端末、ウエアラブル機器などのモバイル電子機器であってもよい。

（変形例２）
上記の第１の実施の形態では、撮像部３２と制御部３４とを単一の電子機器として構成したカメラ１を例に説明した。この代わりに、例えば、撮像部３２と制御部３４とを分離して設け、制御部３４から通信を介して撮像部３２を制御する撮像システム１Ａを構成してもよい。
以下、撮像部３２を備えた撮像装置１００１を、制御部３４を備えた制御装置１００２から制御する例を、図２８を参照して説明する。

図２８は、変形例２に係る撮像システム１Ａの構成を例示するブロック図である。図２８において、撮像システム１Ａは、撮像装置１００１と、表示装置１００２とによって構成される。撮像装置１００１は、上記実施の形態で説明した撮像光学系３１、撮像部３２、測光センサ３８に加えて、第１通信部１００３を備える。また、表示装置１００２は、上記実施の形態で説明した画像処理部３３、制御部３４、表示部３５、操作部材３６、および記録部３７に加えて、第２通信部１００４を備える。

第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
なお、撮像装置１００１と表示装置１００２とを有線ケーブルにより有線接続し、第１通信部１００３および第２通信部１００４が双方向の画像データ通信を行う構成にしてもよい。

撮像システム１Ａは、制御部３４が、第２通信部１００４および第１通信部１００３を介したデータ通信を行うことにより、撮像部３２に対する制御を行う。例えば、撮像装置１００１と表示装置１００２との間で所定の制御データを送受信することにより、表示装置１００２は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。

変形例２によれば、撮像装置１００１側で取得され、表示装置１００２へ送信されたモニタ用画像が表示装置１００２の表示部３５に表示されるので、ユーザは、撮像装置１００１から離れた位置にある表示装置１００２から、遠隔操作を行うことができる。
表示装置１００２は、例えば、スマートフォンのような高機能携帯電話機２５０によって構成することができる。また、撮像装置１００１は、上述した積層型の撮像素子１００を備える電子機器によって構成することができる。
なお、表示装置１００２の制御部３４に物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、レンズ移動制御部３４ｄとを設ける例を説明したが、物体検出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびレンズ移動制御部３４ｄの一部について、撮像装置１００１に設けるようにしてもよい。

（変形例３）
上述したカメラ１、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図２９に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。

パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。

また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

（変形例４）
上記第１の実施の形態では、制御部３４の物体検出部３４ａが検出用画像Ｄiに基づいて被写体要素を検出し、設定部３４ｂが記録用画像５１を、被写体要素を含む領域に分割する例を説明した。変形例４において、制御部３４は、検出用画像Ｄiに基づいて記録用画像５１を分割する代わりに、撮像素子３２ａと別の測光用センサ３８からの出力信号に基づき、記録用画像５１の領域を分割してもよい。

制御部３４は、測光用センサ３８からの出力信号に基づき、記録用画像５１を前景と背景とに分割する。具体的には、撮像素子３２ｂによって取得された記録用画像５１を、測光用センサ３８の出力信号から前景と判断した領域に対応する前景領域と、測光用センサ３８の出力信号から背景と判断した領域に対応する背景領域とに分割する。

制御部３４はさらに、撮像素子３２ａの撮像面の前景領域に対応する位置に対して、図６(a)〜図６(c)に例示したように、第１撮像領域Ｂ１および第２撮像領域Ｂ２を設定する。一方、制御部３４は、撮像素子３２ａの撮像面の背景領域に対応する位置に対して、撮像素子３２ａの撮像面に第１撮像領域Ｂ１のみを設定する。制御部３４は、第１撮像領域Ｂ１で撮像される記録用画像５１をモニタ用画像の表示に用いるとともに、第２撮像領域Ｂ２で撮像される検出用画像５２を被写体要素の検出、焦点検出、および露出演算に用いる。
なお、撮像素子３２ａの撮像面に第１撮像領域Ｂ１のみを設定する代わりに、撮像面に設定されている第１撮像領域Ｂ１および第２撮像領域Ｂ２のうち、第１撮像領域Ｂ１のみを稼働して第２撮像領域Ｂ２を休止させてもよい。

変形例４によれば、測光用センサ３８からの出力信号を用いることにより、撮像素子３２ｂによって取得されたモニタ用画像の領域分割を行うことができる。また、前景領域に対しては、記録用画像５１と検出用画像５２とを得ることができ、背景領域に対しては、記録用画像５１のみを得ることができる。

以上説明した撮像光学系３１は、ズームレンズやアオリレンズを含んでいてもよい。レンズ移動制御部３４ｄは、ズームレンズを光軸方向に移動させることによって、撮像光学系３１による画角を調節する。すなわち、ズームレンズの移動によって、広い範囲の被写体の像を得たり、遠くの被写体について大きな像を得たりするなど、撮像光学系３１による像を調節することができる。
また、レンズ移動制御部３４ｄは、アオリレンズを光軸に直交する方向に移動させることによって、撮像光学系３１による像の歪みを調節することができる。
そして、撮像光学系３１による像の状態（例えば画角の状態、または像の歪みの状態）を調節するために、上述したような前処理後の画像データを用いる方が好ましいという考え方に基づき、上述した前処理を行うとよい。

また、以上説明した撮像素子３２ａは、図６で示したように第１撮像領域Ｂ１に属する複数のブロックと第２撮像領域Ｂ２に属する複数のブロックに予め分けて説明したが、これに限定されるものではない。たとえば、被写体の輝度、種類、形状等により撮像素子３２ａにおける第１撮像領域Ｂ１および第２撮像領域Ｂ２の位置を設定してもよく、ユーザの選択操作により撮像素子３２ａにおける第１撮像領域Ｂ１および第２撮像領域Ｂ２の位置を設定してもよい。
また、撮像素子３２ａにおける撮像領域は、第１撮像領域Ｂ１および第２撮像領域Ｂ２に限られず、第１撮像領域Ｂ１および第２撮像領域Ｂ２それぞれに設定された撮像条件とは異なる撮像条件が設定された撮像領域でもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
また、上述した実施の形態やその変形例を、適宜組み合わせてもよい。

１…カメラ
１Ａ…撮像システム
３１…撮像光学系
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３３ａ…入力部
３３ｂ…補正部
３３ｃ…生成部
３４…制御部
３４ａ…物体検出部
３４ｂ…設定部
３４ｃ…撮像制御部
３４ｄ…レンズ移動制御部
３５…表示部
３８…測光センサ
９０…注目領域
１００１…撮像装置
１００２…表示装置
Ｐ…注目画素

Claims (10)

1. 被写体像を撮像する複数の撮像領域を有する撮像素子と、
   複数の前記撮像領域のうち第１撮像領域に第１撮像条件を設定し、複数の前記撮像領域のうち第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定する設定部と、
   前記第１撮像領域及び前記第２撮像領域で撮像された前記被写体像の画像に対して前記撮像素子の動きによる前記被写体像のぶれの補正を行う補正部と、
   を備える電子機器。
2. 前記設定部は、前記第１撮像条件として前記第１撮像領域に第１露光時間で撮像するように設定し、前記第２撮像条件として前記第２撮像領域に前記第１露光時間よりも短い第２露光時間で撮像するように設定する請求項１に記載の電子機器。
3. 前記設定部は、前記第１露光時間の開始時間と前記第２露光時間の開始時間とが合うように前記第１撮像条件と前記第２撮像条件とを設定する請求項２に記載の電子機器。
4. 前記設定部は、前記第１露光時間の終了時間と前記第２露光時間の終了時間とが合うように前記第１撮像条件と前記第２撮像条件とを設定する請求項２に記載の電子機器。
5. 前記補正部は、前記第１撮像領域及び前記第２撮像領域で撮像された前記被写体像の複数の画像に合成処理を行う請求項１から請求項４のいずれか一項に記載の電子機器。
6. 前記第１撮像領域は、光を電荷に変換する第１光電変換部を有し、
   前記第２撮像領域は、光を電荷に変換する第２光電変換部を有する請求項１から請求項５のいずれか一項に記載の電子機器。
7. 前記第１撮像領域は、複数の前記第１光電変換部を有し、
   前記第２撮像領域は、複数の前記第２光電変換部を有する請求項６に記載の電子機器。
8. 前記第１光電変換部は、前記第１撮像領域において第１方向と前記第１方向と交差する第２方向とに複数配置され、
   前記第２光電変換部は、前記第２撮像領域において前記第１方向と前記第２方向とに複数配置されている請求項７に記載の電子機器。
9. 前記撮像素子は、前記第１方向と前記第２方向とに複数の前記第１撮像領域が配置される請求項８に記載の電子機器。
10. 前記撮像素子は、前記第１方向と前記第２方向とに複数の前記第２撮像領域が配置される請求項９に記載の電子機器。

Images