JP2014165855A - 電子機器 - Google Patents

Abstract

【課題】画像の視認性を向上した電子機器を得ること。
【解決手段】電子機器１は、第１領域を第１フレームレートで撮像し、第２領域を第１フレームレートよりも速い第２フレームレートで撮像可能な撮像部２０と、少なくとも第１領域と第２領域とで撮像された画像を第１表示部５１に表示させ、第２領域で撮像された画像を第２表示部５３に表示させる表示制御部７０と、を備える。
【選択図】図５

Description

本発明は、撮像素子を備えた電子機器に関する。

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、積層型撮像素子という）を備えた電子機器が提案されている（特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。

特開２００６−４９３６１号公報

しかしながら、従来の積層型撮像素子を備えた電子機器において、１または２以上の上記領域を有するブロックに画像を分けて、該ブロックごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。

本発明による電子機器は、第１領域を第１フレームレートで撮像し、第２領域を第１フレームレートよりも速い第２フレームレートで撮像可能な撮像部と、少なくとも第１領域と第２領域とで撮像された画像を第１表示部に表示させ、第２領域で撮像された画像を第２表示部に表示させる表示制御部と、を備えたことを特徴とする。

本発明によれば、画像の視認性を向上した電子機器を実現できる。

積層型撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 撮像チップの単位領域に対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 一実施の形態による撮像装置の構成を例示するブロック図である。 撮像装置に設けられた第１表示部および第２表示部を説明する外観図である。 図７(a)は、注目領域および周辺領域を決定する前のライブビュー画像を例示する図である。図７(b)は、ライブビュー画像に基づく人体検出処理によって制御部で決定された注目領域を例示する図である。 図８(a)は、周辺領域に対応して取得される画像を示す図、図８(b)は、注目領域に対応して取得される画像を示す図、図８(c)は、合成される第１ライブビュー画像を例示する図である。 撮像装置の制御部が実行する撮影動作の流れを説明するフローチャートである。 図１０(a),(b)は、複数の主要被写体が存在する場面を例示する図である。 撮像装置に設けられた第１表示部および第２表示部を説明する外観図である。

以下、図面を参照して本発明を実施するための形態について説明する。
＜積層型撮像素子の説明＞
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下（例えば１画素）でもよい。

画素領域の部分拡大図に示すように、単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図３は、撮像チップ１１３の単位領域１３１に対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、単位領域１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図３に示すように、本実施形態においては、単位領域１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位領域１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位領域１３１毎に別個に設けられる。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方の単位領域１３１に１回の電荷蓄積を行わせている間に、他方の単位領域１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像装置の説明＞
図５は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図５において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１から出力される制御信号によって駆動制御されることにより、上述したブロック単位で独立した蓄積制御が可能である。駆動部２１に対する上記ブロックの位置や形状、その範囲などの指示は、制御部７０が行う。

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、画像処理部３０は、通常の画像処理（色信号処理、ガンマ補正など）に加えて、画像に含まれる主要被写体の検出処理も行う。画像処理部３０による主要被写体の検出は、公知の顔検出機能を用いて行うことができる。また、顔検出に加えて、例えば特開2010-16621号公報（US2010/0002940号）に記載されているように、画像に含まれる人体を主要被写体として検出するようにしてもよい。

ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネルによって構成され、撮像部２０で撮像された画像（静止画や動画）や各種情報を表示したり、操作入力用画面を表示したりする。本実施形態による撮像装置１は、表示部５０として第１表示部５１および第２表示部５３を有し、第１表示部５１に第１タッチパネル５２が、第２表示部５３に第２タッチパネル５４が、それぞれ組み込まれている。

図６は、撮像装置１に設けられた第１表示部５１および第２表示部５３を説明する外観図である。図６において、第１表示部５１は撮像装置１の背面に設けられ、第２表示部５３はヒンジ部５５を介して折りたたみ可能に設けられる。第１タッチパネル５２は、第１表示部５１にユーザが触れた位置を示す信号を出力し、第２タッチパネル５４は、第２表示部５３にユーザが触れた位置を示す信号を出力する。

本実施形態では、第１表示部５１および第２表示部５３によって表示部５０を構成するようにしたが、この代わりに、表示部５０を１つの表示装置で構成し、この表示装置を２つの表示領域に分けて分割表示させ、第１の表示領域を第１表示部５１による表示とし、第２の表示領域を第２表示部５３による表示として扱ってもよい。また、表示部５０を１つの表示装置で構成し、この表示装置に第１表示部５１に表示させるべき表示をさせたり、第２表示部５３に表示させるべき表示をさせたりするように、表示内容を切り替えるように構成してもよい。例えば、表示部５０に設けられているタッチパネルが操作されたタイミングで表示内容を切り替える。

図５の説明に戻ると、記録部６０は、メモリカードなどの記憶媒体に画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。本実施形態では、制御部７０は、撮像素子１００の撮像面を複数のブロックに分け、ブロック間において異なるフレームレートで画像を取得させる。このために制御部７０は、ブロックの位置、形状、範囲、および各ブロック用の制御パラメータを駆動部２１へ指示する。

＜注目領域と周辺領域＞
本実施形態では、画面内に注目領域と周辺領域という概念を導入し、上記複数のブロックに対応させる。制御部７０は、例えばライブビュー画像に基づいて、上記人体検出処理によって検出される人体を包含する領域を注目領域とする。そして、注目領域以外の領域を周辺領域とする。ここで、ライブビュー画像は本撮像が行われる前のプレビュー画像とも呼ばれ、撮像素子１００によって所定のフレームレート（例えば９０ｆｐｓ）で取得されるモニター用の画像をいう。

人体検出処理を行う代わりに、ライブビュー画像を構成する複数のフレーム間から動きベクトルを検出し、この動きベクトルに基づいて検出される移動被写体を包含する領域を注目領域としてもよい。

また、表示部５０のうち第１表示部５１にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザが第１タッチパネル５２に触れた位置に対応する（表示されている）主要被写体の領域を注目領域としてもよい。

なお、表示部５０のうち第２表示部５３にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザが第２タッチパネル５４に触れた位置に対応する（表示されている）主要被写体の領域を注目領域としてもよい。

制御部７０は、このように注目領域および周辺領域を決定すると、撮像素子１００を注目領域に対応するブロックと周辺領域に対応するブロックとに分けて蓄積制御するように、駆動部２１へ指示を送る。なお、注目領域および周辺領域を決定する前のライブビュー画像は、画面全体で共通の制御パラメータを適用する。

図７(a)は、注目領域および周辺領域を決定する前のライブビュー画像を例示する図である。図７(a)において、ライブビュー画像は、例えば、縦６×横８の計４８の単位領域１３１で構成されている。図７(a)においては単位領域１３１の形状が縦長であるが、単位領域１３１の形状は正方形であっても横長であってもよい。

ここで、注目領域および周辺領域を決定する前のライブビュー画像を表示部５０（第１表示部５１または第２表示部５３）に表示する際に、単位領域を示す格子線７１を、ライブビュー画像に重ねて表示させてもよい。

図７(b)は、ライブビュー画像に基づく人体検出処理によって制御部７０で決定された注目領域を例示する図である。図７(b)において、検出された人体を含む領域（枠７２で囲んだ縦４×横５の計２０の単位領域１３１で構成される）が注目領域にされる。また、注目領域以外の領域（枠７２の外側の計２８の単位領域１３１で構成される）が周辺領域にされる。

なお、制御部７０が注目領域を決定した際に、決定した注目領域を示す枠７２を、表示部５０（第１表示部５１または第２表示部５３）に表示中のライブビュー画像に重ねて表示させてもよい。

本実施形態では、注目領域および周辺領域を決定した以降において、撮像素子１００の注目領域に対応するブロックと周辺領域に対応するブロックとで異なる制御パラメータを適用する。そして、異なる制御パラメータを適用して得た複数の画像に基づいて、第１表示部５１と第２表示部５３とで異なる画像を表示させる。

具体的には、注目領域に対応する画像と、周辺領域に対応する画像とを合成し、合成後の画像を第１表示部５１にて第１ライブビュー画像として表示させる。また、注目領域に対応する画像のみを第２表示部５３にて第２ライブビュー画像として表示させる。

図８(a)は、周辺領域に対応して取得される画像９０、図８(b)は、注目領域に対応して取得される画像８０、および図８(c)は、合成される第１ライブビュー画像９０Ａを例示する図である。図８(a)において、周辺領域に対応する画像９０は、フレームレートを例えば９０ｆｐｓとして取得される。図８(b)において、注目領域に対応する画像８０は、例えば周辺領域の２倍のフレームレート１８０ｆｐｓで取得される。

図８(a)および図８(b)によれば、周辺領域に対応する画像９０を４フレーム取得する間に、注目領域に対応する画像８０を８フレーム取得できる。このように、注目領域において周辺領域に比べて高いフレームレートで取得することにより、第２表示部５３（図６）に表示する注目領域についての第２ライブビュー画像８０Ａの視認性を向上させることができる。

第１表示部５１（図６）に表示する第１ライブビュー画像９０Ａについては、周辺領域に対応する画像９０の中に注目領域に対応する画像８０を合成する際に、周辺領域と取得開始タイミングが同じフレーム（図８(b)のうち太線で囲んだフレーム）画像をはめ込み合成する。このように、第１ライブビュー画像９０Ａの再生フレームレートを、取得時のフレームレートが低い周辺領域のフレームレートに合わせるようにしたので、第１ライブビュー画像９０Ａを観察するユーザが違和感を覚えることがない。図６において第１表示部５１の画面に表示した一点鎖線の枠は、はめ込み合成した画像８０の範囲をわかりやすくするために便宜上記載したもので、必ずしも第１表示部５１の画面に表示させなくてもよい。ここで、第１表示部５１に表示中の第１ライブビュー画像９０Ａに重ねてアイコンなどを表示させる場合は、注目領域に対応する画像８０を避けて周辺領域に対応する位置へ重ね合成させるものとする。

なお、図６の例では、注目領域および周辺領域を含む第１ライブビュー画像９０Ａを第１表示部５１に表示させ、注目領域のみに対応する第２ライブビュー画像８０Ａを第２表示部５３に表示させるようにしたが、第１表示部５１と第２表示部５３との間で表示内容を逆にしても構わない。例えば、第１タッチパネル５２、または第２タッチパネル５４が操作されたタイミングで表示内容を逆にする。また、注目領域に対応する第２ライブビュー画像８０Ａを表示する場合に、電子ズーム処理により拡大させて表示するようにしてもよい。図６において第２表示部５３に表示されている第２ライブビュー画像８０Ａは、第１表示部５１に表示されている画像８０よりも、第２表示部５３に表示される第２ライブビュー画像８０Ａが大きいサイズで表示されるように、電気的な拡大処理（いわゆる電子ズーム）により拡大された状態を例示する。この場合の電子ズーム処理は、画像処理部３０によって行う。

＜フローチャートの説明＞
図９は、撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチがオン操作され、撮像装置１の各部に対して通電が行われている場合に、図９による処理を繰り返し起動させる。図９のステップＳ１０１において、制御部７０は、撮像部２０による撮像を開始させる。ステップＳ１０１で開始するライブビュー画像の取得は、撮像素子１００の全領域で共通の制御パラメータを適用して行う。すなわち、撮像素子１００の全領域において同じフレームレート（例えば９０ｆｐｓ）で撮像する。

制御部７０は、撮像部２０により取得されたライブビュー画像データを画像処理部３０により画像処理させた後、第１表示部５１に表示させる。なお、本実施形態では、この段階において第２表示部５３の表示をオフさせている。

ステップＳ１０２において、制御部７０は、上述したようにライブビュー画像に基づいて注目領域を決定し、ステップＳ１０３へ進む。制御部７０は、注目領域以外の領域を周辺領域とする。ステップＳ１０３において、制御部７０は、ステップＳ１０２で決定した注目領域と周辺領域とに基づいて撮像部２０に対する制御と、表示部５０に対する表示制御とを行う。

制御部７０は駆動部２１へ指示を送り、撮像素子１００の注目領域に対応するブロックのフレームレートを９０ｆｐｓから２倍の１８０ｆｐｓへ変更させる。なお、９０ｆｐｓから３倍の２７０ｆｐｓへ変更させてもよい。制御部７０は、注目領域に対応するブロックのフレームレートを上げたのに応じて、第２表示部５３の表示をオンさせ、注目領域のみに対応する第２ライブビュー画像８０Ａを第２表示部５３に表示させる（図６）。一方、第１表示部５１には、周辺領域に対応する画像９０の中に注目領域に対応する画像８０をはめ込み合成した第１ライブビュー画像９０Ａを表示させる（図６）。

この際、注目領域の視認性を向上するために、画像処理部３０に上述した電子ズーム処理を行わせて、注目領域を拡大した第２ライブビュー画像８０Ａを第２表示部５３に表示させる。この場合の拡大率（電子ズーム倍率）は、拡大後の注目領域の表示が第２表示部５３の表示域からはみ出ないように設定すればよい。これにより、ユーザは、構図全体を第１表示部５１の第１ライブビュー画像９０Ａで視認しながら、注目領域のフレームレートの高い第２ライブビュー画像８０Ａを第２表示部５３から視認できる。

ステップＳ１０４において、制御部７０は、撮像装置１に対する操作の有無を判定する。制御部７０は、操作が行われた場合にステップＳ１０４を肯定判定してステップＳ１０５へ進み、操作が行われない場合には、ステップＳ１０４を否定判定して当該判定処理を繰り返す。

ステップＳ１０４において有無を判定する操作は、第１タッチパネル５２や第２タッチパネル５４に対して行われる操作や、不図示の操作部材に対して行われる操作を含む。本実施形態においては、第２表示部５３に注目領域に対応する第２ライブビュー画像８０Ａを表示させているので、第２タッチパネル５４に対する操作の有無を判断するものとする。

制御部７０は、例えば、図６に例示するように第２表示部５３に前ピンアイコン５６、後ピンアイコン５７、フレームレートを上げるアイコン５８、フレームレートを下げるアイコン５９を表示させて、第２タッチパネル５４でタッチ操作を受け付ける。ステップＳ１０５において、制御部７０は、第２表示部５３に表示中のアイコンであって、第２タッチパネル５４によるタッチ位置に表示中のアイコンに対応付けられている処理を実行して、ステップＳ１０６へ進む。例えば、表示中の前ピンアイコン５６がタッチ操作された場合の制御部７０は、注目領域の主要被写体がいわゆる前ピンとなるように、撮像光学系１０のフォーカスレンズを前ピン側に駆動させる。

ステップＳ１０６において、制御部７０は、レリーズ操作されたか否かを判定する。制御部７０は、不図示のレリーズボタンが押下操作（全押し操作）された場合に、ステップＳ１０６を肯定判定してステップＳ１０７へ進み、押下操作が行われない場合には、ステップＳ１０６を否定判定してステップＳ１０４へ戻る。ステップＳ１０４へ戻る場合は、上述した処理を繰り返す。なお、第２表示部５３にレリーズアイコンを表示させておき、表示中のレリーズアイコンがタッチ操作された場合にステップＳ１０６を肯定判定するようにしてもよい。

ステップＳ１０７において、制御部７０は撮影処理を実行し、取得された画像のデータを記録部６０によってメモリカードなどに記憶させて図９による処理を終了させる。撮影処理では、撮像素子１００の全領域で共通の制御パラメータを適用して、１コマの静止画像を取得（本撮像）、記録するとともに、静止画像を取得した後も複数フレームの画像を取得する。そして、レリーズ操作の前後所定時間の間に取得した複数フレームの画像に基づいて、スロー再生動画データを生成、記録する。スロー再生動画データは、撮像素子１００で取得した際のフレームレートより遅いフレームレート（例えば６０ｆｐｓ）で再生する動画像のデータをいう。

制御部７０は、以下のようにスロー再生動画データを生成する。すなわち、レリーズ操作時刻（ｔ１とする）より第１所定時間前（例えば０．６秒前）から時刻ｔ１までに、上述した第１ライブビュー画像９０Ａおよび第２ライブビュー画像８０Ａの表示のためにワークメモリ４０に一時的に記憶された複数のフレーム画像（フレームレートは周辺領域に設定されていたフレームレートとする。例えば９０ｆｐｓで取得された場合の０．６秒分は５４フレームである）、および時刻ｔ１から時刻ｔ１より第２所定時間後（例えば０．４秒後）までにワークメモリ４０に記憶された複数のフレーム画像（レリーズ操作後のフレームレートは注目領域に設定されていたフレームレートとする。例えば１８０ｆｐｓで取得した場合の０．４秒分は７２フレームである）に基づいて、スロー再生動画データを生成する。これにより、時刻ｔ１を挟む１秒間（時刻ｔ１の０．６秒前から時刻ｔ１の０．４秒後）にワークメモリ４０に記憶された複数のフレーム画像（計１２６枚）に基づいて、再生時間が約２秒間のスロー再生動画データを生成する。

このようにスロー再生動画像を生成すると、レリーズ操作前は遅いフレームレートで取得したフレーム画像に基づくスロー再生動画データが得られ、レリーズ操作後は速いフレームレートで取得したフレーム画像に基づくスロー再生動画データが得られる。なお、スロー画像動画データは、画像処理部３０によりMPEGデータまたはJPEGデータとして生成される。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、周辺領域を第１フレームレート９０ｆｐｓで撮像し、注目領域を第１フレームレートよりも速い第２フレームレート１８０ｆｐｓで撮像可能な撮像部２０と、周辺領域と注目領域とで撮像された画像を第１表示部５１に表示させる制御部７０と、注目領域で撮像された画像を第２表示部５３に表示させる制御部７０と、を備えたので、画像の視認性を向上できる。

（２）上記（１）の撮像装置１において、制御部７０はさらに、第２表示部５３に表示させている画像の近傍に画像に関する操作に関わるアイコン表示をさせたので、視認性を高めた画像に対する操作性も向上できる。

（３）上記（１）、（２）の撮像装置１において、制御部７０はさらに、第１表示部５１に表示させている注目領域で撮像された画像に対して付加表示を行うようにしたので、例えば注目領域の範囲をわかりやすく表示できる。

（４）上記（１）〜（３）の撮像装置１において、制御部７０は、注目領域で撮像された画像に拡大処理を施して第２表示部５３に表示させるようにしたので、注目領域の視認性をさらに高めることができる。

（５）上記（１）〜（４）の撮像装置１において、制御部７０は、周辺領域で撮像された画像と、注目領域で撮像された画像とを合成する合成部を含み、この合成部による合成画像（第１ライブビュー画像９０Ａ）を第１表示部５１に表示させる。これにより、撮像された画像を１つのライブビュー画像として表示できる。

（６）上記（５）の撮像装置１において、合成部（制御部７０）は、注目領域において第２フレームレート１８０ｆｐｓで撮像された時系列の画像８０の中から、周辺領域における第１フレームレート９０ｆｐｓに対応する画像を選択し、当該選択した画像を周辺領域で撮像された画像９０と逐次合成するようにしたので、合成された第１ライブビュー画像９０Ａを観察するユーザに与える違和感を抑えることができる。

（７）上記（１）〜（５）の撮像装置１において、周辺領域として撮像された画像の一部を注目領域として決定する制御部７０をさらに備えるようにしたので、例えば、周辺領域として撮像された画像で人物の顔を含む領域や、周辺領域で撮像された画像を表示する画面においてタッチ操作された領域を、注目領域として決定し得る。

（８）上記（７）の撮像装置１において、制御部７０は、周辺領域において撮像された画像に対する顔検出もしくは人体検出に基づいて注目領域を決定するので、タッチ操作がなくても自動で注目領域を決めることができる。

（変形例１）
上述した実施形態では、主要被写体が１つの場合を例に説明した。変形例１では、主要被写体の数が複数である場合を説明する。図１０は、複数の主要被写体が存在する場面を例示する図である。図１０(a）に例示する場面を撮影する場合の制御部７０は、例えば滑り台の後方にいる男の子を第１主要被写体とし、滑り台で滑っている女の子を第２主要被写体とする。この場合、第１主要被写体を含む領域を第１注目領域とし、第２主要被写体を含む領域を第２注目領域とする。

図１０(b）に例示する場面を撮影する場合の制御部７０は、例えばブランコをこいでいる女の子を第１主要被写体とし、ブランコをこいでいる男の子を第２主要被写体とする。この場合も、第１主要被写体を含む領域を第１注目領域とし、第２主要被写体を含む領域を第２注目領域とする。

変形例１において、制御部７０は、画面内で動く速さが異なる第１主要被写体と第２主要被写体とが存在する場合に、ライブビュー画像に基づいて、第１主要被写体を包含する第１注目領域を決定し、第２主要被写体を包含する第２注目領域を決定する。この場合の周辺領域は、第１注目領域および第２注目領域以外の他の領域とする。

制御部７０は、駆動部２１へ指示を送り、撮像素子１００の第１注目領域に対応するブロックのフレームレートを、例えば９０ｆｐｓから１５０ｆｐｓに変更し、第２注目領域に対応するブロックのフレームレートを、例えば９０ｆｐｓから２４０ｆｐｓに変更する。制御部７０はさらに、図１１に例示するように、第２表示部５３に対して２つの表示領域に分けて分割表示させ、例えば画面右側に第１注目領域に対応するライブビュー画像８１Ａを表示させ、画面左側に第２注目領域に対応するライブビュー画像８２Ａを表示させる。

変形例１においては、このように複数の注目領域に対応する複数のライブビュー画像８１Ａ、８１Ｂを並べたものを第２ライブビュー画像として表示させる。なお、図１１において第２表示部５３の画面中央に引いた一点鎖線は、複数のライブビュー画像８１Ａ、８１Ｂの境界をわかりやすくするために便宜上引いたもので、必ずしも第２表示部５３の画面に表示させなくてもよい。

一方、第１表示部５１には、周辺領域に対応する画像の中に第１注目領域に対応する画像８１および第２注目領域に対応する画像８２をそれぞれはめ込み合成した第１ライブビュー画像９０Ａを表示させる。なお、図１１において第１表示部５１の画面に表示した一点鎖線の枠は、複数の画像８１、８２の範囲をわかりやすくするために便宜上記載したもので、必ずしも第１表示部５１の画面に表示させなくてもよい。

また、図１１において、第２表示部５３の第１注目領域に対応するライブビュー画像８１Ａの近傍に、前ピンアイコン５６Ａ、後ピンアイコン５７Ａ、第１注目領域に対応するブロックのフレームレートを上げるアイコン５８Ａ、第１注目領域に対応するブロックのフレームレートを下げるアイコン５９Ａを表示させて、第２タッチパネル５４でタッチ操作を受け付ける。ユーザは、ライブビュー画像８１Ａに着目してピント操作やフレームレートの調整操作を行える。

さらにまた、図１１において、第２表示部５３の第２注目領域に対応するライブビュー画像８２Ａの近傍に、前ピンアイコン５６Ｂ、後ピンアイコン５７Ｂ、第２注目領域に対応するブロックのフレームレートを上げるアイコン５８Ｂ、第２注目領域に対応するブロックのフレームレートを下げるアイコン５９Ｂを表示させて、第２タッチパネル５４でタッチ操作を受け付ける。ユーザは、ライブビュー画像８２Ａに着目してピント操作やフレームレートの調整操作を行える。

（変形例２）
上述した実施形態および変形例１では、撮像装置１として光学ファインダーを有するタイプのカメラを例示したが、光学ファインダーを備えてないタイプのカメラによって撮像装置１を構成してもよい。

（変形例３）
上述した実施形態および変形例１においては、第２表示部５３がヒンジを介して回動可能に設けられる例を説明したが、第２表示部５３を、撮像装置１の筐体に対して着脱自在に構成してもよい。この場合、撮像装置１の筐体側と第２表示部５３の筐体側とにおいてそれぞれ無線通信部を備え、これら無線通信部を介した無線通信によって第２表示部５３で表示すべき情報を撮像装置１側から第２表示部５３側へ送信する。無線通信部は、筐体内部に組み込んでもよいし、筐体外部に装着してもよい。無線通信としては、例えば赤外光通信、Bluetooth（登録商標）、または無線LAN通信などを利用する。

（変形例４）
上述した実施形態および変形例１においては、第２表示部５３を専用の表示部として構成する例を説明した。この代わりに、高機能携帯電話機の液晶表示部を第２表示部として動作させたり、タブレット端末の液晶表示部を第２表示部として動作させたりしてもよい。この場合、撮像装置１の筐体側に無線LAN通信部を備え、撮像装置１と高機能携帯電話機（またはタブレット端末）との間の無線LAN通信によって、高機能携帯電話機（またはタブレット端末）の液晶表示部で表示すべき情報を撮像装置１側から高機能携帯電話機（またはタブレット端末）へ送信する。無線LAN通信部は、撮像装置１の筐体内部に組み込んでもよいし、筐体外部に装着してもよい。

（変形例５）
上述した実施形態および変形例１では、撮像装置１としてカメラを例示したが、高機能携帯電話機（またはタブレット端末）によって撮像装置１を構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。

変形例５において、撮像装置１を構成する第１高機能携帯電話機（または第１タブレット端末）の他に、第２表示部として動作させる第２高機能携帯電話機（または第２タブレット端末）を用いる。この場合、第１高機能携帯電話機（または第１タブレット端末）と第２高機能携帯電話機（または第２タブレット端末）との間の無線LAN通信によって、第２高機能携帯電話機（または第２タブレット端末）の液晶表示部で表示すべき情報を第１高機能携帯電話機（または第１タブレット端末）から第２高機能携帯電話機（または第２タブレット端末）へ送信する。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
５１…第１表示部
５２…第１タッチパネル
５３…第２表示部
５４…第２タッチパネル
６０…記録部
７０…制御部
８０Ａ…第２ライブビュー画像
９０Ａ…第１ライブビュー画像
１００…撮像素子
１０９…バンプ
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…単位領域

Claims (11)

1. 第１領域を第１フレームレートで撮像し、第２領域を前記第１フレームレートよりも速い第２フレームレートで撮像可能な撮像部と、
   少なくとも前記第１領域と第２領域とで撮像された画像を第１表示部に表示させ、前記第２領域で撮像された画像を第２表示部に表示させる表示制御部と、
   を備えたことを特徴とする電子機器。
2. 請求項１に記載の電子機器において、
   前記撮像部は、第３領域を前記第２フレームとは異なるフレームレートで撮像し、
   前記表示制御部は、前記第２表示部に、前記第２領域で撮像された画像と前記第３領域で撮像された画像とを表示させることを特徴とする電子機器。
3. 請求項１または２に記載の電子機器において、
   前記表示制御部は、前記第２表示部に表示させている画像の近傍に前記画像に関する操作に関わる表示をさせることを特徴とする電子機器。
4. 請求項１〜請求項３のいずれか一項に記載の電子機器において、
   前記表示制御部は、前記第１表示部に表示させている前記第２領域で撮像された画像に対して付加表示を行うことを特徴とする電子機器。
5. 請求項１〜請求項４のいずれか一項に記載の電子機器において、
   前記表示制御部は、前記第２領域で撮像された画像に拡大処理を施して前記第２表示部に表示させることを特徴とする電子機器。
6. 請求項１〜請求項５のいずれか一項に記載の電子機器において、
   前記表示制御部は、前記第１領域で撮像された画像と、前記第２領域で撮像された画像とを合成する合成部を含み、前記合成部による合成画像を第１表示部に表示させることを特徴とする電子機器。
7. 請求項６に記載の電子機器において、
   前記合成部は、前記第２領域において前記第２フレームレートで撮像された時系列の画像の中から、前記第１領域における前記第１フレームレートに対応する画像を選択し、当該選択した画像を前記第1領域で撮像された画像と合成することを特徴とする電子機器。
8. 請求項１〜請求項６のいずれか一項に記載の電子機器において、
   前記第１領域として撮像された画像の一部を、前記第２領域として決定する決定部を備えることを特徴とする電子機器。
9. 請求項８に記載の電子機器において、
   前記決定部は、前記第１領域において撮像された画像に対する顔検出もしくは人体検出に基づいて、前記第２領域を決定することを特徴とする電子機器。
10. 請求項１〜請求項９のいずれか一項に記載の電子機器において、
    前記表示制御部は、前記電子機器に含まれる前記第１表示部または外部機器である前記第１表示部に前記表示を行わせるとともに、
    前記電子機器に含まれる前記第２表示部または外部機器である前記第２表示部に前記表示を行わせることを特徴とする電子機器。
11. 請求項１０に記載の電子機器において、
    前記電子機器に含まれる前記第１表示部または前記第２表示部は、前記電子機器に対して着脱自在に構成されることを特徴とする電子機器。

Images