JP2015033036A - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

Abstract

【課題】撮像装置における消費電力や処理負担を軽減する。【解決手段】手振れ量を算出する手振れ量算出部３２と、撮像素子１００を駆動制御し、手振れ量算出部３２により算出された手振れ量に応じて撮像素子１００を駆動制御する領域を選択する撮像制御部７２と、を備える。【選択図】図７

Description

本発明は、撮像装置、撮像装置の制御方法、制御プログラムに関する。

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた電子機器が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。

特開２００６−４９３６１号公報

しかし、従来の積層型撮像素子を備えた撮像装置において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた撮像装置の使い勝手が十分ではなかった。

本発明の態様では、撮像装置における消費電力や処理負担を軽減することを目的とする。

本発明の第１態様によれば、手振れ量を算出する手振れ量算出部と、撮像素子を駆動制御し、手振れ量算出部により算出された手振れ量に応じて撮像素子を駆動制御する領域を選択する駆動制御部と、を備える撮像装置が提供される。

本発明の第２態様によれば、撮像素子を有する撮像部と、撮像部から出力される画像信号について画像処理を実行する画像処理部と、を備え、撮像部は、手振れ量を算出する手振れ量算出部と、撮像素子から読み出された画像信号のうち、手振れ量算出部により算出された手振れ量に応じた領域の画像信号を画像処理部に出力する信号出力部と、を有する撮像装置が提供される。

本発明の第３態様によれば、撮像素子を有する撮像装置の制御方法であって、手振れ量を算出することと、算出した手振れ量に応じて撮像素子を駆動制御する領域を変更することと、を含む撮像装置の制御方法が提供される。

本発明の第４態様によれば、撮像素子を有する撮像装置の制御装置に、手振れ量を算出する手振れ量算出処理と、手振れ量算出処理にて算出した手振れ量に応じて撮像素子を駆動制御する領域を変更する領域変更処理と、を実行させる制御プログラムが提供される。

本発明の第５態様によれば、撮像素子を有する撮像装置の制御方法であって、手振れ量を算出することと、撮像素子から読み出された画像信号のうち、算出した手振れ量に応じた領域の画像信号を画像処理部に出力することと、を含む撮像装置の制御方法が提供される。

本発明の第６態様によれば、撮像素子を有する撮像装置の制御装置に、手振れ量を算出する手振れ量算出処理と、撮像素子から読み出された画像信号のうち、手振れ量算出処理にて算出した手振れ量に応じた領域の画像信号を画像処理部に出力する信号出力処理と、を実行させる制御プログラムが提供される。

本発明の態様によれば、撮像装置における消費電力や処理負担を軽減することができる。

積層型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態に係る信号処理チップの具体的構成を示すブロック図である。 図５に示す画像処理部及びシステム制御部の機能ブロック図である。 第１実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。 手振れ時の被写体の移動方向及び移動量を示す図である。 第１実施形態に係る撮像部、画像処理部、及び記録部における画像データのサイズを示す図である。 第２実施形態に係る撮像装置の構成を示すブロック図である。 図１１に示す画像処理部及びシステム制御部の機能ブロック図である。 第２実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。 第３実施形態に係る信号処理チップの具体的構成を示すブロック図である。 第３実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。 第３実施形態に係る撮像部及び画像処理部における画像データのサイズを示す図である。 第４実施形態に係る撮像部及び画像処理部における画像データのサイズを示す図である。 第５実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。

＜第１実施形態＞
図１は、積層型撮像素子の断面図である。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Photodiode；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図２に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Through-Silicon Via；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。

図２は、撮像チップの画素配列と単位グループを説明する図である。図２では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図２に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図２の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップの単位グループに対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図３に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１毎に別個に設けられる。

このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

図４は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）・アナログ／デジタル（Analog／Digital）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。

演算回路（手振れ量算出部）４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。本実施形態では、演算回路４１６は、信号処理チップ１１１に設けられている。ただし、演算回路４１６は、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。

上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。

また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。

また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。

また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。

また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。

本実施形態において、蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。

また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。

図５は、第１実施形態に係る撮像装置の構成を示すブロック図である。図５に示す撮像装置１は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図５に示すように、撮像装置１は、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。レンズ部１０は、複数のレンズ群から構成された撮像光学系である。このレンズ部１０は、被写体からの光束を撮像部２０へ導く。このレンズ部１０は、撮像装置１と一体構成であってもよく、また撮像装置１に対して着脱可能な交換式レンズであってもよい。また、このレンズ部１０は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。

撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。

また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域１１３Ａにおけるブロックの設定を行う。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。

撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。なお、本明細書において、「画像データ」は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）を構成するデータであり、画像処理部３０において画像処理が行われる前のデータ（すなわちＲＡＷデータ）と画像処理が行われた後のデータとを含む。また、本明細書において、「ＲＡＷデータ」とは、画像処理部３０において画像処理が行われる前の画像データのことをいう。また、本明細書において、「画像データ」のことを「画像信号」ということがある。

画像処理部３０は、種々の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。

画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。

画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部３０は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部２１が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部２１はすべての画素から画素信号を読み出すが、画像処理部３０又は演算回路４１６は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。

本実施形態では、画像処理部３０は、上記した処理のほかに、撮像素子１００から読み出された画像データの解析処理により手振れ量（手振れによる動き量）を算出する処理を行う。すなわち、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレーム（少なくとも現フレームと、現フレームよりも前のフレーム）における被写体の移動方向及び移動量に基づいて手振れ量を算出する（例えば図９参照）。そして、画像処理部３０は、算出した手振れ量を示す手振れ量情報をシステム制御部７０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネルによって構成されている。表示部５０は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。この表示部５０は、図５に示すように、タッチパネル５１を有している。タッチパネル５１は、表示部５０の表示画面上に形成されている。このタッチパネル５１は、使用者が画像の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。

操作部５５は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、撮像装置１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に対して指示する。

また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０に画像を表示させる。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。

本実施形態では、システム制御部７０は、上記した処理のほかに、画像処理部３０からの手振れ量情報が示す手振れ量に応じて撮像素子１００を駆動制御する領域を選択する処理を行う。そして、システム制御部７０は、選択した領域を指定する指示信号を駆動部２１に出力する。駆動部２１は、システム制御部７０からの指示信号に基づいて、画素領域１１３Ａ内の領域のみ画素信号の読み出し、その領域内の各画素の画素信号からなる画像データ（ＲＡＷデータ）を画像処理部３０に転送する。なお、システム制御部７０が手振れ量に応じて選択する画素領域１１３Ａ内の領域を「転送領域」という。

図６は、第１実施形態に係る信号処理チップの具体的構成を示すブロック図である。なお、図６には、信号処理チップ１１１のほかに、撮像チップ１１３、メモリチップ１１２、画像処理部３０、及びシステム制御部７０も示している。

信号処理チップ１１１は、駆動部２１の機能を担う。信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、及び信号制御部４４４を含んでいる。また、信号処理チップ１１１は、センサ制御部４４１、ブロック制御部４４２、同期制御部４４３、及び信号制御部４４４を統括制御する制御部（駆動制御部）４２０を含んでいる。制御部４２０は、システム制御部７０からの指示を、各制御部４４１〜４４４が実行可能な制御信号に変換してそれぞれに引き渡す。

センサ制御部４４１は、制御部４２０からの制御信号に基づいて、各画素の電荷蓄積及び電荷読み出しに関わる制御パルス（リセットパルス、転送パルス、選択パルス）を撮像チップ１１３に対して送出する制御を行う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御する。また、センサ制御部４４１は、画素信号の読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

ブロック制御部４４２は、制御部４２０からの制御信号に基づいて、駆動制御される単位グループ１３１を特定する特定パルスを撮像チップ１１３に対して送出する制御を行う。上述したように、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含む。同一のブロックに含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部４４２は、制御部４２０からの制御信号に基づいて、対象となる単位グループ１３１に特定パルスを送出することにより、一又は複数の単位グループ１３１をブロック化する。各画素がＴＸ配線３０７及びリセット配線３０６を介して受ける転送パルス及びリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、ブロック制御部４４２が各領域を互いに独立したブロックとして制御することにより、領域毎の電荷蓄積制御を実現する。

同期制御部４４３は、制御部４２０からの制御信号に基づいて、同期信号を撮像チップ１１３に対して送出する制御を行う。各パルス（リセットパルス、転送パルス、選択パルス）は、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期制御部４４３が同期信号を調整することにより、同一の単位グループ１３１に属する画素の特定画素のみを駆動制御の対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、制御部４２０からの制御信号に基づいて、アンプ４１２のゲイン（利得率、増幅率）の制御を行う。また、信号制御部４４４は、制御部４２０からの制御信号に基づいて、Ａ／Ｄ変換器４１３ｂに対するタイミング制御を行う。出力配線３０９を介して出力された画素信号は、アンプ４１２及びＣＤＳ回路４１３ａを経てＡ／Ｄ変換器４１３ｂに入力される。Ａ／Ｄ変換器４１３ｂは、信号制御部４４４で制御されることにより、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ４１４に引き渡される。そして、画素信号は、デマルチプレクサ４１４により、それぞれの画素に対応する画素メモリ４１５にデジタルデータの画素値として格納される。

信号処理チップ１１１は、タイミングメモリ４３０を有する。制御部４２０は、システム制御部７０からの指示に基づいて、いずれの単位グループ１３１を組み合わせてブロックを形成するかについてのブロック区分情報と、形成されたそれぞれのブロックが何回の電荷蓄積を繰り返すか（つまり、電荷蓄積のタイミング）についての蓄積回数情報とをタイミングメモリ４３０に格納する。タイミングメモリ４３０は、例えばフラッシュＲＡＭによって構成される。制御部４２０は、タイミングメモリ４３０に格納されたブロック区分情報と蓄積回数情報とを参照することにより、ブロック単位で電荷蓄積制御を実行する。

上述したように、システム制御部７０は、手振れ量に応じて撮像素子１００を駆動制御する転送領域を選択する。そして、システム制御部７０は、選択した転送領域を指定する指示信号を制御部４２０に出力する。制御部４２０は、システム制御部７０からの指示信号に基づいて、複数の単位グループを組み合わせて転送領域に対応するブロックを形成するように制御する。

図７は、図５に示す画像処理部及びシステム制御部の機能ブロック図である。図７に示すように、画像処理部３０は画像生成部３１及び手振れ検出部（手振れ量算出部）３２を含んでいる。画像生成部３１は、撮像部２０から出力される各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。手振れ検出部３２は、撮像部２０から時系列的に得られる複数のフレームにおける手振れによる被写体の移動方向及び移動量に基づいて動きベクトルを検出する。動きベクトルは、基準となるフレームと、そのフレームからの動きをベクトルとして表現したものである。そして、手振れ検出部３２は、検出した動きベクトルから次フレームにおける被写体の位置を予測する。手振れ検出部３２は、現フレームと次フレームとの間の被写体のずれ量を手振れ量として算出（検出）する。そして、手振れ検出部３２は、算出した手振れ量を示す手振れ量情報をシステム制御部７０に出力する。

また、システム制御部７０は、表示制御部７１及び撮像制御部（駆動制御部）７２を含んでいる。表示制御部７１は、画像生成部３１によって生成された画像データを表示部５０に出力させ、表示部５０の表示画面に画像（静止画、動画、ライブビュー画像）を表示させる制御を行う。撮像制御部７２は、撮像素子１００の駆動制御を実行する。すなわち、撮像制御部７２は、例えば適正露出となるような撮像条件を指示する指示信号を駆動部２１に出力する。また、撮像制御部７２は、手振れ検出部３２からの手振れ量情報が示す手振れ量に応じて転送領域を選択し、選択した転送領域を指定する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７２からの指示信号に基づいて撮像素子１００において転送領域を設定する。また、駆動部２１は、撮像制御部７２からの指示信号で指示された撮像条件に従って、撮像素子１００の転送領域を駆動制御する。

なお、システム制御部７０において、表示制御部７１及び撮像制御部７２は、それぞれＣＰＵが制御プログラムに基づいて処理を実行することにより実現される。

次に、第１実施形態に係る撮影動作について説明する。図８は、第１実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。また、図９は、手振れ時の被写体の移動方向及び移動量を示す図であって、（Ａ）は正常撮影時の被写体の位置を示し、（Ｂ）は手振れ撮影時の被写体の位置を示している。

図８に示す処理において、使用者により撮像装置１の電源が投入されると、撮像制御部７２は、ライブビュー画像の撮影を開始する（ステップＳ１）。また、表示制御部７１は、撮像部２０で撮像されたライブビュー画像を表示部５０の表示画面に表示する（ステップＳ２）。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、撮像制御部７２は、例えば低いフレームレートで撮像するように撮像素子１００を駆動制御する。また、撮像装置１の電源の投入時は、撮像制御部７２は、例えば撮像素子１００のすべての画素領域１１３Ａについて駆動制御する。

画像処理部３０は、撮像部２０で撮像されたライブビュー画像の画像データを受け取る。そして、画像生成部３１は、受け取った画像データに対して種々の画像処理を行う。また、画像生成部３１は、時系列的に得られる複数のフレームにおいて動きベクトルの評価値を作成する。また、手振れ検出部３２は、動きベクトルの評価値に基づいて手振れによる被写体の移動方向及び移動量を示す動きベクトルを検出する。

ここで、手振れ検出部３２は、複数の被写体のうちの背景の被写体を用いて動きベクトルを検出する。人物などの移動可能な被写体の場合は、その被写体が移動しているのか、手振れによって被写体が移動しているのかについて、手振れ検出部３２において判別することが困難だからである。このため、手振れ検出部３２は、時系列的に得られる複数のフレームを比較して、移動する被写体を検出する。また、手振れ検出部３２は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような顔検出機能を用いて人物の被写体を検出する。また、手振れ検出部３２は、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を検出することにより人物の被写体を検出する。手振れ検出部３２は、上記のように検出した移動する被写体以外の被写体は背景の被写体と認識する。

図９に示す例では、ライブビュー画像として、人物の被写体Ｏ１と、ビルの被写体Ｏ２を含む背景の被写体とが撮像されている。手振れ検出部３２は、現フレームよりも前のフレーム（図９（Ａ）に示す画像のフレーム）における人物の被写体Ｏ１やビルの被写体Ｏ２を含む背景の被写体を検出する。また、手振れ検出部３２は、現フレーム（図９（Ｂ）に示す画像のフレーム）における人物の被写体Ｏ１やビルの被写体Ｏ２を含む背景の被写体を検出する。

そして、手振れ検出部３２は、複数のフレーム間における背景の被写体の動き（位置の変化）を特定することにより、動きベクトルを検出する。図９に示す例において、（Ａ）におけるライブビュー画像内の領域２０１は、使用者の手振れによって、（Ｂ）におけるライブビュー画像内に領域２０２の位置へ移動している。手振れ検出部３２は、前フレームにおけるビルの被写体Ｏ２のエッジ部分を抽出するとともに、現フレームにおけるビルの被写体Ｏ２のエッジ部分を抽出する。手振れ検出部３２は、ビルの被写体Ｏ２のエッジ部分の移動方向及び移動量を特定することにより、動きベクトル２０３を検出する。

手振れ検出部３２は、検出した動きベクトルから次フレームにおける被写体の位置を予測する。手振れ検出部３２は、現フレームと次フレームとの間の被写体のずれ量を手振れ量として算出（検出）する。そして、手振れ検出部３２は、算出した手振れ量を示す手振れ量情報をシステム制御部７０に出力する。このような手振れ検出部３２による手振れ量を算出する処理は、フレームごとに実行される。ただし、手振れ検出部３２の処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに手振れ量を算出する処理を実行するようにしてもよい。

撮像制御部７２は、手振れ検出部３２からの手振れ量情報を取得する（ステップＳ３）。そして、撮像制御部７２は、手振れ量情報が示す手振れ量に応じてフレームごとに転送領域を選択し、選択した転送領域を指定する指示信号を駆動部２１に出力する（ステップＳ４）。駆動部２１は、撮像制御部７２からの指示信号に基づいてフレームごとに撮像素子１００において転送領域を設定する。また、駆動部２１は、撮像素子１００の転送領域を駆動制御する。このように転送領域を駆動制御する領域を選択する処理は、フレームごとに実行される。ただし、撮像制御部７２や駆動部２１などの処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに転送領域を駆動制御する領域を選択する処理を実行するようにしてもよい。

このように、撮像制御部７２は、手振れ検出部３２が算出した手振れ量に応じた転送領域を設定し、その転送領域のみを用いて被写体の撮像を行うように制御する。図１０は、第１実施形態に係る撮像部、画像処理部、及び記録部における画像データのサイズを示す図である。図１０（ａ１）に示すように、一般に、電子式手振れ補正では、システム制御部７０は、撮像素子１００の画素領域１１３Ａにおいて撮像を行うように制御する。そして、画像処理部３０において、手振れ検出部３２が画像データに基づいて手振れ量を算出する。また、画像生成部３１が手振れ量に基づいて、画素領域１１３Ａの画像データのうち、記録画像サイズの領域２００（記録部６０への記録用の画角）の画像データだけを抽出（トリミング）する。その後、図１０（ａ２）に示すように、記録画像サイズの領域２００の画像データが、画像処理部３０から記録部６０に出力され、記録部６０に記録される。また、記録画像サイズの領域２００の画像データが、画像処理部３０から表示部５０に出力され、表示部５０において表示される。

一方、本実施形態では、図１０（ｂ１）に示すように、撮像制御部７２は、手振れ検出部３２が算出した手振れ量に応じた転送領域（図１０の記録画像サイズの領域）２００を設定し、その転送領域２００のみを用いて被写体の撮像を行うように制御する。従って、画像処理部３０において、画像生成部３１は、転送領域２００の画像データに対してのみ画像処理を行う。そして、図１０（ｂ２）に示すように、転送領域２００の画像データは、画像処理部３０から記録部６０に出力され、記録部６０に記録される。また、転送領域２００の画像データは、画像処理部３０から表示部５０に出力され、表示部５０において表示される。

その後、撮像制御部７２は、使用者によってレリーズスイッチが押されたか否かを確認することにより、静止画の記録が開始されたか否かを判定する（ステップＳ５）。撮像制御部７２は、静止画の記録が開始されたと判定した場合は、撮像部２０による静止画の撮影、及び記録部６０への静止画の記録の処理を行う（ステップＳ６）。なお、レリーズスイッチの半押し操作が行われたことに応じて、撮像制御部７２は、ＡＦ（Automatic
Focusing）やＡＥ（Automatic Exposure）などの撮影準備を行う。そして、レリーズスイッチの半押し操作に続いて、レリーズスイッチの全押し操作が行われたことに応じて、撮像制御部７２は、適正露出となるような撮像条件を決定し、その撮像条件での撮像を駆動部２１に実行させるように制御する。その後、撮像制御部７２は、使用者による電源をオフする操作が行われたか否かを判定する（ステップＳ８）。撮像制御部７２は、電源をオフする操作が行われていないと判定した場合は、ステップＳ１〜Ｓ４の処理を繰り返し実行する。これにより、図１０（ｂ１）及び（ｂ２）に示したように撮像素子１００の転送領域のみ駆動部２１により駆動制御され、画像処理部３０において転送領域２００の画像データのみ画像処理部３０により画像処理が行われる。撮像制御部７２は、使用者による電源をオフする操作が行われたと判定した場合は、処理を終了する。

撮像制御部７２は、静止画の記録が開始されていないと判定した場合は、動画スイッチが押されたか否かを確認することにより、動画の記録が開始されたか否かを判定する（ステップＳ７）。撮像制御部７２は、動画の記録が開始されたと判定した場合は、撮像部２０による動画の撮影、及び記録部６０への動画の記録を開始する（ステップＳ１１）。また、表示制御部７１は、撮像部２０で撮影された動画を表示部５０の表示画面に表示する（ステップＳ１２）。このとき、動画はライブビュー画像よりも被写体の動きの滑らかな画像であることが好ましい。このため、撮像制御部７２は、ライブビュー画像の撮影時よりも高いフレームレートで撮像するように撮像素子１００を駆動制御する。

動画の撮影中においても、手振れ検出部３２は、動画の各フレームに基づいて手振れ量を算出する。そして、手振れ検出部３２は、算出した手振れ量を示す手振れ量情報をシステム制御部７０に出力する。このような手振れ検出部３２による手振れ量を算出する処理は、フレームごとに実行される。ただし、手振れ検出部３２の処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに手振れ量を算出する処理を実行するようにしてもよい。

撮像制御部７２は、手振れ検出部３２からの手振れ量情報を取得する（ステップＳ１３）。そして、撮像制御部７２は、手振れ量情報が示す手振れ量に応じてフレームごとに転送領域を選択し、選択した転送領域を指定する指示信号を駆動部２１に出力する（ステップＳ１４）。駆動部２１は、撮像制御部７２からの指示信号に基づいてフレームごとに撮像素子１００において転送領域を設定する。また、駆動部２１は、撮像素子１００の転送領域を駆動制御する。このように転送領域を駆動制御する領域を選択する処理は、フレームごとに実行される。ただし、撮像制御部７２や駆動部２１などの処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに転送領域を駆動制御する領域を選択する処理を実行するようにしてもよい。

その後、撮像制御部７２は、動画の記録が終了されたか否かを判定する（ステップＳ１５）。撮像制御部７２は、動画の記録が終了されていないと判定した場合は、ステップＳ１１〜Ｓ１４の処理を繰り返し実行する。これにより、図１０（ｂ１）及び（ｂ２）に示したように撮像素子１００の転送領域のみ駆動部２１により駆動制御され、画像処理部３０において転送領域２００の画像データのみ画像処理部３０により画像処理が行われる。そして、撮像制御部７２は、動画の記録が終了されたと判定した場合は、使用者による電源をオフする操作が行われたと判定する（ステップＳ８）。撮像制御部７２は、使用者による電源をオフする操作が行われていないと判定した場合は、ステップＳ１の処理に戻り、ステップＳ１〜Ｓ４の処理を繰り返し実行する。撮像制御部７２は、使用者による電源をオフする操作が行われたと判定した場合は、処理を終了する。

以上に説明したように、第１実施形態によれば、手振れ量を算出する手振れ量算出部３２と、撮像素子１００を駆動制御し、手振れ量算出部３２により算出された手振れ量に応じて撮像素子１００を駆動制御する領域（図１０に示す転送領域２００）を選択する撮像制御部７２と、を備える。このような構成によれば、撮像装置１における消費電力や処理負担を軽減することができる。すなわち、一般に行われている電子式手振れ補正では、撮像素子１００の画素領域１１３Ａにおいて撮像が行われ、画像処理部３０において画素領域１１３Ａの画像データに対して種々の画像処理が行われる。その後、画像処理部３０において画像処理された画素領域１１３Ａの画像データが記録画像サイズの領域の画像データにトリミングされる。従って、画像処理部３０は、実際に記録部６０に記録される転送領域（記録画像サイズの領域）２００以外の余分な画像データに対しても画像処理を行うことになる。具体的には、余分な画像データとして、図１０に示す転送領域２００の上下左右１０％程度の領域の画像データが画像処理される。このため、撮像部２０及び画像処理部３０において消費電力が増加する。また、画像処理部３０において処理負担も増加し、高速な画像処理が困難となる。これに対して、第１実施形態では、画像処理部３０において転送領域（記録画像サイズの領域）２００のみ画像処理が行われる。このため、手振れ補正を行うことができるとともに、撮像部２０及び画像処理部３０における消費電力が軽減され、また画像処理部３０における処理負担も軽減される。

また、上記した第１実施形態において、撮像制御部７２は、選択された撮像素子１００の領域の画像信号の出力を行うので、撮像部２０における消費電力や処理負担を軽減することができる。また、撮像制御部７２は、フレームごとに撮像素子１００を駆動制御する領域を選択するので、被写体の動きに合わせて精度よく撮像素子１００を駆動制御する領域を選択することができる。

また、上記した第１実施形態では、手振れ量算出部３２は、撮像素子１００から読み出された画像信号の解析処理により手振れ量を算出するので、特別な機構を用いずに手振れ量を算出することができる。従って、撮像装置１のコストが増加しない。また、上記した第１実施形態では、手振れ量算出部３２は、時系列で得られる画像信号における被写体の移動方向及び移動量に基づいて手振れ量を算出するので、正確な手振れ量を算出することができる。また、上記した第１実施形態では、手振れ量算出部３２は、背景の被写体（例えば図９に示すビルの被写体Ｏ２）の移動方向及び移動量に基づいて手振れ量を算出するので、手振れでない被写体の動きに基づいて誤った手振れ量を算出することを回避することができる。また、上記した第１実施形態では、手振れ量算出部３２は、画像信号の画像処理を実行する画像処理部３０に設けられるので、電子式手振れ補正と同様又は略同様の処理により手振れ量を算出する処理を実現することができる。

＜第２実施形態＞
上記した第１実施形態では、手振れ検出部３２が複数のフレームに基づいて手振れ量を算出するように構成していた。これに対して、第２実施形態では、システム制御部７０が加速度センサからの加速度情報に基づいて手振れ量を算出する。そして、システム制御部７０は、算出した手振れ量に基づいて転送領域を選択する。

図１１は、第２実施形態に係る撮像装置の構成を示すブロック図である。図１１に示すように、第２実施形態における撮像装置１Ａは、加速度センサ６５が設けられている。この加速度センサ６５は、センサ自体の加速度（ここでは角加速度）を検出するセンサである。この加速度センサ６５として、ＸＹＺ軸の３方向の加速度を検出することが可能な３軸加速度センサを用いる。この加速度センサ６５は、検出した加速度を表す加速度情報をシステム制御部７０に出力する。また、画像処理部３０Ａは、図５に示した画像処理部３０と同様に種々の画像処理を行うが、手振れ量を算出する処理については行わない。また、システム制御部７０Ａは、図５に示したシステム制御部７０が実行する処理のほかに、加速度センサ６５からの加速度情報が示す加速度に基づいて手振れ量を算出する処理を行う。なお、図１１に示す撮像装置１Ａのうち、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、及び記録部６０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

図１２は、図１１に示す画像処理部及びシステム制御部の機能ブロック図である。図１２に示すように、第２実施形態における画像処理部３０Ａは、画像生成部３１のみ含んでいる。すなわち、画像処理部３０Ａは、図７に示した画像処理部３０と異なり、手振れ検出部３２が設けられていない。また、第２実施形態におけるシステム制御部７０Ａは、図７に示したシステム制御部７０と異なり、表示制御部７１及び撮像制御部７２のほかに、手振れ補正部（手振れ量算出部）７３を含んでいる。手振れ補正部７３は、加速度センサ６５からの加速度情報が示す加速度に基づいて手振れ量を算出する処理を行う。具体的には、手振れ補正部７３は、加速度情報が示す加速度の方向に基づいて手振れの方向を特定する。また、手振れ補正部７３は、加速度情報が示す加速度の値に対応した手振れ量を算出する。本実施形態では、撮像制御部７２は、手振れ補正部７３が算出した手振れ量に基づいて、転送領域を指定する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７２からの指示信号に基づいて転送領域を設定する。そして、駆動部２１は、転送領域を駆動制御する。

なお、図１１に示す構成のうち、画像生成部３１、表示制御部７１、及び撮像制御部７２の構成は、図７に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

図１３は、第２実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。図１３に示す処理において、使用者により撮像装置１の電源が投入されると、手振れ補正部７３は、加速度センサ６５からの加速度情報を取得する（ステップＳ２１）。また、撮像制御部７２は、ライブビュー画像の撮影を開始する（ステップＳ２２）。また、表示制御部７１は、撮像部２０で撮像されたライブビュー画像を表示部５０の表示画面に表示する（ステップＳ２３）。なお、ステップＳ２２及びＳ２３の処理は、図８に示すステップＳ１及びＳ２の処理に相当する。

手振れ補正部７３は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する（ステップＳ２４）。すなわち、手振れ補正部７３は、加速度情報が示す加速度の方向に基づいて手振れの方向を特定する。また、手振れ補正部７３は、加速度情報が示す加速度の値に基づいて、次フレームにおける被写体の位置を予測する。そして、手振れ補正部７３は、予測した被写体の位置に対応する手振れ量を算出する。そして、撮像制御部７２は、手振れ補正部７３が算出した手振れ量に応じてフレームごとに転送領域を選択し、選択した転送領域を指定する指示信号を駆動部２１に出力する（ステップＳ２５）。駆動部２１は、撮像制御部７２からの指示信号に基づいてフレームごとに撮像素子１００において転送領域を設定する。また、駆動部２１は、撮像素子１００の転送領域を駆動制御する。このように転送領域を駆動制御する領域を選択する処理は、フレームごとに実行される。ただし、撮像制御部７２や駆動部２１などの処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに転送領域を駆動制御する領域を選択する処理を実行するようにしてもよい。

その後、撮像制御部７２は、使用者によってレリーズスイッチが押されたか否かを確認することにより、静止画の記録が開始されたか否かを判定する（ステップＳ２６）。撮像制御部７２は、静止画の記録が開始されたと判定した場合は、撮像部２０による静止画の撮影、及び記録部６０への静止画の記録の処理を行う（ステップＳ２７）。なお、ステップＳ２６及びＳ２７の処理は、図８に示したステップＳ５及びＳ６の処理に相当する。その後、撮像制御部７２は、使用者による電源をオフする操作が行われたか否かを判定する（ステップＳ２９）。撮像制御部７２は、電源をオフする操作が行われていないと判定した場合は、ステップＳ２１〜Ｓ２５の処理を繰り返し実行する。これにより、撮像素子１００の転送領域のみ駆動部２１により駆動制御され、画像処理部３０において転送領域２００の画像データのみ画像処理部３０により画像処理が行われる（第１実施形態における図１０参照）。撮像制御部７２は、使用者による電源をオフする操作が行われたと判定した場合は、処理を終了する。

撮像制御部７２は、静止画の記録が開始されていないと判定した場合は、動画スイッチが押されたか否かを確認することにより、動画の記録が開始されたか否かを判定する（ステップＳ２８）。動画の記録が開始されたと判定した場合は、手振れ補正部７３は、加速度センサ６５からの加速度情報を取得する（ステップＳ３０）。また、撮像制御部７２は、撮像部２０による動画の撮影、及び記録部６０への動画の記録を開始する（ステップＳ３１）。また、表示制御部７１は、撮像部２０で撮影された動画を表示部５０の表示画面に表示する（ステップＳ３２）。なお、ステップＳ２８、Ｓ３１、及びＳ３２の処理は、図８に示したステップＳ７、Ｓ１１、及びＳ１２の処理に相当する。

手振れ補正部７３は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する（ステップＳ３３）。そして、撮像制御部７２は、手振れ補正部７３が算出した手振れ量に応じてフレームごとに転送領域を選択し、選択した転送領域を指定する指示信号を駆動部２１に出力する（ステップＳ３４）。駆動部２１は、撮像制御部７２からの指示信号に基づいてフレームごとに撮像素子１００において転送領域を設定する。また、駆動部２１は、撮像素子１００の転送領域を駆動制御する。このように転送領域を駆動制御する領域を選択する処理は、フレームごとに実行される。ただし、撮像制御部７２や駆動部２１などの処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに転送領域を駆動制御する領域を選択する処理を実行するようにしてもよい。

その後、撮像制御部７２は、動画の記録が終了されたか否かを判定する（ステップＳ３５）。撮像制御部７２は、動画の記録が終了されていないと判定した場合は、ステップＳ３０〜Ｓ３４の処理を繰り返し実行する。これにより、撮像素子１００の転送領域のみ駆動部２１により駆動制御され、画像処理部３０において転送領域２００の画像データのみ画像処理部３０により画像処理が行われる（図１０参照）。そして、撮像制御部７２は、動画の記録が終了されたと判定した場合は、使用者による電源をオフする操作が行われたと判定する（ステップＳ２９）。撮像制御部７２は、使用者による電源をオフする操作が行われていないと判定した場合は、ステップＳ２１の処理に戻り、ステップＳ２１〜Ｓ２５の処理を繰り返し実行する。撮像制御部７２は、使用者による電源をオフする操作が行われたと判定した場合は、処理を終了する。

以上のように、第２実施形態によれば、上記した第１実施形態と同様に、撮像装置１における消費電力や処理負担を軽減することができる。また、上記した第２実施形態では、加速度を検出する加速度センサ６５を備え、手振れ量算出部３２は、加速度センサ６５からの加速度に基づいて手振れ量を算出するので、加速度センサ６５を用いて正確な手振れ量を算出することができる。

なお、上記した第２実施形態においては、システム制御部７０は、加速度情報に基づいて算出される手振れ量を、転送領域の選択にのみ利用していた。しかし、システム制御部７０は、加速度情報に基づいて算出される手振れ量を光学式手振れ補正に利用してもよい。例えば、システム制御部７０は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する。そして、システム制御部７０は、手振れ量に基づいて、レンズ部１０の一部又は全部のレンズを動かすことによって手振れによる像のずれを補正する。または、システム制御部７０は、手振れ量に基づいて、撮像素子１００自体を動かすことによって手振れによる像のずれを補正する。または、システム制御部７０は、レンズ部１０の一部又は全部のレンズと撮像素子１００自体とを動かすことによって手振れによる像のずれを補正する。

レンズ部１０のレンズを動かす場合は、システム制御部７０は、レンズ部１０に対して手振れ量に応じた制御信号を出力する。レンズ部１０は、システム制御部７０からの制御信号に基づいて駆動装置（図示せず）を駆動させることにより、制御信号が示す方向及び移動量だけ、一部又は全部のレンズを移動させる制御を行う。また、撮像素子１００を動かす場合は、システム制御部７０は、撮像部２０に対して手振れ量に応じた制御信号を出力する。撮像部２０は、システム制御部７０からの制御信号に基づいて駆動装置（図示せず）を駆動させることにより、制御信号が示す方向及び移動量だけ、撮像素子１００を移動させる制御を行う。

このような構成の場合は、レンズ部１０のレンズや撮像素子１００自体が手振れ量に合わせて移動するので、手振れによる像のずれが補正される。しかし、光学式手振れ補正だけでは手振れによる像のずれが補いきれない場合がある。例えば、手振れの速度が速く、手振れの速度に追従させてレンズ等を動かすことが困難な場合などである。その場合、システム制御部７０が、光学式手振れ補正で補いきれない像のずれに応じた転送領域を選択する。

具体的には、手振れ補正部７３は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する。そして、手振れ補正部７３は、算出した手振れ量が所定の閾値以上であるか否かを判定する。手振れ補正部７３は、手振れ量が所定の閾値以上であると判定した場合は、所定の閾値内の値を第１手振れ量として決定する。そして、手振れ補正部７３は、第１手振れ量に応じた制御信号をレンズ部１０や撮像部２０に対して出力する。レンズ部１０や撮像部２０は、手振れ補正部７３からの制御信号に基づいて、レンズや撮像素子１００自体を移動させる。

また、手振れ補正部７３は、加速度情報に基づき算出した手振れ量から第１手振れ量を引いた値を第２手振れ量として決定する。そして、撮像制御部７２は、第２手振れ量に応じた転送領域を選択する。撮像制御部７２は、選択した転送領域を指定する指示信号を駆動部２１に出力する。駆動部２１は、手振れ補正部７３からの指示信号に基づいて転送領域において駆動制御を実行する。なお、撮像制御部７２が第２手振れ量に基づいて選択する転送領域は、記録画像サイズの領域よりも大きな領域であることが好ましい。撮像制御部７２が、光学式手振れ補正によるレンズや撮像素子１００の移動量を考慮した上で、像のずれに合わせた記録画像サイズの転送領域を予測することは困難だからである。このような構成によっても、撮像装置１における消費電力や処理負担を軽減することができる。

なお、撮像制御部７２が手振れ量に基づく転送領域の選択だけでは手振れによる像のずれが補いきれない場合に、光学式手振れ補正で像のずれを補正するようにしてもよい。

＜第３実施形態＞
上記した第１実施形態では、手振れ検出部３２が複数のフレームに基づいて手振れ量を算出するように構成していた。また、上記した第２実施形態では、システム制御部７０が加速度センサからの加速度情報に基づいて手振れ量を算出していた。これに対して、第３実施形態では、演算回路４１６が複数のフレームに基づいて手振れ量を算出し、または、演算回路４１６が加速度センサ６５からの加速度情報に基づいて手振れ量を算出する。そして、演算回路４１６は、算出した手振れ量に基づいて転送領域を選択する。

図１４は、第３実施形態に係る信号処理チップの具体的構成を示すブロック図である。図１４に示す信号処理チップ１１１において、演算回路４１６は、画素メモリ４１５から各画素の画像データ（画像処理部３０による画像処理前のＲＡＷデータ）を読み出す。そして、演算回路４１６は、複数の画像データ（フレーム）に基づいて手振れ量を算出する。または、演算回路４１６は、加速度センサ６５と接続され、加速度センサ６５からの加速度情報を取得する。そして、演算回路４１６は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する。また、演算回路４１６は、算出した手振れ量に基づいて転送領域を選択する。そして、演算回路４１６は、選択した転送領域を指定する制御信号を制御部４２０に出力する。なお、図１４に示す構成のうち、加速度センサ６５が設けられている以外は、図６に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

図１５は、第３実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。図１５（Ｍ）は、演算回路４１６が画像データに基づいて手振れ量を算出する場合を示し、図１５（Ｎ）は、演算回路４１６が加速度情報に基づいて手振れ量を算出する場合を示す。演算回路４１６が図１５（Ｍ）及び（Ｎ）の処理を実行する前に、撮像制御部７２が指示信号を制御部４２０に出力することにより、撮像素子１００による撮像が開始されている。

図１５（Ｍ）に示す処理について説明する。図１５（Ｍ）に示すように、演算回路４１６は、画素メモリ４１５に格納されている各画素の画像データ（ＲＡＷデータ）をフレームごとに読み出す（ステップＳ４１Ｍ）。そして、演算回路４１６は、画素メモリ４１５から時系列的に読み出した複数のフレームに基づいて手振れ量を算出する（ステップＳ４２Ｍ）。このステップＳ４２Ｍの処理（手振れ量の算出処理）としては、上記した手振れ検出部３２による手振れ量の算出処理（第１実施形態で説明した手振れ量の算出処理）と同じ処理を用いることが可能である。すなわち、演算回路４１６は、時系列的に得られる複数のフレームにおける手振れによる被写体（背景の被写体のエッジ部分）の移動方向及び移動量に基づいて動きベクトルを検出する。そして、演算回路４１６は、検出した動きベクトルから次フレームにおける被写体の位置を予測する。演算回路４１６は、現フレームと次フレームとの間の被写体のずれ量を手振れ量として算出（検出）する。そして、演算回路４１６は、算出した手振れ量を示す制御信号を制御部４２０に出力する。このような演算回路４１６による手振れ量を算出する処理は、フレームごとに実行される。ただし、演算回路４１６の処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに手振れ量を算出する処理を実行するようにしてもよい。

上記した第１実施形態では、手振れ検出部３２は、画像生成部３１により画像処理された画像データに基づいて動きベクトルを算出していた。一方、第３実施形態では、演算回路４１６は、画像生成部３１により画像処理される前の画像データ（すなわちＲＡＷデータ）に基づいて動きベクトルを算出している。ＲＡＷデータは、色信号処理やガンマ補正などの画像処理が行われていない状態の単色の画像データである。上述したように、演算回路４１６は、画像データにおける背景の被写体のエッジ部分だけを抽出して、そのエッジ部分がどのくらい移動したかを判断することにより、被写体の動きベクトルを算出する。従って、画像データの色成分に関係なく、動きベクトルを算出することができる。このため、演算回路４１６は、画像生成部３１により画像処理される前の画像データ（すなわちＲＡＷデータ）に基づいて動きベクトルを算出することが可能である。

演算回路４１６は、ステップＳ４２Ｍで算出した手振れ量に対応する転送領域を指定する制御信号を制御部４２０に出力する（ステップＳ４３Ｍ）。制御部４２０は、演算回路４１６からの制御信号を、センサ制御部４４１、ブロック制御部４４２、及び同期制御部４４３が実行可能な制御信号に変換し、それらセンサ制御部４４１、ブロック制御部４４２、及び同期制御部４４３に出力する。

上述したように、センサ制御部４４１は、制御部４２０からの制御信号に基づいて、転送領域の各画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御する。また、センサ制御部４４１は、転送領域の各画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。また、ブロック制御部４４２は、制御部４２０からの制御信号に基づいて、転送領域の単位グループ１３１を特定する特定パルスを撮像チップ１１３に対して送出する。これにより、画素領域１１３Ａのうちの転送領域の各画素について電荷蓄積制御が実行され、転送領域の各画素から画素信号の読み出しが行われる。

次に、図１５（Ｎ）に示す処理について説明する。図１５（Ｎ）に示すように、演算回路４１６は、加速度センサ６５から加速度情報を取得する（ステップＳ４１Ｎ）。そして、演算回路４１６は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する（ステップＳ４２Ｎ）。このステップＳ４２Ｎの処理（手振れ量の算出処理）としては、上記した手振れ補正部７３による手振れ量の算出処理（第２実施形態で説明した手振れ量の算出処理）と同じ処理を用いることが可能である。すなわち、演算回路４１６は、加速度情報が示す加速度の方向に基づいて手振れの方向を特定する。また、手振れ補正部７３は、加速度情報が示す加速度の値に基づいて、次フレームにおける被写体の位置を予測する。そして、手振れ補正部７３は、予測した被写体の位置に対応する手振れ量を算出する。このような演算回路４１６による手振れ量を算出する処理は、フレームごとに実行される。ただし、演算回路４１６の処理負担や消費電力を軽減するために、１フレームごとではなく、数フレームごとに手振れ量を算出する処理を実行するようにしてもよい。

演算回路４１６は、ステップＳ４２Ｎで算出した手振れ量に対応する転送領域を指定する制御信号を制御部４２０に出力する（ステップＳ４３Ｎ）。制御部４２０が演算回路４１６からの制御信号に基づいて、センサ制御部４４１及びブロック制御部４４２に対して制御信号を出力する。センサ制御部４４１及びブロック制御部４４２は、画素領域１１３Ａのうちの転送領域の各画素について電荷蓄積制御を実行し、転送領域の各画素から画素信号の読み出しを行うように制御する。

図１６は、第３実施形態に係る撮像部及び画像処理部における画像データのサイズを示す図である。図１６（ｃ１）に示すように、信号処理チップ１１１（すなわち、制御部４２０、センサ制御部４４１、ブロック制御部４４２）は、信号処理チップ１１１（すなわち演算回路４１６）が算出した手振れ量に応じた転送領域（図１６の記録画像サイズの領域）２００を撮像チップ１１３の画素領域１１３Ａにおいて設定する。そして、撮像チップ１１３は、転送領域２００のみを用いて被写体の撮像を行うように制御する。また、信号処理チップ１１１は、撮像チップ１１３から転送領域２００の画像データを受け取ると、その画像データに対して所定の信号処理（アンプ４１２による増幅、ＣＤＳ４１３ａによるＣＤＳ処理、Ａ／Ｄ４１３ｂによるＡ／Ｄ変換処理）を行う。そして、信号処理チップ１１１は、メモリチップ１１２の画素メモリ４１５に画像データを格納する。

その後、図１６（ｃ２）に示すように、画素メモリ４１５に格納された転送領域の各画素の画像データ（ＲＡＷデータ）が、制御部４２０による制御に従って画像処理部３０に転送される。画像処理部３０において、画像生成部３１は転送領域の画像データに対して各種の画像処理を行う。画像処理部３０は、画像処理した画像データを記録部６０に出力する。これにより、転送領域（記録画像サイズの領域）の画像データが記録部６０に記録される。また、画像処理部３０は、画像処理した画像データを表示部５０に出力する。これにより、転送領域の画像データが表示部５０の表示画面に表示される。

以上に説明したように、第３実施形態によれば、上記した第１実施形態及び第２実施形態と同様に、撮像装置１における消費電力や処理負担を軽減することができる。また、画像処理部３０やシステム制御部７０において手振れ量を算出する必要がないため、画像処理部３０やシステム制御部７０の処理を軽減することができる。

また、上記した第３実施形態では、撮像素子１００、駆動制御部（制御部４２０、センサ制御部４４１、ブロック制御部４４２、同期制御部４４３）、及び手振れ量算出部（演算回路４１６）が一体構成されている。すなわち、撮像チップ１１３、信号処理チップ１１１、及び撮像チップ１１３が積層され、信号処理チップ１１１の演算回路４１６において手振れ量を算出するようにしている。従って、撮像素子１００等が一体構成されたチップを撮像装置１に組み込むだけで、手振れ量に応じて転送領域を選択する構成を実現することができる。

なお、上記した第３実施形態においては、信号処理チップ１１１は、加速度情報に基づいて算出される手振れ量を、転送領域の選択にのみ利用していた。しかし、信号処理チップ１１１は、加速度情報に基づいて算出される手振れ量を光学式手振れ補正に利用してもよい。例えば、信号処理チップ１１１の制御部４２０は、演算回路４１６が加速度情報に基づいて算出した手振れ量に基づいて、レンズ部１０の一部又は全部のレンズを動かすことによって手振れによる像のずれを補正する。または、制御部４２０は、手振れ量に基づいて、撮像素子１００自体を動かすことによって手振れによる像のずれを補正する。または、制御部４２０は、レンズ部１０の一部又は全部のレンズと撮像素子１００自体とを動かすことによって手振れによる像のずれを補正する。

このような構成の場合においても、上記した第２実施形態で説明したように、光学式手振れ補正だけでは手振れによる像のずれが補いきれない場合がある。その場合、制御部４２０が、光学式手振れ補正で補いきれない像のずれに応じた転送領域を選択する。

具体的には、制御部４２０は、演算回路４１６が算出した手振れ量が所定の閾値以上であるか否かを判定する。制御部４２０は、手振れ量が所定の閾値以上であると判定した場合は、所定の閾値内の値を第１手振れ量として決定する。そして、制御部４２０は、第１手振れ量に応じた制御信号をレンズ部１０や撮像部２０に対して出力する。レンズ部１０や撮像部２０は、手振れ補正部７３からの制御信号に基づいて、レンズや撮像素子１００自体を移動させる。

また、制御部４２０は、加速度情報に基づき算出した手振れ量から第１手振れ量を引いた値を第２手振れ量として決定する。そして、制御部４２０は、第２手振れ量に応じた転送領域を選択する。制御部４２０は、選択した転送領域を指定する制御信号をセンサ制御部４４１やブロック制御部４４２に出力する。センサ制御部４４１やブロック制御部４４２は、制御部４２０からの制御信号に基づいて転送領域において駆動制御を実行する。なお、制御部４２０が第２手振れ量に基づいて選択する転送領域は、記録画像サイズの領域よりも大きな領域であることが好ましい。制御部４２０が、光学式手振れ補正によるレンズや撮像素子１００の移動量を考慮した上で、像のずれに合わせた記録画像サイズの転送領域を予測することは困難だからである。このような構成によっても、撮像装置１における消費電力や処理負担を軽減することができる。

なお、制御部４２０が手振れ量に基づく転送領域の選択だけでは手振れによる像のずれが補いきれない場合に、光学式手振れ補正で像のずれを補正するようにしてもよい。

＜第４実施形態＞
上記した第１実施形態、第２実施形態、及び第３実施形態では、手振れ量に応じて撮像素子１００を駆動制御する転送領域が変更されるように構成されていた。これに対して、第４実施形態では、駆動部２１は、撮像素子１００のすべての画素領域１１３Ａに対して駆動制御を実行する。また、駆動部２１は、撮像素子１００から読み出された画像データのうち、手振れ量に応じた領域の画像データを画像処理部３０に出力する。

図１７は、第４実施形態に係る撮像部及び画像処理部における画像データのサイズを示す図である。図１７（ｄ１）に示すように、駆動部２１（制御部４２０、センサ制御部４４１、ブロック制御部４４２、同期制御部４４３）は、撮像素子１００の画素領域１１３Ａを分割せずに、すべての画素領域１１３Ａに対して駆動制御を実行する。そして、駆動部２１は、撮像素子１００の画素領域１１３Ａの各画素から画素信号を読み出す。一方、上記した第３実施形態と同様に、演算回路４１６は、複数のフレームに基づいて手振れ量を算出する。または、上記した第３実施形態と同様に、演算回路４１６は、加速度センサ６５からの加速度情報に基づいて手振れ量を算出する。そして、演算回路４１６は、算出した手振れ量を示す制御信号を制御部４２０に出力する。

図１７（ｄ２）に示すように、制御部（信号出力部）４２０は、画素メモリ４１５に格納された画像データ（ＲＡＷデータ）のうち、手振れ量に対応する転送領域（記録画像サイズの領域）２００の画像データをフレームごとに画像処理部３０に出力させる。画像処理部３０において、画像生成部３１は転送領域の画像データに対して各種の画像処理を行う。画像処理部３０は、画像処理した画像データを記録部６０に出力する。これにより、転送領域（記録画像サイズの領域）の画像データが記録部６０に記録される。また、画像処理部３０は、画像処理した画像データを表示部５０に出力する。これにより、転送領域の画像データが表示部５０の表示画面に表示される。

以上に説明したように、第４実施形態によれば、撮像素子１００を有する撮像部２１と、撮像部２１から出力される画像信号について画像処理を実行する画像処理部３０と、を備え、撮像部２１は、手振れ量を算出する手振れ量算出部（演算回路４１６）と、撮像素子１００から読み出された画像信号のうち、手振れ量算出部４１６により算出された手振れ量に応じた領域２００の画像信号を画像処理部３０に出力する信号出力部（制御部４２０）と、を有する。このような構成によれば、画像処理部３０が転送領域２００に対してのみ画像処理を行えばよいため、画像処理部３０における消費電力や処理負担を軽減することができる。

また、上記した第４実施形態では、信号出力部４２０は、フレームごとに手振れ量に応じた領域２００の画像信号を画像処理部に出力するので、被写体の動きに合わせて精度よく手振れ量に応じた領域２００を選択することができる。また、上記した第４実施形態では、加速度を検出する加速度センサ６５を備え、手振れ量算出部４１６は、加速度センサ６５からの加速度に基づいて手振れ量を算出する。このような構成によれば、加速度センサ６５を用いて正確な手振れ量を算出することができる。また、上記した第４実施形態によれば、手振れ量算出部４１６は、撮像素子１００から読み出された画像信号の解析処理により手振れ量を算出するので、特別な機構を用いずに手振れ量を算出することができる。従って、撮像装置１のコストが増加しない。

＜第５実施形態＞
第５実施形態では、上記した第２実施形態における撮像装置１Ａを、撮像装置２Ａと電子機器２Ｂとに分離した構成としている。

図１８は、第５実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図１８に示す構成において、撮像装置２Ａは、被写体の撮像を行う装置である。この撮像装置２Ａは、レンズ部１０、撮像部２０、画像処理部３０Ａ、ワークメモリ４０、操作部５５、記録部６０、加速度センサ６５、及び第１システム制御部７５を備える。なお、撮像装置２Ａのうち、レンズ部１０、撮像部２０、画像処理部３０Ａ、ワークメモリ４０、操作部５５、記録部６０、及び加速度センサ６５の構成は、図１１に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

また、電子機器２Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器２Ｂは、表示部５０及び第２システム制御部７５を備える。なお、電子機器２Ｂのうちの表示部５０の構成は、図１１に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

第１システム制御部７５は、第１通信部７５Ａを有している。また、第２システム制御部７６は、第２通信部７６Ｂを有している。第１通信部７５Ａと第２通信部７６Ｂとは、互いに有線又は無線で信号を送受信する。また、第１システム制御部７５は、図１１に示す構成のうち、例えば撮像制御部７２及び手振れ補正部７３に相当する構成を有している。また、第２システム制御部７６は、図１１に示す構成のうち、例えば表示制御部７１に相当する構成のみ有している。

図１１に示す構成（表示制御部７１、制御部７２、及び選択部７３）は、第１システム制御部７５と第２システム制御部７６のいずれに設けられてもよい。図１１に示すすべての構成は、第１システム制御部７５又は第２システム制御部７６に設けられてもよく、また図１１に示す構成の一部が第１システム制御部７５に設けられ、図１１に示す構成の一部以外の構成が第２システム制御部７６に設けられてもよい。

なお、撮像装置２Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器２Ｂは、例えば表示機能と通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。

図１８に示す第１システム制御部７５は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。また、図１８に示す第２システム制御部７６は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。

なお、図１８に示す構成において、画像処理部３０と第１システム制御部７５とは一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７５の機能を担う。

また、上記した第１実施形態における撮像装置１を、図１８に示した分離の仕方と同様又は略同様に、撮像装置と電子機器とに分離してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

上記した第１実施形態（図８参照）において、手振れ検出部３２は、手振れ量を算出する処理を、ライブビュー画像の撮影時のみ又は動画の撮影時のみ実行するようにしてもよい。また、撮像制御部７２は、手振れ量情報を取得する処理（ステップＳ３，Ｓ１３）及び転送領域を指定する処理（ステップＳ４，Ｓ１４）を、ライブビュー画像の撮影時のみ又は動画の撮影時のみ実行するようにしてもよい。すなわち、撮像制御部７２は、ステップＳ３及びＳ４の処理のみ実行するようにしてもよく、またステップＳ１３及びＳ１４の処理のみ実行するようにしてもよい。

また、上記した第２実施形態（図１３参照）において、手振れ補正部７３及び撮像制御部７２は、手振れ量を算出する処理（ステップＳ２４，Ｓ３３）及び転送領域を指定する処理（ステップＳ２５，Ｓ３４）を、ライブビュー画像の撮影時のみ又は動画の撮影時のみ実行するようにしてもよい。すなわち、撮像制御部７２は、ステップＳ２４及びＳ２５の処理のみ実行するようにしてもよく、またステップＳ３３及びＳ３４の処理のみ実行するようにしてもよい。

また、上記した第１実施形態において、手振れ検出部３２は、動画の撮影中においてのみ、手振れ量を算出する処理をフレームごとに実行し、ライブビュー画像の撮影中においては、手振れ量を算出する処理を数フレームごとに実行するようにしてもよい。また、上記した第２実施形態において、手振れ補正部７３は、動画の撮影中においてのみ、手振れ量を算出する処理をフレームごとに実行し、ライブビュー画像の撮影中においては、手振れ量を算出する処理を数フレームごとに実行するようにしてもよい。このような構成によれば、ライブビュー画像の撮影中における手振れ検出部３２や手振れ補正部７３の処理負担や消費電力を軽減することができる。

また、上記した第１実施形態及び第２実施形態において、ライブビュー画像のフレームレートや動画のフレームレートによっては、撮像制御部７２が駆動部２１に対して転送領域を指定する指示信号を出力してから駆動部２１が転送領域を駆動制御するまでに、撮像素子１００において数フレーム分の信号の読み出しが行われることがある。このような場合は、手振れ検出部３２及び手振れ補正部７３は、現フレームから数フレームあとのフレームにおける被写体の位置を予測する。手振れ検出部３２及び手振れ補正部７３は、現フレームと、現フレームから数フレームあとのフレームとの間の被写体のずれ量を手振れ量として算出（検出）する。そして、手振れ検出部３２及び手振れ補正部７３は、算出した手振れ量を示す手振れ量情報をシステム制御部７０に出力する。

また、上記した第３実施形態において、演算回路４１６は、複数のフレームから手振れ量を算出する処理（図１５（Ｍ）参照）と、加速度情報から手振れ量を算出する処理（図１５（Ｎ）参照）とを実行するようにしてもよい。この場合、演算回路４１６は、２つの処理に基づいて手振れ量を算出することにより、より精度の高い手振れ量を求めることができる。

なお、上記した各実施形態において、転送領域の指定の仕方としては、例えば、撮像制御部７２などが、転送領域の開始位置の座標、転送領域の横方向のサイズ、転送領域の縦方向のサイズを指定する。また、上記した第２実施形態、第３実施形態、及び第４実施形態においては、加速度（角加速度）を検出する加速度センサ６５を設けていたが、角速度を検出するジャイロを設けてもよい。この場合も、手振れ補正部７３や演算回路４１６は、ジャイロが検出した角速度を示す角速度情報に基づいて手振れ量を算出することが可能である。また、加速度センサ６５として３軸加速度センサを用いることとしていたが、５軸加速度センサなどであってもよい。

また、上記した第１実施形態において、手振れ検出部３２は、時系列で得られる複数の画像データにおけるＲ，Ｇ，Ｂの各成分のデータ（輝度値など）に基づいて動きベクトルを算出してもよいし、Ｒ，Ｇ，Ｂのいずれか一つ又は二つのデータだけに基づいて動きベクトルを算出してもよい。

また、上記した各実施形態において、転送領域は記録画像サイズの領域（つまり、記録部６０への記録用の画角）とされていたが、記録画像サイズよりも大きなサイズの領域であってもよい。

また、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。

また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。

また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。

１，１Ａ，２Ａ…撮像装置、２Ｂ…電子機器、２０…撮像部、３０，３０Ａ…画像処理部、３１…画像生成部、３２…手振れ検出部（手振れ量算出部）、５０…表示部、６５…加速度センサ、７０，７０Ａ…システム制御部、７５…第１システム制御部、７６…第２システム制御部、７１…表示制御部、７２…撮像制御部（駆動制御部）、７３…手振れ補正部（手振れ量算出部）、１００…撮像素子、２００…転送領域、４１５…画素メモリ、４１６…演算回路（手振れ量算出部）、４２０…制御部（駆動制御部）、４４１…センサ制御部、４４２…ブロック制御部、４４３…同期制御部

Claims (17)

1. 手振れ量を算出する手振れ量算出部と、
   撮像素子を駆動制御し、前記手振れ量算出部により算出された前記手振れ量に応じて前記撮像素子を駆動制御する領域を選択する駆動制御部と、
   を備える撮像装置。
2. 前記駆動制御部は、前記選択された撮像素子の領域の画像信号の出力を行う請求項１に記載の撮像装置。
3. 前記駆動制御部は、フレームごとに前記撮像素子を駆動制御する領域を選択する請求項１または２記載の撮像装置。
4. 加速度を検出する加速度センサを備え、
   前記手振れ量算出部は、前記加速度センサからの加速度に基づいて前記手振れ量を算出する請求項１から３のいずれか一項に記載の撮像装置。
5. 前記手振れ量算出部は、前記撮像素子から読み出された画像信号の解析処理により前記手振れ量を算出する請求項１から３のいずれか一項に記載の撮像装置。
6. 前記手振れ量算出部は、時系列で得られる画像信号における被写体の移動方向及び移動量に基づいて前記手振れ量を算出する請求項５記載の撮像装置。
7. 前記手振れ量算出部は、背景の被写体の移動方向及び移動量に基づいて前記手振れ量を算出する請求項６記載の撮像装置。
8. 前記手振れ量算出部は、画像信号の画像処理を実行する画像処理部に設けられる請求項１から７のいずれか一項に記載の撮像装置。
9. 前記撮像素子、前記駆動制御部、及び前記手振れ量算出部が一体構成されている請求項１から７のいずれか一項に記載の撮像装置。
10. 撮像素子を有する撮像部と、
    前記撮像部から出力される画像信号について画像処理を実行する画像処理部と、を備え、
    前記撮像部は、
    手振れ量を算出する手振れ量算出部と、
    前記撮像素子から読み出された画像信号のうち、前記手振れ量算出部により算出された前記手振れ量に応じた領域の画像信号を前記画像処理部に出力する信号出力部と、を有する撮像装置。
11. 前記信号出力部は、フレームごとに前記手振れ量に応じた領域の画像信号を前記画像処理部に出力する請求項１０に記載の撮像装置。
12. 加速度を検出する加速度センサを備え、
    前記手振れ量算出部は、前記加速度センサからの加速度に基づいて前記手振れ量を算出する請求項１０または１１記載の撮像装置。
13. 前記手振れ量算出部は、前記撮像素子から読み出された画像信号の解析処理により前記手振れ量を算出する請求項１０から１２のいずれか一項に記載の撮像装置。
14. 撮像素子を有する撮像装置の制御方法であって、
    手振れ量を算出することと、
    算出した前記手振れ量に応じて前記撮像素子を駆動制御する領域を変更することと、を含む撮像装置の制御方法。
15. 撮像素子を有する撮像装置の制御装置に、
    手振れ量を算出する手振れ量算出処理と、
    前記手振れ量算出処理にて算出した前記手振れ量に応じて前記撮像素子を駆動制御する領域を変更する領域変更処理と、を実行させる制御プログラム。
16. 撮像素子を有する撮像装置の制御方法であって、
    手振れ量を算出することと、
    前記撮像素子から読み出された画像信号のうち、算出した前記手振れ量に応じた領域の画像信号を画像処理部に出力することと、を含む撮像装置の制御方法。
17. 撮像素子を有する撮像装置の制御装置に、
    手振れ量を算出する手振れ量算出処理と、
    前記撮像素子から読み出された画像信号のうち、前記手振れ量算出処理にて算出した前記手振れ量に応じた領域の画像信号を画像処理部に出力する信号出力処理と、を実行させる制御プログラム。