JP2018019238A - 撮像素子およびその駆動方法、ならびに電子機器 - Google Patents

Abstract

【課題】撮像素子の転送速度に起因したフレームレートの低下を抑制可能な撮像素子およびその駆動方法の提供。【解決手段】撮像素子は、複数の画素と、複数の画素の周辺回路と、内部メモリと、複数の画素から読み出された画像データの転送先を切り替える転送制御回路とを有する。転送制御回路は、画像データを内部メモリに転送する転送モードと、画像データを撮像素子の外部に転送する転送モードとを有し、外部から設定された転送モードで動作する。【選択図】図２

Description

本発明は撮像素子およびその駆動方法、ならびに電子機器に関する。

近年、撮像素子が有する画素が増加しており、１０００万画素〜５０００万画素を有する撮像素子が一般的に用いられている。撮像素子から信号を読み出す画素数が増加すると、高速な信号読み出しが必要となる。
例えば、２４００万画素、各画素のデータ量が１２ｂｉｔの撮像素子を用いてフレームレート１２０ｆｐｓの撮影を実現するには、撮像素子から８ポートを用いて転送するとしても、４．３２Ｇｂｐｓ以上の転送速度が必要となる。

特開２００４−１８００４５号公報

特許文献１では、同一色成分の画素信号を同一の水平信号線に出力し、かつ、奇数画素を奇数行と偶数行とで別々の水平信号線に出力し、偶数画素を奇数行と偶数行とで奇数画素と逆の別々の水平信号線に出力することで、高速な読み出しを実現している。しかしながら、撮像素子から画像信号処理回路への転送路への転送容量は例えば出力ピン数によって制約を受けるため、今後見込まれる画素数やフレームレートの増加に伴って、必要な転送速度が得られなくなることが想定される。必要な転送速度が得られない場合、例えばフレームレートを低下させなければならない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、撮像素子の転送速度に起因したフレームレートの低下を抑制可能な撮像素子およびその駆動方法の提供を目的とする。

上述の目的は、複数の画素と、複数の画素の周辺回路と、内部メモリと、複数の画素から読み出された画像データの転送先を切り替える転送制御回路とを有する撮像素子であって、転送制御回路は、画像データを内部メモリに転送する第１の転送モードと、画像データを撮像素子の外部に転送する第２の転送モードとを有し、外部から設定された転送モードで動作する、ことを特徴とする撮像素子によって達成される。

本発明によれば、転送容量が一定の撮像素子およびその駆動方法を提供することができる。

本発明の実施形態に係るデジタルカメラの構成例を示す図 本発明の実施形態に係る撮像素子の構造例を示す図 本発明の実施形態に係る画素およびカラムＡＤＣブロックの構成例を示す図 本発明の実施形態に係る撮像素子の外観斜視図および垂直断面図 本発明の実施形態に係る撮像素子の垂直断面図 本発明の第１実施形態の動作に関するフローチャート 本発明の第１実施形態の動作に関するフローチャート 本発明の第２実施形態の動作に関するフローチャート 本発明の第２実施形態の動作に関するフローチャート

以下、本発明の例示的な実施形態について、添付図面を用いて詳細に説明する。以下の実施形態においては、本発明に係る撮像素子を適用可能な電子機器の一例としてのデジタルカメラに関して説明する。しかしながら、本発明は固体撮像素子を用いる任意の電子機器に適用可能である。このような電子機器にはデジタルカメラをはじめ、パーソナルコンピュータ、タブレットコンピュータ、携帯電話機、スマートフォン、ＰＤＡ、ゲーム機、ドライブレコーダ、ロボットなどが含まれるが、これらに限定されない。

図１は、本発明の実施形態に係る撮像素子を適用可能な電子機器の一例としてのデジタルカメラの機能構成例を示すブロック図である。
レンズ部１０１から入射する光束は絞り１０４にて適切な光量に調整され、撮像素子１０６の撮像面に被写体像を形成する。撮像面に形成された被写体像は、撮像素子１０６が有する光電変換素子によって電気信号に変換される。電気信号にはゲイン調整やＡ／Ｄ変換などが行われたのち、画素に設けられたカラーフィルタの色に応じてＲ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のデジタル画像信号として、信号処理回路１０７に送られる。信号処理回路１０７は、受信したデジタル画像信号に対し、ノイズを軽減するローパスフィルタ処理、シェーディング処理、ＷＢ処理などの各種の画像処理、さらに各種の補正処理、データの圧縮処理などを行う。

レンズ部１０１は、レンズ駆動部１０２によって変倍レンズやフォーカスレンズを駆動することにより画角やフォーカス等が調整される。メカニカルシャッタ１０３、絞り１０４はシャッタ・絞り駆動部１０５によって駆動される。制御部１０９は例えば１つ以上のプログラマブルプロセッサ（ＭＰＵ）、プログラムおよび設定値などを記憶する不揮発性メモリ（ＲＯＭ）、ＭＰＵがプログラムを実行するために用いるメモリ（ＲＡＭ）を有する。制御部１０９はＭＰＵがプログラムを実行してデジタルカメラの各部を制御することにより、デジタルカメラの機能を実現する。

第１メモリ部１０８は画像データを一時的に記憶するメモリであり、撮像素子１０６の外部メモリである。媒体インターフェース（Ｉ／Ｆ）部１１０は例えばメモリカードである記録媒体１１２へのデータ書き込みおよび記録媒体からのデータ読み出しを行う。表示部１１１はライブビュー画像、撮影画像、ＧＵＩ、デジタルカメラの各種情報などの表示に用いられる。外部Ｉ／Ｆ部１１３は外部機器（コンピュータ等）との通信インターフェースである。第２メモリ部１１４は制御部１０９が処理結果などを記憶するために用いる。操作部１１５はスイッチ、ボタン、キーなどの入力デバイスであり、ユーザがデジタルカメラに指示を入力するために用いる。制御部１０９は操作部１１５の操作を検出すると、検出した操作に応じた動作を実行する。

図２は撮像素子１０６の構成例を示すブロック図である。
撮像素子１０６は第１の集積回路としての第１の半導体チップ２０（撮像層）および第２の集積回路としての第２の半導体チップ２１（回路層）を有し、第２の半導体チップ２１上に第１の半導体チップ２０が積層された構造を有する。第１の半導体チップ２０はマトリックス状に配列された複数の画素２０１を有し、画素２０１に光が入射するように配置されている（つまり、撮像面を有している）。

画素２０１は水平方向（行方向）において転送信号線２０３、リセット信号線２０４、および行選択信号線２０５に接続され、垂直方向（列方向）において垂直出力線２０２に接続されている。なお、垂直出力線２０２の各々は読み出し行単位で接続先が異なる。

第２の半導体チップ２１は、カラムＡＤＣブロック２１１と、行走査回路２１２、列走査回路２１３、タイミング制御回路２１４等の画素駆動回路と、切り替えスイッチ２１６、転送制御回路２１７、フレームメモリ２１８、Ｐ／Ｓ変換部２１９から形成されている。

第１の半導体チップ２０に画素２０１を形成し、第２の半導体チップ２１に周辺回路を統合することで、撮像素子１０６の撮像層と回路層とで製造プロセスを異ならせることができる。そのため、例えば回路層を撮像層より細かいプロセスルールで製造することにより、配線の細線化および高密度化による、高速化、小型化、および高機能化（例えばフレームメモリ２１８の大容量化）を図ることができる。なお、周辺回路とは、画素の駆動回路、読み出し回路、内部メモリ回路、演算回路、ＡＤコンバータ、Ｓ／Ｐ変換回路などであってよいが、これらに限定されない。

切り替えスイッチ２１６は、チャンネルごとの水平信号線２１５−ａ、水平信号線２１５−ｂから出力される画像信号を転送制御回路２１７へ順次、選択的に出力するためのスイッチである。切り替えスイッチ２１６の動作はタイミング制御回路２１４もしくは制御部１０９が制御する。

転送制御回路２１７は、撮影によって得られた画像データを、制御部１０９により選択された保存先メモリに転送する。制御部１０９が撮像素子１０６の内部メモリ（フレームメモリ２１８）を転送先として選択した場合、転送制御回路２１７は画像データをフレームメモリ２１８に転送する。一方、制御部１０９が撮像素子１０６の外部メモリ（第１メモリ部１０８）を転送先として選択した場合、転送制御回路２１７は画像データをＰ／Ｓ変換部２１９に出力する。

制御部１０９は、決定した転送先に応じた転送モードを転送制御回路２１７に設定することにより、転送制御回路２１７の動作を制御する。ここでは、フレームメモリ２１８へ転送する場合を第１の転送モード、第１メモリ部１０８へ転送する場合を第２の転送モードとする。
Ｐ／Ｓ変換部２１９は画像データをシリアルデータに変換して信号処理回路１０７に出力する。

図３（ａ）は撮像素子１０６の画素２０１の構成例を示す回路図、図３（ｂ）はカラムＡＤＣブロック２１１の機能構成例を示す図である。なお、ここではＮチャネルのＭＯＳトランジスタを用いて画素２０１を構成した例を示している。

画像２０１において、フォトダイオード（ＰＤ）３０１は光電変換素子であり、受光量に応じた電荷（ここでは電子）を発生する。ＰＤ３０１のカソードは、転送トランジスタ３０２を介して増幅トランジスタ３０４のゲートに接続されている。増幅トランジスタ３０４のゲートに接続したノードは、電荷を電圧に変換するフローティングディフュージョン（ＦＤ）部３０６を構成する。

転送トランジスタ３０２は、ＰＤ３０１のカソードとＦＤ部３０６との間に接続され、ゲートに転送信号線２０３を介して転送パルスφＴＲＳが与えられることによってオンとなり、ＰＤ３０１で発生した信号電荷をＦＤ部３０６に転送する。

リセットトランジスタ３０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部３０６にそれぞれ接続され、ゲートにリセット信号線２０４を介してリセットパルスφＲＳＴが与えられることによってオンとなる。ＰＤ３０１からＦＤ部３０６への信号電荷の転送に先立ってリセットトランジスタ３０３をオンすることで、ＦＤ部３０６を電源電位Ｖｄｄでリセットする。

増幅トランジスタ３０４は、ゲートがＦＤ部３０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ３０３によってリセットした後のＦＤ部３０６の電位をリセットレベルとして出力する。また増幅トランジスタ３０４は、転送トランジスタ３０２によって信号電荷を転送した後のＦＤ部３０６の電位を信号レベルとして出力する。

選択トランジスタ３０５は、例えば、ドレインが増幅トランジスタ３０４のソースに、ソースが垂直出力線２０２にそれぞれ接続され、ゲートに行選択信号線２０５を介して選択パルスφＳＥＬが与えられることによってオンとなる。選択トランジスタ３０５はオンすると、増幅トランジスタ３０４が出力する信号（信号レベル）を垂直出力線２０２に中継する。

選択トランジスタ３０５は、画素電源Ｖｄｄと増幅トランジスタ３０４のドレインとの間に接続してもよい。また、図３（ａ）に示した構成は一例であって、例えば増幅トランジスタ３０４と選択トランジスタ３０５を１つのトランジスタが兼ねる構成など、他の構成であってもよい。

選択された画素２０１から垂直出力線２０２を介して出力される信号は、カラムＡＤＣブロック２１１に転送される。カラムＡＤＣブロック２１１は比較器３１１、アップダウンカウンタ３１２、メモリ３１３、Ｄ／Ａコンバータ（ＤＡＣ）３１４を有する。

比較器３１１は一対の入力端子の一方に垂直出力線２０２が接続され、他方にＤＡＣ３１４の出力が接続される。ＤＡＣ３１４は、タイミング制御回路２１４から入力される基準信号に基づいてレベルが線形増加もしくは減少するランプ信号を出力する。そして比較器３１１は、ＤＡＣ３１４から入力されるランプ信号のレベルと、垂直出力線２０２から入力される画像信号のレベルとを比較する。なお、タイミング制御回路２１４は制御部１０９の制御に従ってＤＡＣ３１４へ基準信号を出力する。

比較器３１１は例えば、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの信号を出力する。
アップダウンカウンタ３１２は、比較器３１１に接続され、比較を開始してから比較器３１１の出力が変化するまでの期間の長さをカウントし、そのカウント値（デジタル値）をメモリ３１３に出力する。メモリ３１３に出力されるカウント値は、垂直信号線２０２から入力される画像信号に対応するデジタル値である。

その後、メモリ３１３に記憶された画像信号（デジタル値）は、列走査回路２１３からの信号に同期して水平信号線２１５−ａまたは水平信号線２１５−ｂを通じて切り替えスイッチ２１６を介して転送制御回路２１７に転送される。

図４（ａ）は撮像素子１０６の外観を模式的に示す斜視図、図４（ｂ）は撮像素子１０６の断面図をそれぞれ示している。
撮像素子１０６を構成する第１の半導体チップ（撮像層）および第２の半導体チップ（回路層）は、それぞれのマイクロパッド４０２、４０３を電気的および機械的に接続するマイクロバンプ４０１により一体化されている。

図５は、撮像素子１０６の断面構造の詳細を模式的に示す図であり、図４と共通する構成については同じ参照数字を付している。なお、図５は図４と上下関係が逆転している転に留意されたい。

第１の半導体チップ２０は、Ｓｉ基板５０３上に配線層５０４が形成された構成を有する。
Ｓｉ基板５０３の光照射面側には、ＰＤ３０１としてのｎ型拡散領域５０７が形成されている。また、Ｓｉ基板５０３の表面部（配線層５０４との境界部）には、ＰＤ３０１のｐ＋拡散領域５０８、ＦＤ部３０６のｎ＋拡散領域５０９、トランジスタ３０２〜３０５のｎ＋拡散領域５１０が複数形成されている。

配線層５０４には、ＳｉＯ２などからなる絶縁層内に、トランジスタ３０２〜３０５のゲート配線５１１、信号伝搬用配線５１２が形成され、さらに表面部（第２の半導体チップ２１と対向する面）にはＣｕなどからなるマイクロパッド４０２が形成されている。
ｎ＋拡散領域５０９、ｎ＋拡散領域５１０、およびトランジスタのゲート配線５１１から転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５が構成される。
さらに、配線層５０４には、ｎ＋拡散領域５１０をマイクロパッド４０２と接続するためのビア５１４が形成されている。

第２の半導体チップ２１は、Ｓｉ基板５０５上に配線層５０６が形成された構成を有する。
Ｓｉ基板５０５の表面部（配線層５０６との境界部）には、トランジスタの拡散領域５１６が複数形成される。
配線層５０６には、ＳｉＯ２などからなる絶縁層内に、トランジスタのゲート配線５１７、信号伝搬用配線５１８が形成される。配線層５０６の表面部（第１の半導体チップ２０と対向する面）にはＣｕなどからなるマイクロパッド４０３が形成されている。
トランジスタ拡散領域５１６やトランジスタのゲート配線５１７、信号伝搬用配線５１８などから各種回路が構成される。また、配線層５０６には、拡散領域５１６等をマイクロパッド４０３と接続するためのビア５２０が形成されている。

マイクロパッド４０２と４０３は、マイクロバンプ４０１により電気的かつ機械的に接続されている。
なお、本実施形態では第１の半導体チップ２０および第２の半導体チップ２１の接続端子としてマイクロバンプを用いる構成例を示したが、マイクロバンプを用いずに第１の半導体チップ２０と第２の半導体チップ２１とを直接接続する構成としてもよい。

このような構成を有する撮像素子１０６の駆動方法に関して説明する。本実施形態では、転送時間に応じて画像データの転送先を変更することで、例えば動画撮影のようにデータレートが高い場合でもフレームレートを削減させないようにする。

図６は、本実施形態における動画撮影動作に関するフローチャートである。ここでは、ユーザにより、操作部１１５に含まれる電源ボタンがＯＮされると、図６の動作が実行されるものとする。

操作部１１５に含まれる電源ボタンがＯＮされると、Ｓ６０２で制御部１０９は各種初期設定を行う。
Ｓ６０３で、操作部１１５を通じて動画記録モードの選択と、動画記録の開始指示（例えば動画撮影ボタンの押下操作）が入力されたとする。なお、操作部１１５が動画撮影指示用のボタンなどを有する場合、制御部１０９はそのボタンの操作を、動画記録モードの選択指示かつ動画記録の開始指示と解釈する。そのため、動画記録モードを明示的に選択する操作は不要である。

Ｓ６０４で制御部１０９は、詳細を後述する保存先メモリ判定処理を行い、画像データを撮像素子１０６の外部の第１メモリ部１０８に転送するか、撮像素子１０６内のフレームメモリ２１８に転送するかを決定する。そして、制御部１０９は、決定した転送先に応じた転送モードを転送制御回路２１７に設定する。

Ｓ６０５で制御部１０９は、例えば撮影スタンバイ時に得られた画像に基づくＡＥ処理によって決定した露出設定（蓄積時間、絞り、感度）に応じた撮影を開始する。これにより、撮像素子１０６では、第１の半導体チップ２０が有する画素２０１のＰＤ３０１による電荷蓄積を開始する。なお、撮影時における上述した画素２０１、カラムＡＤＣブロック部２１１など、撮像素子１０６内の動作は、タイミング制御回路２１４の出力する制御パルスによって制御される。

電荷蓄積期間が終了するとＳ６０６で制御部１０９は、Ｓ６０５で第１の半導体チップ２０に蓄積された全画素の信号の読み出しを開始する。なお、全画素から信号を読み出し、チャネルごとにＡ／Ｄ変換して転送制御回路２１７に順次転送する動作は、タイミング制御回路２１４の出力する制御パルスによって制御される。

Ｓ６０７で転送制御回路２１７は、Ｓ６０４の保存先メモリ判定処理によって設定された転送モードが第１の転送モードが設定されているか否か（保存先が第１メモリ部１０８か否か）を判定する。第１の転送モードが設定されていると判定されればＳ６０８へ、判定されなければＳ６１２へ処理を進める。

Ｓ６１２で転送制御回路２１７は、Ｓ６０６で得られた画像データをフレームメモリ２１８に一時保存し、処理をＳ６１３に進める。

Ｓ６０８で転送制御回路２１７は、Ｓ６０６で読み出しを開始した画像データをＰ／Ｓ変換部２１９に出力する。なお、Ｐ／Ｓ変換部２１９が用いるポート数や転送速度については、転送制御回路２１７もしくは制御部１０９が設定することができる。Ｐ／Ｓ変換部２１９は画像データをシリアルデータに変換して信号処理回路１０７へ転送する。

Ｓ６０９で信号処理回路１０７は、画像データを第１メモリ部１０８に保存する。
Ｓ６１０で信号処理回路１０７は、第１メモリ部１０８に保存した画像データに対し、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ホワイトバランス調整処理、色補間処理など、補正処理や現像処理を適用する。

Ｓ６１１で信号処理回路１０７は、Ｓ６１０で処理した画像データを動画データの形式で媒体Ｉ／Ｆ部１１０を通じて記録媒体１１２へ記録したり、表示部１１１にライブビュー表示したりする。なお、信号処理回路１０７は、記録時に画像データに符号化処理を行ったり、表示時に表示部１１１の解像度に合わせて画像データをスケーリングしたりする。

Ｓ６１３で制御部１０９は、撮影を終了するか否か判定し、終了すると判定した場合には転送制御回路２１７に撮影の終了を通知してＳ６１４に処理を進め、終了すると判定されない場合にはＳ６０５に処理を戻して次のフレームの撮影を開始する。制御部１０９は、例えば操作部１１５から記録終了指示が入力された場合に撮影を終了すると判定する。

Ｓ６１４で転送制御回路２１７は、フレームメモリ２１８に画像データが保存されているか否かを判定し、保存されていると判定されればＳ６１５へ処理を進め、判定されなければ図６の処理を終了する。

Ｓ６１５で転送制御回路２１７は、フレームメモリ２１８に一時保存された画像データを読み出してＰ／Ｓ変換部２１９に転送する。Ｐ／Ｓ変換部２１９は画像データを信号処理回路１０７に転送する。

Ｓ６１６ではＳ６０９と同様の処理を実行し、Ｓ６１７で転送制御回路２１７はフレームメモリの内容を消去する。以後、Ｓ６１８〜Ｓ６１９ではＳ６１０〜Ｓ６１１と同様の処理を実行し、図６の処理を終了する。

Ｓ６０４における保存先メモリ判定処理について、図７のフローチャートを用いて詳細に説明する。
Ｓ７０１で制御部１０９は、撮影する動画のフレームレートが予め定められた閾値を超えるか否かを判定し、超えると判定されればＳ７０３へ、超えると判定されなければＳ７０２へ処理を進める。
閾値は例えば撮像素子１０６のＰ／Ｓ変換部を通じて信号処理回路への転送速度（ｆｐｓ）であってよい。なお、動画の１フレームあたりの解像度が選択可能な場合には、閾値を解像度ごとに用意しておくことができる。

Ｓ７０２で制御部１０９は、保存先を第１メモリ部１０８に決定し、転送制御回路２１７に第２の転送モードを設定して処理を終了する。
Ｓ７０３で制御部１０９は、保存先をフレームメモリ２１８に決定し、転送制御回路２１７に第１の転送モードを設定して処理を終了する。

Ｐ／Ｓ変換部２１９がＰ／Ｓ変換を行って信号処理回路１０７へ画像データを転送するには一定の時間を有する。従って、撮像素子１０６から外部の第１メモリ部１０８に転送するよりも、内部のフレームメモリ２１８に転送する方が高速である。そのため、制御部１０９は、Ｐ／Ｓ変換部２１９から信号処理回路１０７への転送速度（ｆｐｓ）よりも動画記録のフレームレートが高い場合、転送先をフレームメモリ２１８に決定する。このように、撮影で得られる画像データの単位時間あたりのデータ量が撮像素子と外部回路との転送速度を超える場合、画像データを外部回路に転送する代わりにフレームメモリに保存するようにする。

なお、ここでは撮影で得られる画像データの単位時間あたりのデータ量が撮像素子と外部回路との転送速度を超える場合として、動画撮影時のフレームレートが閾値を超える場合について説明したが、静止画連写時においても同様である。一般に、動画よりも静止画連写時の方がフレームレートは低いが、１フレームあたりの解像度が高いため、単位時間あたりに発生するデータ量は動画と同様に大きくなる。そのため、例えば図７のＳ７０１において、静止画の連写速度が閾値を超えるか否かを判定し、超えると判定される場合にはＳ７０３に、判定されない場合にはＳ７０２へ処理を進める。

静止画撮影の場合、Ｓ６０５における撮影動作をメカニカルシャッタ１０３を用いて行うこと、Ｓ６１１やＳ６１９における記録時に、画像データの記録形式の違いによる符号化方法の違いが主な相違点であるが、それ以外は基本的に動画撮影時と同様である。

以上説明したように本実施形態によれば、撮像素子を、画素を配列した画素層と、画素から信号を読み出すための回路を設ける回路層とを積層した構造にした上で、回路層にフレームメモリを含ませる。そして、撮影で得られる画像データの単位時間あたりのデータ量が撮像素子と外部回路との転送速度を超える場合、画像データを外部回路に転送する代わりにフレームメモリに保存するようにした。そのため、撮像素子と外部回路との転送速度に起因したフレームレートの低下を抑制し、かつ対応可能なデータレートの上限を引き上げることができる。

●（第２実施形態）
第１の実施形態では、撮影を開始する前に保存先メモリを決定し、撮影が終了するまでは保存先メモリを変更することが無かった。フレームメモリ２１８に画像データが保存された場合、撮影終了後にフレームメモリ２１８から第１メモリ部１０８への転送処理が実行される。そのため、フレームメモリ２１８に保存されている画像データが多いほど撮影終了から画像データの記録が完了するまでに時間を要する。

本実施形態では、静止画連写モードが設定されている場合、連写中、１枚の撮影が終了するごとに画像データの保存先を決定することにより、連写スピードの低下を抑制する。
図８は、本実施形態における静止画連写撮影動作に関するフローチャートである。ここでは、ユーザにより、操作部１１５に含まれる電源ボタンがＯＮされると、図８の動作が実行されるものとする。図８において、第１実施形態と同様の処理に関しては図６と同じ参照数字を付し、説明を省略する。

Ｓ９０１で、操作部１１５を通じて静止画連写モードの選択と、静止画撮影の開始指示（例えばレリーズボタンの全押し操作）とが入力されたとする。

Ｓ９０２で制御部１０９は、例えば撮影スタンバイ時に得られた画像に基づくＡＥ処理によって決定した露出設定（蓄積時間、絞り、感度）に応じた撮影を開始する。これにより、メカニカルシャッタ１０３や絞り１０４が駆動され、また、第１の半導体チップ２０が有する画素２０１のＰＤ３０１による電荷蓄積が開始される。なお、撮影時における上述した画素２０１、カラムＡＤＣブロック部２１１など、撮像素子１０６内の動作は、タイミング制御回路２１４の出力する制御パルスによって制御される。

露光期間が終了すると、メカニカルシャッタ１０３が閉じられ、Ｓ６０６で制御部１０９は、Ｓ６０５で第１の半導体チップ２０に蓄積された全画素の信号の読み出しを開始する。

Ｓ９０３で制御部１０９は、詳細を後述する保存先メモリ判定処理を行い、画像データを撮像素子１０６の外部の第１メモリ部１０８に転送するか、撮像素子１０６内のフレームメモリ２１８に転送するかを決定する。なお、Ｓ９０３は画素の読み出し動作が完了してから実行してもよいし、画素の読み出し動作と並行して実行してもよい。

以降は、Ｓ９０４およびＳ９０５において、動画像フレームに対する処理の代わりに静止画に対する処理が信号処理回路１０７で実行されることを除き、第１実施形態と同様に処理を実行する。静止画に対する処理は、例えば符号化方式が動画像フレームに対する処理と異なる。なお、Ｓ６１３で制御部１０９が検出する連写撮影の終了指示は、例えばレリーズボタンの全押し解除であってよい。

なお、本実施形態では、連写撮影の終了時、撮影に関する複数枚分の画像データがフレームメモリ２１８と第１メモリ部１０８とに分散していることが起こりうる。そのため、連写撮影された画像データについては、何枚目の画像データであるかを示す情報を例えば付属情報として付加する。また、Ｓ６１６においてフレームメモリ２１８から第１メモリ部１０８に画像データを転送する際には、新しい画像データを最初に転送するようにしてもよい。これにより、例えば連写撮影の途中から画像データがフレームメモリ２１８に転送されている場合、途中の撮影に係る画像データの転送終了を待たずに最後の撮影に係る画像データを信号処理回路１０７に転送できる。そのため、最後の撮影に係る画像データからクイックビュー用の画像を生成し、表示するまでの時間を短縮できる。あるいは、フレームメモリ２１８に転送されている画像データを間引いて信号処理回路１０７に転送してから、残りの画像データを転送するようにしてもよい。

本実施形態における保存先メモリ判定処理について、図９のフローチャートを用いて詳細に説明する。
ここでは、１枚の画像の露光が終わった際の処理状況に応じて画像データの保存先を変更する際の動作に関しての詳細を説明する。

図９（ａ）は、撮像素子１０６から外部メモリ（ここでは第１メモリ部１０８）への画像データの転送状況に応じて保存先メモリを判定する場合のフローチャートである。
Ｓ１００１において、制御部１０９は、撮像素子１０６から第１メモリ部１０８への経路のどこかで画像データを転送中か否かを判定し、転送中と判定されればＳ１００３に、判定されなければＳ１００２に処理を進める。

ここでは、撮像素子１０６から信号処理回路１０７へ画像データを転送中であると判定される場合と、信号処理回路１０７から第１メモリ部１０８へ画像データを転送中であると判定される場合に、制御部１０９は処理をＳ１００３に進める。

Ｓ１００２で制御部１０９は保存先メモリを第１メモリ部１０８と決定し、転送制御回路２１７に第２の転送モードを設定して処理を終了する。
Ｓ１００３で制御部１０９は保存先メモリをフレームメモリ２１８と決定し、転送制御回路２１７に第１の転送モードを設定して処理を終了する。

図９（ｂ）は、信号処理回路１０７が第１メモリ部１０８に記憶された画像データに処理を実行中か否かに応じて保存先メモリを判定する場合のフローチャートである。
Ｓ１００５において、制御部１０９は、信号処理回路１０７が、第１メモリ部１０８に記憶された画像データの処理を実行中か否かを判定し、実行中と判定されればＳ１００７に、判定されなければＳ１００６に処理を進める。

ここでは例えば、信号処理回路１０７が、第１メモリ部１０８に記憶された画像データに対して現像処理や符号化処理などを適用中と判定される場合に、制御部１０９は処理をＳ１００７に進める。なお、信号処理回路１０７が撮像素子１０６から受信した画像データを第１メモリ部１０８へ転送している場合も、処理を実行中と判定するようにしてもよい。

Ｓ１００６で制御部１０９は保存先メモリを第１メモリ部１０８と決定し、転送制御回路２１７に第２の転送モードを設定して処理を終了する。
Ｓ１００７で制御部１０９は保存先メモリをフレームメモリ２１８と決定し、転送制御回路２１７に第１の転送モードを設定して処理を終了する。

なお、図９（ａ）と図９（ｂ）の判定は、一方だけを行ってもよいし、両方を組み合わせて行ってもよい。この場合、撮像素子１０６から外部メモリ（第１メモリ部１０８）までの経路で画像データが転送中、または信号処理回路１０７が第１メモリ部１０８に記憶された画像データの処理を実行中と判定されれば、保存先メモリをフレームメモリ２１８に決定する。

さらに、図９（ａ）と図９（ｂ）の判定の少なくとも一方に加え、第１実施形態と同様に、連写速度（ｆｐｓ）が閾値を超える場合には転送先を内部メモリ（フレームメモリ２１８）と決定するようにしてもよい。この場合、連写速度が閾値以下である場合に、図９（ａ）と図９（ｂ）の判定の少なくとも一方を実行するようにすればよい。また、Ｓ９０１の後で連写速度に基づく転送先の判定を実行し、連写速度が閾値を超える場合にはＳ９０３の判定処理をスキップし、連写に係る全ての画像データをフレームメモリ２１８に転送するようにしてもよい。

このように、本実施形態では、静止画の連写中、撮影ごとに画像データの転送先を撮像素子の内部メモリとするか外部メモリとするかを判定するようにした。そのため、例えば外部メモリへの画像データ転送が終わっていない場合に連写が行えなくなったり、連写速度が低下したりすることを抑制できる。また、外部メモリを利用可能な場合には外部メモリへ画像データを転送することにより、内部メモリだけを利用する場合に対し、撮影終了後に内部メモリから外部メモリへの転送に要する時間を短縮できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…レンズ、１０２…レンズ駆動部、１０６…撮像素子、１０７…信号処理回路、１０８…第１メモリ部、１０９…制御部、１１１…表示部、２１７…転送制御回路、２１８…フレームメモリ

Claims (14)

1. 複数の画素と、
   前記複数の画素の周辺回路と、
   内部メモリと、
   前記複数の画素から読み出された画像データの転送先を切り替える転送制御回路とを有する撮像素子であって、
   前記転送制御回路は、前記画像データを前記内部メモリに転送する第１の転送モードと、前記画像データを前記撮像素子の外部に転送する第２の転送モードとを有し、外部から設定された転送モードで動作する、
   ことを特徴とする撮像素子。
2. 前記複数の画素が形成された第１の集積回路と、
   前記周辺回路と、前記内部メモリと、前記転送制御回路とが統合された第２の集積回路とが積層された構造を有することを特徴とする請求項１に記載の撮像素子。
3. 前記第２の集積回路は、前記第１の集積回路より小さいプロセスルールで製造されていることを特徴とする請求項２に記載の撮像素子。
4. 前記転送制御回路は、撮影の終了の通知に応じて、前記内部メモリに転送した前記画像データを前記撮像素子の外部に転送することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像素子。
5. 前記転送制御回路は、前記内部メモリから前記画像データを前記撮像素子の外部に転送する場合、最後の撮影に係る画像データを最初に転送することを特徴とする請求項４に記載の撮像素子。
6. 前記転送制御回路は、前記内部メモリから前記画像データを前記撮像素子の外部に転送する場合、画像データを間引いて転送してから、残りの画像データを転送することを特徴とする請求項４に記載の撮像素子。
7. 請求項１から請求項６のいずれか１項に記載の撮像素子と、
   メモリと、
   前記転送制御回路の転送モードを前記転送制御回路に設定する設定手段と、
   を有することを特徴とする電子機器。
8. 前記設定手段は、前記撮像素子で撮影する動画像のフレームレートが閾値を超えると判定される場合に前記第１の転送モードを、前記フレームレートが前記閾値を超えると判定されない場合に前記第２の転送モードを、前記転送制御回路に設定することを特徴とする請求項７に記載の電子機器。
9. 前記設定手段は、前記撮像素子で撮影する静止画の連写速度が閾値を超えると判定される場合に前記第１の転送モードを、前記フレームレートが前記閾値を超えると判定されない場合に前記第２の転送モードを、前記転送制御回路に設定することを特徴とする請求項８に記載の電子機器。
10. 前記設定手段は、前記撮像素子から画像データが前記メモリに転送されていると判定される場合に前記第１の転送モードを、転送されていないと判定される場合に前記第２の転送モードを、前記転送制御回路に設定することを特徴とする請求項７から請求項９のいずれか１項に記載の電子機器。
11. 前記設定手段は、前記撮像素子による静止画の連写中、１枚の撮影ごとに、前記撮像素子から画像データが前記メモリに転送されているか否かを判定することを特徴とする請求項１０に記載の電子機器。
12. さらに、前記メモリに転送された前記画像データに対して予め定められた処理を実行する信号処理手段を有し、
    前記設定手段は、前記信号処理手段が前記予め定められた処理を実行中と判定される場合に前記第１の転送モードを、前記信号処理手段が前記予め定められた処理を実行中と判定されない場合に前記第２の転送モードを、前記転送制御回路に設定することを特徴とする請求項７から請求項１０のいずれか１項に記載の電子機器。
13. 前記設定手段は、前記撮像素子による静止画の連写中、１枚の撮影ごとに、前記信号処理手段が前記予め定められた処理を実行中か否かを判定することを特徴とする請求項１２に記載の電子機器。
14. 複数の画素と、
    前記複数の画素の周辺回路と、
    内部メモリと、
    前記複数の画素から読み出された画像データの転送先を切り替える転送制御回路とを有する撮像素子の駆動方法であって、
    前記画像データの転送先を、前記内部メモリとするか、前記撮像素子の外部メモリとするかを決定する工程と、
    前記決定した転送先へ前記画像データを転送するように前記転送制御回路に設定する工程と、を有することを特徴とする撮像素子の駆動方法。

Images