JP2020120247A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】撮像素子から複数の画像信号を同時に読み出すことができる撮像装置において、画像信号の適切な読み出し及び消費電力の低減を可能にする。【解決手段】複数の画素を有し、第１の画素群による第１の画像信号及び第２の画素群による第２の画像信号を同時に読み出し可能な撮像素子に係る低消費電力制御を行う場合、撮像素子から第１の画像信号及び第２の画像信号を同時に読み出すときにはフレームレートが速い画像信号の読み出し周期に同期させるよう垂直同期信号を制御し、撮像素子から第１の画像信号のみを読み出すときには撮像素子が低消費電力状態となる期間を増大させるよう垂直同期信号を制御する。【選択図】図１

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

近年の撮像装置においては、撮像素子から複数の画像信号を異なる信号チャンネルで同時に読み出す技術を採用することにより、高解像度の映像撮影とともに撮影機能の付加価値を高めることが可能となっている。例えば、特許文献１には、次のような技術が提案されている。撮像素子を構成する画素のうちの第１の画素群によって第１の画像信号を取得し、第１の画像信号よりも速いフレームレートで第２の画素群によって第２の画像信号を取得する。そして、それぞれ取得した第１の画像信号を映像表示のために使い、第２の画像信号をオートフォーカス制御のために使い、さらに第１の画像信号と第２の画像信号とを合成して合焦時の映像表示に使うことで合焦確認を円滑かつ正確に行う技術が提案されている。

特開２０１７−３４３４４号公報

また、回路を動作させないときには、その回路への電力供給を遮断することにより消費電力を低減する省電力制御を行う装置がある。そこで、本発明は、撮像素子から複数の画像信号を同時に読み出すことができる撮像装置において、画像信号の適切な読み出し及び消費電力の低減を可能にすることを目的とする。

本発明に係る撮像装置は、複数の画素を有し、前記複数の画素のうちの第１の画素群による第１の画像信号、及び前記複数の画素のうちの第２の画素群による第２の画像信号を同時に読み出し可能な撮像素子と、前記撮像素子に係る低消費電力制御を行う場合、前記撮像素子から前記第１の画像信号及び前記第２の画像信号を同時に読み出すときにはフレームレートが速い画像信号の読み出し周期に同期させるよう垂直同期信号を制御し、前記撮像素子から前記第１の画像信号のみを読み出すときには前記撮像素子が低消費電力状態となる期間を増大させるよう垂直同期信号を制御する制御手段とを有することを特徴とする。

本発明によれば、撮像素子から複数の画像信号を同時に読み出すことができる撮像装置において、画像信号の適切な読み出し及び消費電力の低減が可能となる。

本実施形態における撮像素子の構成例を示す図である。 本実施形態における撮像素子の外形構成の例を示す図である。 本実施形態における画素部及びカラムＡＤＣ部の構成例を示す図である。 本実施形態における撮像素子の構成例を示す断面図である。 本実施形態における撮像装置の構成例を示す図である。 本実施形態における撮像装置の動作例を示すタイミングチャートである。 本実施形態における複数の画像信号を出力しない場合の動作例を説明する図である。 本実施形態における複数の画像信号を出力する場合の動作例を説明する図である。 本実施形態における撮像装置の動作例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態における撮像素子１０の概略構成例を示すブロック図である。撮像素子１０は、全体制御演算部３０により制御され、撮像して得られる画像信号を撮像信号処理回路２０に出力する。撮像素子１０は、画素部１０１、垂直出力線１０２、転送信号線１０３、リセット信号線１０４、行選択信号線１０５、カラムアナログ・デジタル変換部（カラムＡＤＣ部）１１１、行走査回路１１２、及び列走査回路１１３を有する。また、撮像素子１０は、タイミング制御回路１１４、水平信号線１１５−ａ、１１５−ｂ、切り替えスイッチ１１６、フレームメモリ１１７、リサイズ変換部１１８、素子内演算部１１９、及びパラレル・シリアル変換部（Ｐ／Ｓ変換部）１２０を有する。

撮像素子１０は、例えば図２に一例を示すように第１のチップ１００と第２のチップ１１０とにより構成され、第２のチップ１１０上に第１のチップ１００が積層されている。図２（ａ）は撮像素子１０を光の入射する側の斜め上から見た図であり、図２（ｂ）は撮像素子１０の断面図である。例えば、複数の画素部１０１がマトリクス状（２次元状）に配列されて、光入射側に配置される（つまり、光学像の受光側に位置する）第１のチップ（撮像層）１００に形成される。また、例えば、カラムＡＤＣ１１１、行走査回路１１２、列走査回路１１３、及びタイミング制御回路１１４等の画素駆動回路が第２のチップ（回路層）１１０に形成される。また、例えば、フレームメモリ１１７、リサイズ変換部１１８、素子内演算部１１９、及びＰ／Ｓ変換部１２０が第２のチップ（回路層）１１０に形成される。第１のチップ１００と第２のチップ１１０とは、マイクロバンプ２０１及び各チップのマイクロパッド２０２により電気的に接続される。このように、第１のチップ１００に画素部１０１を形成し、第２のチップ１１０に画素駆動回路やメモリ回路や演算回路等を形成することで、撮像素子１０の撮像層と回路層とで製造プロセスを分けることが可能となる。その結果、回路層における配線の細線化、高密度化による撮像素子１０の高速化、小型化、及び高機能化を図ることができる。

画素部１０１は、マトリックス状に配列されており、入射光を電気信号に光電変換して出力する。画素部１０１は、水平方向（行方向）において、転送信号線１０３、リセット信号線１０４、及び行選択信号線１０５に接続され、垂直方向（列方向）において、垂直出力線１０２に接続される。なお、垂直出力線１０２の各々は、読み出し行単位に応じて接続先が異なっている。

カラムＡＤＣ部１１１は、垂直出力線２０２に接続され、垂直出力線２０２を介して入力されるアナログ電圧信号をデジタル信号に変換する。行走査回路１１２は各行の走査を行い、列走査回路１１３は各列の走査を行う。タイミング制御回路１１４は、全体制御演算部３０の制御下で、行走査回路１１２、列走査回路１１３、及びカラムＡＤＣ部１１１の動作タイミングを制御する。水平信号線１１５−ａ、１１５−ｂは、列走査回路１１３によってそれぞれ制御されるタイミングに応じて、カラムＡＤＣ部１１１から出力される出力信号（画像信号）を切り替えスイッチ１１６に出力する。

切り替えスイッチ１１６は、チャンネル毎の水平信号線１１５−ａ、１１５−ｂから出力される画像信号を順次フレームメモリ１１７へ選択的に出力するためのスイッチである。フレームメモリ１１７は、切り替えスイッチ１１６より出力された画像信号を画像データとして一時的に記憶する。素子内演算部１１９は、駆動モードに応じてリサイズや圧縮の演算を行う。リサイズ変換部１１８は、素子内演算部１１９にて算出された結果を基にフレームメモリ１１７に保存された画像データを必要な画角にリサイズする。

リサイズ変換部１１８においてリサイズされた画像データは、Ｐ／Ｓ変換部１２０にてパラレル・シリアル変換されて、撮像素子１０外の撮像信号処理回路２０へと送られる。撮像素子１０と撮像信号処理回路２０とは、複数のレーンで接続されている。本実施形態では、駆動モードに応じて、異なる画素の信号や同一の画素の信号が、第１のレーン１２１及び第２のレーン１２２に振り分けて、或いは第１のレーン１２１のみを用いて、撮像素子１０から撮像信号処理回路２０へ転送される。なお、リサイズや圧縮の処理が不要である場合には、切り替えスイッチ１１６から直接Ｐ／Ｓ変換部１２０への画像信号の転送が行われる。

図３は、本実施形態における撮像素子１０の画素部１０１及びカラムＡＤＣ部１１１の構成例を示す図である。図３に示すように、画素部１０１は、フォトダイオード３０１、転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５、及びフローティングディフュージョン（ＦＤ部）２０６を有する。また、カラムＡＤＣ部１１１は、比較器３１１、アップダウンカウンタ３１２、メモリ３１３、及びデジタル・アナログ変換器（ＤＡＣ）３１４を有する。図３に示す例では、トランジスタ３０２〜３０５として、例えばＮチャネル型のＭＯＳトランジスタを用いているが、これに限定されるものではない。

フォトダイオード３０１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。フォトダイオード３０１のアノードは、接地されている。フォトダイオード３０１のカソードは、転送トランジスタ３０２を介して増幅トランジスタ３０４のゲートと電気的に接続されている。この増幅トランジスタ３０４のゲートと電気的に繋がったノードはＦＤ部３０６を構成する。

転送トランジスタ３０２は、フォトダイオード３０１のカソードとＦＤ部３０６との間に接続される。転送トランジスタ３０２は、ゲートに図示しない転送信号線１０３を介して転送パルスＴＲＳが与えられることによってオン状態となり、フォトダイオード３０１で光電変換された光電荷をＦＤ部３０６に転送する。

リセットトランジスタ３０３は、ドレインが画素電源Ｖｄｄに接続され、ソースがＦＤ部３０６に接続される。リセットトランジスタ３０３は、ゲートに図示しないリセット信号線１０４を介してリセットパルスＲＳＴが与えられることによってオン状態となる。これにより、フォトダイオード３０１からＦＤ部３０６への信号電荷の転送に先立って、ＦＤ部３０６の電荷を画素電源Ｖｄｄに捨てることによってＦＤ部３０６の電位が画素電源Ｖｄｄにリセットされる。

増幅トランジスタ３０４は、ゲートがＦＤ部３０６に接続され、ドレインが画素電源Ｖｄｄに接続される。増幅トランジスタ３０４は、ＦＤ部３０６に蓄積された電荷を電圧信号に変換する。増幅トランジスタ３０４は、リセットトランジスタ３０３によってリセットした後のＦＤ部３０６の電位をリセットレベルとして出力する。また、増幅トランジスタ３０４は、転送トランジスタ３０２によって信号電荷を転送した後のＦＤ部３０６の電位を信号レベルとして出力する。

選択トランジスタ３０５は、例えば、ドレインが増幅トランジスタ３０４のソースに接続され、ソースが垂直出力線１０２に接続される。選択トランジスタ３０５は、ゲートに図示しない行選択信号線１０５を介して選択パルスＳＥＬが与えられることによってオン状態となる。これにより、画素１０１を選択状態として、増幅トランジスタ３０４から出力される信号が垂直出力線１０２に出力される。画素部１０１から垂直出力線１０２を介して出力される画像信号は、カラムＡＤＣ部１１１に伝送される。

なお、選択トランジスタ３０５は、画素電源Ｖｄｄと増幅トランジスタ３０４のドレインとの間に接続するようにしても良い。また、画素部１０１としては、図３に示した４トランジスタ構成のものに限られるものではなく、増幅トランジスタ３０４と選択トランジスタ３０５を兼用した３トランジスタ構成のもの等であっても良い。

比較器３１１は、一対の入力端子の一方に垂直出力線１０２が接続され、他方にＤＡＣ３１４が接続される。ＤＡＣ３１４は、タイミング制御回路１１４から入力される基準信号に基づいてレベルがランプ的に変化するランプ信号を出力する。すなわち、ランプ信号は、出力が開始されてから時間の経過とともに信号のレベルが一方向に（増加又は減少の一方で）変化する信号である。タイミング制御回路１１４は、全体制御演算部３０からの指令に基づきＤＡＣ３１４へ基準信号を出力する。

そして比較器３１１は、ＤＡＣ３１４から入力されるランプ信号のレベルと、垂直出力線１０２から入力される画像信号のレベルとを比較する。例えば、比較器３１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。

アップダウンカウンタ３１２は、比較器３１１に接続される。アップダウンカウンタ３１２は、例えば比較信号がハイレベルとなる期間、又はローレベルとなる期間をカウントする。このカウント処理により、各画素部１０１の出力信号（アナログ画像信号）がデジタル値に変換される。なお、比較器３１１とアップダウンカウンタ３１２との間にアンド回路を設けてアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ３１２によりカウントするようにしてもよい。

メモリ３１３は、アップダウンカウンタ３１２と接続され、アップダウンカウンタ３１２によりカウントされたカウント値を記憶する。なお、カラムＡＤＣ部１１１は、画素部１０１のリセット時の画像信号に基づきリセットレベルに対応したカウント値をカウントし、また、所定の撮像時間後の画像信号に基づくカウント値をカウントして、これらの差分値をメモリ３１３に記憶させてもよい。その後、メモリ３１３に記憶された画像信号は、列走査回路１１３からの信号に同期して、水平信号線１１５−ａ、１１５−ｂに伝送される。

図４は、図１〜図３に示した本実施形態における撮像素子１０の断面構造の例を示す図である。図４において、４０１は撮像層、４０２は回路層であり、撮像層４０１が第１のチップ１００に該当し、回路層４０２が第２のチップ１１０に該当する。また、図４において、４０３、４０５はＳｉ基板、４０４、４０６は配線層、４０７、４０９、４１０はｎ型拡散領域、４０８はｐ＋拡散領域、４１１、４１７はトランジスタのゲート配線である。また、図４において、４１２、４１８は信号伝搬用配線、４１３、４１９はマイクロパッド、４１４、４２０はビア（ＶＩＡ）、４１５はマイクロバンプ、４１６はトランジスタの拡散領域である。

撮像層４０１は、Ｓｉ基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、フォトダイオード３０１としてのｎ型拡散領域４０７が形成され、フォトダイオード３０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。Ｓｉ基板４０３には、その表面部にＦＤ部のｎ＋拡散領域４０９及びスイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。

配線層４０４には、ＳｉＯ₂等の絶縁層内に、各トランジスタのゲート配線４１１や信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等により形成されるマイクロパッド４１３が形成されている。ｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１から転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド４１３と接続するためのビア４１４が形成されている。

回路層４０２は、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタの拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ₂等の絶縁層内に、各トランジスタのゲート配線４１７や信号伝搬用配線４１８が形成され、さらにその表面部にはＣｕ等により形成されるマイクロパッド４１９が形成されている。トランジスタ拡散領域４１６やトランジスタのゲート配線４１７や信号伝搬用配線４１８等から各種回路が構成される。回路断面の詳細は本発明の本質ではないため、ここでは説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド４１９と接続するためのビア４２０が形成されている。

なお、図４には、撮像層４０１及び回路層４０２を積層接続端子としてマイクロバンプを用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。

図５は、図１〜４で説明した撮像素子１０を用いた撮像装置の構成例を示すブロック図である。本実施形態における撮像装置は、レンズ５０１、レンズ駆動部５０２、メカニカルシャッタ５０３、絞り５０４、シャッタ・絞り駆動部５０５、撮像素子１０、撮像信号処理回路５０７、第１のメモリ部５０８、及び全体制御演算部３０を有する。本実施形態における撮像装置は、記録媒体制御インターフェイス部（記録媒体制御Ｉ／Ｆ部）５１０、表示部５１１、記録媒体５１２、外部インターフェイス部（外部Ｉ／Ｆ部）５１３、第２のメモリ部５１４、操作部５１５を有する。

本実施形態における撮像装置において、レンズ部５０１を通った被写体像は絞り５０４にて適切な光量に調整され、撮像素子１０上の撮像面に結像される。撮像素子１０上の撮像面に結合した被写体像は、画素部１０１のフォトダイオード３０１にて光電変換され、さらにゲイン調整やアナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われ、Ｒ、Ｇｒ、Ｇｂ、Ｂの画像信号として取り込まれる。そして、このＲ、Ｇｒ、Ｇｂ、Ｂの画像信号が撮像信号処理回路２０に送られる。撮像信号処理回路２０では、画像信号に対してノイズを軽減するローパスフィルタ処理やシェーディング処理、ホワイトバランス処理等の各種の画像信号処理、さらに各種の補正、画像データの圧縮等が行われる。

レンズ部５０１は、レンズ駆動部５０２によってズーム、フォーカス等が駆動制御される。メカニカルシャッタ５０３及び絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。全体制御演算部３０は、撮像装置全体の制御と各種演算を行う。第１のメモリ部５０８は、画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ部５１０は、記録媒体５１２に対する画像データの記録又は読み出しの制御を行う。表示部５１１は、画像データの表示等を行う。記録媒体５１２は、半導体メモリ等の着脱可能な記録媒体であり、画像データの記録又は読み出しを行う。外部Ｉ／Ｆ部５１３は、外部コンピュータ等と通信を行うためのインターフェイスである。第２のメモリ部５１４は、全体制御演算部３０での演算結果等を記憶する。操作部５１５にてユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部３０に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。

図６は、本実施形態における撮像装置の動作例を示すタイミングチャートである。以下では、撮像素子１０と撮像信号処理回路２０とは８本の線（Ｌａｎｅ０−７）で結線されているものとする。そして、ストリームＡの画像信号が伝送される第１のレーン１２１がＬａｎｅ０−１の２本であり、ストリームＢの画像信号が伝送される第２のレーン１２２がＬａｎｅ２−３の２本であるとする。また、ストリームＡの画像信号はライブビュー表示用の画像信号であり、ストリームＢの画像信号はオートフォーカス（ＡＦ）制御に係るＡＦ評価値の算出用の画像信号であるとする。

ライブビュー表示状態でオートフォーカス非動作であるときには、第１のレーン１２１のＬａｎｅ０、Ｌａｎｅ１の２本のみが動作しており、２本のレーンからストリームＡの１つの画像信号（フレームデータ）６０１が出力される（状態Ａ）。ここで出力されるデータは、ライブビュー画像用に加算間引きした画像信号が出力される。

ユーザーによりレリーズボタンが半押しされてオートフォーカス動作の指示があると、撮像素子１０のストリームＡについては動作したままで、ストリームＢについても同時に動作する（状態Ｂ）。したがって、第１のレーン１２１からはストリームＡの画像信号６０１が出力され、第２のレーン１２２からはストリームＢの画像信号６０２が出力される。ここで、ストリームＢの画像信号としては、ＡＦ評価値の算出用に加算間引きした画像信号が出力される。また、ストリームＢについては高速フレームレートでの読み出しが可能であり、図６ではストリームＢのフレームレートがストリームＡのフレームレートの８倍である場合を一例として示している。

その後、レンズ駆動部５０２を介してレンズ５０１をフォーカス駆動させてＡＦ評価値が合焦状態を示すようになると合焦状態であることをユーザーに通知して、ストリームＢについての動作を停止し、ストリームＡだけの状態に戻る（状態Ｃ）。したがって、第２のレーン１２２からストリームＢの画像信号は出力されず、第１のレーン１２１からストリームＡの画像信号６０１が出力されるだけとなる。

図７は、低消費電力制御が行われている状態で、ストリームＢについて動作せず、ストリームＡの画像信号のみを読み出すときの撮像素子１０の動作を示している。

撮像素子１０では、画像信号を出力する画素群に関して、リセット区間７０１で画素群のリセット動作が行われる。そして、蓄積時間後の画像信号の読み出し区間７０２において、各行順に画素群から信号が読み出されて画素信号として出力される。ここで、本実施形態では、例えば低輝度環境下で画像を適正露出にするために長時間蓄積を行うとき１フレーム期間が延長される。そして、１フレーム期間が延長されて画像信号の読み出し時間（ｔｒ）より１フレーム時間（ＴＦ）が長くなる場合、本実施形態における撮像装置は、撮像素子１０に係る低消費電力制御を行う。撮像素子１０に係る低消費電力制御では、
撮像素子１０を最小限の回路にだけ電力供給するスタンバイ状態にして消費電力を低減させる。

撮像素子１０の駆動タイミングは、全体制御演算部２０から入力される垂直同期信号により規定される。ここでは、ストリームＡにおける１フレーム期間（ＴＦ）に、８回の垂直同期信号が発生されるものとする。すなわち、ストリームＡの画像信号は、垂直同期信号が８回入力される毎に撮像素子１０から読み出されるものとする。なお、この例に限らず、ストリームＡの画像信号は、垂直同期信号が任意の複数回入力される毎に撮像素子１０から読み出すようにしてもよい。

時刻Ｔ７１において入力される１回目の垂直同期信号により、撮像素子１０は、ストリームＡの画像信号の読み出しを開始する。時刻Ｔ７１おいて開始した画像信号の読み出しが終了する、読み出し時間（ｔｒ）が経過した後の時刻Ｔ７２において、２回目の垂直同期信号が撮像素子１０に入力される。この２回目の垂直同期信号が入力されると、撮像素子１０は、最小限の回路にだけ電力供給するスタンバイ状態（低消費電力状態）に遷移する。その後、時刻Ｔ７３〜Ｔ７７において、それぞれ垂直同期信号が入力される。

そして、フレーム期間終了の読み出し時間（ｔｒ）前の時刻Ｔ７８において、８回目の垂直同期信号が撮像素子１０に入力される。この８回目の垂直同期信号が入力されることで、撮像素子１０は、スタンバイ状態を解除して画像信号を読み出す準備（スタンバイ状態から通常状態への復帰）を行う。時刻Ｔ７８から読み出し時間（ｔｒ）経過後の時刻Ｔ７９において垂直同期信号が入力されると、撮像素子１０は、ストリームＡの次フレームの画像信号の読み出しを開始する。

図７に示したように撮像素子１０を駆動すると、ストリームＡの１フレームあたりのスタンバイ期間は、（ＴＦ−２×ｔｒ）となる。なお、図７に示す例では、フレーム期間終了に対して読み出し時間（ｔｒ）前に８回目の垂直同期信号を入力して撮像素子１０のスタンバイ状態を解除するようにしている。しかし、次フレームの読み出し開始である時刻Ｔ７９までにスタンバイ状態を解除できれば良く、８回目の垂直同期信号を入力するタイミングは、フレーム期間終了の読み出し時間（ｔｒ）前に限定されるものではない。

図８は、低消費電力制御が行われている状態で、ストリームＢについても動作させて、ストリームＡの画像信号とストリームＢの画像信号とを同時に読み出すときの撮像素子１０の動作を示している。

撮像素子１０では、ストリームＡの画像信号を出力する第１の画素群に関して、リセット区間８０１で第１の画素群のリセット動作が行われる。そして、蓄積時間後の画像信号の読み出し区間８０２において、ストリームＡの画像信号を出力する第１の画素群から各行順に信号が読み出されてストリームＡの画素信号として出力される。また、ストリームＢの画像信号を出力する第２の画素群に関して、リセット区間８１１で第２の画素群のリセット動作が行われる。そして、蓄積時間後の画像信号の読み出し区間８１２において、ストリームＢの画像信号を出力する第２の画素群から各行順に信号が読み出されてストリームＢの画素信号として出力される。

ストリームＢに係る駆動タイミングもストリームＡに係る駆動タイミングと同様に、入力される垂直同期信号により規定される。本実施形態に示す例では、ストリームＢの画像信号は、ストリームＡにおける１フレーム期間（ＴＦ）において、等しい時間間隔で８回読み出す必要がある。したがって、図８に示すように、一定期間が経過する毎の時刻Ｔ８１〜Ｔ８９において垂直同期信号が入力され、垂直同期信号が入力されるタイミングは一定になる。したがって、ストリームＡの１フレームあたりのスタンバイ期間は、（６／８）×ＴＦとなる。

このように本実施形態では、撮像素子１０から１つのストリームの画像信号を出力する場合には、撮像素子１０が低消費電力状態となるスタンバイ期間が増大するように、垂直同期信号の入力タイミングが制御される。好ましくは、撮像素子１０が低消費電力状態となるスタンバイ期間が最大となるように垂直同期信号の入力タイミングを制御する。また、撮像素子１０から２つのストリームの画像信号を同時に出力する場合には、フレームレートが速い方のストリームでの画像信号の読み出し周期に同期させるよう垂直同期信号の入力タイミングが制御される。これにより、撮像素子から複数の画像信号を同時に読み出すことができる撮像装置において、読み出しを行う画像信号に応じて、画像信号の適切な読み出し及び消費電力の低減が可能となる。なお、撮像素子１０から複数のストリームの画像信号を同時に出力する場合には、フレームレートが最も高いストリームでの画像信号の読み出し周期に同期させるよう垂直同期信号の入力タイミングを制御すればよい。

図９は、本実施形態における撮像装置の動作例を示すフローチャートである。図９には、前述したようにストリームＡの画像信号としてライブビュー表示用の画像信号を出力し、ストリームＢの画像信号としてオートフォーカス（ＡＦ）制御に係るＡＦ評価値の算出用の画像信号を出力する場合を例に示している。

撮像装置が起動した後に操作入力によってライブビュー表示を開始すると、まずステップＳ９０１では、全体制御演算部３０は、撮像素子１０のストリームＡについてのみ駆動させる。ストリームＡについて駆動させると、ステップＳ９０２では、全体制御演算部３０による制御に従って、撮像素子１０における第１のレーン１２１からライブビュー画像用に加算間引きした画像信号（ライブビュー表示用の画像信号）が出力される。撮像素子１０から出力された画像信号は、撮像信号処理回路２０で所定の画像処理を施されてライブビュー画像が生成され、表示部５１１で表示される。

ステップＳ９０３では、全体制御演算部３０は、撮像素子１０でライブビュー画像を撮像する蓄積時間を基にフレーム期間を延長する必要があるか否かを判定する。フレーム期間を延長すると全体制御演算部３０が判定した場合（ステップＳ９０３でＹＥＳ）、処理はステップＳ９０４へ進む。

ステップＳ９０４では、全体制御演算部３０は、図７において説明したストリームＡに係る画像信号の読み出しを基準にした垂直同期信号のタイミングの調整を行い、フレームの所定期間中をスタンバイ状態にさせるように制御しステップＳ９０５に進む。例えば、全体制御演算部３０は、ストリームＡの１フレーム期間において、撮像素子１０がスタンバイ状態となる期間が最大となるように垂直同期信号のタイミングを調整する。

なお、ステップＳ９０３においてフレーム期間を延長しないと全体制御演算部３０が判定した場合（ステップＳ９０３でＮＯ）、撮像素子１０をスタンバイ状態にする制御が不要であるので何もせずステップＳ９０５に進む。

ステップＳ９０５では、全体制御演算部３０は、ＳＷ１指示、つまりはレリーズボタンが半押しの状態でオートフォーカス動作の要求が入力されたか否かを判定する。ＳＷ１指示がないと全体制御演算部３０が判定した場合（ステップＳ９０５でＮＯ）、処理はステップＳ９０２に戻り、繰り返し前述したライブビュー撮像動作を行う。一方、ＳＷ１指示があると全体制御演算部３０が判定した場合（ステップＳ９０５でＹＥＳ）、処理はステップＳ９０６に進む。

ステップＳ９０６では、全体制御演算部３０は、撮像素子１０のストリームＢについても駆動させる。ストリームＢについて駆動させると、ステップＳ９０７では、全体制御演算部３０は、図８において説明したストリームＢに係る画像信号の読み出しを基準にした垂直同期信号のタイミングの調整を行う。すなわち、全体制御演算部３０は、フレームレートが速いストリームＢに係る画像信号の読み出し周期に同期させるように垂直同期信号のタイミングを調整する。このとき、ストリームＡにおけるフレーム期間が延長されており、既にスタンバイ制御が行われていれば撮像素子１０がスタンバイ状態となる期間が変更される。

ステップＳ９０８では、ステップＳ９０７において調整した垂直同期信号に従い、撮像素子１０における第２のレーン１２２からＡＦ評価用に加算間引きした画像信号（ＡＦ評価用の画像信号）が出力される。ストリームＢは、ストリームＡよりも高速フレームレートで動作する。なお、ＡＦ評価用の画像信号の出力を行う期間においても、全体制御演算部３０による制御に従って、撮像素子１０における第１のレーン１２１からライブビュー表示用の画像信号は所定のタイミングで出力される。

ステップＳ９０９では、全体制御演算部３０は、レンズ駆動部５０２を制御してレンズ５０１をフォーカス駆動させる。このとき、ステップＳ９０８において取得した画像信号を基に撮像信号処理回路２０でＡＦ評価値を算出して、算出されたＡＦ評価値を基に全体制御演算部３０はピント合わせを行う。

ステップＳ９１０では、全体制御演算部３０は、合焦状態であるか否かを判定する。合焦状態でないと全体制御演算部３０が判定した場合（ステップＳ９１０でＮＯ）、処理はステップＳ９０８に戻り、合焦状態になるまで繰り返しオートフォーカス動作が実行される。一方、合焦状態であると全体制御演算部３０が判定した場合（ステップＳ９１０でＹＥＳ）、処理はステップＳ９１１に進む。

ステップＳ９１１では、全体制御演算部３０は、ストリームＢについての駆動を停止して、撮像素子１０からのＡＦ評価用の画像信号の出力を停止させる。ステップＳ９１２では、全体制御演算部３０は、ステップＳ９０４でのストリームＡを基準にした垂直同期信号のタイミングに調整して、ＳＷ１指示以前の状態に戻して処理を終了させる。

以上のように本実施形態によれば、ストリームＡの画像信号のみを出力する場合と、ストリームＡの画像信号及びストリームＢの画像信号の両方を出力する場合とで、撮像素子１０のスタンバイ期間を適切に切り替えることが可能となる。したがって、撮像素子から複数の画像信号を同時に読み出すことができる撮像装置において、読み出しを行う画像信号に応じた、画像信号の適切な読み出し及び消費電力の低減が可能となる。

なお、前述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これに限定されるものではない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。例えば、携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー等、画像を撮像可能な装置であれば、本発明は適用可能である。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０：撮像素子 ２０：撮像信号処理回路 ３０：全体制御演算部 １０１：画素部 １１１：カラムＡＤＣ部 １１２：行走査回路 １１３：列走査回路 １１４：タイミング制御回路

Claims (8)

1. 複数の画素を有し、前記複数の画素のうちの第１の画素群による第１の画像信号、及び前記複数の画素のうちの第２の画素群による第２の画像信号を同時に読み出し可能な撮像素子と、
   前記撮像素子に係る低消費電力制御を行う場合、前記撮像素子から前記第１の画像信号及び前記第２の画像信号を同時に読み出すときにはフレームレートが速い画像信号の読み出し周期に同期させるよう垂直同期信号を制御し、前記撮像素子から前記第１の画像信号のみを読み出すときには前記撮像素子が低消費電力状態となる期間を増大させるよう垂直同期信号を制御する制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記撮像素子に係る低消費電力制御を行う場合、前記撮像素子から前記第１の画像信号のみを読み出すときには前記撮像素子が低消費電力状態となる期間が最大となるよう垂直同期信号を制御することを特徴とする請求項１記載の撮像装置。
3. 前記第１の画像信号は、前記垂直同期信号が複数回入力される毎に前記撮像素子から読み出される画像信号であり、
   前記制御手段は、前記第１の画像信号の１フレーム期間が前記撮像素子からの前記第１の画像信号の読み出し時間より長い場合に前記撮像素子に係る低消費電力制御を行うことを特徴とする請求項１又は２記載の撮像装置。
4. 前記第２の画像信号のフレームレートは、前記第１の画像信号のフレームレートよりも速いことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記第２の画像信号は、前記垂直同期信号が入力される毎に前記撮像素子から読み出される画像信号であることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記第１の画像信号はライブビュー表示に用いられる画像信号であり、前記第２の画像信号はオートフォーカス制御に用いられる画像信号であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 複数の画素を有し、前記複数の画素のうちの第１の画素群による第１の画像信号、及び前記複数の画素のうちの第２の画素群による第２の画像信号を同時に読み出し可能な撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子に係る低消費電力制御を行う場合に、
   前記撮像素子から前記第１の画像信号及び前記第２の画像信号を同時に読み出すときにはフレームレートが速い画像信号の読み出し周期に同期させるよう垂直同期信号を制御し、
   前記撮像素子から前記第１の画像信号のみを読み出すときには前記撮像素子が低消費電力状態となる期間を増大させるよう垂直同期信号を制御することを特徴とする撮像装置の制御方法。
8. 複数の画素を有し、前記複数の画素のうちの第１の画素群による第１の画像信号、及び前記複数の画素のうちの第２の画素群による第２の画像信号を同時に読み出し可能な撮像素子を有する撮像装置のコンピュータに、
   前記撮像素子に係る低消費電力制御を行う場合に、
   前記撮像素子から前記第１の画像信号及び前記第２の画像信号を同時に読み出すときにはフレームレートが速い画像信号の読み出し周期に同期させるよう垂直同期信号を制御する処理と、
   前記撮像素子から前記第１の画像信号のみを読み出すときには前記撮像素子が低消費電力状態となる期間を増大させるよう垂直同期信号を制御する処理を実行させるためのプログラム。

Images