JP2019021991A - 撮像素子、撮像装置、撮像プログラム、撮像方法 - Google Patents

Abstract

【課題】特性が異なる画素データを低消費電力でデータ処理することを可能とする撮像素子等を提供する。
【解決手段】複数の画素が入射光を光電変換して画素データを複数生成する撮像素子３において、特性が同一の画素データでなる画素データ列を生成する垂直走査部２１、画素部２２、アナログ処理部２３、ＡＤＣ処理部２４、メモリ部２５、水平走査部２６、出力部２７と、画素データ列の特性を示す付加情報を画素データ列に付加する出力部２７と、を有する撮像素子３。
【選択図】図２

Description

本発明は、複数の画素が入射光を光電変換して生成した複数の画素データを配列して画素データ列を生成する撮像素子、撮像装置、撮像プログラム、撮像方法に関する。

近年、撮像素子の出力インタフェースの高速化が図られている。こうした撮像素子では、例えば静止画モードのような最大のデータ転送レートを必要とする撮影モードに比べて、画素の間引きやミックス（ＭＩＸ）処理を行うライブビュー（ＬＶ）モードのような、最大のデータ転送レートを必要としない撮影モードでは、出力インタフェースを制限することで、消費電力の低減を図っている。

具体的に、画素データの送信に用いるレーン（Lane）数が例えば４レーンある場合に、静止画モードでは４レーンの全てを用いて画素データを送信するが、ＬＶモードにおいては使用するレーンを２つに制限して、許可されている２レーンのみを用いて画素データを送信する等が行われる。

しかしながら、撮像素子の出力インタフェースを制限しても、撮像装置全体の消費電力の低減には、それほど寄与しないことがある。

また、例えばＰＤ分割センサと呼ばれる撮像素子は、画像用画素と焦点検出用画素のような、２つ以上の異なる特性をもつ画素が、１つの行の中に、または１つの列の中に混在している。撮像装置において、こうした撮像素子からの画素データ出力を受け取って処理するデータ処理部は、焦点検出用画素を抽出してＡＦ処理を行う、あるいは焦点検出用画素から画像用画素を生成する、などの処理を行うために、処理の負荷が大きくなって消費電力が増大する。従って、撮像装置全体としてみたときの消費電力を低減する技術、すなわち実体的な低消費電力化を図ることができる技術が求められている。

本発明は上記事情に鑑みてなされたものであり、特性が異なる画素データを低消費電力でデータ処理することを可能とする撮像素子、撮像装置、撮像プログラム、撮像方法を提供することを目的としている。

本発明の一態様による撮像素子は、複数の画素を有し、上記複数の画素が入射光を光電変換して画素データを複数生成する撮像素子において、上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成部と、上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加部と、を有する。

本発明の他の態様による撮像装置は、上記撮像素子と、上記撮像素子から出力される上記画素データが必要に応じて入力され、上記画素データが入力されたときに上記画素データを処理するデータ処理部と、上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御部と、を有する。

本発明のさらに他の態様による撮像プログラムは、コンピュータに、複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、を実行させるためのプログラムである。

本発明のさらに他の態様による撮像方法は、複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、を有する。

本発明の撮像素子、撮像装置、撮像プログラム、撮像方法によれば、特性が異なる画素データを低消費電力でデータ処理することが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成を示すブロック図。 上記実施形態１において、１つのマイクロレンズに２つまたは４つのフォトダイオードが配置される画素構造の例を示す図表。 上記実施形態１における４ＰＤ画素構造の画素の構成例を示す回路図。 上記実施形態１における４ＰＤ画素構造の画素により垂直２画素加算を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１における４ＰＤ画素構造の画素により水平２画素加算を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１における４ＰＤ画素構造の撮像素子から全画素読み出しした焦点検出用画素データＰ０の配置を示す図。 上記実施形態１における４ＰＤ画素構造の撮像素子から画素加算を行って読み出した画像用画素データＰ１の配置を示す図。 上記実施形態１における４ＰＤ画素構造の撮像素子から画素加算を行って読み出した、水平方向の位相差検出を行うための焦点検出用画素データＰ２の配置を示す図。 上記実施形態１における４ＰＤ画素構造の撮像素子から画素加算を行って読み出した、垂直方向の位相差検出を行うための焦点検出用画素データＰ３の配置を示す図。 上記実施形態１における撮像素子から加算平均を行って読み出した、Ｖ２／２Ｈ２／２ミックス読出画素データＰ４の配置を示す図。 上記実施形態１における撮像素子から加算平均を行って読み出した、Ｖ２／３Ｈ３／３ミックス読出画素データＰ５の配置を示す図。 上記実施形態１の撮像素子の画素部に、Ｐ５読出領域とＰ２読出領域とを設定する例を示す図。 上記実施形態１において、画素データ列に特性を示す付加情報を付加して撮像素子から出力する第１の動作例を示すタイミングチャート。 上記実施形態１において、画素データ列に特性を示す付加情報を付加して撮像素子から出力する第２の動作例を示すタイミングチャート。 上記実施形態１において、画素データ列に特性を示す付加情報を付加して撮像素子から出力する第３の動作例を示すタイミングチャート。 上記実施形態１において、図１５の第２の動作例における付加情報の具体例を示す図。 上記実施形態１において、図１７の付加情報に含まれるフラグの具体例を示す図。 上記実施形態１における撮像装置の作用を示すフローチャート。 上記実施形態１の図１９におけるステップＳ６の画像用処理の内容を示すフローチャート。 上記実施形態１の図１９におけるステップＳ７の焦点検出用処理の内容を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２１は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置は、レンズ１と、シャッタ２と、撮像素子３と、信号インタフェース（信号Ｉ／Ｆ）４と、画像処理部５と、記録部６と、焦点検出部７と、表示部８と、メモリ部９と、操作部１０と、システム制御部１１と、を備えている。

レンズ１は、被写体の光学像を撮像素子３上に結像するための撮影光学系である。このレンズ１は、フォーカス位置を調節するためのフォーカスレンズと、レンズ１を通過する光束の範囲を制御する光学絞りとを備え、例えば焦点距離を可変なズームレンズとして構成されている。

ここに、レンズ１のフォーカス位置、光学絞りの開口径（絞り値）、焦点距離は、後述するシステム制御部１１によりレンズ１が駆動制御されることで、変更されるようになっている。

シャッタ２は、レンズ１からの光束が撮像素子３へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタとなっている。

撮像素子３は、複数の画素を有し、複数の画素が入射光を光電変換して画素データを複数生成する撮像部である。より具体的に、撮像素子３は、複数の画素が所定の画素ピッチで２次元状に配列された撮像面を有し、撮像制御部であるシステム制御部１１の制御に基づき、シャッタ２を通してレンズ１により結像された被写体の光学像を光電変換して画素データを生成する。

この撮像素子３は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されている。ここに、原色ベイヤ配列は、公知のように、２×２画素を基本カラー配列として、この基本カラー配列の対角位置にＧ（緑色）フィルタを配置し、残りの対角位置にＲ（赤色）フィルタとＢ（青色）フィルタとをそれぞれ配置した構成となっている。なお、Ｒフィルタを備えるＲ画素と同一行に配置されているＧフィルタを備えるＧ画素をＧｒ画素、Ｂフィルタを備えるＢ画素と同一行に配置されているＧフィルタを備えるＧ画素をＧｂ画素と称する。

この撮像素子３は、１つの画素が複数に分割されて焦点検出用画素データを出力することができるように構成されているが、より具体的な構成については、後で図２以降を参照して説明する。

信号Ｉ／Ｆ４は、撮像素子３から出力される画素データ（後述するように、画像用画素データと焦点検出用画素データとが含まれる）を、画素データの特性に応じて、画像処理部５と焦点検出部７とへ振り分けて出力するものである。具体的に、信号Ｉ／Ｆ４は、画素データが画像用画素データである場合には画像処理部５のみへ出力し、画素データが焦点検出用画素データである場合には画像処理部５および焦点検出部７へ出力するようになっている。ただし、焦点検出用画素データを画像生成に用いない場合には、焦点検出用画素データを焦点検出部７のみへ出力するようにしても構わない。また、信号Ｉ／Ｆ４は、撮像素子３から出力される画素データ列に付加されている、画素データの特性を示す付加情報（後述する図１４〜図１８等参照）を抽出して、システム制御部１１へ送信する。

画像処理部５は、画素データに画像処理を行って画像（表示部８に表示するための画像、または記録部６に記録するための画像）を生成するデータ処理部である。

例えば、画像処理部５は、信号Ｉ／Ｆ４から受信した画素データが焦点検出用画素データである場合には、焦点検出用画素データから画像用画素データを生成する処理を行う。

そして、画像処理部５は、画像用画素データに対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小などの画像処理（いわゆる現像処理を含む）を行う。なお、静止画や動画を記録部６に記録する際あるいは記録部６から読み出す際のデータ圧縮／データ伸張は、この画像処理部５により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。

記録部６は、複数の画素データで構成される画像データ（静止画像データ、動画像データなど）を不揮発に記憶する記録部であり、例えば、撮像装置本体に内蔵されているフラッシュメモリ、あるいは撮像装置本体に着脱可能なメモリカード等により構成されている。従って、記録部６は、撮像装置に固有の構成であることに限定されない。

焦点検出部７は、マイクロレンズＬ（図３参照）に対する位置が異なる画素により得られた焦点検出用画素データに基づいて焦点検出を行うデータ処理部である。すなわち、焦点検出部７は、信号Ｉ／Ｆ４から受信した焦点検出用画素データに基づき像面位相差検出を行うことにより、被写体像の位相差情報を検出して、レンズ１のフォーカス位置を合焦位置へ移動するためのレンズ制御パラメータを算出する。

画像処理部５および焦点検出部７は、撮像素子３から出力され、信号Ｉ／Ｆ４により振り分けられた画素データが必要に応じて入力され、画素データが入力されたときに画素データを処理するデータ処理部となっている。

表示部８は、画像を表示すると共に、この撮像装置に係る各種の情報を表示する表示装置である。この表示部８は、例えば、ＬＣＤパネルあるいは有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等のデバイスを有している。表示部８の具体的な配置や構成としては、電子ビューファインダ（ＥＶＦ）、撮像装置の背面パネル、撮像装置と無線接続されている携帯デバイスの表示装置などが挙げられる。従って、表示部８も、撮像装置に固有の構成であることに限定されない。

メモリ部９は、撮像素子３により生成された画素データを一時的に記憶する記憶部であり、例えばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）等により構成されている。このメモリ部９は、画像処理部５が画像処理を行う際、あるいは焦点検出部７が位相差検出を行う際の、ワークメモリや画像のバッファメモリとしても用いられる。

操作部１０は、この撮像装置に対する各種の操作入力を行うためのものである。操作部１０は、例えば、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えばレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。

ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、例えば、撮影モード（静止画撮影モード、動画撮影モード等）、記録モード（ＪＰＥＧ記録、ＲＡＷ＋ＪＰＥＧ記録など）、再生モードなどが含まれている。この操作部１０に対して操作が行われると、操作内容に応じた信号がシステム制御部１１へ出力される。

なお、操作部１０の具体的な配置や構成としては、カメラ本体の外装に配設されたボタンやスイッチ類、あるいは表示部８における背面パネルの表示面に設けられたタッチパネル、遠隔操作するためのリモートレリーズ装置や携帯デバイスなどが挙げられる。従って、操作部１０も、撮像装置に固有の構成であることに限定されない。

システム制御部１１は、例えばＣＰＵを含んで構成され、撮像装置内の各部を統括的に制御する制御部である。

システム制御部１１は、所定の処理プログラム（撮像プログラムを含む）に従って、操作部１０からの操作入力に応じた各種のシーケンスを実行する。ここに、処理プログラムは、システム制御部１１内に不揮発に記憶されていてもよいし、メモリ部９に不揮発に記憶されていてシステム制御部１１により読み込まれる構成であっても構わない。

例えば、システム制御部１１は、焦点検出部７により算出されたレンズ制御パラメータに基づいて、レンズ１のフォーカスレンズを制御し、システム制御部１１内で行った露出演算の結果に基づいてレンズ１の絞りおよびシャッタ２の制御を行い、撮像素子３を制御して撮像を行わせ画素データを出力させる。

さらに、システム制御部１１は、信号Ｉ／Ｆ４から取得した付加情報に基づいて、画像処理部５および焦点検出部７の処理を変更させる制御を行うようになっている。

また、システム制御部１１は、表示部８に各種情報を表示する制御、および記録部６へデータを記録しまたは読み出す制御なども行う。

次に、図２は、撮像素子３の構成を示すブロック図である。

この撮像素子３は、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ処理部２４と、メモリ部２５と、水平走査部２６と、出力部２７と、を備えている。

これらの内の、垂直走査部２１、画素部２２、メモリ部２５、水平走査部２６等は、単独で、または協働することにより素子内処理部として機能し、複数の画素データに対する加算演算や加算平均演算等を行うことができるようになっている。

ここに素子内処理部が行う処理には、１つのマイクロレンズＬに対応する、所定数の画素によりそれぞれ生成された所定数の画素データの内の、複数の画素データから、１つの画素データを画素合成する処理（例えば、図８〜図１０等参照）が含まれている。

このように、撮像素子３の素子内処理部で画素加算等を行うことで、撮像素子３から出力される画素数が減少するために、通信負荷を軽減することが可能となり、さらに画像処理部５や焦点検出部７の処理負荷を軽減することが可能となっている。

画素部２２は、入射光を光電変換して画素データを生成する画素を２次元状（例えば、垂直方向（列方向）および水平方向（行方向））に配列した画素アレイ部であり、画素には、像面位相差検出用の焦点検出用画素が含まれている。

ここで、図３は、１つのマイクロレンズＬに２つまたは４つのフォトダイオードＰＤが配置される画素構造の例を示す図表である。

この図３には、１つのマイクロレンズＬに対して２つのフォトダイオードＰＤが配置される２ＰＤ画素構造と、１つのマイクロレンズＬに対して４つのフォトダイオードＰＤが配置される４ＰＤ画素構造と、を例示している。

画素は、物体側から像側へ向かう積層方向の順に、マイクロレンズＬとカラーフィルタＦとフォトダイオードＰＤとが配設された構成となっている。ここに、カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、Ｒフィルタ、Ｇフィルタ、またはＢフィルタの何れかが、その画素位置に応じて配設されている。

ここで、図３に示す２ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に２つのフォトダイオードＰＤが配設されている。２つのフォトダイオードＰＤは、水平方向の位相差を検出するためのものである場合には左右に２分割されており、垂直方向の位相差を検出するためのものである場合には上下に２分割されている。これにより２つの画素ａ，ｂが構成されている。

一方、図３に示す４ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に４つのフォトダイオードＰＤが配設されている。４つのフォトダイオードＰＤは、水平方向および垂直方向の位相差を検出することができるように、上下左右に４分割されている（すなわち、４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される）。これにより４つの画素ａ，ｂ，ｃ，ｄが構成されている。

このように撮像素子３は、複数である所定数の画素に１つのマイクロレンズＬを通した入射光が到達するように構成されたマイクロレンズＬを、複数備えている。

なお、ここでは１つのマイクロレンズＬに対して、複数である所定数に分割されたフォトダイオードＰＤを有する画素構造を採用したが、これに限定されるものではなく、１つのマイクロレンズＬに対して１つのフォトダイオードＰＤを配置するが、フォトダイオードＰＤに至る光線の光路上に瞳の一部を遮光する遮光部を設ける構成を採用しても構わない。

また、以下では、画素部２２の全画素が４ＰＤ画素構造である場合を例に挙げて説明を行うこととする。ここに、４ＰＤ画素構造の場合には、各フォトダイオードＰＤから出力される画素データは焦点検出用画素データである。さらに、フォトダイオードＰＤの出力を垂直２画素加算、つまり、図３における（ａ＋ｂ）と（ｃ＋ｄ）とを算出する場合には、水平方向の位相差を検出するための焦点検出用画素データとなる。そして、フォトダイオードＰＤの出力を水平２画素加算、つまり、図３における（ａ＋ｃ）と（ｂ＋ｄ）とを算出する場合には、垂直方向の位相差を検出するための焦点検出用画素データとなる。さらに、フォトダイオードＰＤの出力を４画素加算、つまり、図３における（ａ＋ｂ＋ｃ＋ｄ）を算出する場合には、位相差情報を含まない画像用画素データとなる。

垂直走査部２１は、画素アレイ部である画素部２２の水平方向（行）を選択することを順次行うことで、走査を垂直方向に行う回路である。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の蓄積時間が制御されるようになっている。

アナログ処理部２３は、画素部２２から読み出されたアナログの画素データをアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素データを増幅するプリアンプ、画素データからリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。

アナログデジタル変換処理部（ＡＤＣ処理部）２４は、アナログ処理部２３から出力されたアナログ画像信号をデジタル画像信号に変換する。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素データを列毎のアナログデジタルコンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。

メモリ部２５は、ＡＤＣ処理部２４で変換された画素データを一時的に保持する揮発性メモリ回路等で構成されている。

水平走査部２６は、メモリ部２５から、画素データ（画像用画素データと焦点検出用画素データ）を列順に読み出す。

出力部２７は、水平走査部２６により読み出された画素データを配列して画素データ列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。

ここに、上述した垂直走査部２１〜出力部２７（垂直走査部２１、画素部２２、アナログ処理部２３、ＡＤＣ処理部２４、メモリ部２５、水平走査部２６、および出力部２７）は、画素データの特性（画素データが画像用と焦点検出用との何れであるかの特性、あるいは焦点検出用画素データが何れの方向の位相差検出用であるかの特性、さらにあるいは画素データがどのような画素混合（画素合成）により生成されたかの特性など）に応じて、複数の画素データを配列し、特性が同一の画素データでなる画素データ列を生成する画素データ列生成部となっている。

例えば、垂直走査部２１〜出力部２７は、複数の画像用画素データを配列してある画素データ列を生成し、また、複数の焦点検出用画素データを配列して他の画素データ列を生成する（従って、画像用画素データ列と焦点検出用画素データ列とは分けて出力される）。

さらに、出力部２７は、画素データ列生成部により生成された画素データ列（の一部）に、画素データ列の特性を示す付加情報を付加する情報付加部として機能するようになっている。このとき、画像処理部５や焦点検出部７を制御して消費電力の低減等を図ることができるのは、付加情報が検出された以降の時点となるために、付加情報を付加する位置は、画素データ列の先頭であることが好ましい。

次に、図４は、４ＰＤ画素構造の画素の構成例を示す回路図である。

４ＰＤ画素構造の画素においては、１つのマイクロレンズＬに対応する位置に４つのフォトダイオードＰＤ１〜ＰＤ４が配置され、具体的には、マイクロレンズＬの光学像が結像される範囲内の左上、左下、右上、右下位置に４つのフォトダイオードＰＤ１〜ＰＤ４がそれぞれ配置されている。

４つのフォトダイオードＰＤ１〜ＰＤ４には、スイッチとして機能するトランジスタＴｒ１〜Ｔｒ４がそれぞれ接続されており、垂直走査部２１から制御信号ＴＸ１〜ＴＸ４をそれぞれ印加することにより、トランジスタＴｒ１〜Ｔｒ４のオン／オフがそれぞれ制御されるようになっている。

各トランジスタＴｒ１〜Ｔｒ４は、フローティングディフュージョンＦＤに接続されていて、オンされたトランジスタＴｒに対応するフォトダイオードＰＤの信号電荷が、フローティングディフュージョンＦＤに転送されるようになっている。

また、各トランジスタＴｒ１〜Ｔｒ４とフローティングディフュージョンＦＤとの間には、スイッチとして機能するトランジスタＴｒ５が接続されており、リセット信号ＲＥＳの印加によりオン／オフが制御されるようになっている。このトランジスタＴｒ５は電源電圧ＶＤＤに接続されており、トランジスタＴｒ５をオンにすることで、フローティングディフュージョンＦＤのリセットが行われる。さらに、トランジスタＴｒ１〜Ｔｒ４をオンにした状態で、さらにトランジスタＴｒ５をオンにすることで、フォトダイオードＰＤ１〜ＰＤ４のリセットが行われる。

フローティングディフュージョンＦＤは、スイッチとして機能するトランジスタＴｒ６と、電源電圧ＶＤＤに接続され増幅部として機能するトランジスタＴｒ７と、を介して出力端子ＯＵＴに接続されている。

トランジスタＴｒ６に選択信号ＳＥＬを印加することで、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出されるようになっている。

図５は、４ＰＤ画素構造の画素により垂直２画素加算を行うときの撮像素子３の駆動例を示すタイミングチャートである。

タイミングｔ０において、リセット信号ＲＥＳをオンにする（スイッチとして機能するトランジスタＴｒ１〜Ｔｒ６の内、オンであることを明示したもの以外はオフであるものとする。以下同様。）と、フローティングディフュージョンＦＤがリセットされる。

続くタイミングｔ１において制御信号ＴＸ１をオンにすると、フォトダイオードＰＤ１の信号電荷がフローティングディフュージョンＦＤへ転送される。

続くタイミングｔ２において制御信号ＴＸ２をオンにすると、フォトダイオードＰＤ２の信号電荷がフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤにはＰＤ１の信号電荷およびＰＤ２の信号電荷が蓄積される。

続くタイミングｔ３において選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された信号電荷（ＰＤ１＋ＰＤ２）の電圧が、トランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。

続くタイミングｔ４においてリセット信号ＲＥＳをオンにすると、フローティングディフュージョンＦＤがリセットされる。

続くタイミングｔ５において制御信号ＴＸ３をオンにすると、フォトダイオードＰＤ３の信号電荷がフローティングディフュージョンＦＤへ転送される。

続くタイミングｔ６において制御信号ＴＸ４をオンにすると、フォトダイオードＰＤ４の信号電荷がフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤにはＰＤ３の信号電荷およびＰＤ４の信号電荷が蓄積される。

続くタイミングｔ７において選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された信号電荷（ＰＤ３＋ＰＤ４）の電圧が、トランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。

続くタイミングｔ８においては、各制御信号ＴＸ１〜ＴＸ４、選択信号ＳＥＬ、およびリセット信号ＲＥＳがオフであるために、タイミングｔ７の状態から変化はない。

また、図６は、４ＰＤ画素構造の画素により水平２画素加算を行うときの撮像素子３の駆動例を示すタイミングチャートである。

タイミングｔ０において、リセット信号ＲＥＳをオンにすると、フローティングディフュージョンＦＤがリセットされる。

続くタイミングｔ１において制御信号ＴＸ１をオンにすると、フォトダイオードＰＤ１の信号電荷がフローティングディフュージョンＦＤへ転送される。

続くタイミングｔ２において制御信号ＴＸ３をオンにすると、フォトダイオードＰＤ３の信号電荷がフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤにはＰＤ１の信号電荷およびＰＤ３の信号電荷が蓄積される。

続くタイミングｔ３において選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された信号電荷（ＰＤ１＋ＰＤ３）の電圧が、トランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。

続くタイミングｔ４においてリセット信号ＲＥＳをオンにすると、フローティングディフュージョンＦＤがリセットされる。

続くタイミングｔ５において制御信号ＴＸ２をオンにすると、フォトダイオードＰＤ２の信号電荷がフローティングディフュージョンＦＤへ転送される。

続くタイミングｔ６において制御信号ＴＸ４をオンにすると、フォトダイオードＰＤ４の信号電荷がフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤにはＰＤ２の信号電荷およびＰＤ４の信号電荷が蓄積される。

続くタイミングｔ７において選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された信号電荷（ＰＤ２＋ＰＤ４）の電圧が、トランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。

続くタイミングｔ８においては、各制御信号ＴＸ１〜ＴＸ４、選択信号ＳＥＬ、およびリセット信号ＲＥＳがオフであるために、タイミングｔ７の状態から変化はない。

なお、図示はしないが、４画素加算についても、同様の制御により行われる。

このように、画素加算は、垂直走査部２１や画素部２２におけるアナログ段階で行うことが可能であり、さらに例えば画素加算平均もアナログ処理部２３におけるアナログ段階で行うことが可能であるが、アナログ段階で行うに限るものではなく、ＡＤＣ処理部２４によりデジタル信号に変換された後でメモリ部２５〜出力部２７において行うようにしても構わない。あるいは例えば、下記に示すＰ１〜Ｐ３の画素データ生成はアナログ段階で行い、Ｐ４〜Ｐ５の画素データ生成はデジタル段階で行う等の、アナログ段階とデジタル段階とで処理の分担を行うようにしても勿論構わない。

図７は、４ＰＤ画素構造の撮像素子３から全画素読み出しした焦点検出用画素データＰ０の配置を示す図である。

上述したように、４ＰＤ画素構造の場合には、通常の１ＰＤ画素構造における１つのカラーフィルタが配置される１画素の位置が上下左右に４分割されて、４つの画素が配置されている。例えば、行方向の画素アドレスをｍ、列方向の画素アドレスをｎにより示すとすると、図７の画素アドレス（１，１）、（１，２）、（２，１）、（２，２）のＧｒ画素は、１ＰＤ画素構造における１つのＧｒ画素を４分割した画素に対応する。

上下左右分割の焦点検出用画素データＰ０（ｍ，ｎ）を全画素読み出す方式は幾つかあるが、単純読み出し方式では、例えば次のように画素部２２から読み出される。
Ｐ０（１，１），Ｐ０（１，２），・・・

また、減算読み出し方式では、例えば次のように読み出される。
［Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）］，［Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）］，［Ｐ０（２，１）＋Ｐ０（２，２）］，［Ｐ０（２，２）］，・・・

上述した減算読み出し方式で読み出された画素データは、信号Ｉ／Ｆ４を介して焦点検出部７へ送信され、焦点検出部７において次のような処理を行うことにより、上下左右分割の焦点検出用画素データが復元される。

すなわち、Ａ〜Ｄを以下であるとする。
Ａ＝［Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）］
Ｂ＝［Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）］
Ｃ＝［Ｐ０（２，１）＋Ｐ０（２，２）］
Ｄ＝［Ｐ０（２，２）］

このとき、Ｄは焦点検出用画素データＰ０（２，２）である。また、Ｐ０（２，２）以外の各焦点検出用画素データは、焦点検出部７が、次の各減算を行うことにより復元される。
Ａ−Ｂ＝Ｐ０（１，１）、Ｂ−Ｃ＝Ｐ０（１，２）、Ｃ−Ｄ＝Ｐ０（２，１）

さらに、Ａは画像用画素データであるために、上述した減算読み出し方式を採用した場合には、信号Ｉ／Ｆ４は、Ａのみを画像処理部５へ送信すればよい。従って、画像処理部５は、Ａを算出する演算負荷が軽減される。

なお、減算読み出し方式には複数の種類があるために、ここでは一種類のみを例に挙げているが、任意の種類の減算読み出し方式を用いて構わない。

次に、図８は、４ＰＤ画素構造の撮像素子３から画素加算を行って読み出した画像用画素データＰ１の配置を示す図である。

画像用画素データＰ１の配置における画素座標アドレスをＰ１（ｍ，ｎ）の括弧内で示すとすると、撮像素子３において次のような加算を行い、画像用画素データＰ１（ｍ，ｎ）を算出する。
Ｐ１（１，１）=Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）
Ｐ２（１，２）=Ｐ０（３，１）＋Ｐ０（３，２）＋Ｐ０（４，１）＋Ｐ０（４，２）
・・・

こうして、上記数式の右辺に示す複数の画素データから、左辺に示す１つの画素データが画素合成される。

そして、算出された結果が、次のように順次読み出される。
Ｐ１（１，１），Ｐ１（１，２），・・・

続いて、図９は、４ＰＤ画素構造の撮像素子３から画素加算を行って読み出した、水平方向の位相差検出を行うための焦点検出用画素データＰ２の配置を示す図である。

水平方向の位相差検出用の焦点検出用画素データを読み出す方式は幾つかあるが、焦点検出用画素データＰ２の配置における画素アドレスをＰ２（ｍ，ｎ）の括弧内で示すとすると、単純読み出し方式（左、右で分けて読み出す）では、撮像素子３において次のような加算を行い、焦点検出用画素データＰ２（ｍ，ｎ）を算出する。
Ｐ２（１，１）=Ｐ０（１，１）＋Ｐ０（１，２）
Ｐ２（２，１）=Ｐ０（２，１）＋Ｐ０（２，２）
・・・

こうして、上記数式の右辺に示す複数の画素データから、左辺に示す１つの画素データが画素合成される（以下、同様）。

また、第１の減算読み出し方式（左、左＋右）では、撮像素子３において次のような加算を行い、焦点検出用画素データＰ２（ｍ，ｎ）を算出する。
Ｐ２（１，１）=Ｐ０（１，１）＋Ｐ０（１，２）
Ｐ２（２，１）=Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）
・・・

さらに、第２の減算読み出し方式（左＋右、右）では、撮像素子３において次のような加算を行い、焦点検出用画素データＰ２（ｍ，ｎ）を算出する。
Ｐ２（１，１）=Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）
Ｐ２（２，１）=Ｐ０（２，１）＋Ｐ０（２，２）
・・・

そして、何れかの方式で算出された結果が、次のように順次読み出される。
Ｐ２（１，１），Ｐ２（２，１），・・・

さらに、第１の減算読み出し方式を採用した場合には、信号Ｉ／Ｆ４は、
Ｐ２（２，１）=Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）
等の１つのマイクロレンズＬに対応する４つのフォトダイオード出力が加算された画像用画素データのみを画像処理部５へ送信すればよい。

同様に、第２の減算読み出し方式を採用した場合には、信号Ｉ／Ｆ４は、
Ｐ２（１，１）=Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）
等の１つのマイクロレンズＬに対応する４つのフォトダイオード出力が加算された画像用画素データのみを画像処理部５へ送信すればよい。

何れの減算読み出し方式を採用した場合でも、画像処理部５は、［Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）］を算出する演算負荷が軽減される。

一方、焦点検出部７は、第１の減算読み出し方式（左、左＋右）が用いられた場合には、
Ｐ２（２，１）−Ｐ２（１，１）＝Ｐ０（２，１）＋Ｐ０（２，２）
の演算をすることにより右焦点検出用画素データを復元する処理を行う。

また、焦点検出部７は、第２の減算読み出し方式（左＋右、右）が用いられた場合には、
Ｐ２（１，１）−Ｐ２（２，１）=Ｐ０（１，１）＋Ｐ０（１，２）
の演算をすることにより左焦点検出用画素データを復元する処理を行う。

また、図１０は、４ＰＤ画素構造の撮像素子３から画素加算を行って読み出した、垂直方向の位相差検出を行うための焦点検出用画素データＰ３の配置を示す図である。

垂直方向の位相差検出用の焦点検出用画素データを読み出す方式は幾つかあるが、焦点検出用画素データＰ３の配置における画素アドレスをＰ３（ｍ，ｎ）の括弧内で示すとすると、単純読み出し方式（上、下で分けて読み出す）では、撮像素子３において次のような加算を行い、焦点検出用画素データＰ３（ｍ，ｎ）を算出する。
Ｐ３（１，１）=Ｐ０（１，１）＋Ｐ０（２，１）
Ｐ３（１，２）=Ｐ０（１，２）＋Ｐ０（２，２）
・・・

また、第１の減算読み出し方式（上、上＋下）では、撮像素子３において次のような加算を行い、焦点検出用画素データＰ３（ｍ，ｎ）を算出する。
Ｐ３（１，１）=Ｐ０（１，１）＋Ｐ０（２，１）
Ｐ３（１，２）=Ｐ０（１，１）＋Ｐ０（２，１）＋Ｐ０（１，２）＋Ｐ０（２，２）
・・・

さらに、第２の減算読み出し方式（上＋下、下）では、撮像素子３において次のような加算を行い、焦点検出用画素データＰ３（ｍ，ｎ）を算出する。
Ｐ３（１，１）=Ｐ０（１，１）＋Ｐ０（２，１）＋Ｐ０（１，２）＋Ｐ０（２，２）
Ｐ３（１，２）=Ｐ０（１，２）＋Ｐ０（２，２）
・・・

そして、何れかの方式で算出された結果が、次のように順次読み出される。
Ｐ３（１，１），Ｐ３（１，２），・・・

さらに、第１の減算読み出し方式を採用した場合には、信号Ｉ／Ｆ４は、
Ｐ３（１，２）=Ｐ０（１，１）＋Ｐ０（２，１）＋Ｐ０（１，２）＋Ｐ０（２，２）
等の１つのマイクロレンズＬに対応する４つのフォトダイオード出力が加算された画像用画素データのみを画像処理部５へ送信すればよい。

同様に、第２の減算読み出し方式を採用した場合には、信号Ｉ／Ｆ４は、
Ｐ３（１，１）=Ｐ０（１，１）＋Ｐ０（２，１）＋Ｐ０（１，２）＋Ｐ０（２，２）
等の１つのマイクロレンズＬに対応する４つのフォトダイオード出力が加算された画像用画素データのみを画像処理部５へ送信すればよい。

何れの減算読み出し方式を採用した場合でも、画像処理部５は、［Ｐ０（１，１）＋Ｐ０（１，２）＋Ｐ０（２，１）＋Ｐ０（２，２）］を算出する演算負荷が軽減される。

一方、焦点検出部７は、第１の減算読み出し方式（上、上＋下）が用いられた場合には、
Ｐ３（１，２）−Ｐ３（１，１）＝Ｐ０（１，２）＋Ｐ０（２，２）
の演算をすることにより下焦点検出用画素データを復元する処理を行う。

また、焦点検出部７は、第２の減算読み出し方式（上＋下、下）が用いられた場合には、
Ｐ３（１，１）−Ｐ３（１，２）=Ｐ０（１，１）＋Ｐ０（２，１）
の演算をすることにより上焦点検出用画素データを復元する処理を行う。

さらに、図１１は、撮像素子３から加算平均を行って読み出した、Ｖ２／２Ｈ２／２ミックス読出画素データＰ４の配置を示す図である。

Ｖ２／２Ｈ２／２ミックス読出画素データＰ４の配置における画素アドレスをＰ４（ｍ，ｎ）の括弧内で示すとすると、撮像素子３において例えば次のような加算平均を行い、Ｖ２／２Ｈ２／２ミックス読出画素データＰ４（ｍ，ｎ）を算出する。
Ｐ４（１，１）=（Ｐ１（１，１）＋Ｐ１（１，３）＋Ｐ１（３，１）＋Ｐ１（３，３））／４

ここに、Ｐ１に係る各画素アドレス（１，１）、（１，３）、（３，１）、（３，３）は、（１，１）〜（４，４）までの（４×４）Ｐ１画素領域内における、同色４画素（ただし、ＧｒとＧｂは区別している）に対する画素データの加算平均が行われることを示している。ここではＧｒ画素に対する演算の例を示したが、他の色画素についても同様にして行われる。

そして、図１２は、撮像素子３から加算平均を行って読み出した、Ｖ２／３Ｈ３／３ミックス読出画素データＰ５の配置を示す図である。

Ｖ２／３Ｈ３／３ミックス読出画素データＰ５の配置における画素アドレスをＰ５（ｍ，ｎ）の括弧内で示すとすると、撮像素子３において例えば次のような加算平均を行い、Ｖ２／３Ｈ３／３ミックス読出画素データＰ５（ｍ，ｎ）を算出する。
Ｐ５（１，１）=（Ｐ１（１，１）＋Ｐ１（１，３）＋Ｐ１（１，５）＋Ｐ１（３，１）＋Ｐ１（３，３）＋Ｐ１（３，５））／６

ここに、Ｐ１に係る各画素アドレス（１，１）、（１，３）、（１，５）、（３，１）、（３，３）、（３，５）は、（１，１）〜（６，６）までの（６×６）Ｐ１画素領域内における、第５行を除く同色６画素（ただし、ＧｒとＧｂは区別している）に対する画素データの加算平均が行われることを示している。ここではＧｒ画素に対する演算の例を示したが、他の色画素についても同様にして行われる。

なお、図１１および図１２においてはミックス読み出しの例を示したが、これに代えて、間引き読み出しを行っても構わない。

上述したような画素データＰ０〜Ｐ５を撮像素子３から読み出す撮像素子読出モードＰ０〜Ｐ５（撮像素子読出モードについても画素データと同じ符号Ｐ０〜Ｐ５を用いて示すことにする）は、撮像装置において、例えば次のように撮影モードに応じた使い分けがなされる。
カメラ撮影モード 撮像素子読出モード
静止画 Ｐ１
ライブビュー Ｐ５
４Ｋ動画 Ｐ１
１０８０ＨＤ動画 Ｐ４
焦点検出 Ｐ０又はＰ２又はＰ３

次に、図１３は、撮像素子３の画素部２２に、Ｐ５読出領域とＰ２読出領域とを設定する例を示す図である。

この図１３には、ライブビューを行っているときに、同時に焦点検出を行う例を示しており、画素部２２の一部（図１３の例では左側）をＰ５読出領域に、画素部２２の他の一部（図１３の例では右側）をＰ２読出領域に、それぞれ設定している（ただし、図１３に示すのは一例であり、ここではＰ２読出領域として設定されているいわゆるＡＦ領域は、画面中央部に設定されたり、画面内に複数設定されたり、特定の被写体に合わせて設定されたりと様々である）。

そして、Ｐ５読出領域には、Ｖ２／３Ｈ３／３ミックス読出画素データＰ５が、第１行目：Ａ，Ｂ，Ｃ，…、第２行目：Ａ’，Ｂ’，Ｃ’，…、のように配置され、Ｐ２読出領域には画素データＰ２が、第１行目：ａ，ｂ，ｃ，…、第２行目：ａ’，ｂ’，ｃ’，…、のように配置されているものとする。

図１４は、画素データ列に特性を示す付加情報を付加して撮像素子３から出力する第１の動作例を示すタイミングチャートである。

まず、本実施形態においては、撮像素子３から画素データを出力するレーン（Lane）数が４（レーン０〜３）である場合を例に挙げて説明する。ただし、レーン数が４であることに限定されないことは勿論である。

撮像素子３は、水平同期信号ＨＤのタイミングに基づいて、行毎に画素データ列を出力する。

このとき、画素データ列生成部である垂直走査部２１〜出力部２７は、画素データの特性に応じて、複数の画素データを配列し、特性が同一の上記画素データでなる画素データ列を生成するようになっている。

具体的にここでは、画素データ列生成部は、画素データがＰ５であるかＰ２であるかの特性に応じて、画素データＰ５のみが配列された画素データ列と、画素データＰ２のみが配列された画素データ列と、をそれぞれ生成する。

図１４に示すように、画素データ列生成部は、図１３に示したＰ５読出領域の第１行における奇数番目の画素データで構成される画素データ列をレーン０用に構成し、Ｐ５読出領域の第１行における偶数番目の画素データで構成される画素データ列をレーン１用に構成し、Ｐ２読出領域の第１行における奇数番目の画素データで構成される画素データ列をレーン２用に構成し、Ｐ２読出領域の第１行における偶数番目の画素データで構成される画素データ列をレーン３用に構成する処理を、水平同期信号ＨＤ毎に行を変更しながら次々と行う。

すなわち、図１４に示す例では、画像用画素データ（Ｐ５）と、焦点検出用画素データ（Ｐ２）とは、異なるレーンに振り分けられて出力されるようになっている。

そして、情報付加部である出力部２７は、画素データ列生成部により生成された画素データ列に（図１４に示すように、好ましくは、画素データ列の先頭に）、画素データ列の特性を示す付加情報（後述する図１８等参照）を付加する。この付加情報の付加は、画素データ列が無効な画素データ列である場合にも、図１４に示すように行われる。

信号Ｉ／Ｆ４は、撮像素子３の出力から付加情報を抽出してシステム制御部１１へ送信する。

制御部であるシステム制御部１１は、信号Ｉ／Ｆ４から入力された付加情報に基づいて、有効な画素データがデータ処理部に入力されるか否かを判定し、入力されると判定したときにはデータ処理部に対して電源およびクロックを供給し、入力されないと判定したときにはデータ処理部に対するクロックの供給を少なくとも停止するように制御する。つまり、ここでは、データ処理部である、画像処理部５と焦点検出部７とのそれぞれに対して、このような判定および制御を行う。

ここに、データ処理部（画像処理部５、焦点検出部７）に対する消費電力を制御する場合に、クロック供給の制御と電源供給の制御とがあり、クロックの供給／停止は比較的短いタイムスケールでも実施することができるが、電源の供給／停止はクロックに比して制御期間をより長くとることが好ましい（例えば、１画素分の画素データが送信される期間のような短い期間だけ、電源供給を停止することは困難である）。

そこで、システム制御部１１は、画像処理部５と焦点検出部７とのそれぞれに対して、有効な画素データがデータ処理部に入力されないと判定したときには、クロックの供給を少なくとも停止するように制御する。

さらに、システム制御部１１は、画像処理部５と焦点検出部７とのそれぞれに対して、有効な画素データがデータ処理部に入力されないと判定したときであって、電源供給の制御が可能である場合には、データ処理部に対する電源の供給を停止する制御を行うようになっている。

具体的に、図１４に示すように、レーン０〜３において有効な画素データＰ５およびＰ２が送信される期間においては、画像処理部５および焦点検出部７がオンされてクロックおよび電源が供給され、有効な画素データＰ５とＰ２が何れも送信されない期間（無効期間）においては、画像処理部５および焦点検出部７がオフされて、クロック供給が停止されるか、または、クロック供給および電源供給の両方が停止される。

次に、図１５は、画素データ列に特性を示す付加情報を付加して撮像素子３から出力する第２の動作例を示すタイミングチャートである。

上述した図１４の例では、水平同期信号ＨＤのタイミングに合わせて、レーン０，１による画素データＰ５の送信と、レーン２，３による画素データＰ２の送信と、が同時に開始された。これに対して、この図１５に示す例は、水平同期信号ＨＤで区切られる１水平同期期間において、レーン０，１による画素データＰ５の送信タイミングと、レーン２，３による画素データＰ２の送信タイミングとを、できるだけ異ならせたものとなっている。

具体的に例えば、レーン０，１による画素データＰ５の送信は、１水平同期期間の開始時点から行われて、１水平同期期間の後半に無効期間が生じるようにし、レーン２，３による画素データＰ２の送信は、１水平同期期間の前半に無効期間が生じて、１水平同期期間の終了時点で画素データＰ２の送信が終了するように行われている。

ただし、１水平同期期間における画素データＰ５と画素データＰ２の送信順序を逆にして、１水平同期期間の前半にレーン２，３による画素データＰ２の送信を行い、１水平同期期間の後半にレーン０，１による画素データＰ５の送信を行うようにしても構わない。

画素データＰ５は、画像処理部５が画像を生成するのに用いられるが、焦点検出部７には用いられない。これに対して、画素データＰ２は、焦点検出部７における位相差検出に用いられるだけでなく、さらに、画像処理部５が画像を生成するのにも用いられる。

従って、図１４に示した処理では、１水平同期期間の前半における画像処理部５の負荷が大きくなる。そこで、この図１５に示した処理は、画像処理部５の負荷が集中するのを回避して、負荷を１水平同期期間内になるべく広く分散させるようにしたものとなっている。

このために、画像処理部５は例えば常にオンとなり（ただし、送信される画素データが少ない場合（画素データＰ５の送信期間と画素データＰ２の送信期間とを合わせても１水平同期期間よりも短く、無効期間が生じる場合）には、画像処理部５をオフとすることも勿論ある、下記の図１６においても同様）、焦点検出部７は画素データＰ２が入力される期間だけオン（つまり、画素データＰ２が入力されない期間はオフ）となる。

図１６は、画素データ列に特性を示す付加情報を付加して撮像素子３から出力する第３の動作例を示すタイミングチャートである。

上述した図１４および図１５の例では、画素データの送信に用いるレーンの制限を行わなかった。これに対して、この図１６に示す例では、使用するレーンを２つに制限して、許可されている２レーンのみを用いて画素データを送信するようになっている。

すなわち、図１６に示す例においては、レーン２，３を画素データの送信に用いることを禁止してオフにし、１水平同期期間の前半にレーン０，１による画素データＰ５の送信を行い、その後（例えば、１水平同期期間の後半）にレーン０，１による画素データＰ２の送信を行うようにしている。

そして、この図１６に示す例でも図１５に示した例とほぼ同様に、画像処理部５は例えば常にオンとなり、焦点検出部７は画素データＰ２が入力される期間だけオンとなる。

なお、図１４および図１５に示した例では、画像用画素データ（Ｐ５）はレーン０，１のみを用いて送信され、焦点検出用画素データ（Ｐ２）はレーン２，３のみを用いて送信されるために、信号Ｉ／Ｆ４は、レーン０，１の画素データを画像処理部５のみを転送し、レーン２，３の画素データを画像処理部５および焦点検出部７へ転送する振り分けを行う。

一方、図１６に示した例では、画像用画素データ（Ｐ５）および焦点検出用画素データ（Ｐ２）がレーン０，１のみを用いて送信されるために、信号Ｉ／Ｆ４は、レーン０，１の１水平同期期間における、画素データＰ５の送信期間には画像処理部５のみへ転送し、画素データＰ２の送信期間には画像処理部５および焦点検出部７へ転送する振り分けを行う。

続いて、図１７は図１５の第２の動作例における付加情報の具体例を示す図、図１８は図１７の付加情報に含まれるフラグの具体例を示す図である。

システム制御部１１は、設定されている撮影モードに応じて、撮像素子３に撮像素子読出モードＰ０〜Ｐ５を指示する。この指示に応じて生成された画素データ列に対して、撮像素子３の出力部２７が、図１８に示すような付加情報を生成して付加し出力するようになっている。

ここに、本実施形態における付加情報は、図１８に示すように、複数のフラグを含んで構成されている。

具体的に、付加情報は、４ビット（あるいは将来への拡張に対応するために５以上のビット）の情報として構成されていて、ビット０には画像用画素フラグが、ビット１には焦点検出用画素フラグが、ビット２には画像用合成処理フラグが、ビット３には焦点検出用減算処理フラグが、それぞれ格納されるようになっている。

ここに、画像用画素フラグ（ビット０）は、フラグがオンになっているときに、画像処理部５をオンにすべきことを示すものである。

従って、システム制御部１１は、画像用画素フラグがオンであるときは、有効な画素データが画像処理部５に入力されると判定して画像処理部５に対して電源およびクロックを供給し、画像処理部５に画像処理を行わせ、画像用画素フラグがオフであるときは、画像処理部５に対するクロックの供給を少なくとも停止するように制御する。

焦点検出用画素フラグ（ビット１）は、フラグがオンになっているときに、焦点検出部７をオンにすべきことを示すものである。

従って、システム制御部１１は、焦点検出用画素フラグがオンであるときは、有効な画素データが焦点検出部７に入力されると判定して焦点検出部７に対して電源およびクロックを供給し、焦点検出部７に焦点検出を行わせ、焦点検出用画素フラグがオフであるときは、焦点検出部７に対するクロックの供給を少なくとも停止するように制御する。

画像用合成処理フラグ（ビット２）は、フラグがオンになっているときに、画像処理部５に、焦点検出用画素データ（Ｐ０，Ｐ２，Ｐ３）から画像用画素データ（Ｐ１，Ｐ４，Ｐ５）を合成する処理を行わせるためのフラグである。

システム制御部１１は、画像用画素フラグがオンであって、さらに画像用合成処理フラグがオンであるとき（なお、画像用画素フラグがオフである場合には、画像用合成処理フラグも必然的にオフである）は、マイクロレンズＬに対する位置が異なる画素により得られた焦点検出用画素データから画像画素データを合成する処理を、画像処理部５に行わせる。

焦点検出用減算処理フラグ（ビット３）は、焦点検出用画素データ（Ｐ２またはＰ３）が減算読み出し方式で生成されたときにオンとなる（単純読み出し方式で生成されたときはオフとなる）フラグである。

システム制御部１１は、焦点検出用画素フラグがオンであって、さらに焦点検出用減算処理フラグがオンであるとき（なお、焦点検出用画素フラグがオフである場合には、焦点検出用減算処理フラグも必然的にオフである）は、焦点検出部７に、上述したような焦点検出用減算処理を行わせて焦点検出用画素データを復元させる。

なお、減算読み出し方式には上述したように複数種類があるために、どの減算読み出し方式が用いられているかを判別するためのビットを追加して、焦点検出用減算処理フラグを複数ビットで構成してもよい。

また、上述では付加情報として複数のフラグを含む例を示したが、これに限定されるものではなく、１つのフラグ（例えば、画像用画素データ列であるか否か（つまり、画像用画素データ列であるか、それ以外の他の用途の画素データ列であるか）を示すフラグ）のみを含むように付加情報を構成しても構わない。

そして、図１７に示すように、画素データＰ５で構成される画素データ列の、例えば先頭には、図１８の（１）に示す付加情報、すなわち、画像用画素フラグがオン「１」、焦点検出用画素フラグがオフ「０」、画像用合成処理フラグがオフ「０」、焦点検出用減算処理フラグがオフ「０」の付加情報が、撮像素子３の出力部２７により付加される。

システム制御部１１は、付加情報における、画像用画素フラグがオン「１」であることに応じて画像処理部５をオンし、焦点検出用画素フラグがオフ「０」であることに応じて焦点検出部７をオフする。

さらに、システム制御部１１は、付加情報における、画像用合成処理フラグがオフ「０」であることに応じて、画像処理部５による焦点検出用画素データからの画像用画素データの合成処理を不要とする制御を行い、焦点検出用減算処理フラグがオフ「０」であることに応じて、焦点検出部７による焦点検出用減算処理を不要とする制御を行う。ただしここでは、焦点検出部７がオフとなるために、焦点検出部７の処理内容の制御は不要となる。

また、無効な画素データ列の、例えば先頭には、図１８の（２）に示す付加情報、すなわち、画像用画素フラグがオフ「０」、焦点検出用画素フラグがオフ「０」、画像用合成処理フラグがオフ「０」、焦点検出用減算処理フラグがオフ「０」の付加情報が、撮像素子３の出力部２７により付加される。すなわち、この付加情報は、画素データ列が無効な画素データ列であることを示す情報を含んでいる。

システム制御部１１は、付加情報における、画像用画素フラグがオフ「０」であることに応じて画像処理部５をオフし、焦点検出用画素フラグがオフ「０」であることに応じて焦点検出部７をオフする。こうして、システム制御部１１は、付加情報に、画素データ列が無効な画素データ列であることを示す情報が含まれているときには、少なくとも、画像処理部５に対するクロックの供給と、焦点検出部７に対するクロックの供給と、の両方を停止するように制御する。

さらに、システム制御部１１は、付加情報における、画像用合成処理フラグがオフ「０」であることに応じて、画像処理部５による焦点検出用画素データからの画像用画素データの合成処理を不要とする制御を行い、焦点検出用減算処理フラグがオフ「０」であることに応じて、焦点検出部７による焦点検出用減算処理を不要とする制御を行う。ただしここでは、画像処理部５および焦点検出部７の両方がオフとなるために、画像処理部５の処理内容の制御、および焦点検出部７の処理内容の制御は、何れも不要となる。

続いて、画素データＰ２で構成される画素データ列の、例えば先頭には、図１８の（３）に示す付加情報、すなわち、画像用画素フラグがオン「１」、焦点検出用画素フラグがオン「１」、画像用合成処理フラグがオン「１」、焦点検出用減算処理フラグがオフ「０」の付加情報が、撮像素子３の出力部２７により付加される。従って、図１８に示す例では、焦点検出用画素データＰ２が、単純読み出し方式で生成されたことを想定している。

システム制御部１１は、付加情報における、画像用画素フラグがオン「１」であることに応じて画像処理部５をオンし、焦点検出用画素フラグがオン「１」であることに応じて焦点検出部７をオンする。

さらに、システム制御部１１は、付加情報における、画像用合成処理フラグがオン「１」であることに応じて、画像処理部５に焦点検出用画素データから画像用画素データを合成する処理を行わせる制御を行い、焦点検出用減算処理フラグがオフ「０」であることに応じて、焦点検出部７による焦点検出用減算処理を不要とする制御を行う。

こうして、付加情報は、素子内処理部による画素合成の態様を示す情報（画像用合成処理フラグ、焦点検出用減算処理フラグ）を含み、システム制御部１１は、付加情報に含まれる画素合成の態様を示す情報に基づいて、データ処理部（画像処理部５、焦点検出部７）における処理を変更させるように制御するようになっている。

図１９は、撮像装置の作用を示すフローチャートである。

この処理を開始すると、撮像素子３に結像された被写体像を、撮像素子３の各画素が露光して光電変換し、電荷を蓄積して画素データを生成する（ステップＳ１）。

次に、撮像素子読出モードに応じた垂直走査部２１の走査により、画素部２２から順次読み出された画素データが、アナログ処理部２３により処理され、ＡＤＣ処理部２４によりＡＤ変換されて、メモリ部２５に格納される（ステップＳ２）。

メモリ部２５に格納されている画素データが、撮像素子３の出力部２７から、付加情報を付加した画素データ列として読み出される（ステップＳ３）。

信号Ｉ／Ｆ４は、撮像素子３から入力されるデータから付加情報を抽出して、抽出した付加情報をシステム制御部１１へ送信し、システム制御部１１が、付加情報の画像用画素フラグに基づいて、画像処理部５をオンするべき画像用画素データ期間であるか否かを判定する（ステップＳ４）。

ここで、画像用画素データ期間であると判定された場合には、さらに、付加情報の焦点検出用画素フラグに基づいて、システム制御部１１が、焦点検出部７をオンするべき焦点検出用画素データ期間であるか否かを判定する（ステップＳ５）。

ここで、焦点検出用画素データ期間であると判定された場合には、画像処理部５による画像用処理を後述する図２０に示すように行うと共に（ステップＳ６）、このステップＳ６の処理と同時に（つまり、並列処理として）、焦点検出部７による焦点検出用処理を後述する図２１に示すように行う（ステップＳ７）。

また、ステップＳ５において、焦点検出用画素データ期間でないと判定された場合には、システム制御部１１が、焦点検出部７をオフする（少なくともクロック供給をオフし、好ましくはさらに電源供給をオフする）（ステップＳ８）。そして、上述したステップＳ６の画像用処理のみを行い、ステップＳ７の焦点検出用処理は行わない。

一方、ステップＳ４において、画像用画素データ期間でないと判定された場合には、システム制御部１１が、画像処理部５をオフする（少なくともクロック供給をオフし、好ましくはさらに電源供給をオフする）（ステップＳ９）。

続いて、付加情報の焦点検出用画素フラグに基づいて、システム制御部１１が、焦点検出部７をオンするべき焦点検出用画素データ期間であるか否かを判定する（ステップＳ１０）。

ここで、焦点検出用画素データ期間であると判定された場合には、上述したステップＳ７の焦点検出用処理のみを行い、ステップＳ６の画像用処理は行わない。

また、ステップＳ１０において、焦点検出用画素データ期間でないと判定された場合には、システム制御部１１が、焦点検出部７をオフする（少なくともクロック供給をオフし、好ましくはさらに電源供給をオフする）（ステップＳ１１）。

ステップＳ６およびステップＳ７、ステップＳ６のみ、ステップＳ７のみ、またはステップＳ１１の処理を行ったら、この処理を終了するか否かをシステム制御部１１が判定する（ステップＳ１２）。ここで、まだ終了しないと判定された場合にはステップＳ４へ戻って上述したような処理を行い、終了すると判定された場合にはこの処理を終了する。

図２０は、図１９におけるステップＳ６の画像用処理の内容を示すフローチャートである。

この画像用処理に入ると、付加情報の画像用合成処理フラグに基づいて、システム制御部１１が、画像用合成処理が必要であるか否かを判定する（ステップＳ２１）。

そして、画像用合成処理が必要であると判定された場合には、システム制御部１１の制御に基づいて、オンにされている画像処理部５が、入力される焦点検出用画素データから画像用画素データを合成する画像用合成処理を行う（ステップＳ２２）。

このステップＳ２２の処理を行うか、またはステップＳ２１において画像用合成処理が不要であると判定された場合には、オンにされている画像処理部５が、いわゆる現像処理等の画像処理を行う（ステップＳ２３）。

その後、システム制御部１１の制御に基づいて、画像処理された画像を表示部８に表示し、あるいは記録部６に記録してから（ステップＳ２４）、図１９に示した処理にリターンする。

図２１は、図１９におけるステップＳ７の焦点検出用処理の内容を示すフローチャートである。

この焦点検出用処理に入ると、付加情報の焦点検出用減算処理フラグに基づいて、システム制御部１１が、焦点検出用減算処理が必要であるか否かを判定する（ステップＳ３１）。

そして、焦点検出用減算処理が必要であると判定された場合には、システム制御部１１の制御に基づいて、オンにされている焦点検出部７が、入力される減算読み出し方式の焦点検出用画素データから、焦点検出用減算処理を行って、必要な焦点検出用画素データを復元する（ステップＳ３２）。

このステップＳ３２の処理を行うか、またはステップＳ３１において焦点検出用減算処理が不要であると判定された場合には、オンにされている焦点検出部７が、位相差検出を行ってレンズ制御パラメータを算出する（ステップＳ３３）。

その後、レンズ制御パラメータに基づいて、システム制御部１１がレンズ１のＡＦ制御を行ってから（ステップＳ３４）、図１９に示した処理にリターンする。

なお、上述では、焦点検出用画素データを画素部２２における画素配列の順に出力したが、マイクロレンズＬに対する位置が異なる焦点検出用画素データを、それぞれ別のデータ列として生成して別個に出力するようにしてもよい。例えば、左焦点検出用画素データと右焦点検出用画素データとを別の画素データ列として生成して別個に出力する等である。

同様に、画素ミックスを行う場合には、混合比を変更した画素データを別々の画素データ列として生成して出力しても構わない。

また、上述では、特性が異なる画素データを、レーン別に振り分けて出力する例、同一レーンの１水平同期期間における前半と後半とに振り分けて出力する例を説明したが、これらに限らず、例えば、異なるフレーム（あるいはフィールド）に振り分けて出力する等でも構わない。

さらに、上述では、撮像素子３から出力する焦点検出用画素データを位相差検出用の画素データとしたが、焦点検出用画素データは位相差検出用画素データに限定されるものではなく、撮像素子３内においてＡＦ演算情報またはデプスデータ（距離情報）などに変換されたものであっても構わない。

このような実施形態１によれば、特性が同一の画素データ列を生成して、特性を示す付加情報を画素データ列に付加するようにしたために、後段のデータ処理部に有効な画素データが入力されるか否かを予め知ることができ、有効な画素データが入力されないデータ処理部をオフにして低消費電力化を図ることが可能となる。こうして、特性が異なる画素データを低消費電力でデータ処理することが可能となる。

また、付加情報に基づいて、有効な画素データが入力されないと判定したときにデータ処理部に対するクロックの供給を少なくとも停止することで、低消費電力化を達成することができる。このとき、さらにデータ処理部に対する電源の供給を停止することで、より一層の低消費電力化を達成することができる。

さらに、１つのマイクロレンズＬに対応する複数の画素の焦点検出用画素データから画素データを画素合成する態様を示す情報を、付加情報に含めるようにしたために、画素合成の態様に応じてデータ処理部の処理を変更することで、適切な低消費電力化を図ることができる。

そして、付加情報に画像用画素フラグを含めて、画像用画素フラグがオフであるときは、画像処理部５に対するクロックの供給を少なくとも停止するようにしたために、画像用画素データが入力されないときに画像処理部５を適切に省電力化することができる。

このとき、付加情報に画像用合成処理フラグをさらに含めることで、焦点検出用画素データから画像画素データを合成する処理を画像処理部５に行わせるか否かを、適切に制御することが可能となる。

また、付加情報に焦点検出用画素フラグを含めて、焦点検出用画素フラグがオフであるときは、焦点検出部７に対するクロックの供給を少なくとも停止するようにしたために、焦点検出用画素データが入力されないときに焦点検出部７を適切に省電力化することができる。

このとき、付加情報に焦点検出用減算処理フラグをさらに含めることで、減算読み出し方式に応じた焦点検出用減算処理による焦点検出用画素データの復元を焦点検出部７に行わせるか否かを、適切に制御することが可能となる。

さらに、付加情報に画素データ列が無効な画素データ列であることを示す情報を含めて、付加情報に、画素データ列が無効な画素データ列であることを示す情報が含まれているときには、少なくとも、画像処理部５に対するクロックの供給と、焦点検出部７に対するクロックの供給と、の両方を停止するようにしたために、有効な画素データが入力されないときに画像処理部５および焦点検出部７を適切に省電力化することができる。

また、画素データ列の一部に付加情報を付加することで、付加情報を検出して以降に画素データ列が入力される期間の省電力化を図ることができる。このとき、画素データ列の先頭に付加情報を付加することで、画素データ列が入力される期間全ての省電力化を図ることができ、より一層の省電力化が達成される。

なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。

また、上述では主として撮像素子、および撮像素子を備える撮像装置について説明したが、撮像素子または撮像素子と同様の処理を行う撮像方法であってもよいし、コンピュータに撮像素子または撮像素子と同様の処理を行わせるための撮像プログラム、該撮像プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…シャッタ
３…撮像素子
４…信号インタフェース（信号Ｉ／Ｆ）
５…画像処理部
６…記録部
７…焦点検出部
８…表示部
９…メモリ部
１０…操作部
１１…システム制御部
２１…垂直走査部
２２…画素部
２３…アナログ処理部
２４…ＡＤＣ処理部
２５…メモリ部
２６…水平走査部
２７…出力部

Claims (13)

1. 複数の画素を有し、上記複数の画素が入射光を光電変換して画素データを複数生成する撮像素子において、
   上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成部と、
   上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加部と、
   を有することを特徴とする撮像素子。
2. 請求項１に記載の上記撮像素子と、
   上記撮像素子から出力される上記画素データが必要に応じて入力され、上記画素データが入力されたときに上記画素データを処理するデータ処理部と、
   上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御部と、
   を有することを特徴とする撮像装置。
3. 上記制御部は、有効な上記画素データが上記データ処理部に入力されないと判定したときには、さらに、上記データ処理部に対する電源の供給を停止するように制御することを特徴とする請求項２に記載の撮像装置。
4. 上記撮像素子は、複数である所定数の画素に１つのマイクロレンズを通した入射光が到達するように構成された、複数の上記マイクロレンズと、１つの上記マイクロレンズに対応する、上記所定数の上記画素によりそれぞれ生成された上記所定数の上記画素データの内の、複数の上記画素データから、１つの画素データを画素合成する素子内処理部と、を含み、
   上記付加情報は、上記素子内処理部による画素合成の態様を示す情報を含み、
   上記制御部は、上記付加情報に含まれる上記画素合成の態様を示す情報に基づいて、上記データ処理部における処理を変更させるように制御することを特徴とする請求項２に記載の撮像装置。
5. 上記データ処理部は、上記画素データに画像処理を行って画像を生成する画像処理部を含み、
   上記付加情報は、画像用画素フラグを含み、
   上記制御部は、上記画像用画素フラグがオンであるときは、有効な上記画素データが上記画像処理部に入力されると判定して上記画像処理部に対して電源およびクロックを供給し、上記画像処理部に画像処理を行わせ、上記画像用画素フラグがオフであるときは、上記画像処理部に対するクロックの供給を少なくとも停止するように制御することを特徴とする請求項４に記載の撮像装置。
6. 上記付加情報は、さらに、画像用合成処理フラグを含み、
   上記制御部は、上記画像用画素フラグがオンであって、さらに上記画像用合成処理フラグがオンであるときは、上記マイクロレンズに対する位置が異なる画素により得られた焦点検出用画素データから画像画素データを合成する処理を、上記画像処理部に行わせることを特徴とする請求項５に記載の撮像装置。
7. 上記データ処理部は、上記マイクロレンズに対する位置が異なる画素により得られた焦点検出用画素データに基づいて焦点検出を行う焦点検出部を含み、
   上記付加情報は、焦点検出用画素フラグを含み、
   上記制御部は、上記焦点検出用画素フラグがオンであるときは、有効な上記画素データが上記焦点検出部に入力されると判定して上記焦点検出部に対して電源およびクロックを供給し、上記焦点検出部に焦点検出を行わせ、上記焦点検出用画素フラグがオフであるときは、上記焦点検出部に対するクロックの供給を少なくとも停止するように制御することを特徴とする請求項４に記載の撮像装置。
8. 上記付加情報は、さらに、焦点検出用減算処理フラグを含み、
   上記制御部は、上記焦点検出用画素フラグがオンであって、さらに上記焦点検出用減算処理フラグがオンであるときは、上記焦点検出部に、減算読み出し方式に応じた焦点検出用減算処理による上記焦点検出用画素データの復元を行わせることを特徴とする請求項７に記載の撮像装置。
9. 上記データ処理部は、上記画素データに画像処理を行って画像を生成する画像処理部と、上記マイクロレンズに対する位置が異なる画素により得られた焦点検出用画素データに基づいて焦点検出を行う焦点検出部と、を含み、
   上記付加情報は、上記画素データ列が無効な画素データ列であることを示す情報を含み、
   上記制御部は、上記付加情報に、上記画素データ列が無効な画素データ列であることを示す情報が含まれているときには、少なくとも、上記画像処理部に対するクロックの供給と、上記焦点検出部に対するクロックの供給と、の両方を停止するように制御することを特徴とする請求項４に記載の撮像装置。
10. 上記情報付加部は、上記画素データ列の一部に上記付加情報を付加することを特徴とする請求項２に記載の撮像装置。
11. 上記情報付加部は、上記画素データ列の先頭に上記付加情報を付加することを特徴とする請求項１０に記載の撮像装置。
12. コンピュータに、
    複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、
    上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、
    上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、
    撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、
    上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、
    を実行させるための撮像プログラム。
13. 複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、
    上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、
    上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、
    撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、
    上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、
    を有することを特徴とする撮像方法。

Images