JP2006333493A - 固体撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 通常の画像出力機能の他に撮像信号を用いた各種演算処理を行うイメージセンサの小型化、低消費電力化、低コスト化、多画素化等を実現する。
【解決手段】 従来のイメージセンサのピクセル毎に保持していた演算回路をカラム毎に共有する。また、各ピクセルから画像信号を取り出す垂直信号線５４の上下方向の信号伝送経路に、それぞれ異なる構成の信号処理回路を設け、画像出力の処理と演算処理とを別な回路ブロックで完全分離して行うことにより、実画像の高画質化を達成し、かつ演算処理にも最適な設計を可能とする。すなわち、画像出力側には、Ｉ−Ｖ変換回路部４４、ＣＤＳ回路部４５等を設ける。また、演算処理側にはカレントミラー回路部４６、アナログメモリアレイ部４７、コンパレータ部５０、バイアス回路部５１、データラッチ部５２、出力データバス部５３等を設ける。
【選択図】図１

Description

本発明は、通常の画像信号の取得機能に加えて各種アプリケーションを実行するための演算機能を付加した固体撮像装置及びその制御方法に関する。

近年、イメージセンサに画像情報の各種演算機能を持たせることにより、画像処理の高速化等を実現する固体撮像装置が提案されている。
そして、このようなイメージセンサの１つとして、通常の実画像の取得と、３次元距離計算機能や動体検出機能を備えたセンサが提案されている（例えば、ISSCC/2001/SESSION6/CMOS IMAGE SENSORS WITH EMBEDDED PROCESSORS/6.4(2001IEEE International Solid-State Circults Conference) 、および、特願２０００−１０７７２３号等参照、なお、以下の説明においては前者を従来文献１、後者を従来文献２として説明する）。
これらは、イメージセンサの内部に、通常のイメージセンサと同様の画像取得回路に加えて、時間的な光の強度変化を検出する機能を持たせたものであり、具体的なアーキテクチャとしては、各画素毎にこれらの演算機能を持たせたものが既に報告されている。
このようなイメージセンサの演算機能を利用することにより、さまざまな画像処理が実現されるが、その中の代表的なものとして３次元計測の原理を以下に説明する。

図６は、３次元計測を行うための三角法の原理とスリット光の検出方法を示す説明図である。
まず、図６（Ａ）に示すように、三角法では、距離計測を行う物体（Object）１に対し、センサ２と投光部（Light source）３とを離して配置する。なお、投光部３は、物体１にスリット光を照射するものであり、スリット光を反射するスキャナ（Scanning mirror ）４が設けられている。
このような配置状態で、スキャナ４は、投光部３のスリット光を例えば右から左へスキャンするという動作を繰り返す。
そして、図６（Ｂ）に示すように、投光部３のスリット光が右から左へ１回スキャンする間に、センサ２内では数千回から数万回のフレーム掃引が行われ、センサ２内の各撮像画素（ピクセル）は、そのスリット光の物体１による反射光を検出した時点で、それを示すデータを出力する。

ここで、１つのピクセルに注目した場合、ピクセルの視線方向において、反射光が検出される時の物体１のセンサ２からの距離とスキャナ４の振り角度は一意に決定される。つまり、スキャナ４におけるスキャンの開始とセンサ２のフレーム数のカウント開始を同時にした場合、何フレーム目でスリット光が検出されたかを知ることにより、スキャナ４の振り角度が決定され、よって、センサ２から物体１の距離が決まることになる。
ただし、実際のイメージセンサでは、予め距離校正用物体によって上述したフレームカウント数と距離の校正を行っておき、そのデータをテーブルとしてシステム側で保持しておくことにより、精度の高い距離の絶対計測が可能となる。

以上のような三角計量による方法において、イメージセンサに要求される機能としては、投光スリット光の高感度検出がある。
通常、投光波長としては赤外光が使われるが、非測定物体により赤外光の反射率に差があるため、反射率の悪いテクスチャを持つ物体においても、計測を可能にするためには、スリット光の通過を検出する精度を高める必要がある。
上記従来文献１では、この高感度検出を行うために、各ピクセル毎に光信号の演算を行っている。以下、このアーキテクチャを説明する。

図７は、従来文献１、２におけるイメージセンサの全体構成を示すブロック図であり、図８は、図７に示すイメージセンサの１つのピクセルの内部構造を示す回路図である。
図７において、被写体の撮像を行う撮像部１０内には、それぞれフォトセンサを構成する多数のピクセル１１がマトリクス状に配置されるとともに、各ピクセル１１を選択して各列の撮像信号を取り出すための垂直信号線１２等が設けられている。
また、撮像部１０の外側には、選択線を通して撮像信号を取り出すピクセル１１を垂直方向に走査するＶスキャナ部１３と、このＶスキャナ部１３に対する制御信号を出力する信号発生部１４と、垂直信号線１２からの各列（Ｃｏｌｕｍｎ）＃１〜＃１９２の出力信号を受け取って必要な信号処理を行い、各列の画像信号として出力する出力回路部１５とを有する。

また、図８において、各ピクセル１１内には、光を受光するフォトダイオード（ＰＤ）２１と、光の強度に応じて電流を流す増幅トランジスタ（ＱＡ）２２と、その電流を増幅するカレントミラー回路２３と、その電流信号を記憶するカレントコピア回路（Frame memories）２４と、このカレントコピア回路２４からの電流を比較する２段のチョッパコンパレータ２６と、その電流にバイアスを与えるバイアス回路（offset genertor ）２７等より構成される。
このうち、ＰＤ２１からの信号電荷を読み出すユニットには、ＰＤ２１から信号電荷を取り出すためのフローティングデフュージョン（ＦＤ）３１部と、ＰＤ２１の信号電荷をＦＤ部３１に転送するための転送トランジスタ３２と、ＦＤ部３１をリセットするためのリセットトランジスタ３４と、ＦＤ部３１の信号電荷を電圧信号に変換して増幅する上述した増幅トランジスタ２２と、この増幅トランジスタ２２の出力電流を増幅する上述したカレントミラー回路２３と、出力のタイミングを制御するスイッチ（ＳＡ）３３とを有する。
また、カレントコピア回路２４は、４つの回路（Ｍ１〜Ｍ４）が並列に設定されており、これらはそれぞれフレームメモリとして機能し、合計で４フレーム分の光信号を記憶することが可能である。

図９は、このようなイメージセンサにおける距離計測動作を示すタイミングチャートである。
レーザが１回スキャンする１スキャンピリオドの間に、イメージセンサ内では数千から数万フレームの操作が行われる。ここで、１スキャンピリオドは、通常はモニタに距離情報を映し出す時のビデオフレームレートに合わせており、およそ３３ｍｓｅｃである。
なお、以下の説明においては、このビデオフレームレートと区別するために、イメージセンサ内部の１画面分の走査をセンサフレームというものとする。

センサフレーム（図９の１Ｆｒａｍｅ）の開始において、全てのピクセルは、ＦＤ部３１のリセット信号（ＲＳＴ）、電荷転送信号（ＴＸ）により、光信号により蓄積された電荷がＦＤ部３１、つまり増幅トランジスタ（ＱＡ）２２のゲートに転送される。
以後、イメージセンサのＲｏｗ（行）方向について１ラインずつピクセルが選択され、カレントコピア回路２４への信号記憶動作（φ１）、読み出し動作（φ２、φ３）が行われる。
ここで、記憶動作φ１では、検出信号を１つのフレームメモリに記憶するが、フレームが変わるごとに、逐次記憶するフレームメモリを変えていく（Ｆｒａｍｅｉｎｄｅｘ：Ａ、Ｂ、Ｃ、Ｄ）。
そして、読み出し動作φ２、φ３では前の２フレームのメモリと後の２フレームのメモリを加算して、コンパレータ２６において比較することにより、
ｆ（ｋ）＋ｆ（ｋ−１）−（ｆ（ｋ−２）＋ｆ（ｋ−３））−（Ｉｚ−Ｉｃ）
…… （式１）
の演算を可能にする。
ここで、最後のＩｚ、Ｉｃはバイアス回路２７によるバイアス電流を指すものであり、それぞれ、φ２、φ３の期間の電流に相当し、通常は（Ｉｚ−Ｉｃ）＞０に設定される。

上式において、投光スリットが検出されない時は、各ピクセルの光検出光強度に時間的な差は生じないので、式１の第４項までの演算は０となり、バイアス部のみ残って負の値となる。これをコンパレータ２６の出力で判定するとＬｏｗデータの出力となる。
一方、投光スリット光がピクセルを通過する時は、必ず前半の２フレームの加算データが後半のデータよりも大きくなる時間領域が存在し（図６（Ｃ））、それが設定バイアス（Ｉｚ−Ｉｃ）を越えると、式１の演算結果は正の値となる。つまり、あるピクセルに注目した場合、コンパレータ２６のデータは平常時はＬｏｗであるが、スリット光が通過するとＨｉｇｈデータになる。
よって、各ピクセルについて、コンパレータ２６のデータがＨｉｇｈになるフレームカウント数をシステム側にて記録しておけば、上記のカウント数と投光スキャナの角度の関係から三角測量により、各点までの距離を一意的に計測することが可能となる。

一方、上記のイメージセンサでは、ピクセル内でＡ／Ｄ変換処理を行うことにより、通常の画像を出力することも可能である。
このとき、フレームメモリＭ１〜Ｍ４の１つにリファレンス信号を記憶しておき、その後、各センサフレーム走査ごとに、ピクセル内のＦＤ部３１に光信号電荷を積分蓄積していき、それを別のフレームメモリＭ１〜Ｍ４へ記憶し、コンパレータ２６によってリファレンスレベルと大きさの比較を行う。
光強度が大きいピクセルの場合、少数回のフレーム走査による電荷蓄積によってリファレンスレベルを越えるが、強度が小さい場合、多数回のフレーム操作が必要となる。よって、距離計測と同様、コンパレータ２６のデータが反転するフレームカウント数をシステム側において記憶しておけば、そのカウント数が実画像に対応し、それをモニタに映し出すことが可能になる。

しかしながら、上述のようなイメージセンサでは、各ピクセルごとに演算回路を保持するために、画素サイズが大きくなり、センサの小型化、ならびに多画素化することが困難である。
また、回路規模が大きくなり、チップの消費電力が大きくなるため、例えば従来文献１では、１Ｗ以上の消費電力となっている。
このようなイメージセンサは、その配置スペースが十分で、電力能力の大きな、比較的大きなシステムでは利用可能であるが、低消費電力化、低コスト化、実画像の多画素化が要求されるようなコンシューマ向け等のアプリケーションには適さない。
また、さらにコンシューマ向けでは、実画像は通常のイメージャと同様に、高品質のカラーの画像が要求される傾向にある。

本発明は、このような実状に鑑みてなされたものであり、その目的とするところは、各画素内の構成を複雑化することなく、通常の実画像の取得機能各種アプリケーションを実行する演算機能の双方を強化することができ、小型化、低消費電力化、低コスト化、実画像の多画素化（高画質化）等を実現することが可能な固体撮像装置及び制御方法を提供することにある。

前記目的を達成するために、本発明は、それぞれ撮像画素を構成する複数の受光部と、前記受光部によって受光した光を電気信号に変換する複数の光電変換部と、前記複数の光電変換部によって変換された電気信号を取り出す複数の信号伝送方向を有する信号線を具備した固体撮像装置において、前記信号線によって第１の信号伝送方向に伝送された電気信号の処理を行う第１の信号処理部と、前記信号線によって第２の信号伝送方向に伝送された電気信号の処理を行う第２の信号処理部とを有し、前記第１の信号処理部と前記第２の信号処理部で異なる信号処理を行うことを特徴とする。

本発明の固体撮像装置によれば、撮像画素によって得られた画像信号を信号線によって第１、第２の信号伝送方向に伝送し、第１、第２の信号処理部で互いに異なる信号処理を行うことにより、例えば通常の画像信号出力とその他の各種演算処理を個別の回路で行うことができる。
したがって、各信号処理に必要な回路素子を画素の外部にまとめて配置し、各画素内の構成を最小限に抑えて簡素化を図ることができ、また、通常の実画像の取得機能と、各種アプリケーションを実行する演算機能とを、それぞれ独立した回路構成によって強化することができ、装置の小型化、低消費電力化、低コスト化、実画像の多画素化（高画質化）等を実現することが可能となる。

次に、本発明の実施の形態例について図面を参照して説明する。
本実施の形態による固体撮像装置（以下、イメージセンサまたは単にセンサという）は、従来例で説明したイメージセンサのピクセル毎に保持していた演算回路をカラム（Ｃｏｌｕｍｎ＝列）毎に共有するものであり、さらに、画像出力の処理と演算処理とを別な回路ブロック（第１、第２の信号処理部）で完全分離して行うことにより、実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を可能とするものである。
なお、画像出力処理と演算処理は、センサ外部からの切り替え信号によって選択するものとし、また、各処理の非動作時には、各回路ブロックの一部または全部の動作を停止するように制御する。
以下、本発明の具体的実施例によるセンサの画像出力の走査方法と、画像処理演算動作の方法（ここでは一例として従来と同様に距離計測に適用した）について説明する。

図１は本発明の第１の実施の形態によるイメージセンサの全体構成を示す平面図である。
図１に示されるように、このイメージセンサは、ピクセルアレイ部４１、ピクセルＶスキャナ部４２、ピクセルＨスキャナ部４３、Ｉ−Ｖ変換回路部４４、ＣＤＳ回路部４５、カレントミラー回路部４６、アナログメモリアレイ部４７、メモリＶスキャナ部４８、メモリＨスキャナ部４９、コンパレータ部５０、バイアス回路部５１、データラッチ部５２、出力データバス部５３等より構成されている。
ピクセルアレイ部４１は、光を検出する複数のピクセル４１１を行列方向に２次元マトリクス状に配置したものであり、各ピクセル４１１より送出される信号は、垂直方向に走る信号線（垂直信号線）５４によって伝達される。

ピクセルＶスキャナ部４２およびピクセルＨスキャナ部４３は、ピクセルアレイ部４１の内部を垂直方向および水平方向に走査し、１つのピクセル４１１を選択するものである。
Ｉ−Ｖ変換回路部４４は、通常の画像出力走査時に各ピクセル４１１から水平信号線５５に出力された電流を電圧信号に変換するものであり、ＣＤＳ回路部４５は、Ｉ−Ｖ変換回路部４４からの出力信号に所定のノイズ除去処理を施し、画像信号として出力するものである。
カレントミラー回路部４６は、演算処理時に各ピクセル４１１からの出力電流を増幅するものであり、アナログメモリアレイ部４７は、カレントミラー回路部４６からの出力をカレントコピアセル内に一時記憶するものである。

また、メモリＶスキャナ部４８およびメモリＨスキャナ部４９は、アナログメモリアレイ部４７のカレントコピアセルをスキャンし、セル内のデータを取り出すものであり、バイアス回路部５１は、アナログメモリアレイ部４７のカレントコピアセルにバイアス電流を供給するものである。
コンパレータ部５０は、アナログメモリアレイ部４７から読み出されたデータの比較演算を行うものであり、データラッチ部５２は、コンパレータ部５０の演算データをラッチし、そのラッチデータを出力データバス部５３より出力するものである。

また、垂直信号線５４には、ピクセルアレイ部４１と水平信号線５５とを開閉するスイッチＳＷ１、ピクセルアレイ部４１とカレントミラー回路部４６とを開閉するスイッチＳＷ２、カレントミラー回路部４６とアナログメモリアレイ部４７とを開閉するスイッチＳＷ３、アナログメモリアレイ部４７とバイアス回路部５１とを開閉するスイッチＳＷ４が設けられている。

以上のような構成において、通常の画像出力走査時には、ピクセルアレイ部４１の各ピクセル４１１がピクセルＨスキャナ部、ピクセルＶスキャナ部によって順次走査され、特定の１つのピクセル４１１が選択され、ピクセル４１１より送出される電流信号は、図中の上方向（第１の信号伝送方向）へ伝達され、ピクセルＨスキャナ部４３によりスイッチＳＷ１が順次選択され、１ピクセルの信号ごとに水平信号線に転送され、その後、Ｉ−Ｖ変換回路部４４にて電圧信号に変換され、さらに、ＣＤＳ回路部４５によってＦＰＮ（Fixed pattern Noise ）、リセットノイズ（ｋｔｃノイズ）が除去され、画像信号出力として出力される。
なお、以上のような通常の画像出力時の走査手順は、基本的に従来公知（例えば、ISSCC/2000/SESSION6/CMOS IMAGE SENSORS WITH EMBEDDED PROCESSORS/6.1(2000IEEE International Solid-State Circults Conference) 参照) のものであるので、詳細は省略する。
また、このような画像出力走査時には、垂直信号線５４のスイッチＳＷ２のＯＦＦによってピクセルアレイ部４１とカレントミラー回路部４６とは遮断されている。

一方、距離計測時には、スイッチＳＷ１がＯＦＦされ、スイッチＳＷ２、ＳＷ３がＯＮとなり、電流信号は垂直信号線５４の図中の下方向（第２の信号伝送方向）に配置されたカレントミラー回路部４６へと伝達される。
この時、ピクセルアレイ部４１は、ピクセルＶスキャナ部４２において同一Ｒｏｗ（行）方向のピクセルが全てが同時選択され、各カラム（列）からの信号は並列に同時出力される（すなわち、列並列動作となる）。
カレントミラー回路部４６に伝達された信号は、その後、アナログメモリアレイ部４７内に保持され、その後にコンパレータ部５０によって各フレームのデータ内容が比較され、この比較結果は、データラッチ部５２によってデータラッチ後、出力データバス部５３より出力される。

図２は、ピクセルアレイ部４１を構成する各ピクセル４１１の内部構成を示すブロック図である。なお、図２は、Ｙ、Ｇ、Ｃｙ、Ｍｇの４つの補色に対応する４つのピクセルを示している。
各ピクセル４１１は、フォトダイオード（ＰＤ）６０と５つのＭＯＳトランジスタ６１〜６５とを有して構成されている。
ＰＤ６０で受光された光は電荷に変換され、その電荷は転送トランジスタ６１によりフローティングディフュージョン（ＦＤ）部６６に転送される。このＦＤ部６６に転送された電荷は、増幅トランジスタ６４のゲート電位を決定し、それに応じて電流が増幅トランジスタ６４および選択トランジスタ６５をとおり、垂直信号線（ＳＩＧ＿ｎ）５４に伝達される。
また、リセットトランジスタ６３は、ＦＤ部６６を電源電圧にリセットするためのものであり、転送選択トランジスタ６２は転送トランジスタ６１のゲートを選択するためのものである。

以下、画像出力時、および距離計測時の信号タイミングを説明する。
図３は図１に示す各ブロックの詳細を示すブロック図であり、図４は画像出力時の動作を示すタイミングチャートである。また、図５は距離計測時の動作を示すタイミングチャートである。
まず、図４に基づいて画像出力時の動作について説明する。
ここで、垂直信号線５４の下部のスイッチＳＷ２はＴＳＳＷ信号（Ｌｏｗ；非アクティブ）により全てオフとなり、信号経路は遮断されている。
まず、ピクセルＶスキャナ部４２によって特定Ｒｏｗが選択されると、その１Ｈ期間セレクト線（ＳＥＬ＿ｎ）がＨｉｇｈ（アクティブ）となり、選択トランジスタ６５がオンとなる。

次に、リセット線（ＴＤＲ＿ｎ−１）にリセットパルスが印加され、リセットトランジスタ６３によりＦＤ部６６が電圧電源にチャージされる。この時、信号線（ＳＩＧ＿ｎ）には、そのリセット状態の信号が送出される。
また、転送選択トランジスタ６２のゲートに接続されている転送ゲート選択線（ＴＲＧ＿ｎ）がピクセルＨスキャナ部４３に連動してＨｉｇｈ（アクティブ）となり、それと同時に転送選択トランジスタ６２のドレインに接続されている転送選択線（ＴＤＲ＿ｎ）もＨｉｇｈ（アクティブ）となり、特定のピクセルのみ選択的に転送トランジスタ６１がオンとなり、ＰＤ６０内の電荷がＦＤ部６６に転送される。
なお、各ピクセルの転送終了後は、転送選択線（ＴＤＲ＿ｎ）をＬｏｗ（非アクティブ）にした後に転送ゲート選択線（ＴＲＧ＿ｎ）をＬｏｗ（非アクティブ）とする。

このような動作により、光強度に応じた信号電流が信号線（ＳＩＧ＿ｎ）に送出される。そして、この電流信号は、水平信号線５５を経由し、Ｉ−Ｖ変換回路部４４にて電圧信号に変換された後、ＣＤＳ回路部４５によってノイズ除去が行われる。
なお、ＣＤＳ回路部４５においては、リセット信号と画像信号が順次転送されてくるが、それぞれの信号をＳＨＲパルス、ＳＨＤパルスによってクランプし、ノイズの除去を行う。

続いて、図５に基づいて距離計測時の動作について説明する。
なお、上述のように３次元計測法では、投光スリットの通過をピクセル毎に検出することにより三角測量を行うという点に関して従来例と同様である。
また、この走査時には画像計測（すなわち画像出力）時と異なり、垂直信号線５４の上部のスイッチＳＷ１がオフとなり、信号線ＳＩＧと水平信号線５５との接続が遮断される。
また、ビデオフレーム期間（１Scan period ）、センサフレーム期間（１Frame ）は、上記従来例と同様であり、１ライン期間（１Row access period ）が従来例と異なる。
図５では、この１ライン期間の走査を示している。以下は、この１Ｈ期間の走査について説明する。

距離計測時の走査では、ピクセルアレイ部４１内のカラーフィルタ（例えば補色モザイクフィルタの場合Ｙ、Ｇ、Ｃｙ、Ｍｇ）を構成する４ピクセルを１つの受光画素単位とみなし、４ピクセルからの信号を加算（融合）して処理を行う。すなわち、４ピクセル分の信号を１ピクセルの信号として扱うものである。
これは、以下に示すように、距離計測時は画像計測時に比べ動作のフレームレートが１００倍程度速く、ピクセル毎の受光時間が短くなるので、それを補うために感度を稼ぐことを目的とするとともに、距離計測時の赤外スリット反射光の受光時に、各フィルタによる透過率の違いを補償するためである。
以下、この４ピクセルを１つとみなした単位をＲＯＵ（Range operating unit）と表記する（図３）。

また、距離測定では、カラムは一括して読み出される列並列動作となるため、ピクセルアレイ部４１内の転送ゲート選択線ＴＲＧは全て常時Ｈｉｇｈ（アクティブ）のままとなる。
また、上記４ピクセルの加算（融合）を行うために、ピクセルＶスキャナ部４２は、画像計測時と異なり、２行同時に選択されるように掃引される。
つまり、図３においては、ＳＥＬ＿ｎとＳＥＬ＿ｎ＋１が同時に選択される。特定の２行が選択されることにより、２行の連なるピクセル選択トランジスタ６５は全てＯＮとなる。
その後、ＴＤＲ＿ｎ−１、ＴＤＲ＿ｎ、ＴＤＲ＿ｎ＋１に順にパルスが印加される。

ここで、ＴＤＲ線は、ピクセル内の転送選択トランジスタ６２のドレインと、次のラインのリセットトランジスタ６３のゲートの両方に接続されており、ＰＤ６０からの電荷転送を行うと同時に、次の行のリセットを行うものである。すなわち、本例では、転送ゲート選択線とリセット線がＴＤＲ線によって共有化されている。
よって、まず、ＴＤＲ＿ｎ−１のパルス印加によりｎ−１行目のピクセルがリセットされ、ＴＤＲ＿ｎ線のパルス印加によりｎ行目のピクセルの電荷転送が行われると同時にｎ＋１行目のピクセルがリセットされる。
そして、ＴＤＲｎ＋１のパルス印加により、ｎ＋１行目のピクセルの電荷転送が行われる。この時、同時に、さらに次の（ｎ＋２）のリセットが行われるが、これは一連の走査において特に意味を持たない（つまり影響ない）。
このように本例では、複数行の同時選択によって画像読み出しを行う場合には、まず、複数行の選択線（ＳＥＬ＿ｎとＳＥＬ＿ｎ＋１）をアクティブにした後、選択行の選択順の若い行より、転送選択線とリセット線の共有選択線（ＴＤＲ＿ｎ−１、ＴＤＲ＿ｎ、ＴＤＲ＿ｎ＋１）に順次アクティブパルスを印加していくことになる。

以上の走査により、２行に連なるピクセルのＦＤ部６６に同時に受光による電荷が転送されており、各信号線には、２ピクセルの増幅トランジスタ６４からの信号電流が同時に流れ込む。これにより、まず、２ピクセルの信号加算が行われる。
そして、この電流は信号線下部のＣＭＯＳスイッチＳＷ２のオンと同時にカレントミラー回路４６１に流れ込む。この時、カレントミラー回路４６１の前で奇数カラムと偶数カラムは接続され、２カラムからの電流が１つのカレントミラー回路４６１に流れる。

上記の２行同時選択と合わせて、４ピクセルの信号加算が完了する。この電流は、カレントミラー回路４６１にて増幅され、メモリアレイ４７内の信号線ＳＩＭ＿（ｎ＋１）／２より、信号に応じた電流を引き込む。
カレントコピアセルによって構成されるアナログメモリアレイ部４７は、上記１つのＲＯＵに対し、対応する４つのカレントコピアセル４７１を有する。これらは、４センサフレーム分のメモリに相当する。
このメモリアレイ部４７は、ピクセルアレイ部４１の走査と同期してメモリＶスキャナ部４８によって走査される。
４フレーム分のカレントコピアセルは、ピクセルのＲＯＵと同様に配置されているので、ピクセルアレイ部４１を２行同時選択したときにメモリＶスキャナ部４８も２行同時選択され、これはカレントコピアセルの４フレーム分単位を選択することに対応する。
以下、このメモリアレイ部４７の単位をＲＭＵ（Range memory unit ）と表記する（図３）。

ＴＳＳＷ信号によりスイッチＳＷ２、ＳＷ３がＯＮすると同時に、１つのライン選択線ＣＣＳ＿ｎ１をＨｉｇｈとし、ＲＭＵのうちの１つのフレームメモリの選択トランジスタ７３をＯＮとする。
このメモリセルを構成するＰＭＯＳトランジスタ７１よりカレントミラー回路部４６に電流が流れる。この時、セル内のメモリスイッチトランジスタ７２はＯＮしており、ＰＭＯＳトランジスタ７１はドレインとゲートが同電位にバイアスされているため、セルに流れている電流に応じて決定される電位にゲート電位が保持されることになる。
この状態で定常状態に安定した後、ＣＣＭ＿ｎ１信号によりトランジスタ７２がＯＦＦされると、トランジスタ７１のゲートとドレインは分離され、先程のゲート電位はダイナミックにトランジスタ７１のゲートに記憶保持される。
以上の信号記憶フェーズをφ１とする。

続くタイミングにおいて、投光スリットの通過を検出するために、フレーム間の信号比較を行う。
フレーム間の信号比較は、従来例と同様に、時間的に前後の２フレームの信号加算の差し引きを行い、上述した（式１）の演算を実行する。
この読み出し動作では、スイッチＳＷ２、ＳＷ３がＯＦＦとなり、メモリアレイ下部のスイッチＳＷ４がＢＩＳＷ信号によりＯＮとなる。また、これと同時にＲＭＵの読み出される２フレームの選択線がＨｉｇｈとなる。
これにより、メモリセルより読み出される電流信号は、負荷トランジスタ７４に流れ込み、メモリ信号線（ＳＧＭ）の電位は、メモリセルのＰＭＯＳトランジスタ７１（２フレーム分）と負荷トランジスタ７４の電流能力によって決まる電位に安定化される。

上記（式１）を実行するために、たとえば、まずメモリセル選択線ＣＣＳ＿ｎ３とＣＣＳ＿ｎ４を同時選択することにより、前の２フレームの同時読み出しを行う。これにより、垂直信号線５４に接続されているチョッパコンパレータの入力ゲートにこの信号電位が入力される。そして、２段のチョッパコンパレータのトランジスタ初期化スイッチＴＣ１、ＴＣ２を順次ＯＮとし、コンパレータは前２フレームの信号電位にて初期化される。
そして、引き続き、後半の２フレームの信号を読み出すために、選択線ＣＣＳ＿ｎ１、ＣＣＳ＿ｎ２を同時選択し、前２フレームと同様に信号線に電流を送出し、信号電位を決定する。

この時、コンパレータは前２フレームで初期化されているため、前２フレームより電位が大きければ、コンパレータ出力はＨｉｇｈとなり、小さければＬｏｗが出力される。これにより、（式１）が実行され、光検出が可能となる。
以上、前半の２フレームの読み出しと後半の２フレームの読み出しをタイミングチャート上でφ２、φ３に示す。
また、この時、信号の重み付けのために、φ２、φ３のそれぞれにおいて、バイアス電流をバイアス回路部５１より供給する。これは従来例のＩｚ、Ｉｃと同様であり、アナログメモリアレイ部４７からの信号に任意に重み付けを行うことが可能となる。なお、バイアス回路部５１の一例としては、列共通のカレントミラーでバイアスされたＰＭＯＳトランジスタのソースフォロア回路を用いたものが使用される。
また、バイアス回路部５１は、読み出し動作以外ではアナログメモリアレイ部４７との間に設けられているスイッチＳＷ４をオフすることにより、コンパレータの前段の信号線の電位を電源電圧にバイアスする。

また、図３において、ＳＷ２、ＳＷ３、ＳＷ４の各スイッチの選択信号、メモリアレイ内ＣＣＭの選択信号は、縦に走るＡＤＲｎ信号との論理ＡＮＤが取られている。
これは、上記φ１〜φ３の動作を全カラムにて一斉に行った時、消費電力の増大が認められる場合があり、その程度によっては、素子内の配線の負担が大きくなり、適正な動作が得られなくなる恐れも生じる。
そこで、このような場合に対応すべく、ＳＷ２以下の回路ブロックを分割し（ここでこの単位を分割エリアという）、この分割エリアをシリアルに走査することにより、消費電力の集中的な増大を抑制するようにしたものである。
なお、図５に示すタイミングでは、分割エリアとして全体を４つに分割している場合を想定しており、ＡＤＲｎ信号によって分割エリアが選択され、各分割エリア１〜４に対してφ１〜φ３の動作が随時行われる。

以上のように本例では、ピクセルアレイ４１からの信号を列並列で読み出し、列毎に演算処理を行なう場合に、複数の列によって演算用エリアを形成し、演算処理は各演算用エリア毎にシリアルに行なうことにより、負荷を考慮した適切な演算動作を得ることが可能である。
なお、各演算用エリアはアドレス線により選択され、カレントミラー部の前後段のスイッチ、メモリスイッチ線、コンパレータの後段スイッチ、信号線の負荷トランジスタ選択線、コンパレータ初期化線、データラッチのイネーブル線はアドレスによりエリア選択時にのみ動作が行われる。

なお、以上のような画像計測（画像出力）と距離計測の２つの動作は、それぞれ異なる時間帯において独立、連続して実行されることが可能であるし、また、１ビデオフレーム毎などというように任意のビデオフレーム毎に交互に動作することも可能である。
このとき、画像情報と距離情報がイメージセンサにより交互に出力されるため、画像情報と距離情報を組み合わせたリアルタイムの画像処理が可能となる。
これらは、例えば外部入力によるモード切替信号ＭＳＬによって随時選択可能である。

また、本例のイメージセンサでは、上述した距離計測の回路アーキテクチャによって距離計測以外にも種々の画像処理演算を行うことが可能である。
まず、その一例として動き検出がある。
これは、基本的に距離計測と同様な動作により、撮像画面内の動いている物体のみを抽出する機能である。距離計測では、常に、時間的に前後するフレーム間の差分演算を行っている。よって、画像中において動いている物体が存在すると、投光スリット光の検出と同様に、コンパレータのフレーム間差分において、後のフレーム信号強度が前の信号強度よりも大きくなるタイミングが生ずる。
よって、これを検出することにより、動いている物体の検出が可能となる。
この動き検出の場合、距離測定のように高速でセンサフレームを走査する必要はなく、検出感度に鑑みて、最大でビデオフレームまでフレームレートを遅くすることが可能である。

さらに、上述した回路構成により、画像情報をデジタル出力することも可能である。これは、従来例の画像出力方式と基本的に同様であり、アナログメモリアレイ部４７とコンパレータ部５０を使用する。
上述した動作例において、距離計測時では、４ピクセル加算のために２ライン同時読み出しを行ったが、アナログメモリアレイ部４７とコンパレータ部５０を用いたデジタル画像出力では１ラインごとの走査とする。
そして、スイッチＳＷ２も奇数カラムと偶数カラムを同時にオンするのではなく、ＳＥＬ＿ＯＤＤ信号とＳＥＬ＿ＥＶＥＮ信号により、それぞれ分けてオンする。つまり、１Ｈ期間に奇数カラム読み出しと偶数カラム読み出しを分けて走査する。
この場合、各カラムの読み出し動作で、１ピクセルについて２つのフレームメモリを対応させることができる。よって、１つのフレームメモリはリファレンス信号を保持するために用い、もう１つは画像信号を保持するために使用すれば、従来例の積分電荷蓄積により、リファレンス信号と画像信号を逐次比較していくことにより、画像信号の取得が可能となる。

また、画像出力を行う他の方法として、上記と同様に、１Ｈ期間にリファレンス信号を読み出してコンパレータ部５０の初期化を行い、その後、画像信号を読み出して、コンパレータ部５０に信号を送り、バイアス電流をランピングすることにより、どのレベルでデジタルデータが反転するかを検出し、画像情報の抽出が可能となる。
さらに、回路モディファイにより、画像のエッジ検出も可能である。
これは、１つのコンパレータ入力を上記のように１カラムだけとするのではなく、スイッチの選択により、近傍のカラムからの入力も可能とすることにより、近傍ピクセルの信号の大小比較をも可能とする。
これにより、画像情報において、信号変化の大きい部位のみの抽出、つまり、エッジ検出が可能となる。
また、各種のフィルタ処理やフィルタを用いた平滑化処理を行うことも可能である。

以上のように、本例のイメージセンサでは、従来例で説明したイメージセンサのピクセル毎に保持していた演算回路をカラム毎に共有し、さらに、画像出力の処理と演算処理とを別な回路ブロックで完全分離して行うことにより、各画素内の構成の簡素化を図り、装置全体の小型化や実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を行うことが可能となる。

例えば、通常の画像出力と演算処理とにおいて、各ピクセルを掃引する順序を変更することにより、最適な処理を行うことが可能となる。
また、画素の掃引の順序として、１画素単位または少数画素ブロック単位によるシリアル処理と複数の信号線による並列処理とを使い分けることが可能となる。例えば、画像情報の出力処理時には１画素単位によるシリアル処理を行い、その他の演算処理時には複数の信号線による並列処理を行なうことができ、各信号処理のそれぞれの特性に合わせた最適化が可能となる。
また、１本の信号線に同時に伝送する画素数を変更することができ、画像情報の出力処理時には１画素毎の信号を信号線に伝送し、その他の演算処理時には複数画素の信号を同時に１本の信号線に伝送することにより、各信号処理のそれぞれの特性に合わせた最適化が可能となる。
また、演算処理時に１本の信号線に同時に伝送する画素数として、カラーフィルタの組み合わせに対応した画素数を用いることにより、高精度の演算が可能となる。

また、上述した例では、ある行に配置される転送選択線とその次の行に配線されるリセット線をＴＤＲ線で共有化でき、配線スペースを縮小して装置の小型化が可能となる。
また、上述した例では、ピクセルアレイの１つまたは複数のカラム毎にスイッチを設け、これらスイッチの中から信号読み出し時にオンするスイッチを選択し、個々のカレントミラー回路に入力されるカラムを選択するような構成や、ピクセルアレイ内の複数行の同時選択または、複数カラムの同時選択により、複数画素の信号を融合・加算し、複数画素を１つの受光画素単位として扱うことにより、演算処理に固有の方法を採用することが可能となり、最適化が可能である。

また、上述した例では、アナログメモリアレイ部４７において、１つの受光画素単位に対応する複数フレームのうち２フレーム以上の組み合わせの加算結果の比較を行なう場合、各フレームに対応するメモリセルは信号線を挟んでマトリスク状に配置し、フレームの組み合わせは、必ず信号線を挟んで対極に配置されたセル同士を選択する。そしてまた、ピクセルアレイ４１とアナログメモリアレイ部４７において、ピクセルアレイのスキャナによる１受光ピクセル単位選択時の複数行選択と、アナログメモリアレイのスキャナによる複数フレームの単位選択時の複数行選択を同期させる。
これらにより、高精度で効率の良い信号処理が可能となる。

次に、本発明の第２の実施の形態例について説明する。
まず、上述した第１の実施の形態例による固体撮像装置は、通常のカラー画像の出力と光切断法に基づく３次元距離計測の機能を実現するものであり、３次元距離計測時の方法としては、図６（Ａ）で説明した従来の構成で実現できる。
すなわち、センサ（受光部）の近辺にスリット状の光を発する光源と掃引用ミラーを配置し、掃引ミラーをスキャン走査しながら、スリット光をミラーを介して被写体に照射することで、センサの各画素が被写体からの反射スリット光を受光するタイミングと、ミラーのスキャン角度の関係より、三角測量の原理で被写体の各点の距離情報を取得することを可能としたものである。

しかし、この場合、センサの外に光源とスリット光を生成するための光学機器、さらにミラーとスキャン動作を行なうための駆動系などの多くの部品が必要とされ、小型化や省電力化等が容易でない。また、スリット状の光源を生成するための光学機器もシリンドリカルレンズでは、光学的条件を満たす必要があり、小型化することは容易でない。
そこで本発明の第２の実施の形態では、上述した光切断法による３次元距離計測システムにおいて、スキャン動作を行なうミラー部をＭＥＭＳ（Micro Electro Mechanical System ）ミラーで構成し、簡素で小型のシステムを実現するとともに、消費電力の削減を図るものである。

図１０は、本発明の第２の実施の形態例の３次元距離計測システムに用いるＭＥＭＳミラーの構成例を示す斜視図である。
図１０に示すＭＥＭＳミラーは、シリコン基板上に作成された電磁駆動方式によるスキャナ型ミラーである（例えば、「Hiroshi Miyajima, Journal of Microelectromechanical systems Vol.10, No.3 2001 p418-p424 」参照）。
このＭＥＭＳミラーは、シリコン基板の表面にミラー面を形成した可動板（ミラー本体）１２０をメタルベース１２１に取り付けたものである。可動板１２０には、両側にヒンジ部１２０Ａを介して固定片１２０Ｂが形成され、この固定片１２０Ｂをメタルベース１２１に接合されることにより、ヒンジ部１２０Ａの可撓性と弾性を利用して回転可能となっている。

メタルベース１２１には、可動板１２０の裏側にセンサコイル１２２や駆動コイル１２３が配置され、また、可動板１２０を挟む状態でマグネット１２４及びヨーク１２５が配置されている。
そして、フラットケーブル１２６等を介して駆動コイル１２３に通電するとともに、センサコイル１２２の検出信号によって可動板１２０の変位を検出し、駆動コイル１２３への電流値をコントロールすることにより、ローレンツ力とヒンジ部のねじれ応力の釣り合いを利用して可動板（ミラー面）１２０のスキャン動作をさせることができる。
なお、外部からのコントロールにより、ミラーの振動周波数、ミラーの振り角、動作の開始、停止を制御することができる。

また、図１０に示す例は、電流量の調節により、静的にミラー面の振り角をコントロールするガルバノメトリック駆動モードと、ミラー面の振動動作と外部からのコントロール信号とを同期させて共振動作をさせてミラー面のスキャン動作を行なうレゾナント駆動モードの２つの駆動モードを選択することが可能となっている。
また、このＭＥＭＳミラーでは、可動板１２０のヒンジ部１２０Ａをポリイミドの薄膜によって形成することにより、通常のシリコンヒンジでは実現が難しい低周波のスキャン動作も可能としている。
これまで光切断法に利用されていたスキャン用のミラーは、ガルバノモータなどの駆動部とミラーが個別に形成されていたため、部品としてのサイズが大きくなり、消費電力も大きいといった問題があった。そこで、本例では、図１０に示すように、ミラーと駆動部を一体に形成するＭＥＭＳミラーを利用することにより、光切断法の全体システムの小型化が可能となる。

なお、本例では、ＭＥＭＳミラーの一例として、電磁駆動型のスキャナを利用する例を示したが、その他の駆動方法として、ミラーヒンジ部への電流通電によるヒンジ材料の熱的膨張を利用してスキャン動作を行なうもの、あるいはヒンジを積層膜より形成し、各膜の熱膨張率差を利用したスキャン動作を行うものなども用いることができる。
またさらに、同一基板上にミラーとその駆動部を一体形成するＭＥＭＳ型のミラーであれば、同様に光切断法システムの小型化が可能である。
またさらに、上記のＭＥＭＳミラーは一般的に半導体基板上に形成させるので、スキャンミラーに照射するレーザまたは、ＬＥＤなどの光源を、ＭＥＭＳミラーと同一の基板上に一体形成することも可能である。

次に、本発明の第３の実施の形態例について説明する。
図１１は、本発明の第３の実施の形態例の３次元距離計測システムの２つの構成例を示す説明図である。
本例の光切断法システムでは、スリット状光を得るための投光部にレーザホログラム１００を使用したものである。
レーザホログラムは、例えばデジタルスチルカメラのＡＦ用光源として製品化され、使用されており、図１１に示すように、レーザ光源１０１からの出射光路内に配置することにより、レーザ光をスリット状光に制御し、物体１０２に供給するものである。

そして、この物体１０２からの反射光をレンズ１１１を通して第１の実施の形態例で説明したセンサ１１０で撮影することにより、３次元距離計測を行う。
なお、本例では、図６（Ａ）に示す例と同様のミラースキャナ（スキャナ型ミラー）１０３によってレーザ光のスキャンを行うものであるが、図１０に示したＭＥＭＳミラーを用いることも可能である。
このようなレーザホログラム１００を用いることにより、レーザ光源１０１に小型の光学系（ホログラム素子）を付加するのみでスリット光の生成が可能となる。また、ホログラム素子は安価なプラスティック基板で形成されるため、コスト的にも有利である。

また、レーザホログラム１００の配設位置としては、図１１（Ａ）に示すように、レーザ光源１０１とミラースキャナ１０３の間に配置してもよいし、もしくは図１１（Ｂ）に示すように、ミラースキャナの後段に配置する。
ただし、レーザホログラム１００をミラースキャナ１０３の後段に配置する場合は、レーザ光源１０１から発せられたスポット光がミラーによってスキャンされてからスリット状に広げられることとなる。

また、光源の簡易化を図る本発明の第４の実施の形態例として、上述した第１の実施の形態例と同様のセンサを用いるとともに、光源としてはＬＥＤなどの光源を使用し、ミラーによるスキャン走査は行なわず、ＬＥＤ点灯時の撮像フレームとＬＥＤ消灯時の撮像フレームとの間で差分演算を行なうことにより、背景に対して手前にある物体の認識を可能とするように構成することができる。
なお、この構成では、ＬＥＤ光の強度を変えるなどの制御により、おおよその距離計測も可能となる。

次に、上述した実施の形態例に対する応用例について説明する。
上述した各実施の形態例による固体撮像装置による撮像システムを用いることにより、以下のような様々なＩＴ機器等において従来は実現が困難であった画像処理や画像認識などの機能を実現することができる。
（応用例１）
本例では、上述した第１〜第４の実施の形態例による光切断法のシステムを用いて、距離情報に基づいて、画像の中から、ある特定の距離範囲にある画像を抜き出す制御を行う。
これにより、例えば、センサから手前にある物体の画像のみを切り抜き、背景の画像部分を消去する。この機能により、携帯電話、携帯端末（ＰＤＡ）、ＴＶ電話、ＴＶ会議等における画像通信において、手前の会話を行なっている人物や、会話対象となる人物のみを抜き出すことが可能となる。これは、会話対象人物のいる場所等の情報を削除することにより、プライベート事項の秘匿などの機能として用いることができる。また、伝送する画像を切り抜いた画像のみに限定すれば、伝送画像情報の情報量削減の機能としても使用可能である。

また、さらに上記機能において、削除した背景の代わりに他の背景を用いることも可能である。つまり、背景として、別途取得しておいた風景画などを用いることにより、背景を個人の好みに入れ代えて使用することが可能である。この時、切り出し物体と背景の距離情報を利用すれば、画像の重ね合わせを容易に行なうことができる。
また、特定の画像の抽出処理は、画像認識、物体認識の処理の前処理として用いることが可能である。例えば、通常、顔認識の処理においては、顔部分の認識操作を行なう前段階の処理として、背景から顔部分の画像を抜き出す操作が必要となる。一般にこれは画像情報のみを用いて行なうため、処理時間がかかるなど容易ではなかったが、上記システムを用いることにより、顔部分の切り出し処理などは容易に行なうことが可能である。
なお、本例は第４の実施の形態例で説明したＬＥＤ照射システムを用いて同様な機能を実現することも可能であるが、ＬＥＤ照射システムでは距離精度が悪くなるため、距離情報に応じた細かな制御は困難である。

（応用例２）
本例では、上述した第１〜第４の実施の形態例に示す光切断法のシステムを２つ用いて、距離情報に応じて２つの画像を合成する。つまり、２つの画像において常に手前にある画像を表示するなどの制御を行なうようにする。
これは、例えば、仮想空間のシミュレーションとして、ある部屋のテーブルに他の場所に配置された置物を仮想的に画面上で配置することが可能となる。または、人物がある部屋の中を仮想的に移動し、物の影に隠れたりするなどの映像をリアルタイムに取得することが可能である。これらは、インテリアの配置シミュレーション、またインタラクション（相互対戦型）ゲーム等に使用することが可能である。

また、画面上のキーボード、各種ボタンなどと、手作業で作成した映像を反映させることにより、ユーザインタフェースを構築することが可能である。
また、アプリケーションによっては、手前にある画像のみを表示するのではなく、後ろにある画像を表示するなどの操作も可能であり、本来見えないものを見えるようにするなどの操作も可能となる。
また、本例において、システムを２台に限らず、３台以上でも画像の合成は可能であり、リアルタイムでの合成処理だけでなく、記録しておいた複数の画像を用いての制御や、記録画像とリアルタイムに取得した画像との合成などのバリエーションが可能である。

（応用例３）
本例では、上述した第１〜第４の実施の形態例に示す光切断法のシステムを用いて、画像情報と距離情報をさまざまな機器、ロボットの操作フィードバック制御に利用する。
たとえば、遠隔医療などのリモートコントロール操作において、画像の距離情報に応じた機器の自動制御が可能である。
または、映像に映っている物体に何らかの機器操作を施すときに、物体に機器が接触しないよう、その機器の操作可能空間を制限するなどの処置を施すことが可能である。
また、上記システムを自律型ロボットなどに搭載させ、ロボットが部屋の家具の配置情報などを検知、記憶することにより、ロボットが部屋の環境情報のマップを作成することが可能となる。これはロボットが部屋の中を移動、作業を行なう上での基礎データ情報として利用することができる。

（応用例４）
本例では、上述した第１〜図４の実施の形態例に示す光切断法のシステムを用いて、物体の距離情報を時間軸において解析することにより、物体の動き認識、ジェスチャー認識を行なう。
上述した第１〜第４の実施の形態例に示すシステムは、リアルタイムに３次元距離情報が取得可能であるので、物体の位置変化を時間軸方向に解析し、その動きの特徴を解析することにより、人の動きパターン（ジェスチャー）の認識が可能となる。
これを利用すると、たとえば、ジェスチャーによるユーザーインタフェースの技術などが可能となる。これらは、パソコン（ＰＣ）、ゲーム、ロボット、各種ＡＶ、ＩＴ機器などのユーザーインターフェースとして利用可能である。
また、このジェスチャー認識は、通常画像からの取得情報と組み合わせて、より認識対象、認識効果を高めることも可能である。

（応用例５）
本例では、自然の凹凸情報を物体認識、または人物認知、セキュリティー用途として利用する。
たとえば、人物認証を行なうセキュリティー用途として、人の顔形状情報を事前に認識登録しておき、その後、不特定の人物が来た時に、その人物の顔の凹凸情報と、事前登録してある人物の凹凸情報を照合し、一致するか否かにより人物の特定を行なう。このとき、第１〜第４の実施の形態例のセンサーシステムにおいては通常画像の取得も同時に可能であるので、応用例１のように、画像認識による人物認証と組み合わせて使用することが可能である。
また、これは、顔にかぎらず、身体のさまざまな部分での認証を行なうことが可能である。

また、第１〜第４の実施の形態例のセンサーシステムは、応用例４で示したような、時間軸方向への解析による、動き検出、ジェスチャー認識も可能となる。よって、このジェスチャーを個人認証として利用することも可能である。
また、このような、凹凸による認証は、人物のみでなく、通常の物体の認識に用いることも可能である。
また、上記のように、被写体の各部の凹凸情報を正確に認識、認証のデータとして用いるのではなく、凹凸の特徴、たとえば、テクスチャ（質感）の特徴として解析し、認識、認証のデータとして用いることも可能である。

（応用例６）
本例は、上述した第１〜第４の実施の形態例に示す光切断法のシステムを自動車の後方確認、車外確認に利用する。
たとえば、後方確認の場合では、センサーによる通常画像を見ながら運転操作を行ない、システムはそれと同時に後方障害物の距離を計測し、障害物まで一定の距離に近づけば警告を発する。
また、一般道路などに、凹凸による標識を設定し、これを個別の車に搭載した上記センサーシステムにて読みとることにより、自動車の自動制御フィードバックなどに応用することが可能である。たとえば、道路の側部に凹凸の標識を設定し、自動車はこれを読み取りながら進行し、自動車が道路よりはずれそうになったら、警告を発する等のシステムを構築することができる。

（応用例７）
本例は、上述した第１〜第４の実施の形態例に示す光切断法のシステムを自動車の車内において利用する。
たとえば、３次元計測機能を利用して、座席に座っている人の有無、座っている人の年齢などの判別を行なう。この検出結果はシートベルトの装着警告、エアバッグの動作レベルの調整などにフィードバックすることができる。
また、応用例２のようなジェスチャー認識機能を用い、運転者が車内の搭載機器をボタン等に触れることなく、身振り、手振りで操作ができるようにする。

（応用例８）
本例は、上述した第１〜第４の実施の形態例に示す光切断法のシステムをリアルタイム３次元モデリングに使用する。
第１の実施の形態によるシステムは、通常画像の取得と３次元計測がほぼ同時に可能であるので、物体の３次元モデリングと、画像の切り貼りによるテクスチャマッピングが可能である。またこれらは、リアルタイムで可能となる。
（応用例９）
応用例９として、上記第１〜第４の実施の形態例に示す光切断法のシステムをＭＰＥＧ４のオブジェクト切り出し処理に利用することができる。

以上説明したように本発明の固体撮像装置によれば、撮像画素によって得られた画像信号を信号線によって第１、第２の信号伝送経路に伝送し、第１、第２の信号処理部で互いに異なる信号処理を行うことにより、例えば通常の画像信号出力とその他の各種演算処理を個別の回路で行うことができる。
また、本発明の制御方法によれば、撮像画素によって得られた画像信号を信号線によって第１、第２の信号伝送経路に伝送し、第１、第２の信号処理ステップで互いに異なる信号処理を行うことにより、例えば通常の画像信号出力とその他の各種演算処理を個別の回路で行うことができる。
したがって、各信号処理に必要な回路素子を画素の外部にまとめて配置し、各画素内の構成を最小限に抑えて簡素化を図ることができ、また、通常の実画像の取得機能と、各種アプリケーションを実行する演算機能とを、それぞれ独立した回路構成によって強化することができ、装置の小型化、低消費電力化、低コスト化、実画像の多画素化（高画質化）等を実現することが可能となる。

本発明の実施の形態によるイメージセンサの全体構成を示す平面図である。 図１に示すイメージセンサにおけるピクセルアレイ部の各ピクセルの内部構成を示すブロック図である。 図１に示すイメージセンサの各ブロックの詳細を示すブロック図である。 図１に示すイメージセンサの画像出力時の動作を示すタイミングチャートである。 図１に示すイメージセンサの距離計測時の動作を示すタイミングチャートである。 ３次元距離計測を行うための三角法の原理とスリット光の検出方法を示す説明図である。 従来のイメージセンサの全体構成を示すブロック図である。 図７に示すイメージセンサのピクセルの内部構造を示す回路図である。 図７に示すイメージセンサにおける距離計測動作を示すタイミングチャートである。 本発明の第２の実施の形態例による３次元距離計測システムに用いるＭＥＭＳミラーの構成例を示す斜視図である。 本発明の第３の実施の形態例による３次元距離計測システムの構成例を示す説明図である。

符号の説明

４１……ピクセルアレイ部、４２……ピクセルＶスキャナ部、４３……ピクセルＨスキャナ部、４４……Ｉ−Ｖ変換回路部、４５……ＣＤＳ回路部、４６……カレントミラー回路部、４７……アナログメモリアレイ部、４８……メモリＶスキャナ部、４９……メモリＨスキャナ部、５０……コンパレータ部、５１……バイアス回路部、５２……データラッチ部、５３……出力データバス部、５４……垂直信号線、５５……水平信号線、６０……フォトダイオード、６１……転送トランジスタ、６２……転送選択トランジスタ、６３……リセットトランジスタ、６４……増幅トランジスタ、６５……選択トランジスタ、６６……フローティングデフュージョン部。

Claims (84)

1. それぞれ撮像画素を構成する複数の受光部と、前記受光部によって受光した光を電気信号に変換する複数の光電変換部と、前記複数の光電変換部によって変換された電気信号を取り出す複数の信号伝送経路を有する信号線を具備した固体撮像装置において、
   前記信号線によって第１の信号伝送方向に伝送された電気信号の処理を行う第１の信号処理部と、
   前記信号線によって第２の信号伝送方向に伝送された電気信号の処理を行う第２の信号処理部とを有し、
   前記第１の信号処理部と前記第２の信号処理部で異なる信号処理を行う、
   ことを特徴とする固体撮像装置。
2. 前記第１の信号処理部では画像情報の出力処理を行い、前記第２の信号処理部では前記光電変換部からの出力信号を用いた所定のアプリケーションを実行するための演算処理を行うことを特徴とする請求項１記載の固体撮像装置。
3. 前記第１の信号処理部によって信号処理を行う場合に前記第２の信号伝送方向を遮断し、前記第２の信号処理部によって信号処理を行う場合に前記第１の信号伝送方向を遮断するスイッチを有することを特徴とする請求項１記載の固体撮像装置。
4. 前記第１の信号処理部による信号処理と第２の信号処理部による信号処理の選択を外部からの切り替え信号によって行うことを特徴とする請求項１記載の固体撮像装置。
5. 前記第１の信号処理部および第２の信号処理部における非動作時の動作を一部または全部停止することを特徴とする請求項１記載の固体撮像装置。
6. 前記第１の信号処理部および第２の信号処理部による各信号処理で、各画素の掃引の順序を変更することを特徴とする請求項１記載の固体撮像装置。
7. 前記画素の掃引の順序として、１画素単位または少数画素ブロック単位によるシリアル処理と複数の信号線による並列処理とを使い分けることを特徴とする請求項６記載の固体撮像装置。
8. 画像情報の出力処理時には１画素単位によるシリアル処理を行い、その他の演算処理時には複数の信号線による並列処理を行なうことを特徴とする請求項７記載の固体撮像装置。
9. 前記第１の信号処理部および第２の信号処理部による各信号処理で、１本の信号線に同時に伝送する画素数を変更することを特徴とする請求項１記載の固体撮像装置。
10. 画像情報の出力処理時には１画素毎の信号を信号線に伝送し、その他の演算処理時には複数画素の信号を同時に１本の信号線に伝送することを特徴とする請求項９記載の固体撮像装置。
11. 前記演算処理時に１本の信号線に同時に伝送する画素数として、カラーフィルタの組み合わせに対応した画素数を用いることを特徴とする請求項１０記載の固体撮像装置。
12. 各画素は、前記受光部および光電変換部と、前記光電変換部からの信号電荷を転送する転送トランジスタと、前記転送トランジスタを選択する転送選択トランジスタと、前記転送トランジスタによって転送された信号電荷を増幅して電気信号に変換する増幅トランジスタと、前記増幅トランジスタに供給される信号電荷をリセットするリセットトランジスタと、画素選択を行う選択トランジスタとを有して構成されることを特徴とする請求項１記載の固体撮像装置。
13. 前記各画素は画素アレイ内に行方向と列方向の２次元マトリクス状に配置されていることを特徴とする請求項１２記載の固体撮像装置。
14. 前記各画素は、行方向の配線による選択線により各列の選択トランジスタが一括して選択され、前記信号線が列方向に配線されていることを特徴とする請求項１３記載の固体撮像装置。
15. 前記転送選択トランジスタに信号電荷の転送パルスを伝送する転送選択線および前記リセットトランジスタにリセットパルスを伝送するリセット線は、行に平行して配線されることを特徴とする請求項１４記載の固体撮像装置。
16. 前記転送選択線が特定の行に配線され、その次の行に配線されるリセット線が前記転送選択線と共有化されていることを特徴とする請求項１５記載の固体撮像装置。
17. 前記転送選択トランジスタのドレイン電極は行に平行に配線された転送選択線に接続され、ゲート電極は列に平行に配線された転送ゲート選択線に接続されることを特徴とする請求項１６記載の固体撮像装置。
18. 前記２次元マトリクス状の画素配置において、画像読み出しタイミングとして、電荷の転送時に転送選択線と転送ゲート選択線を同時にアクティブとし、転送終了後、転送選択線を非アクティブにした後に転送ゲート選択線を非アクティブとすることを特徴とする請求項１７記載の固体撮像装置。
19. 前記画素配置に対する列並列動作を行う場合、転送ゲート選択線を常時アクティブとすることを特徴とする請求項１８記載の固体撮像装置。
20. 前記画素配置に対する複数列の画素の同時読み出しを行なう場合、複数行の選択線をアクティブにした後、選択行の選択順の若い行より、転送選択線とリセット線の共有選択線に順次アクティブパルスを印加することを特徴とする請求項１８記載の固体撮像装置。
21. 前記画素の列方向に配列された信号線に対応してカレントミラー回路を配列することを特徴とする請求項１３記載の固体撮像装置。
22. 前記画素の複数の列の信号線を短絡して、１つのカレントミラー回路に入力することを特徴とする請求項２１記載の固体撮像装置。
23. 前記画素の１つまたは複数のカラム毎にスイッチを設け、これらスイッチの中から信号読み出し時にオンするスイッチを選択し、個々のカレントミラー回路に入力されるカラムを選択することを特徴とする請求項２１記載の固体撮像装置。
24. 前記各画素に対応するアナログフレームメモリセルを配列した画素アレイの近傍に配置されるアナログメモリアレイを有し、互いに対応する画素とアナログフレームメモリセルは、それぞれ前記カレントミラー回路を介して信号経路で接続されていることを特徴とする請求項２１記載の固体撮像装置。
25. 前記画素アレイとアナログメモリアレイは、それぞれ個別の行方向、および列方向の掃引用スキャナを有することを特徴とする請求項２４記載の固体撮像装置。
26. 前記画素アレイとアナログメモリアレイの各スキャナは互いに同期して掃引を行うことを特徴とする請求項２５記載の固体撮像装置。
27. 前記画素アレイ内の複数行の同時選択または、複数カラムの同時選択により、複数画素の信号を融合・加算し、複数画素を１つの受光画素単位として扱う手段を有することを特徴とする請求項２５記載の固体撮像装置。
28. 前記画素アレイとアナログメモリアレイにおいて、１つの受光画素単位に、１つのフレームメモリセル、または複数のフレームメモリセルを選択的に対応させることを特徴とする請求項２７記載の固体撮像装置。
29. 前記アナログメモリアレイにおいて、１つの受光画素単位に対応するメモリセルが複数フレームメモリセルである場合に、前記メモリセルの読み出し時に、複数のメモリセルを同時に読み出すことにより、複数のメモリセルの信号の融合・加算を行うことを特徴とする請求項２８記載の固体撮像装置。
30. 前記アナログメモリアレイにおいて、１つの受光画素単位に対応する複数フレームのうち２フレーム以上の組み合わせの加算結果の比較を行なう場合、各フレームに対応するメモリセルは信号線を挟んでマトリスク状に配置され、フレームの組み合わせは、必ず信号線を挟んで対極する側のセル同士を選択することを特徴とする請求項２９記載の固体撮像装置。
31. 前記画素アレイとアナログメモリアレイにおいて、画素アレイのスキャナによる１受光画素単位選択時の複数行選択と、アナログメモリアレイのスキャナによる複数フレームの単位選択時の複数行選択を同期させることを特徴とする請求項２９記載の固体撮像装置。
32. 前記アナログメモリアレイを構成する回路として、カレントコピア回路を使用することを特徴とする請求項２４記載の固体撮像装置。
33. 前記アナログメモリアレイにおいて、カレントコピア走査用のセル選択線とメモリスイッチ選択線を行方向に配線することを特徴とする請求項３２記載の固体撮像装置。
34. 前記アナログメモリ毎の信号を、１つまたは複数のカラム毎に配置されたコンパレータを用いて比較を行い、差分演算処理を実行することを特徴とする請求項２４記載の固体撮像装置。
35. 前記アナログメモリアレイと前記コンパレータの間にカラム毎にスイッチを設け、メモリ書き込み時はスイッチをオフとし、読み出し時は演算に必要なスイッチをオンとすることを特徴とする請求項３４記載の固体撮像装置。
36. 前記コンパレータの前段において、複数のカラム信号線を融合し、融合するカラムの選択は前記スイッチにおいて行うことを特徴とする請求項３４記載の固体撮像装置。
37. 前記コンパレータにチョッパ型コンパレータを用いることを特徴とする請求項３４記載の固体撮像装置。
38. 前記コンパレータの前段にバイアス回路を設け、前記アナログメモリからの信号の読み出し時に任意に重み付けを行うことを特徴とする請求項３４記載の固体撮像装置。
39. 前記バイアス回路は、列共通のカレントミラーでバイアスされたＰＭＯＳトランジスタのソースフォロア回路を用いることを特徴とする請求項３８記載の固体撮像装置。
40. 前記バイアス回路は、読み出し動作以外では前記アナログメモリとの間に設けられている前記スイッチをオフすることにより、コンパレータの前段の信号線の電位を電源電圧にバイアスすることを特徴とする請求項３８記載の固体撮像装置。
41. 前記画素アレイからの信号を列並列で読み出し、列毎に演算処理を行なう場合に、複数の列によって演算用ブロックを形成し、前記演算処理は各演算用ブロック毎にシリアルに行なうことを特徴とする請求項３４記載の固体撮像装置。
42. 前記演算用ブロックはアドレス線により選択され、カレントミラー部の前後段のスイッチ、メモリスイッチ線、コンパレータの後段スイッチ、信号線の負荷トランジスタ選択線、コンパレータ初期化線、データラッチのイネーブル線はアドレスによりブロック選択時にのみ動作が行われることを特徴とする請求項４１記載の固体撮像装置。
43. 前記第１、第２の信号処理部を用いて画像信号出力と距離計測とを行うことを特徴とする請求項１記載の固体撮像装置。
44. 前記第１、第２の信号処理部を用いて画像信号出力と動き検出とを行うことを特徴とする請求項１記載の固体撮像装置。
45. 前記第１、第２の信号処理部を用いてアナログ画像信号出力とデジタル画像信号出力とを行うことを特徴とする請求項１記載の固体撮像装置。
46. 前記第１、第２の信号処理部を用いて画像信号出力と画像フィルタ処理を行うことを特徴とする請求項１記載の固体撮像装置。
47. 前記第１、第２の信号処理部を用いて画像信号出力と画像の平滑化処理を行うことを特徴とする請求項１記載の固体撮像装置。
48. 前記第１、第２の信号処理部を用いて画像信号出力と画像のエッジ検出を行うことを特徴とする請求項１記載の固体撮像装置。
49. 被写体を照射するための光源と、前記光源から出射された光を被写体に対して掃引照射する掃引用ミラーとを有し、前記光源及び掃引用ミラーによって前記被写体に照射されて反射した光を前記受光部によって検出し、前記第２の信号処理部で演算処理することにより、前記被写体を光切断法によって測定することを特徴とする請求項１記載の固体撮像装置。
50. 前記光源はスリット状光を出射することを特徴とする請求項４９記載の固体撮像装置。
51. 前記掃引用ミラーは、ミラー本体となる半導体またはその他の材料で形成された可動板にミラー駆動部を形成したものであることを特徴とする請求項４９記載の固体撮像装置。
52. 前記掃引用ミラーは、前記可動板を揺動変位可能に保持するベースを有し、前記可動板は、ヒンジ部を介してベースに取り付けられ、前記ヒンジ部の変形によって揺動変位することを特徴とする請求項４９記載の固体撮像装置。
53. 前記掃引用ミラーは、前記ベースに保持された可動板に磁界を付与する磁気回路とを有し、前記ミラー駆動部は前記磁界内で通電されることにより、前記可動板をローレンツ力によって駆動する駆動コイルを含むことを特徴とする請求項５２記載の固体撮像装置。
54. 前記ミラー駆動部は前記磁界内での可動板の変位を検出する検出コイルを有することを特徴とする請求項５３記載の固体撮像装置。
55. 前記ミラー駆動部は、前記可動板のヒンジ部に通電することにより、ヒンジ材料の熱的膨張を利用して前記可動板を駆動することを特徴とする請求項５２記載の固体撮像装置。
56. 前記ミラー駆動部は、前記可動板のヒンジ部に通電することにより、ヒンジ部を構成する積層膜の熱膨張率の違いを利用して前記可動板を駆動することを特徴とする請求項５２記載の固体撮像装置。
57. 前記ミラー駆動部は、駆動モードとしてガルバノ駆動モードと共振駆動モードとを有することを特徴とする請求項５２記載の固体撮像装置。
58. 前記ヒンジ部にポリイミド材を用いたことを特徴とする請求項５２記載の固体撮像装置。
59. 前記光源と掃引用ミラーとを同一基板上に設けたことを特徴とする請求項４９記載の固体撮像装置。
60. 前記掃引用ミラーにおけるミラーの振動周波数、ミラーの振り角、動作の開始、停止を外部からの信号によりコントロールする手段を有することを特徴とする請求項４９記載の固体撮像装置。
61. 前記光源はレーザ光源であり、レーザ光をスリット状光に変換するレーザホログラムを有することを特徴とする請求項４９記載の固体撮像装置。
62. 前記レーザホログラムを光源と掃引用ミラーとの間に設けたことを特徴とする請求項４９記載の固体撮像装置。
63. 前記レーザホログラムを掃引用ミラーの被写体側に設けたことを特徴とする請求項４９記載の固体撮像装置。
64. 前記第２の信号処理部の演算処理によって得られる距離情報に基づいて、画像の中から、ある特定の距離範囲にある画像を抽出する処理を行うことを特徴とする請求項４９記載の固体撮像装置。
65. 前記第２の信号処理部の演算処理によって得られる距離情報に基づいて、画像の中から、ある特定の距離範囲にある画像を他の画像に置き換える処理を行うことを特徴とする請求項４９記載の固体撮像装置。
66. 前記他の画像は、オペレータが手作業によって作成した画像であることを特徴とする請求項６５記載の固体撮像装置。
67. 前記他の画像は、他の媒体より入力された画像であることを特徴とする請求項６５記載の固体撮像装置。
68. 前記他の画像は、固体撮像装置によって撮像された画像であることを特徴とする請求項６５記載の固体撮像装置。
69. ある特定の画像を抽出し、画像認識によって被写体を認識することを特徴とする請求項６４記載の固体撮像装置。
70. ある特定の画像を抽出し、被写体の位置情報の時間的解析による特徴抽出によって被写体を認識することを特徴とする請求項６４記載の固体撮像装置。
71. ある特定の画像を抽出し、画像認識、及び被写体の位置情報の時間的解析による特徴抽出によって被写体を認識することを特徴とする請求項６４記載の固体撮像装置。
72. ある特定の画像を抽出し、画像認識、及び被写体の位置情報の時間的解析による特徴抽出によって被写体を認識し、その認識結果を同様の処理によって取得した他の被写体の認識結果を比較することにより、被写体を認識することを特徴とする請求項６４記載の固体撮像装置。
73. それぞれ撮像画素を構成する複数の受光部と、前記受光部によって受光した光を電気信号に変換する複数の光電変換部と、前記複数の光電変換部によって変換された電気信号を取り出す複数の信号伝送経路を有する信号線を具備した固体撮像装置の制御方法において、
    前記信号線によって第１の信号伝送方向に伝送された電気信号の処理を行う第１の信号処理ステップと、
    前記信号線によって第２の信号伝送方向に伝送された電気信号の処理を行う第２の信号処理ステップとを有し、
    前記第１の信号処理ステップと前記第２の信号処理ステップで異なる信号処理を行う、
    ことを特徴とする固体撮像装置の制御方法。
74. 前記第２の信号処理ステップでは、光源から出射された光を被写体に対して掃引照射し、前記被写体からの反射光を前記受光部によって検出し、この検出信号を演算処理することにより、前記被写体を光切断法によって測定することを特徴とする請求項７３記載の固体撮像装置の制御方法。
75. 前記第２の信号処理ステップの演算処理によって得られる距離情報に基づいて、画像の中から、ある特定の距離範囲にある画像を抽出する処理を行うことを特徴とする請求項７４記載の固体撮像装置の制御方法。
76. 前記第２の信号処理ステップの演算処理によって得られる距離情報に基づいて、画像の中から、ある特定の距離範囲にある画像を他の画像に置き換える処理を行うことを特徴とする請求項７４記載の固体撮像装置の制御方法。
77. 前記他の画像は、オペレータが手作業によって作成した画像であることを特徴とする請求項７６記載の固体撮像装置の制御方法。
78. 前記他の画像は、他の媒体より入力された画像であることを特徴とする請求項７６記載の固体撮像装置の制御方法。
79. 前記他の画像は、固体撮像装置によって撮像された画像であることを特徴とする請求項７６記載の固体撮像装置の制御方法。
80. 前記他の画像は、固体撮像装置によって撮像された画像であることを特徴とする請求項７６記載の固体撮像装置の制御方法。
81. ある特定の画像を抽出し、画像認識によって被写体を認識することを特徴とする請求項７５記載の固体撮像装置の制御方法。
82. ある特定の画像を抽出し、被写体の位置情報の時間的解析による特徴抽出によって被写体を認識することを特徴とする請求項７５記載の固体撮像装置の制御方法。
83. ある特定の画像を抽出し、画像認識、及び被写体の位置情報の時間的解析による特徴抽出によって被写体を認識することを特徴とする請求項７５記載の固体撮像装置の制御方法。
84. ある特定の画像を抽出し、画像認識、及び被写体の位置情報の時間的解析による特徴抽出によって被写体を認識し、その認識結果を同様の処理によって取得した他の被写体の認識結果を比較することにより、被写体を認識することを特徴とする請求項７５記載の固体撮像装置の制御方法。
    

Images