JP2018148528A

JP2018148528A - 固体撮像装置および電子機器

Info

Publication number: JP2018148528A
Application number: JP2017044882A
Authority: JP
Inventors: 晃司小川; Koji Ogawa; 忠行田浦; Tadayuki Taura
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2017-03-09
Filing date: 2017-03-09
Publication date: 2018-09-20
Also published as: US20200228738A1; WO2018163873A1; US10939062B2

Abstract

【課題】低消費電力化を図ることができる。【解決手段】単位画素毎または共有画素単位毎のAD変換器において、画素信号と時間的に変化する参照信号とを比較し、また、注目画素と、注目画素の近傍に位置する近傍画素における画素信号の大小関係を、参照信号により比較し、その大小関係の比較結果をデータ記憶部に保持する。本開示は、例えば、裏面照射型の固体撮像素装置に適用することができる。【選択図】図１７

Description

本開示は、固体撮像装置および電子機器に関し、特に、低消費電力化を図るようにした固体撮像装置および電子機器に関する。

画像の濃淡値の変動に頑健で、高い識別性能を示す局所特徴量の1つとしてローカルバイナリパターン（LBP）が知られており、顔画像認識、テクスチャ分割、リアルタイム動画像解析等様々な分野で応用されている（特許文献１参照）。

特開２０１５−３５１７２号公報

従来のリアルタイム認識システムでは、撮像素子から得られたデジタル画像信号を用いてプロセッサによりLBP特徴抽出を行い学習データと照らし合わせ認識結果を出力する。

LBP特徴抽出自体はシンプルで演算量が少ないという利点がある一方、高速で常に認識処理を行うような用途に用いる場合、撮像素子から高速に画像データを取得し続ける必要があるため、撮像素子側の消費電力が膨大になってしまっていた。

本開示は、このような状況に鑑みてなされたものであり、パルス信号の時間幅を十分に確保することができるものである。

本技術の一側面の固体撮像装置は、画素信号と時間的に変化する参照信号とを比較する比較回路と、注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部とを画素毎またはエリアブロック毎に備える。

前記比較回路と前記参照信号とを用いて、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を前記データ保持部に保持することができる。

前記注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係の比較と同時に、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を保持する、前記データ保持部とは異なる第２のデータ保持部をさらに備えることができる。

前記近傍画素の比較回路出力信号を、前記注目画素の前記データ記憶部に接続させることができる。

前記注目画素と比較する近傍画素の数よりも、前記注目画素の前記データ記憶部に接続される近傍画素の比較回路出力信号の数のほうが少ない。

前記近傍画素は、前記注目画素に隣接する隣接画素である。

本技術の一側面の電子機器は、画素信号と時間的に変化する参照信号とを比較する比較回路と、注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部とを画素毎またはエリアブロック毎に備える固体撮像装置と、前記固体撮像装置から出力される出力信号を処理する信号処理回路と、入射光を前記固体撮像装置に入射する光学系とを有する。

本技術の一側面においては、画素毎またはエリアブロック毎に、画素信号と時間的に変化する参照信号とが比較され、注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係が、前記参照信号により比較され、前記大小関係の比較結果がデータ保持部に保持される。

本技術によれば、低消費電力化を図ることができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

LBPの特徴を説明する図である。本技術のコンセプトを説明する図である。本開示に係る固体撮像装置の概略構成を示す図である。画素の詳細構成例を示すブロック図である。比較回路の動作中の各信号の遷移を表す図である。画素の動作について説明するタイミングチャートである。画素回路の詳細構成について説明する図である。画素の動作について説明するタイミングチャートである。時刻コード転送部とデータ記憶部の第１の構成例を示す回路図である。時刻コード転送部とデータ記憶部の第２の構成例を示す回路図である。シフトレジスタのD-F/Fの構成例を示す図である。双方向バッファ回路の構成例を示す図である。２枚の半導体基板を積層することで固体撮像装置を構成する概念図である。２枚の半導体基板で固体撮像装置を構成する場合の回路構成例を示す図である。３枚の半導体基板を積層することで固体撮像装置を構成する概念図である。３枚の半導体基板で固体撮像装置を構成する場合の回路構成例を示す図である。本技術を適用した画素の構成例を示すブロック図である。画素の１画素単位の回路ブロック図である。撮像モード時の動作タイミングを示す図である。 LBP特徴抽出モード時の動作タイミングを示す図である。 LBP特徴抽出モード時の動作タイミングを示す図である。４画素共有の場合の画素の１画素単位の回路ブロック図である。 LBP特徴抽出モードと撮像モードとが同時実行可能な場合の画素の１画素単位の回路ブロック図である。近傍画素間のVCO配線接続について説明する図である。近傍画素間のVCO配線接続について説明する図である。近傍画素について説明する図である。本技術を適用したイメージセンサの使用例を示す図である。本技術を適用した電子機器の構成例を示すブロック図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態
２．第２の実施の形態
３．イメージセンサの使用例
４．電子機器の例
５．移動体への応用例

＜０．概要＞
＜ローカルバイナリパターン(LBP)について＞
図１は、ローカルバイナリパターン(LBP)の特徴について説明するための図である。図１は、LBPの算出例を示す図である。

図１の例に示されるように、３×３アレイのように画素値が並んでいる場合を例として、中央の注目画素におけるLBP値の算出方法について述べる。まず、中央の注目画素の画素値125を閾値として、近傍画素の値を閾値と比較し、閾値よりも大きければ1、小さければ0として、それぞれ2値化する。次に2値化した値を、注目画素の北西に位置する近傍画素から時計回りに順に並べ、2進数のパターンとして捉える。

図１の例においては、11010100（2進数）となり、10進数で表現すると222が注目画素に対するLBP値となる。なお、今回は、北西の近傍画素を最下位bitとして順に並べているが、近傍画素の選び方や、bitの並び順にはバリエーションがある。

このようにして、各画素に対応するLBP値をそれぞれ求め、画像全体で各LBP値を持つ画素がいくつあるかという情報（すなわちLBP値のヒストグラム）がLBP特徴量となる。今回の例では、注目画素と比較する近傍画素として隣接8近傍を取っているので、特徴量の次元数は8bitとなり10進数で言うと256次元の特徴量となる。

以上のように、LBP特徴は注目画素の画素値を閾値として周辺画素との相対関係により画像のパターンを記述するものであるため、画像全体にオフセットが重畳するような外的要因による変化（例えば照明環境変化等）に対し頑健であることが利点として挙げられる。

これまでのリアルタイム認識システムでは、撮像素子から得られたデジタル画像信号を用いてプロセッサによりLBP特徴抽出を行い学習データと照らし合わせ認識結果を出力する。

そこで、図２に示されるように、本技術においては、外部プロセッサではなく、撮像素子（イメージセンサ）内でアナログ画素信号から直接LBP特徴抽出を行うことで、画素信号のAD変換を省き、消費電力を削減できる。さらに、イメージセンサから出力するデータは、画像信号ではなくLBP特徴量そのものとなり、イメージセンサから外部プロセッサへ送られるデータ量が削減されることでI/Oに関する消費電力も抑制することができる。

例えば、8bitフルHD画像から8bitの256次元LBP特徴を抽出する前提で、本技術の適用を考えると、(256次元×21bit)/(1920画素×1080画素×8bit)×100 ≒ 0.032%となり、出力データ量を0.032%にまで削減することができる。

ここで、LBP特徴1次元当たりのbit幅はフルHD画素数をオーバーフロー無くカウントできる21bit幅とした。

本技術によるLBP特徴抽出機能を備えたイメージセンサは、画素ADC CMOSイメージセンサをベースに、その機能/撮像特性は劣化させることなく、僅かな回路面積追加のみで実現される。

まず、図３乃至図１６を参照して、第１の実施の形態として、本技術のベースとなる画素ADCイメージセンサについて説明する。

＜１．第１の実施の形態＞
＜固体撮像装置の概略構成例＞
図３は、本技術に係る固体撮像装置の概略構成を示している。

図３の固体撮像装置１は、半導体として例えばシリコン（Si）を用いた半導体基板１１に、画素２１が２次元アレイ状に配列された画素アレイ部２２を有する。画素アレイ部２２には、時刻コード発生部２６で生成された時刻コードを各画素２１に転送する時刻コード転送部２３も設けられている。そして、半導体基板１１上の画素アレイ部２２の周辺には、画素駆動回路２４、DAC（D/A Converter）２５、時刻コード発生部２６、垂直駆動回路２７、出力部２８、及びタイミング生成回路２９が形成されている。

２次元アレイ状に配列された画素２１のそれぞれには、図２を参照して後述するように、画素回路４１とADC４２が設けられており、画素２１は、画素内の受光素子（例えば、フォトダイオード）で受光した光量に応じた電荷信号を生成し、デジタルの画素信号SIGに変換して出力する。

画素駆動回路２４は、画素２１内の画素回路４１（図４）を駆動する。DAC２５は、時間経過に応じてレベル（電圧）が単調減少するスロープ信号である参照信号（基準電圧信号）REFを生成し、各画素２１に供給する。時刻コード発生部２６は、各画素２１が、アナログの画素信号SIGをデジタルの信号に変換（AD変換）する際に使用される時刻コードを生成し、対応する時刻コード転送部２３に供給する。時刻コード発生部２６は、画素アレイ部２２に対して複数個設けられており、画素アレイ部２２内には、時刻コード発生部２６に対応する数だけ、時刻コード転送部２３が設けられている。即ち、時刻コード発生部２６と、そこで生成された時刻コードを転送する時刻コード転送部２３は、１対１に対応する。

垂直駆動回路２７は、画素２１内で生成されたデジタルの画素信号SIGを、タイミング生成回路２９から供給されるタイミング信号に基づいて、所定の順番で出力部２８に出力させる制御を行う。画素２１から出力されたデジタルの画素信号SIGは、出力部２８から固体撮像装置１の外部へ出力される。出力部２８は、黒レベルを補正する黒レベル補正処理やCDS(Correlated Double Sampling；相関２重サンプリング)処理など、所定のデジタル信号処理を必要に応じて行い、その後、外部へ出力する。

タイミング生成回路２９は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、生成した各種のタイミング信号を、画素駆動回路２４、DAC２５、垂直駆動回路２７等に供給する。

固体撮像装置１は、以上のように構成されている。なお、図３では、上述したように、固体撮像装置１を構成する全ての回路が、１つの半導体基板１１上に形成されるように説明したが、後述するように、固体撮像装置１を構成する回路を複数枚の半導体基板１１に分けて配置する構成とすることもできる。

＜画素の詳細構成例＞
図４は、画素２１の詳細構成例を示すブロック図である。

画素２１は、画素回路４１とADC（AD変換器）４２で構成されている。

画素回路４１は、受光した光量に応じた電荷信号をアナログの画素信号SIGとしてADC４２に出力する。ADC４２は、画素回路４１から供給されたアナログの画素信号SIGをデジタル信号に変換する。

ADC４２は、比較回路５１とデータ記憶部５２で構成される。

比較回路５１は、DAC２５から供給される参照信号REFと画素信号SIGを比較し、比較結果を表す比較結果信号として、出力信号VCOを出力する。比較回路５１は、参照信号REFと画素信号SIGが同一（の電圧）になったとき、出力信号VCOを反転させる。

比較回路５１は、差動入力回路６１、電圧変換回路６２、及び正帰還回路（PFB:positive feedback）６３により構成されるが、詳細は、図５を参照して後述する。

データ記憶部５２には、比較回路５１から出力信号VCOが入力される他、垂直駆動回路２７から、画素信号の書き込み動作であることを表すWR信号、画素信号の読み出し動作であることを表すRD信号、及び、画素信号の読み出し動作中における画素２１の読み出しタイミングを制御するWORD信号が、垂直駆動回路２７から供給される。また、時刻コード転送部２３を介して、時刻コード発生部２６で生成された時刻コードも供給される。

データ記憶部５２は、WR信号及びRD信号に基づいて、時刻コードの書き込み動作と読み出し動作を制御するラッチ制御回路７１と、時刻コードを記憶するラッチ記憶部７２で構成される。

ラッチ制御回路７１は、時刻コードの書き込み動作においては、比較回路５１からHi（High）の出力信号VCOが入力されている間、時刻コード転送部２３から供給される、単位時間ごとに更新される時刻コードをラッチ記憶部７２に記憶させる。そして、参照信号REFと画素信号SIGが同一（の電圧）になり、比較回路５１から供給される出力信号VCOがLo(Low)に反転されたとき、供給される時刻コードの書き込み（更新）を中止し、最後にラッチ記憶部７２に記憶された時刻コードをラッチ記憶部７２に保持させる。ラッチ記憶部７２に記憶された時刻コードは、画素信号SIGと参照信号REFが等しくなった時刻を表しており、画素信号SIGがその時刻の基準電圧であったことを示すデータ、即ち、デジタル化された光量値を表す。

参照信号REFの掃引が終了し、画素アレイ部２２内の全ての画素２１のラッチ記憶部７２に時刻コードが記憶された後、画素２１の動作が、書き込み動作から読み出し動作に変更される。

ラッチ制御回路７１は、時刻コードの読み出し動作においては、読み出しタイミングを制御するWORD信号に基づいて、画素２１が自分の読み出しタイミングとなったときに、ラッチ記憶部７２に記憶されている時刻コード（デジタルの画素信号SIG）を、時刻コード転送部２３に出力する。時刻コード転送部２３は、供給された時刻コードを、列方向（垂直方向）に順次転送し、出力部２８に供給する。

以下では、時刻コードの書き込み動作においてラッチ記憶部７２に書き込まれる時刻コードと区別するため、時刻コードの読み出し動作においてラッチ記憶部７２から読み出される出力信号VCOが反転したときの反転時刻コードである、画素信号SIGがその時刻の基準電圧であったことを示すデジタル化された画素データを、AD変換画素データとも称する。

＜比較回路の構成例＞
図５は、比較回路５１を構成する差動入力回路６１、電圧変換回路６２、及び正帰還回路６３の詳細構成を示す回路図である。

差動入力回路６１は、画素２１内の画素回路４１から出力された画素信号SIGと、DAC２５から出力された参照信号REFとを比較し、画素信号SIGが参照信号REFよりも高いときに所定の信号（電流）を出力する。

差動入力回路６１は、差動対となるトランジスタ８１及び８２、カレントミラーを構成するトランジスタ８３及び８４、入力バイアス電流Vbに応じた電流IBを供給する定電流源としてのトランジスタ８５、並びに、差動入力回路６１の出力信号HVOを出力するトランジスタ８６により構成されている。

トランジスタ８１、８２、及び８５は、NMOS(Negative Channel MOS)トランジスタで構成され、トランジスタ８３、８４、及び８６は、PMOS(Positive Channel MOS)トランジスタで構成される。

差動対となるトランジスタ８１及び８２のうち、トランジスタ８１のゲートには、DAC２５から出力された参照信号REFが入力され、トランジスタ８２のゲートには、画素２１内の画素回路４１から出力された画素信号SIGが入力される。トランジスタ８１と８２のソースは、トランジスタ８５のドレインと接続され、トランジスタ８５のソースは、所定の電圧VSS（VSS＜VDD2＜VDD1）に接続されている。

トランジスタ８１のドレインは、カレントミラー回路を構成するトランジスタ８３及び８４のゲート及びトランジスタ８３のドレインと接続され、トランジスタ８２のドレインは、トランジスタ８４のドレイン及びトランジスタ８６のゲートと接続されている。トランジスタ８３、８４、及び８６のソースは、第１電源電圧VDD1に接続されている。

電圧変換回路６２は、例えば、NMOS型のトランジスタ９１で構成される。トランジスタ９１のドレインは、差動入力回路６１のトランジスタ８６のドレインと接続され、トランジスタ９１のソースは、正帰還回路６３内の所定の接続点に接続され、トランジスタ８６のゲートは、バイアス電圧VBIASに接続されている。

差動入力回路６１を構成するトランジスタ８１乃至８６は、第１電源電圧VDD1までの高電圧で動作する回路であり、正帰還回路６３は、第１電源電圧VDD1よりも低い第２電源電圧VDD2で動作する回路である。電圧変換回路６２は、差動入力回路６１から入力される出力信号HVOを、正帰還回路６３が動作可能な低電圧の信号（変換信号）LVIに変換して、正帰還回路６３に供給する。

バイアス電圧VBIASは、定電圧で動作する正帰還回路６３の各トランジスタ１０１乃至１０５を破壊しない電圧に変換する電圧であれば良い。例えば、バイアス電圧VBIASは、正帰還回路６３の第２電源電圧VDD2と同じ電圧（VBIAS＝VDD2）とすることができる。

正帰還回路６３は、差動入力回路６１からの出力信号HVOが第２電源電圧VDD2に対応する信号に変換された変換信号LVIに基づいて、画素信号SIGが参照信号REFよりも高いときに反転する比較結果信号を出力する。また、正帰還回路６３は、比較結果信号として出力する出力信号VCOが反転するときの遷移速度を高速化する。

正帰還回路６３は、５つのトランジスタ１０１乃至１０５で構成される。ここで、トランジスタ１０１、１０２、及び１０４は、PMOSトランジスタで構成され、トランジスタ１０３及び１０５は、NMOSトランジスタで構成される。

電圧変換回路６２の出力端であるトランジスタ９１のソースは、トランジスタ１０２及び１０３のドレインと、トランジスタ１０４及び１０５のゲートに接続されている。トランジスタ１０１及び１０４のソースは、第２電源電圧VDD2に接続され、トランジスタ１０１のドレインは、トランジスタ１０２のソースと接続され、トランジスタ１０２のゲートは、正帰還回路６３の出力端でもあるトランジスタ１０４及び１０５のドレインと接続されている。トランジスタ１０３及び１０５のソースは、所定の電圧VSSに接続されている。トランジスタ１０１と１０３のゲートには、初期化信号INIが供給される。

トランジスタ１０４と１０５はインバータ回路を構成し、それらのドレインどうしの接続点は、比較回路５１が出力信号VCOを出力する出力端となっている。

以上のように構成される比較回路５１の動作について説明する。図６は、比較回路５１の動作中の各信号の遷移を表す。なお、図６において“G86”はトランジスタ８６のゲート電位を表している。

まず、参照信号REFが、全ての画素２１の画素信号SIGよりも高い電圧に設定されるとともに、初期化信号INIがHiにされて、比較回路５１が初期化される。

より具体的には、トランジスタ８１のゲートには参照信号REFが、トランジスタ８２のゲートには画素信号SIGが印加される。参照信号REFの電圧が、画素信号SIGの電圧よりも高い電圧の時は電流源となるトランジスタ８５が出力した電流のほとんどがトランジスタ８１を経由してダイオード接続されたトランジスタ８３に流れる。トランジスタ８３と共通のゲートを持つトランジスタ８４のチャネル抵抗は十分低くなりトランジスタ８６のゲートをほぼ第１電源電圧VDD1レベルに保ち、トランジスタ８６は遮断される。したがって、電圧変換回路６２のトランジスタ９１が導通していたとしても、充電回路としての正帰還回路６３が変換信号LVIを充電することは無い。一方、初期化信号INIとしてHiの信号が供給されていることから、トランジスタ１０３は導通し、正帰還回路６３は変換信号LVIを放電する。また、トランジスタ１０１は遮断するので、正帰還回路６３がトランジスタ１０２を介して変換信号LVIを充電することもない。その結果、変換信号LVIは、所定の電圧VSSレベルまで放電され、正帰還回路６３は、インバータを構成するトランジスタ１０４と１０５によってHiの出力信号VCOを出力し、比較回路５１が初期化される。

初期化の後、初期化信号INIがLoにされて、参照信号REFの掃引が開始される。

参照信号REFが画素信号SIGよりも高い電圧の期間では、トランジスタ８６はオフとなるため遮断され、出力信号VCOはHiの信号となるので、トランジスタ１０２もオフとなり遮断される。トランジスタ１０３も、初期化信号INIはLoとなっているため遮断される。変換信号LVIは、高インピーダンス状態のまま所定の電圧VSSを保ち、Hiの出力信号VCOが出力される。

参照信号REFが画素信号SIGよりも低くなると、電流源のトランジスタ８５の出力電流はトランジスタ８１を流れなくなり、トランジスタ８３と８４のゲート電位は上昇して、トランジスタ８４のチャネル抵抗は高くなる。そこに、トランジスタ８２を介して流れ込む電流が、電圧降下を起こしてトランジスタ８６のゲート電位を下げ、トランジスタ９１が導通する。トランジスタ８６から出力された出力信号HVOは、電圧変換回路６２のトランジスタ９１によって変換信号LVIに変換され、正帰還回路６３に供給される。充電回路としての正帰還回路６３は、変換信号LVIを充電し、電位を低電圧VSSから第２電源電圧VDD2へ近づけてゆく。

そして、変換信号LVIの電圧が、トランジスタ１０４と１０５で構成されるインバータの閾値電圧を超えると、出力信号VCOはLoとなり、トランジスタ１０２が導通する。トランジスタ１０１も、Loの初期化信号INIが印加されているため導通しており、正帰還回路６３は、トランジスタ１０１と１０２を介して、変換信号LVIを急速に充電し、電位を第２電源電圧VDD2まで一気に持ち上げる。

電圧変換回路６２のトランジスタ９１は、ゲートにバイアス電圧VBIASが印加されているので、変換信号LVIの電圧が、バイアス電圧VBIASからトランジスタ閾値下がった電圧値に到達すれば遮断する。トランジスタ８６が導通したままだとしても、それ以上に変換信号LVIを充電することは無く、電圧変換回路６２は、電圧クランプ回路としても機能する。

トランジスタ１０２の導通による変換信号LVIの充電は、そもそもが変換信号LVIがインバータ閾値まで上昇してきたことを発端とし、その動きを加速する正帰還動作である。差動入力回路６１の電流源であるトランジスタ８５は、固体撮像装置１で並列同時に動作する回路数が膨大であることから１回路あたりの電流がきわめて僅かな電流に設定される。さらに、参照信号REFは、時刻コードが切り替わる単位時間に変化する電圧がAD変換のLSBステップとなるために極めて緩慢に掃引される。従って、トランジスタ８６のゲート電位の変化も緩慢であり、それによって駆動されるトランジスタ８６の出力電流の変化も緩慢である。しかし、その出力電流で充電される変換信号LVIに、後段から正帰還をかけることで、出力信号VCOは十分急速に遷移することができる。望ましくは、出力信号VCOの遷移時間は、時刻コードの単位時間の数分の１であり、典型例としては1ns以下である。本開示の比較回路５１は、電流源のトランジスタ８５に、例えば0.1uAの僅かな電流を設定しただけで、この出力遷移時間を達成することができる。

＜画素回路の詳細構成例＞
図７を参照して、画素回路４１の詳細構成について説明する。

図７は、図５に示した比較回路５１に、画素回路４１の詳細を追加して示した回路図である。

画素回路４１は、光電変換素子としてのフォトダイオード（PD）１２１、排出トランジスタ１２２、転送トランジスタ１２３、リセットトランジスタ１２４、及び、FD(浮遊拡散層)１２５で構成されている。

排出トランジスタ１２２は、露光期間を調整する場合に使用される。具体的には、露光期間を任意のタイミングで開始したいときに排出トランジスタ１２２をオンさせると、それまでの間にフォトダイオード１２１に蓄積されていた電荷が排出されるので、排出トランジスタ１２２がオフされた以降から、露光期間が開始されることになる。

転送トランジスタ１２３は、フォトダイオード１２１で生成された電荷をFD１２５に転送する。リセットトランジスタ１２４は、FD１２５に保持されている電荷をリセットする。FD１２５は、差動入力回路６１のトランジスタ８２のゲートに接続されている。これにより、差動入力回路６１のトランジスタ８２は、画素回路４１の増幅トランジスタとしても機能する。

リセットトランジスタ１２４のソースは、差動入力回路６１のトランジスタ８２のゲート、及び、FD１２５に接続されており、リセットトランジスタ１２４のドレインは、トランジスタ８２のドレインと接続されている。したがって、FD１２５の電荷をリセットするための固定のリセット電圧がない。これは、差動入力回路６１の回路状態を制御することで、FD１２５をリセットするリセット電圧を、参照信号REFを用いて任意に設定可能であるためである。

＜画素部タイミングチャート＞
図８のタイミングチャートを参照して、図７に示した画素２１の動作について説明する。

初めに、時刻ｔ１において、参照信号REFが、それまでのスタンバイ電圧Vstbから、FD１２５の電荷をリセットするリセット電圧Vrstに設定され、リセットトランジスタ１２４がオンされることにより、FD１２５の電荷がリセットされる。また、時刻ｔ１では、正帰還回路６３のトランジスタ１０１と１０３のゲートに供給される初期化信号INIがHiに設定され、正帰還回路６３が初期状態に設定される。

時刻ｔ２において、参照信号REFが所定の電圧Vuまで持ち上げられ、参照信号REFと画素信号SIGの比較（参照信号REFの掃引）が開始される。この時点では、参照信号REFが画素信号SIGよりも大きいため出力信号VCOはHiとなっている。

参照信号REFと画素信号SIGが同一となったと判定された時刻ｔ３において、出力信号VCOが反転（Lowに遷移）される。出力信号VCOが反転されると、上述したように正帰還回路６３によって出力信号VCOの反転が高速化される。また、データ記憶部５２では、出力信号VCOが反転した時点の時刻データ（NビットのDATA[1]乃至DATA[N]）が記憶される。

信号書き込み期間が終了し、かつ、信号読み出し期間の開始時刻である時刻ｔ４において、比較回路５１のトランジスタ８１のゲートに供給する参照信号REFの電圧が、トランジスタ８１がオフするレベル(スタンバイ電圧Vstb)まで引き下げられる。これにより、信号読み出し期間中の比較回路５１の消費電流が抑制される。

時刻ｔ５において、読み出しタイミングを制御するWORD信号がHiとなり、Nビットのラッチ信号Col[n]（ｎ＝１乃至N）（不図示）が、データ記憶部５２のラッチ制御回路７１から出力される。ここで取得されるデータは、CDS(Correlated Double Sampling；相関２重サンプリング)処理する際のリセットレベルのP相データとなる。

時刻ｔ６において、参照信号REFが所定の電圧Vuまで持ち上げられるともに、トランジスタ１０１と１０３のゲートに供給される初期化信号INIがHiに設定され、正帰還回路６３が再び初期状態に設定される。

時刻ｔ７において、Hiの転送信号TXにより画素回路４１の転送トランジスタ１２３がオンされ、フォトダイオード１２１で生成された電荷がFD１２５に転送される。

初期化信号INIがLowに戻された後、参照信号REFと画素信号SIGの比較（参照信号REFの掃引）が開始される。この時点では、参照信号REFが画素信号SIGよりも大きいため出力信号VCOはHiとなっている。

そして、参照信号REFと画素信号SIGが同一となったと判定された時刻ｔ８において、出力信号VCOが反転（Lowに遷移）される。出力信号VCOが反転されると、正帰還回路６３によって出力信号VCOの反転が高速化される。また、データ記憶部５２には、出力信号VCOが反転した時点の時刻データ（NビットのDATA[1]乃至DATA[N]）が記憶される。

信号書き込み期間が終了し、かつ、信号読み出し期間の開始時刻である時刻ｔ９において、比較回路５１のトランジスタ８１のゲートに供給する参照信号REFの電圧が、トランジスタ８１がオフするレベル(スタンバイ電圧Vstb)まで引き下げられる。これにより、信号読み出し期間中の比較回路５１の消費電流が抑制される。

時刻ｔ１０において、読み出しタイミングを制御するWORD信号がHiとなり、Nビットのラッチ信号Col[n]（ｎ＝１乃至N）（不図示）が、データ記憶部５２のラッチ制御回路７１から出力される。ここで取得されるデータは、CDS処理する際の信号レベルのD相データとなる。時刻ｔ１１は、上述した時刻ｔ１と同じ状態であり、次の１V（１垂直走査期間）の駆動となる。

以上の画素２１の駆動によれば、最初に、P相データ（リセットレベル）が取得された後、読み出され、次に、D相データ（信号レベル）が取得されて、読み出される。

以上の動作により、固体撮像装置１の画素アレイ部２２の各画素２１は、全画素同時にリセットし、かつ、全画素同時に露光するグローバルシャッタ動作が可能である。全画素が同時に露光及び読み出しを行うことが出来るので、通常、画素内に設けられる、電荷が読み出されるまでの間、電荷を保持する保持部が不要である。また、画素２１の構成では、カラム並列読み出し型の固体撮像装置で必要であった、画素信号SIGを出力する画素を選択するための選択トランジスタ等も不要である。

図８を参照して説明した画素２１の駆動では、排出トランジスタ１２２が常にオフに制御されていた。しかし、図８において破線で示されるように、所望の時刻で、排出信号OFGをHiに設定して排出トランジスタ１２２を一旦オンさせた後、オフさせることにより、任意の露光期間を設定することも可能である。

＜時刻コード転送部とデータ記憶部の構成例＞
図９は、時刻コード転送部２３とデータ記憶部５２の第１の構成例を示す回路図である。

図９の構成例においては、データ記憶部５２は、１個のラッチ制御回路２４１と、N個のビット記憶部２４２−１乃至２４２−Nで構成されている。図９の構成例においては、１個のラッチ制御回路２４１が、N個のビット記憶部２４２−１乃至２４２−Nに、出力信号VCOとWORD信号を供給する。ビット記憶部２４２−１乃至２４２−Nそれぞれは、トランスファゲート２６１とラッチ記憶部２６２で構成される。

すなわち、図９の構成例では、ラッチ制御回路２４１が、ビット記憶部２４２−１乃至２４２−Nの外に、ビット記憶部２４２−１乃至２４２−Nに対して共通に設けられている。ラッチ制御回路２４１が、図３のラッチ制御回路７１に対応し、ビット記憶部２４２−１乃至２４２−Nが、図３のラッチ記憶部７２に対応する。

ラッチ制御回路２４１は、直列接続された２個のインバータ２８１及び２８２と、直列接続されたNOR回路２８３及びインバータ２８４で構成されている。

ビット記憶部２４２−ｎのトランスファゲート２６１は、NMOSトランジスタとPMOSトランジスタの２個のトランジスタ２９１及び２９２で構成されている。

ビット記憶部２４２−ｎのラッチ記憶部２６２は、トランジスタ３０１乃至３０６からなるスタティック型のラッチ回路で構成されている。トランジスタ３０１、３０２、及び３０５は、PMOSトランジスタで構成され、トランジスタ３０３、３０４、及び３０６は、NMOSトランジスタで構成されている。

比較回路５１からの出力である出力信号VCOは、インバータ２８１とNOR回路２８３に入力され、NOR回路２８３のもう一方の入力には、WORD信号が供給される。インバータ２８１の出力は、インバータ２８２とラッチ記憶部２６２のトランジスタ３０３のゲートに供給され、インバータ２８２の出力は、ラッチ記憶部２６２のトランジスタ３０２のゲートに供給される。また、NOR回路２８３の出力は、インバータ２８４とトランスファゲート２６１のトランジスタ２９２のゲートに供給され、インバータ２８４の出力は、トランスファゲート２６１のトランジスタ２９１のゲートに供給される。

時刻コードの書き込み動作においては、WORD信号が全画素でLoとなり、トランスファゲート２６１は、出力信号VCOがHiのとき導通し、Loのとき遮断する。ラッチ記憶部２６２のフィードバック（入力Qに対する出力xQ）は、出力信号VCOがHiのとき遮断し、Loのとき導通する。したがって、ラッチ記憶部２６２は、出力信号VCOがHiのとき、ｎビット目の時刻コードの書き込み状態（トランスペアレント）となり、出力信号VCOがLoのとき、書き込まれた時刻コードの保持状態（ラッチ状態）となる。

時刻コードの読み出し動作においては、読み出し対象の画素２１のラッチ制御回路２４１のみにWORD信号が供給される。出力信号VCOはLoとなっているので、トランスファゲート２６１は、HiのWORD信号が入力されたときのみ導通し、ラッチ記憶部２１２に保持された時刻コードが、時刻コード転送部２３に出力される。

＜時刻コード転送部とデータ記憶部の他の構成例＞
図１０は、時刻コード転送部２３とデータ記憶部５２の第２の構成例を示す回路図である。

図１０の構成例においては、時刻コード転送部２３が、Nビットの時刻コードDATA[1]乃至DATA[N]に対応するN個のシフトレジスタ３４１−１乃至３４１−Nと、クロック供給回路３４２とで構成されている。N個のシフトレジスタ３４１−１乃至３４１−Nそれぞれは、複数のD-F/F（D-フリップフロップ）３５１からなる。クロック供給回路３４２は、シフトレジスタ３４１の各D-F/F３５１のクロック入力に、クロック信号CLKを供給する。

データ記憶部５２は、図９に示した第１の構成例と同様の、ラッチ制御回路２４１と、N個のビット記憶部２４２−１乃至２４２−Nで構成されている。さらに、図１０の構成例においては、時刻コード転送部２３とデータ記憶部５２との間に、N個の双方向バッファ回路３７１−１乃至３７１−Nが新たに追加されている。

N個の双方向バッファ回路３７１−１乃至３７１−Nは、時刻コード転送部２３のN個のシフトレジスタ３４１−１乃至３４１−Nに１対１に対応して設けられている。双方向バッファ回路３７１は、対応するシフトレジスタ３４１内の１つのD-F/F３５１と接続されている。

双方向バッファ回路３７１−ｎのバッファ回路３８１には、時刻コードの書き込み動作においてHiとなる書き込み制御信号WRが供給され、インバータ回路３８２には、時刻コードの読み出し動作においてHiとなる読み出し制御信号RDが供給される。双方向バッファ回路３７１−ｎは、書き込み制御信号WRと読み出し制御信号RDに基づいて、ビット記憶部２４２−ｎに対する時刻コードの書き込み動作と読み出し動作を切り替える。

ビット記憶部２４２−１乃至２４２−Nは、図９に示した第２構成例と同様の構成を有する。

参照信号REFの掃引が行われるAD変換期間中には、時刻コード転送部２３のN個のシフトレジスタ３４１は、時刻コード発生部２６から供給された時刻コードを、時刻コードの単位時間をクロック周期とするシフトクロックで転送する。

時刻コードの書き込み動作においては、Hiの書き込み制御信号WRと、Loの読み出し制御信号RDが、双方向バッファ回路３７１に供給されており、双方向バッファ回路３７１は、シフトレジスタ３４１の所定のD-F/F３５１から供給された時刻コードを、トランスファゲート２６１を介してビット記憶部２４２に供給する。ビット記憶部２４２は、供給された時刻コードを記憶する。

次の時刻コードの読み出し動作においては、ビット記憶部２４２に記憶されている時刻コードが、双方向バッファ回路３７１を介して時刻コード転送部２３のシフトレジスタ３４１の所定のD-F/F３５１に供給される。シフトレジスタ３４１は、各段のD-F/F３５１に供給された時刻データを順送りに出力部２８まで転送し、出力する。

より具体的には、シフトレジスタ３４１の各D-F/F３５１には、クロック入力に供給されるクロック信号CLKがHiまたはLoのいずれか一方でハイインピーダンス状態（以下、Hi-Z状態と記述する）にできる構成が採用される。例えば、図１１で後述するD-F/F３５１の構成では、D-F/F３５１は、クロック信号CLKがLoであるとき、Hi-Z状態となる。

シフトレジスタ３４１の各D-F/F３５１がHi-Z状態とされている期間に、双方向バッファ回路３７１にHiの読み出し制御信号RDが供給されるとともに、WORD信号がHiとなり、ビット記憶部２４２に記憶されている時刻コードが、双方向バッファ回路３７１を介して時刻コード転送部２３のシフトレジスタ３４１の所定のD-F/F３５１に供給される。

読み出し制御信号RDがLoに戻された後、シフトレジスタ３４１の各D-F/F３５１にシフトクロックが供給され、シフトレジスタ３４１は、各段のD-F/F３５１に供給された時刻データを出力部２８まで順次転送し、出力する。

＜D-F/Fの構成例＞
図１１は、シフトレジスタ３４１のD-F/F３５１の構成例を示している。

図１１において、各トランジスタや信号線の近傍に括弧（）付で記したｏｎ、ｏｆｆ等の文字は、Loのクロック信号CLKがクロック入力に入力されたときの各トランジスタや信号線の電位状態を示している。

図１１に示されるように、Loのクロック信号CLKがD-F/F３５１に入力された場合には、D-F/F３５１がHi-Z状態となる。

＜双方向バッファ回路の構成例＞
図１２は、双方向バッファ回路３７１の構成例を示している。

図１２に示される双方向バッファ回路３７１は、バッファ回路３８１とインバータ回路３８２で構成される。

バッファ回路３８１は、インバータ４０１、NAND回路４０２、NOR回路４０３、PMOS型のトランジスタ４０４、及びNMOS型のトランジスタ４０５で構成される。

バッファ回路３８１では、書き込み制御信号WRがHiのとき、NAND回路４０２とNOR回路４０３の出力はともに、時刻コード転送部２３のD-F/F３５１から供給された時刻コードを反転したものとなる。バッファ回路３８１の出力は、さらにそれを反転したものとなるので、結果、D-F/F３５１から供給された時刻コードと同値となる。書き込み制御信号WRがLoのとき、NAND回路４０２の出力はHi、NOR回路４０３の出力はLoとなり、バッファ回路３８１の出力はHi-Z状態となる。

一方、インバータ回路３８２は、２個のPMOS型のトランジスタ４１１及び４１２、２個のNMOS型のトランジスタ４１３及び４１４、並びに、インバータ４１５からなるクロックドインバータで構成される。

インバータ回路３８２では、読み出し制御信号RDがHiのとき、クロックドインバータはアクティブになり、インバータ回路３８２は、ビット記憶部２４２から供給された時刻コードを反転して出力する。読み出し制御信号RDがLoのとき、クロックドインバータはイナート（非アクティブ）になり、インバータ回路３８２の出力はHi-Z状態となる。

＜複数基板構成１＞
これまでの説明では、固体撮像装置１が、１枚の半導体基板１１上に形成されるものとして説明したが、複数枚の半導体基板１１に回路を作り分けることで、固体撮像装置１を構成してもよい。

図１３は、上側基板１１Aと下側基板１１Cの２枚の半導体基板１１を積層することで固体撮像装置１を構成する概念図を示している。

上側基板１１Aには、フォトダイオード１２１を含む画素回路４１が少なくとも形成されている。下側基板１１Cには、時刻コードを記憶するデータ記憶部５２と時刻コード転送部２３が少なくとも形成されている。上側基板１１Aと下側基板１１Cは、例えば、Cu-Cuなどの金属結合などにより接合される。

図１４は、上側基板１１Aと下側基板１１Cのそれぞれに形成される回路構成例を示している。

上側基板１１Aには、画素回路４１と、ADC４２のうちの差動入力回路６１のトランジスタ８１、８２、及び８５の回路が形成されている。下側基板１１Cには、トランジスタ８１、８２、及び８５を除くADC４２の回路と時刻コード転送部２３が形成されている。

＜複数基板構成２＞
図１３及び図１４は、固体撮像装置１を２枚の半導体基板１１で構成した例であるが、３枚の半導体基板１１で構成することもできる。

図１５は、上側基板１１A、中間基板１１B、及び、下側基板１１Cの３枚の半導体基板１１を積層することで、固体撮像装置１を構成する概念図を示している。

上側基板１１Aには、フォトダイオード１２１を含む画素回路４１と、比較回路５１の少なくとも一部の回路が形成されている。下側基板１１Cには、時刻コードを記憶するデータ記憶部５２と時刻コード転送部２３が少なくとも形成されている。中間基板１１Bには、上側基板１１Aに配置されない比較回路５１の残りの回路が形成されている。上側基板１１Aと中間基板１１B、及び、中間基板１１Bと下側基板１１Cは、例えば、Cu-Cuなどの金属結合などにより接合される。

図１６は、固体撮像装置１を３枚の半導体基板１１で形成する場合の各半導体基板１１の回路配置例を示している。

図１６の例では、上側基板１１Aに配置した回路は、図１４に示した上側基板１１Aの回路と同じであり、比較回路５１の残りの回路が中間基板１１Bに配置され、データ記憶部５２と時刻コード転送部２３が下側基板１１Cに配置されている。なお、これらの複数基板構成は、次に説明する第２の実施の形態についても同様に実施することができる。

次に、第２の実施の形態として、上述した画素ADCイメージセンサとの差分を中心に、本技術の構成について説明していく。

＜２．第２の実施の形態＞
＜画素の構成例＞
図１７は、本技術を適用した画素の構成例を示すブロック図である。図１７の例においては、注目の画素２１−８と、その隣接の画素２１−０乃至２１−７とが示されている。なお、図１７の例においては、近傍画素として、注目の画素２１−８に隣接する画素２１−０乃至２１−７（８画素）が示されているが、本技術の範囲はそれに限定されるものではない。

図１７に示されるように、各画素２１は、画素回路４１、比較回路５１、およびデータ記憶部５２で構成されている。ここで、画素回路４１および比較回路５１は、図４を参照して上述されたものと基本的に同様に構成されているが、データ記憶部５２は、図４のデータ記憶部５２と異なっている。その詳細については後述される。

また、第１の実施の形態との大きな違いは、近傍の画素２１−０乃至２１−７の比較回路５１の出力であるVCO信号線が注目の画素２１−８のデータ記憶部５２にVCO_INとして接続されていることである。近傍の画素２１−０のVCOが最下位bit、画素２１−７のVCOが最上位bitとして8bitバス信号（VCO_IN）として注目の画素２１のデータ記憶部５２に接続される。また、図１７においては、記載を省略しているが、全画素２１について同様の接続がなされている。

例えば、画素２１−７を新たに注目の画素と見た場合は、図１７に記載の画素２１−０、画素２１−１、(元)注目の画素２１−８、画素２１−５、画素２１−６と、画素２１−７の南西方向に隣接する画素（図示せず）、画素２１−７の西方向に隣接する画素（図示せず）、画素２１−７の北西方向に隣接する画素（図示せず）が近傍画素と言え、近傍画素それぞれのVCOが画素２１−７の8bitのVCO_INバスとしてデータ記憶部５２に接続されている。

＜画素の１画素単位の回路ブロック＞
図１８は、画素の１画素単位の回路ブロック図である。図１０との差分は、2値のデマルチプレクサ回路５００と近傍画素VCO8bitバス（VCO_IN）と注目画素のラッチとの接続を制御するスイッチ回路５０１−１乃至５０１−８が追加されていることと、VCO信号線が近傍の画素２１−０乃至２１−７に接続されていることである。すなわち、図１８の例の場合、ラッチ制御回路２４１は、１個のインバータ２８１、OR回路（NOR回路＋インバータ）２８３＋２８４、デマルチプレクサ回路５００、およびスイッチ回路５０１−１乃至５０１−８で構成されている。それ以外は図１０と同じである。なお、図１５ではトランジスタレベルで表現されている箇所も、図１８の例においては、より抽象化して表現しているが論理的には同じである。また、図１８の例においては、ビット記憶部２４２（ビット記憶部２４２−１乃至２４２−８）（以下、ラッチ回路２４２とも総称する）と双方向バッファ回路３７１（双方向バッファ回路３７１−１乃至３７１−８）を接続するバス配線がLBL（ローカルビットライン）として追加されている。なお、図１８の例においては、ラッチ回路２４２は、２つのインバータで構成されている。

ここで、スイッチ回路５０１−１乃至５０１−８とは、その制御端子に１（H論理）が入力されると回路の両端の信号線を導通させ、制御端子に０（L論理）が入力されるとハイインピーダンスとなる回路である。また、デマルチプレクサ回路５００は、制御端子に１（H論理）が入力されると、入力端子の論理を出力端子１に出力（この時出力端子０はL論理を出力）し、制御端子に０（L論理）が入力されると、入力端子の論理を出力端子０に出力（この時出力端子１はL論理を出力）する回路である。

このデマルチプレクサ回路５００の制御信号LBP_ENを制御することで、撮像モードとLBP特徴抽出モードを切り替えることができる。具体的には、LBP_EN=0（撮像モード）時には、VCO信号の論理がNORの片側の入力に送られ、スイッチ回路５０１−１乃至５０１−８の制御端子入力は0（L論理）となり、VCO_INとラッチ回路は分断され、論理的には図１０と等価な回路状態となる。したがって、上述した第１の実施の形態と同等の撮像機能を実現することができる。

また、LBP_EN=1（LBP特徴抽出モード）時には、VCO信号の論理がスイッチ回路５０１−１乃至５０１−８の制御端子入力に送られ、注目画素のVCOによりVCO_INとラッチ回路２４２の接続/分断が制御される。一方、デマルチプレクサ回路５００の出力のうち、NORに接続されている出力は0（L論理）となるため、WORD論理＝NOR出力論理となり、ラッチ回路２４２とLBL配線の接続/分断は、WORD信号のみによって制御されることになる。

＜撮像モードとLBP特徴抽出モードの動作＞
次に、図１９乃至図２１を参照して、撮像モード時とLBP特徴抽出モード時の動作について説明していく。

図１９は、LBP_EN=0（撮像モード）時のREF、SIG、TX、VCO、LBL、ラッチの簡易的なタイミングチャートを示す図である。リセットレベルのAD変換と画素信号レベルのAD変換を順に行う。REFのスロープ動作と合わせ、時刻コードをLBL経由でラッチ回路２４２に伝送している。REFとSIGが交差したタイミングで比較回路５１の動作によりVCOがHからLへ反転する。これにより、そのタイミングにラッチ回路２４２に書き込まれていた時刻コードがラッチされラッチ回路２４２に保持され、AD変換が実現される。ラッチされた時刻コード（AD変換データ）は、時刻コード転送部２３を経由して画素アレイ外部へと出力される（図示せず）。また、画素信号レベルからリセットレベルを差し引く（CDS処理）ことで、比較回路５１のばらつきやリセット動作時のチャージインジェクションやフィードスルー等をキャンセルすることができる。なお、撮像モードの動作に関しては、図８を参照して上述した第１の実施の形態と同様なので、その説明は省略される。

図２０に、LBP_EN=1（LBP特徴抽出モード）かつ、ある近傍画素xxの画素値より注目画素の画素値が大きい場合の簡易的なタイミングチャートを示す。TXが駆動され画素信号レベルが読み出されると、注目画素の方が近傍画素xxよりも信号レベルが大きいため、SIGの振幅は注目画素の方が大きくなる。それに伴い、VCOの反転タイミングも近傍画素xxが注目画素に対し先立ってHからLへ反転することになる。ここで、注目画素のラッチ（xxビット目）に着目すると、前述のとおりLBP_EN=1のためスイッチ回路５０１が導通し近傍画素xxのVCOが接続されている（スイッチ回路２６１はハイインピーダンス）ため、近傍画素xxのVCOと同様の遷移をする。その後、注目画素のVCOがHからLに反転するタイミングで注目画素のラッチ回路２４２はその時に書き込まれているL論理をラッチし保持する。

次に、図２１を参照して、LBP_EN=1（LBP特徴抽出モード）かつ、ある近傍画素xxの画素値より注目画素の画素値が小さい場合について同様に考える。近傍画素xxの画素値＞注目画素値であるので、注目画素のVCOが近傍画素xxのVCOに先立ちHからLへ反転する。この時、注目画素のラッチ回路２４２（xxビット目）は近傍画素xxのVCOのH状態が書き込まれているため、このH論理をラッチし保持することになる。

以上の動作より、注目画素値を閾値として近傍画素の画素値を2値化したデータが、注目画素の8bitラッチ回路の対応するbitに保持される。この8bitのデータは、その定義からして正に注目画素のLBP値となっていることが分かる。

LBP値をラッチに保持した後は、撮像モードにおいて、AD変換した画素値データをラッチから画素アレイ外へ転送するのと全く同様にして読み出すことができる。また、必要に応じて、画素アレイ外のロジック回路において、各LBP値の出現画素数をカウントすることで、LBPヒストグラムデータを構成しイメージセンサから出力することもできる。

なお、LBP特徴抽出モードでは、撮像モードで行っているリセットレベル減算によるノイズ低減処理（CDS処理）が原理的にできないため、リセットレベル減算に依らないノイズ低減処理を行うことが有効な手段となる。例えば、比較回路５１の差動入力回路出力をSIGに接続しリセットを行う際に、リセットトランジスタ（スイッチ）の制御パルスを通常よりもゆっくり遷移させて切る・帯域制限を掛ける等の手段が適用できる。

また、図２２に示すように、複数画素（複数画素からなる画素群を、エリアブロックと称する）に対し１つの比較回路５１とデータ記憶部５２を共有する構成をとってもよい。この場合は、共有する画素毎にTX信号を分け（同図ではTX0/TX1/TX2/TX3の4種類に分割）時分割に各画素の「AD変換＋アレイ外転送」もしくは「LBP特徴抽出＋アレイ外転送」を行うことになる。

＜画素の１画素単位の他の回路ブロック＞
図２３は、画素の１画素単位の他の回路ブロック図である。図２３の回路ブロックは、近傍画素VCOと接続するスイッチ回路５０１、LBLを接続するスイッチ回路５１１、その制御信号WORD_LBP とが追加されたLBP専用ラッチ回路５１０−１乃至５１０−８と、LBP専用ラッチ回路５１０とLBLを接続するスイッチ回路５１１の制御信号WORD_LBPを導入したことと、デマルチを削除したことのみである。

この構成により、ラッチ回路２４２を画素値専用ラッチ、ラッチ回路５１０をLBP専用ラッチとすることで、撮像モードとLBP特徴抽出モードを同時に行うことができる。データをラッチから読み出す際は、画素値AD変換データはWORD信号で、LBP値はWORD_LBP信号を用いて時分割で読み出す。画素値のAD変換/LBP特徴抽出そのものの動作原理は実施例１と同様である。

次に、図２４および図２５を参照して、本技術における近傍画素間のVCO配線接続について説明する。図２４は、注目画素と隣接８近傍画素のVCO配線の接続関係を矢印で示す。すなわち、図２４は、図１７において、VCO配線接続関係のみに着目して簡略化したイメージとして表されたものである。

図２４の例において、太線矢印は、注目画素のラッチに接続される近傍画素のVCO配線を表し、実線矢印は近傍画素のラッチに接続されるVCO配線を表している。また、矢印の向きは接続方向を表す。図２４に示されるように、互いに反対方向を向いて重なる矢印の組みが複数存在する。これは、すなわち、注目画素の画素値と近傍画素の画素値の相対関係を重複して取得していることを示している。互いに反対方向を向いて重なる矢印の組みで関連付けられる画素で互いに取得したLBP値は、情報（＝２つの画素の大小関係）としては等価で、LBP値自体は他方のbit反転値となる関係である。

したがって、図２５に示すように近傍画素間のVCO配線接続は半分に減らすことが可能である。この場合、各画素で取得されるLBP値のbit数は半分（図の例では4bit）となるが、以下に示す演算処理により所望のLBP値を完全に復元できる。なお、この演算処理は画素アレイ外のオンチップロジック回路で行ってもよいし、イメージセンサチップ外で行ってもよい。また、本実施形態は、図２５で示した配線接続関係のみに限定されるものではない。

・注目画素で得られたLBP値の0bit目をそのまま注目画素の0bit目の値とする
・注目画素で得られたLBP値の1bit目をそのまま注目画素の1bit目の値とする
・注目画素で得られたLBP値の2bit目をそのまま注目画素の2bit目の値とする
・注目画素で得られたLBP値の3bit目をそのまま注目画素の3bit目の値とする
・注目画素の南東方向に隣接する画素で得られたLBP値の0bit目をbit反転させ注目画素の4bit目の値とする
・注目画素の南方向に隣接する画素で得られたLBP値の1bit目をbit反転させ注目画素の5bit目の値とする
・注目画素の南西方向に隣接する画素で得られたLBP値の2bit目をbit反転させ注目画素の6bit目の値とする
・注目画素の西方向に隣接する画素で得られたLBP値の3bit目をbit反転させ注目画素の7bit目の値とする

以上のように、図２４および図２５を参照して上述した工夫は、画素内の配線面積削減に繋がり、画素数の高解像度化に寄与する。

なお、近傍画素とは、図２４に示された近傍画素として注目画素の隣接８画素を用いた場合だけでなく、図２６Ａに示されるように、近傍画素として、隣接８画素を囲む周囲の１６画素を用いるようにしてもよい。また、図２６Ｂに示されるように、近傍画素として、図２６Ａに示された周囲の１６画素のうち、角の各４画素と、周囲の１６画素のうち、注目画素の上下左右に１画素離れた位置する各４画素とを用いるようにしてもよい。さらに、図２６Ｃに示されるように、周囲の１６画素のうち、角の各４画素と、注目画素の上下左右に２画素離れた位置する各４画素とを用いるようにしてもよい。

以上、本技術によれば、画素信号値のAD変換省略やイメージセンサから出力されるデータ量の削減により、画像認識システムの低消費電力化を図ることができる。また、全画素並列動作による特徴量抽出処理の高速化を図ることができる。

例えば、8bitフルHD画像への適用を考えると、0.032%までデータ量を圧縮することが可能である。

＜３．イメージセンサの使用＞
図２７は、上述の固体撮像装置を使用する使用例を示す図である。

上述した固体撮像装置（イメージセンサ）は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜３．電子機器の例＞
＜電子機器の構成例＞

さらに、本技術は、固体撮像装置への適用に限られるものではなく、撮像装置にも適用可能である。ここで、撮像装置とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機等の撮像機能を有する電子機器のことをいう。なお、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールを撮像装置とする場合もある。

ここで、図２８を参照して、本技術の電子機器の構成例について説明する。

図２８に示される撮像装置８００は、本開示に係る電子機器としての、撮像装置の構成例を示すブロック図である。

図２８の撮像装置８００は、レンズ群などからなる光学部８０１、図３の固体撮像装置１の構成が採用される固体撮像装置（撮像デバイス）８０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路８０３を備える。また、撮像装置８００は、フレームメモリ８０４、表示部８０５、記録部８０６、操作部８０７、および電源部８０８も備える。DSP回路８０３、フレームメモリ８０４、表示部８０５、記録部８０６、操作部８０７および電源部８０８は、バスライン８０９を介して相互に接続されている。

光学部８０１は、被写体からの入射光（像光）を取り込んで固体撮像装置８０２の撮像面上に結像する。固体撮像装置８０２は、光学部８０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置８０２として、図３の固体撮像装置１、即ち、画素信号をAD変換する際の判定速度を向上させつつ、消費電力を低減させた比較回路５１や、回路規模と消費電力を大幅に削減できる時刻コード転送部２３を有する固体撮像装置を用いることができる。

表示部８０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置８０２で撮像された動画または静止画を表示する。記録部８０６は、固体撮像装置８０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。

操作部８０７は、ユーザによる操作の下に、撮像装置８００が持つ様々な機能について操作指令を発する。電源部８０８は、DSP回路８０３、フレームメモリ８０４、表示部８０５、記録部８０６および操作部８０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

上述したように、固体撮像装置８０２として、上述したいずれかの構成を採用した固体撮像装置１を用いることで、AD変換の判定速度を高速化させつつ、消費電力を低減することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置８００においても、撮影の高速化と低消費電力を実現することができる。

上述した説明では、比較回路５１及びADC４２は、固体撮像装置１に組み込まれた部品として説明したが、それぞれ単独で流通する製品（比較器、AD変換器）とすることができる。

＜４．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（ＡｄｖａｎｃｅｄＤｒｉｖｅｒＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図３０は、撮像部１２０３１の設置位置の例を示す図である。

図３０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１（撮像部１２１０１乃至１２１０４含む）に適用され得る。具体的には、固体撮像装置１は、撮像部１２０３１（撮像部１２１０１乃至１２１０４含む）に適用することができる。撮像部１２０３１（撮像部１２１０１乃至１２１０４含む）に本開示に係る技術を適用することにより、車載においても、低消費電力化を図ることができる。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するものであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）画素信号と時間的に変化する参照信号とを比較する比較回路と、
注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
を画素毎またはエリアブロック毎に備える固体撮像装置。
（２）前記比較回路と前記参照信号とを用いて、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を前記データ保持部に保持する
前記（１）に記載の固体撮像装置。
（３）前記注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係の比較と同時に、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を保持する、前記データ保持部とは異なる第２のデータ保持部を
さらに備える前記（１）に記載の固体撮像装置。
（４）前記近傍画素の比較回路出力信号を、前記注目画素の前記データ記憶部に接続させる
前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（５）前記注目画素と比較する近傍画素の数よりも、前記注目画素の前記データ記憶部に接続される近傍画素の比較回路出力信号の数のほうが少ない
前記（４）に記載の固体撮像装置。
（６）前記近傍画素は、前記注目画素に隣接する隣接画素である
前記（１）乃至（５）のいずれかに記載の固体撮像装置。
（７）画素信号と時間的に変化する参照信号とを比較する比較回路と、
注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
を画素毎またはエリアブロック毎に備える固体撮像装置と、
前記固体撮像装置から出力される出力信号を処理する信号処理回路と、
入射光を前記固体撮像装置に入射する光学系と
を有する電子機器。

１固体撮像装置，１１半導体基板，２１，２１−０乃至２１−８画素，２３時刻コード転送部，４１画素回路，４２ ADC，５１比較回路，５２データ記憶部，７１ラッチ制御回路，７２ラッチ記憶部，２４１ラッチ制御回路，２４２，２４２−１乃至２４２−Ｎビット記憶部（ラッチ回路），２６１トランスファゲート，２６２ラッチ記憶部，２８１，２８２インバータ，２８３ NOR回路，２８４インバータ，３７１−１乃至３７１−Ｎ双方向バッファ回路，３８１バッファ回路，３８２インバータ回路，５００デマルチプレクサ回路，５０１，５０１−１乃至５０１−８スイッチ回路，５１０，５１０−１乃至５１０−８ LBP専用ラッチ回路，５１１スイッチ回路，

Claims

画素信号と時間的に変化する参照信号とを比較する比較回路と、
注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
を画素毎またはエリアブロック毎に備える固体撮像装置。
前記比較回路と前記参照信号とを用いて、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を前記データ保持部に保持する
請求項１に記載の固体撮像装置。
前記注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係の比較と同時に、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を保持する、前記データ保持部とは異なる第２のデータ保持部を
さらに備える請求項１に記載の固体撮像装置。
前記近傍画素の比較回路出力信号を、前記注目画素の前記データ記憶部に接続させる
請求項１に記載の固体撮像装置。
前記注目画素と比較する近傍画素の数よりも、前記注目画素の前記データ記憶部に接続される近傍画素の比較回路出力信号の数のほうが少ない
請求項４に記載の固体撮像装置。
前記近傍画素は、前記注目画素に隣接する隣接画素である
請求項１に記載の固体撮像装置。
画素信号と時間的に変化する参照信号とを比較する比較回路と、
注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
を画素毎またはエリアブロック毎に備える固体撮像装置と、
前記固体撮像装置から出力される出力信号を処理する信号処理回路と、
入射光を前記固体撮像装置に入射する光学系と
を有する電子機器。