JP2018186478A - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
JP2018186478A
JP2018186478A JP2017139567A JP2017139567A JP2018186478A JP 2018186478 A JP2018186478 A JP 2018186478A JP 2017139567 A JP2017139567 A JP 2017139567A JP 2017139567 A JP2017139567 A JP 2017139567A JP 2018186478 A JP2018186478 A JP 2018186478A
Authority
JP
Japan
Prior art keywords
signal
circuit
pixel
solid
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017139567A
Other languages
English (en)
Inventor
雅樹 榊原
Masaki Sakakibara
雅樹 榊原
凌平 川崎
Ryohei Kawasaki
凌平 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to PCT/JP2018/014227 priority Critical patent/WO2018198691A1/ja
Priority to US16/605,400 priority patent/US11146751B2/en
Priority to CN201880025947.4A priority patent/CN110546945B/zh
Publication of JP2018186478A publication Critical patent/JP2018186478A/ja
Priority to US17/474,920 priority patent/US11838672B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Abstract

【課題】アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像する。【解決手段】固体撮像素子は、特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する。その特定画素は、画素回路と2つのアナログデジタル変換器とを備える。画素回路は、光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する。2つのアナログデジタル変換器は、2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する。【選択図】図9

Description

本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、アドレスイベントを検出する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
従来より、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の固体撮像素子が撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、アドレスイベントを検出するアドレスイベント表現(AER:Address Event Representation)回路を設けた非同期型の固体撮像素子が提案されている(例えば、非特許文献1参照。)。ここで、アドレスイベントは、ある画素アドレスにおいて、画素の光量が変動して、その変動量が閾値を超えた旨を意味する。このアドレスイベントは、画素の光量が変動して所定の上限を超えた旨を示すオンイベントと、その光量が所定の下限を下回った旨を示すオフイベントとからなる。非同期型の固体撮像素子では、1ビットのオンイベントの検出結果と1ビットのオフイベントの検出結果とからなる2ビットのデータが画素毎に生成される。このように画素ごとにオンイベントおよびオフイベントのそれぞれの有無を2ビットのデータにより表現する画像データの形式は、AERフォーマットと呼ばれる。
Patrick Lichtsteiner, et al., A 128 128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.
上述の非同期型の固体撮像素子では、同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、上述のアドレスイベント表現回路では、画素毎に2ビットのデータしか生成することができないため、同期型の固体撮像素子と比較して画像データの画質が低下してしまう。アドレスイベントを検出しつつ、より高画質の画像データを生成するには、非同期型の個体撮像素子と同期型の固体撮像素子との両方を設ければよいが、サイズ、部品点数やコストが増大するために望ましくない。このように、アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像することが困難であるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、上記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する固体撮像素子、および、その制御方法である。これにより、2つのアナログ信号のそれぞれが互いに異なる分解能によりデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、2つのアナログデジタル変換器のうち分解能の低い方は、上記アナログ信号に基づいて上記電荷の量の変動量が所定の閾値を超えた旨をアドレスイベントとして検出してもよい。これにより、アドレスイベントが検出されるという作用をもたらす。
また、この第1の側面において、上記画素アレイ部において、上記特定画素に該当しない画素のそれぞれには、アナログデジタル変換器が1つのみ設けられてもよい。これにより、複数の画素のうち特定の画素においてアドレスイベントが検出されるという作用をもたらす。
また、この第1の側面において上記画素回路は、光を上記電荷に変換する光電変換部と、上記光電変換部に流れる上記光電流に対する電流電圧変換により上記2つのアナログ信号の一方を生成する電流電圧変換部と、上記電荷を蓄積する電荷蓄積部と、上記露光期間の開始タイミングにおいて上記光電変換部から上記電荷を排出する排出トランジスタと、上記終了タイミングにおいて上記光電変換部から上記電荷蓄積部へ上記電荷を転送する転送トランジスタと、上記浮遊拡散層の電圧を増幅して上記2つのアナログ信号の他方として出力する増幅トランジスタとを備えてもよい。これにより、露光開始時に電荷が排出され、露光終了時に電荷が転送されるという作用をもたらす。
また、この第1の側面において、上記アナログデジタル変換部は、所定の接地電位の端子に接続され、上記浮遊拡散層および上記光電変換部を設けた基板には、上記所定の接地電位よりも低い電位が印加されてもよい。これにより、浮遊拡散層や光電変換部において電荷が溢れにくくなるという作用をもたらす。
また、この第1の側面において、上記画素回路は、上記終了タイミングの前に上記電荷蓄積部の電圧をリセットレベルに初期化するリセットトランジスタをさらに備え、上記画素信号は、上記リセットレベルと上記電荷が転送されたときの信号レベルとを含み、上記デジタル信号は、上記リセットレベルを変換したリセットデータと上記信号レベルを変換した信号データとを含んでもよい。これにより、リセットレベルを変換したデータと信号レベルを変換したデータとが出力されるという作用をもたらす。
また、この第1の側面において、上記リセットデータと上記信号データとの差分を求めて画素データとして出力する相関二重サンプリング回路をさらに具備してもよい。これにより、固定パターンノイズなどが低減されるという作用をもたらす。
また、この第1の側面において、上記アナログデジタル変換器は、上記リセットデータを保持し、上記信号レベルを変換すると上記リセットデータおよび上記信号データを上記相関二重サンプリング回路に順に出力してもよい。これにより、暗電流の影響が抑制されるという作用をもたらす。
また、この第1の側面において、上記画素信号は、第1および第2のリセットレベルと第1および第2の信号レベルとを含み、上記アナログデジタル変換器は、スロープを持つ所定の参照信号と上記画素信号とを比較して比較結果を出力する比較部と、上記比較結果のそれぞれからなるデータを上記デジタル信号として記憶するデータ記憶部とを備え、上記第2のリセットレベルと上記第1の信号レベルとのそれぞれを比較するときの上記スロープの傾きは、上記第1のリセットレベルと上記第2の信号レベルとのそれぞれを比較するときの傾きより緩やかであってもよい。これにより、分解能の異なる2枚の画像データが生成されるという作用をもたらす。
また、この第1の側面において、上記第1のリセットレベルと上記第2の信号レベルとを所定の感度により上記画素回路に生成させ、上記第2のリセットレベルと上記第1の信号レベルとを所定感度と異なる感度により上記画素回路に生成させる駆動回路をさらに具備してもよい。これにより、分解能の異なる2枚の画像データが生成されるという作用をもたらす。
また、この第1の側面において、上記2つのアナログデジタル変換器のうち分解能の低い方は、上記電圧信号を保持する微分回路と、上記保持された電圧信号と上記所定の範囲内の閾値とを比較して当該比較結果を出力するコンパレータと、上記アドレスイベントが検出されたときにリクエストを送信し、上記リクエストに対する応答を受信したときに上記微分回路を初期化するハンドシェイク回路とを備えてもよい。これにより、アドレスイベントの検出結果がハンドシェイクにより転送されるという作用をもたらす。
また、この第1の側面において、上記リクエストを調停して当該調停結果に基づいて応答を返信するアービタをさらに具備することもできる。これにより、アドレスイベントの衝突が回避されるという作用をもたらす。
また、この第1の側面において、時刻を示す所定ビット数の時刻コードを上記2つのアナログデジタル変換器の一方に出力するとともに上記時刻コードにおいてビットごとに故障の有無を検出するテスト回路と、上記時刻コードにおいて故障の生じた上記ビットに対応するビット線の代わりに予備の信号線を接続する冗長回路とをさらに具備し、上記アナログデジタル変換器は、上記時刻コードを用いて上記画素信号を上記デジタル信号に変換することもできる。これにより、固体撮像素子の信頼性が向上するという作用をもたらす。
また、この第1の側面において、互いに異なる上記デジタル信号を保持する第1および第2のデータ記憶部と、上記第1のデータ記憶部から第1のローカルビット線を介して転送された上記デジタル信号を第1の制御信号に従ってメインビット線へ出力する第1の双方向バッファと、上記第2のデータ記憶部から第2のローカルビット線を介して転送された上記デジタル信号を第2の制御信号に従って上記メインビット線へ出力する第2の双方向バッファと、上記メインビット線を介して上記デジタル信号を読み出す列処理部と、上記第1のデータ記憶部を制御して上記デジタル信号を第1のデジタル信号として上記第1の双方向バッファへ上記第1のローカルビット線を介して転送させる制御と上記第1のデジタル信号の読出し完了前に上記第2のデータ記憶部を制御して上記デジタル信号を第2のデジタル信号として上記第2の双方向バッファへ上記第2のローカルビット線を介して転送させる制御とを行う駆動回路とをさらに具備することもできる。これにより、第1のデジタル信号の読出し完了前に第2の双方向バッファへ第2のデジタル信号が転送されるという作用をもたらす。
また、本技術の第2の側面は、光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、上記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部と、上記デジタル信号からなる画像データを処理するデジタル信号処理部とを具備する撮像装置である。これにより、2つのアナログ信号が異なる分解能によりデジタル信号に変換されるとともに、同期信号に同期して画像データが処理されるという作用をもたらす。
本技術によれば、アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第1の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素アレイ部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるR(Red)画素の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素回路、差動入力回路、電圧変換回路および正帰還回路の一構成例を示す回路図である。 本技術の第1の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるラッチ制御回路およびラッチ回路の一構成例を示す回路図である。 本技術の第1の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第1の実施の形態におけるW(White)画素の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるアドレスイベント検出部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるW画素の一構成例を示す回路図である。 本技術の第1の実施の形態におけるコンパレータの入出力特性の一例を示すグラフである。 本技術の第1の実施の形態におけるAERロジック回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における時刻コード発生部の一構成例を示すブロック図である。 本技術の第1の実施の形態における冗長回路の一構成例を示す回路図である。 本技術の第1の実施の形態における時刻コード転送部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるクラスタの一構成例を示すブロック図である。 本技術の第1の実施の形態における単位ブロックの一構成例を示す回路図である。 本技術の第1の実施の形態におけるバッファ回路の一構成例を示す回路図である。 本技術の第1の実施の形態におけるフリップフロップの一構成例を示す回路図である。 本技術の第1の実施の形態における列処理部の一構成例を示すブロック図である。 本技術の第1の実施の形態における行AER回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における行AERブロックの一構成例を示す回路図である。 本技術の第1の実施の形態における列AER回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における列AERブロックの一構成例を示すブロック図である。 本技術の第1の実施の形態における行アービタの一構成例を示すブロック図である。 本技術の第1の実施の形態におけるアービタブロックの一構成例を示す回路図である。 本技術の第1の実施の形態におけるハンドシェイクの一例を示すタイミングチャートである。 本技術の第1の実施の形態における撮像処理の一例を示すフローチャートである。 本技術の第1の実施の形態におけるAER処理の一例を示すフローチャートである。 本技術の第2の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第2の実施の形態におけるラッチ制御回路の一構成例を示す回路図である。 本技術の第2の実施の形態における固体撮像素子のサンプリング処理の一例を示すタイミングチャートである。 本技術の第2の実施の形態における固体撮像素子のサンプリング後の動作の一例を示すタイミングチャートである。 本技術の第2の実施の形態の変形例における固体撮像素子のリセットレベルサンプリング処理の一例を示すタイミングチャートである。 本技術の第2の実施の形態の変形例における固体撮像素子の信号レベルサンプリング処理の一例を示すタイミングチャートである。 本技術の第2の実施の形態の変形例における固体撮像素子のサンプリング後の動作の一例を示すタイミングチャートである。 本技術の第3の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第3の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第3の実施の形態における時刻コード転送部内の単位ブロックの一構成例を示すブロック図である。 本技術の第3の実施の形態における画素データの読出し制御の一例を示すタイミングチャートである。 比較例における画素データの読出し制御の一例を示すタイミングチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(アドレスイベントを検出しつつ、画素信号をAD変換する例)
2.第2の実施の形態(アドレスイベントを検出しつつ、短いサンプリング期間でAD変換する例)
3.第3の実施の形態(積層型の固体撮像素子においてアドレスイベントを検出しつつ、画素信号をAD変換する例)
4.移動体への応用例
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、本技術の第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像するための装置であり、光学部110、固体撮像素子200およびDSP(Digital Signal Processing)回路120を備える。さらに撮像装置100は、表示部130、操作部140、バス150、フレームメモリ160、記憶部170および電源部180を備える。撮像装置100としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
光学部110は、被写体からの光を集光して固体撮像素子200に導くものである。固体撮像素子200は、垂直同期信号VSYNCに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号VSYNCは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子200は、生成した画像データをDSP回路120に信号線209を介して供給する。
DSP回路120は、固体撮像素子200からの画像データに対して所定の信号処理を実行するものである。このDSP回路120は、処理後の画像データをバス150を介してフレームメモリ160などに出力する。なお、DSP回路120は、特許請求の範囲に記載のデジタル信号処理部の一例である。
表示部130は、画像データを表示するものである。表示部130としては、例えば、液晶パネルや有機EL(Electro Luminescence)パネルが想定される。操作部140は、ユーザの操作に従って操作信号を生成するものである。
バス150は、光学部110、固体撮像素子200、DSP回路120、表示部130、操作部140、フレームメモリ160、記憶部170および電源部180が互いにデータをやりとりするための共通の経路である。
フレームメモリ160は、画像データを保持するものである。記憶部170は、画像データなどの様々なデータを記憶するものである。電源部180は、固体撮像素子200、DSP回路120や表示部130などに電源を供給するものである。
[固体撮像素子の構成例]
図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、DAC(Digital to Analog Converter)211、駆動回路212、列アービタ213、列AER回路220、列アドレスエンコーダ214および時刻コード発生部230を備える。また、固体撮像素子200は、画素アレイ部300、列処理部250、ステートマシン215、行アドレスエンコーダ216、行AER回路260および行アービタ600を備える。また、画素アレイ部300には、二次元格子状に複数の画素が配列される。以下、画素アレイ部300において所定の方向に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
DAC211は、DA(Digital to Analog)変換により、スロープ状に変化するアナログの参照信号を生成するものである。このDAC211は、参照信号を画素アレイ部300に供給する。
駆動回路212は、垂直同期信号VSYNCに同期して画素アレイ部300内の画素を駆動するものである。
画素アレイ部300内の画素のそれぞれは、デジタルの画素データを生成する。また、画素のうち一部は、画素データに加えて、アドレスイベントの検出結果も生成する。ここで、アドレスイベントは、オンイベントおよびオフイベントを含み、検出結果は、1ビットのオンイベントの検出結果と1ビットのオフイベントの検出結果とを含む。オンイベントは、画素の光量が所定の基準値よりも大きな値に変動した際に、その変動量の絶対値が所定の閾値を超えた旨を意味する。一方、オフイベントは、画素の光量が所定の基準値よりも小さな値に変動した際に、その変動量の絶対値が所定の閾値を超えた旨を意味する。例えば、基準値を「10」とし、閾値を「5」とする。この場合に光量が「16」に変動すると、変動量は「+6」であり、その絶対値が閾値「5」を超えるため、オンイベントが検出される。また、光量が「4」に変動すると、変動量は「−6」であり、その絶対値が閾値「5」を超えるため、オフイベントが検出される。
画素は、画素データを列処理部250に供給する。また、画素は、アドレスイベントを検出した際に行AER回路260との間で、アドレスイベントの検出結果を外部出力させるためにリクエストおよび応答の送受信(以下、「ハンドシェイク」と称する。)を行う。次に画素は、列AER回路220との間でハンドシェイクを行う。
列アービタ213は、列AER回路220からのリクエストを調停して調停結果に基づいて応答を列AER回路220に送信するものである。
列AER回路220は、列のそれぞれと、列アービタ213と、ステートマシン215との間で、アドレスイベントの検出結果の外部出力を要求するリクエストと応答とを送受信(ハンドシェイク)するものである。
列アドレスエンコーダ214は、アドレスイベントの発生した列のアドレスをエンコードしてステートマシン215に送信するものである。
時刻コード発生部230は、時刻コードを発生するものである。この時刻コードは、参照信号がスロープ状に変化する期間内の時刻を示す。時刻コード発生部230は、発生した時刻コードを画素アレイ部300に供給する。
列処理部250は、画素データに対して相関二重サンプリング(CDS:Correlated Double Sampling)処理を行うものである。処理後の画素データからなる画像データは、DSP回路120へ供給される。
行アドレスエンコーダ216は、アドレスイベントの発生した行のアドレスをエンコードしてステートマシン215に送信するものである。
行アービタ600は、行AER回路260からのリクエストを調停して調停結果に基づいて応答を行AER回路260に送信するものである。
行AER回路260は、行のそれぞれと、行アービタ600と、ステートマシン215との間で、アドレスイベントの検出結果の外部出力を要求するリクエストと応答とを送受信(ハンドシェイク)するものである。
ステートマシン215は、列AER回路220および行AER回路260との間でハンドシェイクを行うものである。このステートマシン215は、列AER回路220および行AER回路260からリクエストを受信すると、列アドレスエンコーダ214および行アドレスエンコーダ216からのデータをデコードして、アドレスイベントの検出されたアドレスを特定する。そして、ステートマシン215は、そのアドレスの検出結果をDSP回路120に供給する。画素毎のアドレスイベントの検出結果を2次元格子状に配列することにより、画像データが生成される。
以下、列処理部250からのAERフォーマットでない方の画像データを「通常画像データ」と称し、AERフォーマットの画像データを「AER画像データ」と称する。
[画素アレイ部の構成例]
図3は、本技術の第1の実施の形態における画素アレイ部300の一構成例を示すブロック図である。この画素アレイ部300において、所定数のR(Red)画素310と、所定数のG(Green)画素311と、所定数のB(Blue)画素312と、所定数のW(White)画素400とが二次元格子状に配列される。また、2列ごとに、奇数列と偶数列との間に時刻コード転送部500が配置される。
R画素310は、赤色の光を受光して光電変換により画素データを生成するものである。また、G画素311は、緑色の光を受光して画素データを生成するものであり、B画素312は、青色の光を受光して画素データを生成するものである。
W画素400は、白色の光を受光して画素データを生成するものである。また、W画素400は、アドレスイベントを検出する。
時刻コード転送部500は、時刻コードを転送するものである。時刻コード転送部500の詳細については後述する。
[R画素の構成例]
図4は、本技術の第1の実施の形態におけるR画素310の一構成例を示すブロック図である。このR画素310は、画素回路330とADC320とを備える。ADC320は、比較回路321およびデータ記憶部370を備える。また、比較回路321は、差動入力回路340、電圧変換回路350および正帰還回路360を備える。G画素311およびB画素312の構成は、R画素310と同様である。
画素回路330は、光電変換によりリセットレベルまたは信号レベルを画素信号SIGとして生成するものである。ここで、リセットレベルは、露光開始時以降にFD(Floating Diffusion)が初期化された時の電圧であり、信号レベルは、露光終了時の露光量に応じた電圧である。画素回路330は、リセットレベルおよび信号レベルを順に差動入力回路340に供給する。
ADC320は、画素信号SIG(リセットレベルまたは信号レベル)をデジタル信号にAD変換するものである。リセットレベルをAD変換したデータを以下、「P相データ」と称する。また、信号レベルをAD変換したデータを以下、「D相データ」と称する。なお、P相データは、特許請求の範囲に記載のリセットデータの一例であり、D相データは、特許請求の範囲に記載の信号データの一例である。
ADC320内の差動入力回路340は、DAC211からの参照信号REFと、画素回路330からの画素信号SIGとを比較するものである。この差動入力回路340は、比較結果を示す比較結果信号を電圧変換回路350に供給する。
電圧変換回路350は、差動入力回路340からの比較結果信号の電圧を変換して正帰還回路360に出力するものである。
正帰還回路360は、出力の一部を入力(比較結果信号)に加算し、出力信号VCOとしてデータ記憶部370に出力するものである。
データ記憶部370は、出力信号VCOが反転したときの時刻コードを保持するものである。このデータ記憶部370は、リセットレベルに対応する時刻コードをP相データとして出力し、信号レベルに対応する時刻コードをD相データとして出力する。
図5は、本技術の第1の実施の形態における画素回路330、差動入力回路340、電圧変換回路350および正帰還回路360の一構成例を示す回路図である。
画素回路330は、リセットトランジスタ331、容量332、ゲイン制御トランジスタ333、FD(Floating Diffusion)334、転送トランジスタ335、フォトダイオード336および排出トランジスタ337を備える。リセットトランジスタ331、ゲイン制御トランジスタ333、転送トランジスタ335および排出トランジスタ337として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
フォトダイオード336は、光電変換により電荷を生成するものである。排出トランジスタ337は、駆動回路212からの駆動信号OFGに従って露光開始時にフォトダイオード336に蓄積された電荷を排出させるものである。
転送トランジスタ335は、駆動回路212からの転送信号TXに従って、露光終了時にフォトダイオード336からFD334へ電荷を転送するものである。
FD334は、転送された電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。なお、FD334は、特許請求の範囲に記載の電荷蓄積部の一例である。
リセットトランジスタ331は、駆動回路212からのリセット信号RSTに従って、FD334を初期化するものである。
ゲイン制御トランジスタ333は、駆動回路212からの制御信号FDGに従って、FD334の電圧に対するアナログゲインを制御するものである。FD334の電圧をアナログゲインにより低減して出力することにより、R画素310の取扱い信号量、すなわち飽和信号量を拡大することができる。
また、ゲイン制御トランジスタ333とリセットトランジスタ331とは直列に接続され、容量332の一端は、ゲイン制御トランジスタ333とリセットトランジスタ331との接続点に接続される。
なお、ゲイン制御トランジスタ333および容量332は、ゲイン制御の必要に応じて設けられ、これらを設けない構成とすることもできる。
差動入力回路340は、PMOS(Positive channel MOS)トランジスタ341、344および346と、NMOS(Negative channel MOS)トランジスタ342、343および345とを備える。
NMOSトランジスタ342および345は、差動対を構成し、これらのトランジスタのソースは、NMOSトランジスタ343のドレインに共通に接続される。また、NMOSトランジスタ342のドレインは、PMOSトランジスタ341のドレインとPMOSトランジスタ341および344のゲートとに接続される。NMOSトランジスタ345のドレインは、PMOSトランジスタ344のドレインとPMOSトランジスタ346のゲートとリセットトランジスタ331のドレインとに接続される。また、NMOSトランジスタ342のゲートには、参照信号REFが入力される。
NMOSトランジスタ343のゲートには、所定のバイアス電圧Vbが印加され、NMOSトランジスタ343のソースには、所定の接地電圧が印加される。NMOSトランジスタ345のゲートは、ゲイン制御トランジスタ333およびFD334および転送トランジスタ335に接続される。
PMOSトランジスタ341および344は、カレントミラー回路を構成する。PMOSトランジスタ341、344および346のソースには、電源電圧VDDHが印加される。この電源電圧VDDHは、電源電圧VDDLよりも高い。また、PMOSトランジスタ346のドレインは、電圧変換回路350に接続される。
また、画素回路330と、NMOSトランジスタ342、343および345とは、画素ウェハー305上に形成される。
また、R画素310において,電流源のNMOSトランジスタ343のソース電位と、画素ウェハー305の基板のバイアスは意図的に変更している。DAC211をA/D変換期間外の時間内にオフレベル(0Vやグランドレベルなど)に落としておくことにより、比較回路321に電流が流れなくなるため、消費電力を低減することができる。しかしながら、オフレベルに落としたことにより、電流源のNMOSトランジスタ343のドレインと、増幅用のNMOSトランジスタ342および345のドレインの電位がグランドになる。これは電荷が0Vレベルまでたまることを意味し、ここの電荷が画素回路330のフォトダイオード336へオーバーフローする。これは距離依存と該当部位(電流源のドレインと増幅用のトランジスタのドレイン)とその間のP−Wellの障壁にあまり差がないため、熱励起された電荷がフォトダイオード336まで拡散されることに起因する。これを避けるため、P―Wellの電位を負に引いている。これにより約240ミリボルト(mV)ほど、グランドより負にすることで、該当部位からの電荷のフォトダイオード336への漏れを抑制することができる。
電圧変換回路350は、NMOSトランジスタ351を備える。このNMOSトランジスタ351のゲートには電源電圧VDDLが印加される。また、NMOSトランジスタ351のドレインは、PMOSトランジスタ346のドレインに接続され、ソースは、正帰還回路360に接続される。この電圧変換回路350により、電源電圧VDDHを、より低い電源電圧VDDLに変換し、低電圧で動作する回路を後段に配置することができる。なお、電圧変換回路350により電源電圧VDDHを電源電圧VDDLに変換する構成としているが、この構成に限定されない。例えば、電源電圧VDDHおよびVDDLを同じ電圧とし、電圧変換回路350が不要な構成としてもよい。
正帰還回路360はPMOSトランジスタ361、362、365および366と、NMOSトランジスタ363、364および367とを備える。PMOSトランジスタ361および362は、電源電圧VDDLに直列に接続される。また、PMOSトランジスタ361のゲートには、駆動回路212からの駆動信号INI2が入力される。PMOSトランジスタ362のドレインは、NMOSトランジスタ351のソースとNMOSトランジスタ363のドレインと、PMOSトランジスタ365およびNMOSトランジスタ364のゲートとに接続される。
NMOSトランジスタ363のソースには接地電圧が印加され、ゲートには、駆動回路212からの駆動信号INI1が入力される。
PMOSトランジスタ365および366は、電源電圧VDDLに直列に接続される。また、PMOSトランジスタ366のドレインは、PMOSトランジスタ362のゲートと、NMOSトランジスタ364および367のドレインとに接続される。PMOSトランジスタ366およびNMOSトランジスタ367のゲートには、駆動回路212からの制御信号TESTVCOが入力される。
NMOSトランジスタ364および367のドレインからは、出力信号VCOが出力される。また、NMOSトランジスタ364および367のソースには、接地電圧が印加される。
なお、画素回路330、差動入力回路340、電圧変換回路350および正帰還回路360のそれぞれは、図4で説明した機能を持つのであれば、図5に例示した回路に限定されない。
[データ記憶部の構成例]
図6は、本技術の第1の実施の形態におけるデータ記憶部370の一構成例を示すブロック図である。このデータ記憶部370は、ラッチ制御回路380と、D相データのビット数D(Dは、整数)と同じ個数のラッチ回路390とを備える。ラッチ制御回路380は、駆動回路212からの制御信号xWORDに従って、出力信号VCOの値(論理値「0」または「1」)をラッチ回路390のいずれかに保持させるものである。制御信号xWORDは、制御信号WORDを反転した信号である。
ラッチ回路390は、ラッチ制御回路380の制御に従って、出力信号VCOの値を保持するものである。ラッチ回路390は、ローカルビット線LBLを介して時刻コード転送部500と接続される。
[ラッチ制御回路およびラッチ回路の構成例]
図7は、本技術の第1の実施の形態におけるラッチ制御回路380およびラッチ回路390の一構成例を示すブロック図である。このラッチ制御回路380は、NORゲート381と、インバータ382および383とを備える。
NORゲート381は、制御信号xWORDおよび出力信号VCOの否定論理和をインバータ382に出力するものである。インバータ382は、NORゲート381からの出力値を反転してラッチ制御信号Tとしてラッチ回路390に出力するものである。
インバータ383は、出力信号VCOを反転してラッチ入力信号Lとしてラッチ回路390に出力するものである。
また、ラッチ回路390は、スイッチ391と、インバータ392および393を備える。スイッチ391は、ラッチ制御回路380からのラッチ制御信号Tに従って、インバータ392と、ローカルビット線LBLとの間の経路を開閉するものである。このローカルビット線LBLは、時刻コード転送部500に接続される。
インバータ392は、ラッチ制御回路380からのラッチ入力信号Lに従って、インバータ393からの信号を反転するものである。このインバータ392は、反転した信号をインバータ393の入力端子とスイッチ391とに出力する。
インバータ393は、インバータ392からの信号を反転してインバータ392の入力端子に出力するものである。
なお、ラッチ制御回路380およびラッチ回路390は、同等の機能を持つものであれば、図7に例示した回路に限定されない。
図8は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すタイミングチャートである。1V期間の開始タイミングt10において、駆動回路212は、リセット信号RSTより、FDを初期化する。ここで、1V期間は、垂直同期信号VSYNCの周期である。また、タイミングt10の前において、全画素の露光が開始されているものとする。
タイミングt11から一定期間に亘って、DAC211は、参照信号REFをスロープ状に減少させる。データバスは、時刻コード転送部500内のリピータ回路のデータである。ローカルビット線LBLを介して外部から送信されてくるデータをラッチ制御回路380は、ラッチ回路390に書き込み続け、出力信号VCOのスロープとFD334の電位との交差点であるタイミングt12において出力信号VCOが反転し、書込みを停止する。次に、そのデータはタイミングt13において読み出され、時刻コード転送部500内のメモリに保持される。このデータが、FD334の電圧値と回路のオフセットとを含むリセットレベルを変換したデジタル値(P相データ)となる。このP相データは読み出されて列処理部250内のメモリに保持される。
続いて全画素において露光終了時のタイミングt14に駆動回路212は、転送信号TXを送信して電荷をFD334に転送する。また、タイミングt15から一定期間に亘って、DAC211は、参照信号REFをスロープ状に減少させる。ローカルビット線LBLを介して送信されてくるデータをラッチ制御回路380は、ラッチ回路390に書き込み続け、タイミングt16において出力信号VCOが反転し、書込みを停止する。そのデータはタイミングt17において読み出され、時刻コード転送部500内のメモリに保持される。このデータが信号レベルを変換したD相データとなる。
列処理部250は、列ごとにP相データとD相データとの差分を正味の画素データとして求める。露光開始時のタイミングt18において、駆動回路212は、駆動信号OFGの送信により、全画素においてフォトダイオード336の電荷を排出させる。このように露光開始および露光終了のタイミングは全画素で同時であり、このような露光制御は、グローバルシャッターと呼ばれる。そして、タイミングt19において1V期間が終了する。
なお、制御信号FDGは、リセット信号RSTと同様に制御される。このため、リセット信号RSTが常にハイレベルになるときには、FD334の変換効率が低下している(言い換えれば、FD334の容量が大きくなっている)。これにより、フォトダイオード336で発生した電荷が多くなり過ぎた際に、FD334で受けきれなくなることを回避することができる。
[W画素の構成例]
図9は、本技術の第1の実施の形態におけるW画素400の一構成例を示すブロック図である。このW画素400は、ADC405、画素回路410およびアドレスイベント検出部430を備える。
画素回路410は、画素信号SIG(リセットレベルまたは信号レベル)を生成してADC405に出力するとともに、電圧信号Vpを生成してアドレスイベント検出部430に出力するものである。ここで、電圧信号Vpは、光電変換により生じた電荷の量に応じた光電流に対して電流電圧変換を行って生成した電圧信号である。
ADC405は、画素信号SIGをデジタル信号(P相データまたはD相データ)に変換するものである。ADC405の構成は、R画素310内のADC320と同様である。ADC405は、駆動回路212の制御に従って画素信号SIGを、例えば、15ビットのデジタル信号に変換し、時刻コード転送部500に出力する。
アドレスイベント検出部430は、電圧信号Vpに基づいて、W画素400における受光量(電荷の量)の変動量の絶対値が所定の閾値を超えた旨をアドレスイベントとして検出するものである。このアドレスイベント検出部430は、アドレスイベントを検出したときに、行AER回路260との間でハンドシェイクを行い、次に列AER回路220との間でハンドシェイクを行う。アドレスイベントの検出結果は、例えば、2ビットであり、ADC405からのデジタル信号よりもビット数が少ない。このように、W画素400には、ADC405と、そのADC405よりも分解能の低いADCであるアドレスイベント検出部430との2つのADCが設けられている。なお、アドレスイベント検出部430は、特許請求の範囲に記載のアナログデジタル変換器の一例である。
[アドレスイベント検出部の構成例]
図10は、本技術の第1の実施の形態におけるアドレスイベント検出部430の一構成例を示すブロック図である。このアドレスイベント検出部430は、バッファ440、微分回路450、コンパレータ460およびAERロジック回路470を備える。
バッファ440は、例えば、ソースフォロワにより構成され、電圧信号Vpに対するインピーダンス変換に用いられる。
微分回路450は、例えば、スイッチトキャパシタ回路により構成され、リセットされたときの基準値に対してVpが変化した分の微分信号を取得するものである。この微分回路450は、微分信号をコンパレータ460に供給する。
コンパレータ460は、微分信号のレベルを閾値VthonおよびVthoffのそれぞれと比較するものである。このコンパレータ460は、閾値Vthonとの比較結果をVCHとしてAERロジック回路470に出力し、閾値Vthoffとの比較結果をVCLとしてAERロジック回路470に出力する。
ここで、閾値Vthonは、閾値Vthoffよりも高い値に設定される。微分信号が閾値Vthonを越えることは、W画素400の受光量の変動量が閾値Vthonに対応する値を超えたことを意味する。また、微分信号が閾値Vthoffを下回ることは、W画素400の受光量の変動量の絶対値が閾値Vthoffに対応する値を超えたことを意味する。このため、微分信号が閾値Vthonを超えた場合にアドレスイベントのうちオンイベントが検出され、閾値Vthoffを下回った場合にオフイベントが検出される。
AERロジック回路470は、比較結果VCHおよびVCLに基づいてハンドシェイクを行うものである。このAERロジック回路470は、アドレスイベントの有無を検出して、アドレスイベントが生じた場合に行AER回路260との間でハンドシェイクを行う。次にAERロジック回路470は、列AER回路220との間でハンドシェイクを行い、リセット信号xrstにより微分回路450をリセットする。なお、AERロジック回路470は、特許請求の範囲に記載のハンドシェイク回路の一例である。
図11は、本技術の第1の実施の形態におけるW画素400の一構成例を示す回路図である。画素回路410は、リセットトランジスタ411、容量412、ゲイン制御トランジスタ413、FD414、転送トランジスタ415、対数応答部422、フォトダイオード418および排出トランジスタ419を備える。
リセットトランジスタ411、容量412、ゲイン制御トランジスタ413、FD414、転送トランジスタ415、フォトダイオード418および排出トランジスタ419の構成は、R画素310内の同名の素子と同一である。
対数応答部422は、NMOSトランジスタ416、417および420と、PMOSトランジスタ421とを備える。NMOSトランジスタ416および417は、転送トランジスタ415および排出トランジスタ419の接続点と、フォトダイオード418との間において、直列に接続される。また、PMOSトランジスタ421およびNMOSトランジスタ420は、電源と接地端子との間において直列に接続される。
また、NMOSトランジスタ416のゲートにはバイアス電圧Vbcusが印加され、PMOSトランジスタ421のゲートには、バイアス電圧Vblogが印加される。NMOSトランジスタ420のゲートは、NMOSトランジスタ417およびフォトダイオード418の接続点に接続され、NMOSトランジスタ417のゲートは、NMOSトランジスタ420およびPMOSトランジスタ421の接続点とバッファ440とに接続される。このような接続により、フォトダイオード418に流れる光電流は、対数的に電圧Vpに変換される。
また、画素回路410のうちPMOSトランジスタ421以外の素子と、ADC405のうち差動対のNMOSトランジスタ423および424と、電流源のNMOSトランジスタ425とは、画素ウェハー406上に設けられる。W画素400においても、R画素310と同様に、電流源のNMOSトランジスタ425のソース電位と、画素ウェハー406の基板のバイアスは意図的に変更されている。
また、バッファ440は、電源および接地端子の間において直列に接続されたPMOSトランジスタ441および442を備える。接地側のPMOSトランジスタ442のゲートは、画素回路410に接続され、電源側のPMOSトランジスタ441のゲートには、バイアス電圧Vbsfが印加される。また、PMOSトランジスタ441および442の接続点は、微分回路450に接続される。この接続により、Vpに対するインピーダンス変換が行われる。
微分回路450は、容量451および453と、PMOSトランジスタ452および454と、NMOSトランジスタ455とを備える。
容量451の一端は、バッファ440に接続され、他端は、容量453の一端とPMOSトランジスタ454のゲートとに接続される。PMOSトランジスタ452のゲートにはリセット信号xrstが入力され、ソースおよびドレインは容量453の両端に接続される。PMOSトランジスタ454およびNMOSトランジスタ455は電源と接地端子との間において直列に接続される。また、容量453の他端は、PMOSトランジスタ454およびNMOSトランジスタ455の接続点に接続される。接地側のNMOSトランジスタ455のゲートには、バイアス電圧Vbaが印加され、PMOSトランジスタ454およびNMOSトランジスタ455の接続点はコンパレータ460にも接続される。このような接続により、微分信号が生成されてコンパレータ460に出力される。また、微分信号は、リセット信号xrstにより初期化される。
コンパレータ460は、PMOSトランジスタ461および463とNMOSトランジスタ462および464とを備える。PMOSトランジスタ461およびNMOSトランジスタ462は、電源と接地端子との間において直列に接続され、PMOSトランジスタ463およびNMOSトランジスタ464も、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ461および463のゲートは、微分回路450に接続される。NMOSトランジスタ462のゲートには閾値Vthonを生成するためのバイアス電圧Vbonが印加され、NMOSトランジスタ464のゲートには閾値Vthoffを生成するためのバイアス電圧Vboffが印加される。
PMOSトランジスタ461およびNMOSトランジスタ462の接続点は、AERロジック回路470に接続され、この接続点の電圧が比較結果VCHとして出力される。PMOSトランジスタ463およびNMOSトランジスタ464の接続点も、AERロジック回路470に接続され、この接続点の電圧が比較結果VCLとして出力される。このような接続により、微分信号が閾値Vthonを超えた場合にコンパレータ460は、ハイレベルの比較結果VCHを出力し、微分信号が閾値Vthoffを下回った場合にローレベルの比較結果VCLを出力する。
図12は、本技術の第1の実施の形態におけるコンパレータ460の入出力特性の一例を示すグラフである。同図における縦軸は、コンパレータ460の出力信号(VCHまたはVCL)のレベルを示し、横軸はコンパレータ460の入力信号(微分信号)のレベルを示す。また、実線は、比較結果VCHの軌跡を示し、一点鎖線は、比較結果VCLの軌跡を示す。
微分信号が「0」レベルのときの光量を基準とし、その基準に対する正の光量差(変動量)が閾値Vthonに対応する値を超えると、比較結果VCHはローレベルからハイレベルに変化してオンイベントが検出される。一方、基準に対する負の光量差の絶対値が閾値Vthoffに対応する値を超えると、比較結果VCLはハイレベルからローレベルに変化してオフイベントが検出される。
W画素400のそれぞれのアドレスイベントの検出結果をDSP回路120は、様々なアプリケーションにおいて処理する。想定されるアプリケーションとしては、車載、人工知能用の画像認識の入力デバイスや監視用途などがあげられる。
車載であれば、ドライバに視認させるために表示するのは、垂直同期信号VSYNCに同期して撮像された通常画像データである。一方、固体撮像素子200は、車両制御システムへアドレスイベントが起こったときの信号を高速でリアルタイムに出力する。これにより、従来の固体撮像素子では垂直同期信号の周期でしか取得できなかった情報を、その周期の経過を待たずに変化部分の信号として検出することができる。このため、人や障害物をよけるなどの指示までのフィードバックを高速化して安全性を向上させることができる。
また、人工知能用としては,高分解能の通常画像データではなく,低分解能の意味ある情報(例えば、対数圧縮の輝度差分)を入力することにより、高速に処理を実行させて演算量を低減することができるメリットがある。また、通常画像データも得られるため、例えば、イベントドリブン出力のAER画像データに対してLSTM(Long Short Term Memory)を用いた信号処理を行った演算結果と通常画像データとを合わせて用いることで精度の高い画像認識を実現することができる。
監視用途向けでは、通常動作時は、イベントドリブンで動作し、画像にある一定数以上の差分(ある閾値以上のイベント)が発生した場合は、垂直同期信号に同期した高分解能の通常画像データの記録を開始するなどの用途がある。これにより、高分解能のADCを常時動作させずに済むため、消費電力を削減することができる。
[AERロジック回路の構成例]
図13は、本技術の第1の実施の形態におけるAERロジック回路470の一構成例を示すブロック図である。このAERロジック回路470は、NMOSトランジスタ471乃至473、475乃至478、480および481と、PMOSトランジスタ474および479と、容量482とを備える。
NMOSトランジスタ471および472は直列に接続される。NMOSトランジスタ472および473のゲートには、比較結果VCHが入力され、NMOSトランジスタ471のゲートには応答AckYp1が入力される。また、NMOSトランジスタ472および473のソースは接地され、NMOSトランジスタ471のドレインから列AER回路220へリクエストReqHXp1が出力される。NMOSトランジスタ473のドレインから行AER回路260へリクエストReqYp1が出力される。
PMOSトランジスタ474およびNMOSトランジスタ475は電源と接地端子との間において直列に接続される。また、PMOSトランジスタ474のゲートには比較結果VCLが入力され、NMOSトランジスタ475のゲートには、バイアス電圧Vbaerが印加される。
NMOSトランジスタ476および477は直列に接続される。NMOSトランジスタ477および478のゲートは、PMOSトランジスタ474およびNMOSトランジスタ475の接続点に接続される。NMOSトランジスタ476のゲートには応答AckYp1が入力される。また、NMOSトランジスタ477および478のソースは接地され、NMOSトランジスタ476のドレインから列AER回路220へリクエストReqLXp1が出力される。NMOSトランジスタ478のドレインから行AER回路260へリクエストReqYp1が出力される。
PMOSトランジスタ479とNMOSトランジスタ480および481とは、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ479のゲートにはバイアス電圧Vbrstが印加される。NMOSトランジスタ480のゲートには応答AckYp1が入力され、NMOSトランジスタ481のゲートには応答AckXp1が入力される。容量482の一端は、電源に接続され、他端は、PMOSトランジスタ479およびNMOSトランジスタ480の接続点に接続される。また、PMOSトランジスタ479およびNMOSトランジスタ480の接続点の電圧は、リセット信号xrstとして微分回路450へ出力される。
上述の構成により、ハイレベルの比較結果VCHが入力される(すなわち、オンイベントが検出される)とAERロジック回路470は、ローレベルのリクエストReqYp1を行AER回路260へ送信する。そして、行AER回路260からハイレベルの応答AckYp1を受信するとAERロジック回路470は、ローレベルのリクエストReqHXp1を列AER回路220に送信する。次いで列AER回路220からハイレベルの応答AckXp1を受信するとAERロジック回路470は、ローレベルのリセット信号xrstを微分回路450に出力する。
また、ローレベルの比較結果VCLが入力される(すなわち、オフイベントが検出される)とAERロジック回路470は、ローレベルのリクエストReqYp1を行AER回路260へ送信する。そして、行AER回路260からハイレベルの応答AckYp1を受信するとAERロジック回路470は、ローレベルのリクエストReqLXp1を列AER回路220に送信する。次いで列AER回路220からハイレベルの応答AckXp1を受信するとAERロジック回路470は、ローレベルのリセット信号xrstを微分回路450に出力する。
[時刻コード発生部の構成例]
図14は、本技術の第1の実施の形態における時刻コード発生部230の一構成例を示すブロック図である。この時刻コード発生部230は、テスト回路231と、冗長回路240と、バイナリ・グレイ変換部232と、バイナリカウンタ233と、レシーバ235と、複数のドライバ236とを備える。
レシーバ235は、画素アレイ部300からのマスタクロックMCKを受け取るものである。このレシーバ235は、受け取ったマスタクロックMCKをバイナリカウンタ233に供給する。
バイナリカウンタ233は、マスタクロックMCKに同期して2進数の計数値を計数するものである。このバイナリカウンタ233は、複数段のフリップフロップ234を備える。初段のフリップフロップ234のクロック端子にマスタクロックMCKが入力される。2段目以降のフリップフロップ234のクロック端子には、前段のフリップフロップ234の反転出力が入力される。また、それぞれの段のフリップフロップ234の反転出力は、その段の入力端子に出力されるとともに、対応する桁のビットとしてバイナリ・グレイ変換部232にも出力される。
バイナリ・グレイ変換部232は、バイナリカウンタ233からのバイナリの計数値をグレイコードに変換するものである。バイナリ・グレイ変換部232は、グレイコードを冗長回路240に供給する。
冗長回路240は、テスト回路231の制御に従って、故障の生じたビットに対応する信号線の代わりに予備の信号線を接続するものである。ここで、冗長回路240およびテスト回路231との間には、少なくとも1本の予備の信号線が結線される。例えば、グレイコードが15ビットである場合には、予備の1本を含む16本の信号線が結線される。
テスト回路231は、起動時などにおいてグレイコードのビットごとに、対応する信号線の故障の有無を検出するものである。ここで、テスト回路231が検出する故障としては、配線の断線やショート、ラッチ回路の不具合などが想定される。このテスト回路231は、故障が生じた場合に冗長回路240を制御して、故障した信号線の代わりに予備の信号線を接続させる。また、テスト回路231は、グレイコードを時刻コードとして出力する。
ドライバ236は、時刻コード内のビットごとに設けられる。このドライバ236は、時刻コードのうち対応するビットFFin[k](kは0以上の整数)を画素アレイ部300に出力する。
また、時刻コード発生部230には、リクエストReqHXp1およびReqLXp1と、応答AckXp1とのそれぞれを伝送する信号線が配線される。
[冗長回路の構成例]
図15は、本技術の第1の実施の形態における冗長回路240の一構成例を示す回路図である。この冗長回路240は、複数のスイッチ241を備える。スイッチ241の個数は、グレイコード(時刻コード)のビット数と同数である。また、スイッチ241は、1つの入力端子と、2つの出力端子とを備える。k個目のスイッチ241の入力端子には、バイナリ・グレイ変換部232からの時刻コードのうちkビット目を伝送する信号線INA[k]が接続される。また、「0」個目のスイッチ241の左側の出力端子には、信号線OUT[0]が接続される。また、k個目のスイッチ241の右側の出力端子と、k+1個目のスイッチ241の左側の出力端子とが接続され、それらの出力端子は、信号線OUT[k]にも接続される。最後のスイッチ241の右側の出力端子には、予備の信号線OUT[15]が接続される。
スイッチ241は、テスト回路231の制御に従って、入力端子の接続先を切り替える。初期状態において、全てのスイッチ241の入力端子は左側の出力端子に接続される。kビット目が故障した場合、k以降のスイッチ241が入力端子の接続先を右側の出力端子に切り替える。例えば、15ビットのうち「1」ビット目で故障が生じた場合、「1」乃至「14」個目のスイッチ241が、接続先を右側に切り替える。これにより、信号線INA[1]乃至INA[14]は、信号線OUT[2]乃至OUT[15]と接続され、故障した信号線OUT[1]は入力端子と切り離される。
テスト回路231は、起動時に故障の有無の検出を行い、その検出結果をもとに冗長回路240が切り替える。なお、この方法に限定されず、例えば、起動前に予めテスト回路231が故障の有無を検出しておき、不揮発性のメモリに検出結果を記載しておいてもよい。この場合には、冗長回路240は、起動時にメモリから検出結果を読み出して切替えを行えばよい。
図16は、本技術の第1の実施の形態における時刻コード転送部500の一構成例を示すブロック図である。この時刻コード転送部500は、クラスタ510と、インバータ571および572と、複数のフリップフロップ573とを備える。フリップフロップ573の個数は、一定の送受信単位内のラッチ回路390の個数(256個など)と同数である。クラスタ510の構成については後述する。
インバータ571は、列処理部250からのマスタクロックMCKを反転するものである。このインバータ571は、反転したクロック信号xMCKをインバータ572およびクラスタ510に供給する。
インバータ572は、クロック信号xMCKを反転してマスタクロックMCKとして、フリップフロップ573のそれぞれのクロック端子に出力するものである。
フリップフロップ573は、マスタクロックMCKに同期して、クラスタ510からのビットFFout[k]を保持するものである。このフリップフロップ573は、保持したビットを列処理部250に出力する。
[クラスタの構成例]
図17は、本技術の第1の実施の形態におけるクラスタ510の一構成例を示すブロック図である。このクラスタ510は、複数の単位ブロック520と、インバータ511乃至517とを備える。単位ブロック520の個数は、送受信単位のビット数(例えば,15ビットに冗長1ビットを加えた16ビット)と同じである。
インバータ511は、インバータ571からのクロック信号xMCKを反転してマスタクロックMCKとして単位ブロック520のそれぞれと時刻コード発生部230とに供給するものである。
インバータ513は、駆動回路212からのリードイネーブル信号RENを反転するものである。このリードイネーブル信号RENは、時刻コード転送部500の左側の画素の画素データの読出しを指示する信号である。インバータ512は、インバータ513からの信号を反転して単位ブロック520のそれぞれに供給するものである。
インバータ515は、駆動回路212からのリードイネーブル信号RENを反転するものである。このリードイネーブル信号RENは、時刻コード転送部500の右側の画素の画素データの読出しを指示する信号である。インバータ514は、インバータ515からの信号を反転して単位ブロック520のそれぞれに供給するものである。
インバータ517は、駆動回路212からのライトイネーブル信号WENを反転するものである。このライトイネーブル信号WENは、時刻コードの書込みを指示する信号である。インバータ516は、インバータ517からの信号を反転して単位ブロック520のそれぞれに供給するものである。
単位ブロック520は、リードイネーブル信号RENおよびRENと、ライトイネーブル信号WENとに従って画素データの読出し、または、時刻コードの書込みを行うものである。
図18は、本技術の第1の実施の形態における単位ブロック520の一構成例を示すブロック図である。この単位ブロック520は、インバータ521、522、524および527と、PMOSトランジスタ523および528と、バッファ525および526と、フリップフロップ550とを備える。
インバータ521は、インバータ511からのマスタクロックMCKを反転するものである。このインバータ521は、反転した信号をインバータ522に供給する。インバータ522は、インバータ521からの信号を反転してマスタクロックMCKとしてフリップフロップ550のクロック端子に供給するものである。
フリップフロップ550は、マスタクロックMCKに同期して、時刻コード発生部230からの時刻コードのうち対応するビットFFin[k]を保持するものである。このフリップフロップ550は、保持したビットをFFout[k]としてバッファ525および526に供給する。
PMOSトランジスタ523は、駆動回路212からの制御信号PCを反転した信号xPCに従って、ローカルビット線LBL[k]をプリチャージするものである。ここで、制御信号PCは、ローカルビット線LBL[k]のプリチャージを指示する信号であり、例えば、ローカルビット線LBL[k]を介してビットを読み出す直前にプリチャージが指示される。これにより、ラッチ回路390からローカルビット線LBL[k]へ信号を出力する際に、インバータ382の出力(T)とスイッチ391とのインピーダンスの比でラッチ回路390内部の初期電圧が変動し、ローカルビット線LBL[k]の信号が上書きされることを防止することができる。また、ラッチ回路390の面積を最小化することができる。
インバータ524は、ローカルビット線LBL[k]を介して読み出されたビットを、ハイレベルのリードイネーブル信号RENに従って反転し、画素データのkビット目(FFout[k])としてフリップフロップ573を介して列処理部250に出力するものである。バッファ525は、フリップフロップ550から出力されたビットを、ハイレベルのライトイネーブル信号WENに従ってローカルビット線LBL[k]に出力するものである。これらのインバータ524およびバッファ525により、双方向のバッファ回路530が形成される。このバッファ回路530のローカルビット線LBLに接続された端子をR_IOとし、フリップフロップ550に接続された端子をW_IOとする。
PMOSトランジスタ528は、駆動回路212からの制御信号PCを反転した信号xPCに従って、ローカルビット線LBL[k]をプリチャージするものである。ここで、制御信号PCは、ローカルビット線LBL[k]のプリチャージを指示する信号であり、例えば、ローカルビット線LBL[k]を介してビットを読み出す直前にプリチャージが指示される。
インバータ527は、ローカルビット線LBL[k]を介して読み出されたビットを、ハイレベルのリードイネーブル信号RENに従って反転し、画素データのkビット目としてフリップフロップ573を介して列処理部250に出力するものである。バッファ526は、フリップフロップ550から出力されたビットを、ハイレベルのライトイネーブル信号WENに従ってローカルビット線LBL[k]に出力するものである。これらのインバータ527およびバッファ526により、双方向のバッファ回路が形成される。
[バッファ回路の構成例]
図19は、本技術の第1の実施の形態におけるバッファ回路530の一構成例を示す回路図である。このバッファ回路530は、インバータ531および540と、NANDゲート532と、NORゲート533と、PMOSトランジスタ534、536および537と、NMOSトランジスタ535、538および539とを備える。
インバータ531は、ライトイネーブル信号WENを反転してNORゲート533に出力するものである。NANDゲート532は、ライトイネーブル信号WENと、端子W_IOからの入力ビットとの否定論理積をPMOSトランジスタ534のゲートに出力するものである。NORゲート533は、インバータ531からの信号と端子W_IOからの入力ビットとの否定論理和をNMOSトランジスタ535のゲートに出力するものである。
PMOSトランジスタ534およびNMOSトランジスタ535は、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ534およびNMOSトランジスタ535の接続点が、端子R_IOと、PMOSトランジスタ537およびNMOSトランジスタ538のそれぞれのゲートとに接続される。
インバータ540は、リードイネーブル信号RENを反転してPMOSトランジスタ536のゲートに出力するものである。
PMOSトランジスタ536および537とNMOSトランジスタ538および539とは、電源と接地端子との間において直列に接続される。また、NMOSトランジスタ539のゲートには、リードイネーブル信号RENが入力される。
上述の構成により、バッファ回路530は、リードイネーブル信号RENに従って端子R_IOから読み出されたビットを反転して端子W_IOから出力する。また、バッファ回路530は、ライトイネーブル信号WENに従って端子W_IOから入力されたビットを端子R_IOから出力する。
[フリップフロップの構成例]
図20は、本技術の第1の実施の形態におけるフリップフロップ550の一構成例を示す回路図である。このフリップフロップ550は、PMOSトランジスタ551、553、554、556および559と、NMOSトランジスタ552、555、557、558、560および561を備える。
PMOSトランジスタ551およびNMOSトランジスタ552は、電源と接地端子との間において直列に接続される。これらのトランジスタのゲートは、D端子に接続される。
PMOSトランジスタ553および554とNMOSトランジスタ555とは、電源と接地端子との間において直列に接続される。PMOSトランジスタ553およびNMOSトランジスタ555のゲートは、PMOSトランジスタ551およびNMOSトランジスタ552の接続点に接続される。また、PMOSトランジスタ554のゲートは、クロック端子CKに接続される。
PMOSトランジスタ556とNMOSトランジスタ557および558とは、電源と接地端子との間において直列に接続される。PMOSトランジスタ556およびNMOSトランジスタ558のゲートは、クロック端子CKに接続される。また、NMOSトランジスタ557のゲートは、PMOSトランジスタ554およびNMOSトランジスタ555の接続点に接続される。
PMOSトランジスタ559とNMOSトランジスタ560および561とは、電源と接地端子との間において直列に接続される。PMOSトランジスタ559およびNMOSトランジスタ561のゲートは、PMOSトランジスタ556およびNMOSトランジスタ557の接続点に接続される。また、NMOSトランジスタ560のゲートは、クロック端子CKに接続される。
上述の構成により、フリップフロップ550は、クロック端子CKに入力されたクロック信号の立ち上がりにてD端子の入力をQへ出力し,立下りにて,QのノードをHigh−ZとすることでQの信号保持することを可能にする。また、上述の構成により、バッファ回路530によるQの配線ノードへのデータ書き込みを可能にする。
[列処理部の構成例]
図21は、本技術の第1の実施の形態における列処理部250の一構成例を示すブロック図である。この列処理部250は、信号線ごとにインバータ253を備え、列ごとに冗長回路251およびCDS回路252を備える。
インバータ253は、画素アレイ部300からのビットを反転するものである。インバータ253のそれぞれは、反転したビットを対応する冗長回路251へ送信する。
冗長回路251の構成は、図15に例示した冗長回路240と同様である。また、CDS回路252は、対応する列のP相データとD相データとの差分を正味の画素データとして演算するCDS処理を行うものである。このCDS回路252は、画素データをDSP回路120に出力する。
[行AER回路の構成例]
図22は、本技術の第1の実施の形態における行AER回路260の一構成例を示すブロック図である。この行AER回路260は、行ごとに、行AERブロック270を備える。行AERブロック270は、対応する行と行アービタ600とステートマシン215との間でハンドシェイクを行うものである。
[行AERブロックの構成例]
図23は、本技術の第1の実施の形態における行AERブロック270の一構成例を示す回路図である。この行AERブロック270は、PMOSトランジスタ271と、NMOSトランジスタ272および273と、NORゲート276と、インバータ274および275とを備える。
PMOSトランジスタ271と、NMOSトランジスタ272および273とは、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ271およびNMOSトランジスタ272のゲートには、ステートマシン215からの制御信号LOADが入力される。この制御信号LOADは、アドレスイベントの検出結果の読出しを指示する信号である。また、NMOSトランジスタ273のゲートには、ステートマシン215からの応答CHIP_ACKを反転したxCHIP_ACKが入力される。
NORゲート276は、2つの入力値の否定論理和をリクエストReqYa1として行アービタ600に出力するものである。NORゲート276の入力端子の一方には、ステートマシン215からの応答CHIP_ACKが入力される。NORゲート276の入力端子の他方は、PMOSトランジスタ271およびNMOSトランジスタ272の接続点と、画素アレイ部300からのリクエストReqYp1を伝送する信号線とに接続される。
インバータ275は、行アービタ600からの応答AckYa1を反転してインバータ274に出力するものである。インバータ274は、インバータ275からの信号を反転して応答AckYp1として、画素アレイ部300へ出力するものである。
上述の構成により、行AERブロック270は、ローレベルのリクエストReqYp1が入力されると、応答CHIP_ACKがハイレベルであれば、ローレベルのリクエストReqYa1を出力する。また、行AERブロック270は、ハイレベルの応答AckYa1を遅延させて応答AckYp1として出力する。
[列AER回路の構成例]
図24は、本技術の第1の実施の形態における列AER回路220の一構成例を示すブロック図である。この列AER回路220は、列ごとに列AERブロック221を備える。列AERブロック221は、対応する列と、ステートマシン215と、列アービタ213との間でハンドシェイクを行うものである。
[列AERブロックの構成例]
図25は、本技術の第1の実施の形態における列AERブロック221の一構成例を示すブロック図である。この列AERブロック221は、H側列AERブロック222、L側列AERブロック223およびORゲート224を備える。
H側列AERブロック222は、ローレベルのリクエストReqHXp1が入力されるとハンドシェイクを行うものである。このH側列AERブロック222は、ハイレベルの応答AckHXa1を遅延させた信号をORゲート224に出力する。L側列AERブロック223は、ローレベルのリクエストReqLXp1が入力されるとハンドシェイクを行うものである。このL側列AERブロック223は、ハイレベルの応答AckLXa1を遅延させた信号をORゲート224に出力する。また、H側列AERブロック222およびL側列AERブロック223により、画素アレイ部300からのローレベルのリクエストが反転される。これらのH側列AERブロック222およびL側列AERブロック223の構成は、図23に例示した行AERブロック270と同様である。なお、これらの行や列のAERブロックの構成は、ハンドシェイクを行うことができるものであれば、図23に例示した回路に限定されない。
ORゲート224は、H側列AERブロック222およびL側列AERブロック223からの信号の論理和を応答AckXp1として出力するものである。
[行アービタの構成例]
図26は、本技術の第1の実施の形態における行アービタ600の一構成例を示すブロック図である。この行アービタ600は、アービタブロック610、650乃至654とインバータ601および602とを7行ごとに備える。なお、同図は、垂直のイベントドリブンの画素数を7画素とした場合の図である。例えば、垂直のイベントドリブンの画素数が1000画素であれば、210(=1024)段までカバーする10段のアービタが設けられる。
アービタブロック610は、1行目からのリクエストと2行目からのリクエストとを調停するものである。このアービタブロック610は、アービタブロック652との間でハンドシェイクを行い、調停結果に基づいて応答を1行目または2行目に出力する。
アービタブロック650は、3行目からのリクエストと4行目からのリクエストとを調停するものである。このアービタブロック650は、アービタブロック652との間でハンドシェイクを行い、調停結果に基づいて応答を3行目または4行目に出力する。
アービタブロック651は、5行目からのリクエストと6行目からのリクエストとを調停するものである。このアービタブロック651は、アービタブロック653との間でハンドシェイクを行い、調停結果に基づいて応答を5行目または6行目に出力する。
アービタブロック652は、アービタブロック610からのリクエストとアービタブロック650からのリクエストとを調停するものである。このアービタブロック652は、アービタブロック654との間でハンドシェイクを行い、調停結果に基づいて応答をアービタブロック610または650に出力する。
アービタブロック653は、アービタブロック651からのリクエストと7行目からのリクエストとを調停するものである。このアービタブロック653は、アービタブロック654との間でハンドシェイクを行い、調停結果に基づいて応答をアービタブロック651または7行目に出力する。
アービタブロック654は、アービタブロック652からのリクエストとアービタブロック653からのリクエストとを調停するものである。このアービタブロック654は、早い方のリクエストに対する応答をインバータ601および602で遅延させてアービタブロック652または653に供給する。
なお、列アービタ213の構成は、行アービタ600と同様である。また、これらのアービタの構成は、リクエストを調停することができるのであれば、図26に例示した構成に限定されない。
[アービタブロックの構成例]
図27は、本技術の第1の実施の形態におけるアービタブロック610の一構成例を示す回路図である。このアービタブロック610は、PMOSトランジスタ611、614、615乃至617、620、622、625および626と、NMOSトランジスタ612、613、618、619、623、624および627とインバータ621とを備える。
PMOSトランジスタ611および614は、電源に並列に接続される。NMOSトランジスタ612および613は、PMOSトランジスタ611および614のドレインと接地端子との間において直列に接続される。また、PMOSトランジスタ611およびNMOSトランジスタ613のゲートには、1行目からのリクエストReqXa1が入力される。
PMOSトランジスタ615および616は、電源に直列に接続される。また、PMOSトランジスタ615のゲートにはリクエストReqXa1が入力され、PMOSトランジスタ616のゲートには2行目からのリクエストReqXa2が入力される。
PMOSトランジスタ617および620は、電源に並列に接続される。NMOSトランジスタ618および619は、PMOSトランジスタ617および620のドレインと接地端子との間において直列に接続される。また、PMOSトランジスタ617およびNMOSトランジスタ618のゲートは、PMOSトランジスタ611および614のドレインに接続される。PMOSトランジスタ620およびNMOSトランジスタ619のゲートには、リクエストReqXa2が入力される。PMOSトランジスタ617および620のドレインは、PMOSトランジスタ614およびNMOSトランジスタ612のゲートに接続される。
また、NMOSトランジスタ612および613の接続点と、PMOSトランジスタ616のドレインと、NMOSトランジスタ618および619の接続点とは、リクエストReqXb1を伝送する信号線に接続される。このリクエストReqXb1は、上位のアービタブロック652に出力される。
インバータ621は、上位のアービタブロック652からの応答AckXb1を反転するものである。このインバータ621は、反転した信号をPMOSトランジスタ625およびNMOSトランジスタ624のゲートへ出力する。
PMOSトランジスタ625および626とNMOSトランジスタ627とは、電源と接地端子との間に直列に接続される。また、PMOSトランジスタ622およびNMOSトランジスタ623は、PMOSトランジスタ625および626の接続点と接地端子との間に直列に接続される。NMOSトランジスタ624のソースおよびドレインは、PMOSトランジスタ622およびNMOSトランジスタ623の接続点と、PMOSトランジスタ626およびNMOSトランジスタ627の接続点とに接続される。
また、PMOSトランジスタ622およびNMOSトランジスタ623のゲートは、PMOSトランジスタ611および614のドレインに接続される。PMOSトランジスタ626およびNMOSトランジスタ627のゲートは、PMOSトランジスタ617および620のドレインに接続される。PMOSトランジスタ622およびNMOSトランジスタ623の接続点は、1行目への応答AckXa1を伝送する信号線に接続される。PMOSトランジスタ626およびNMOSトランジスタ627の接続点は、2行目への応答AckXa2を伝送する信号線に接続される。
上述の構成により、アービタブロック610は、リクエストReqXb1またはリクエストReqXb2を受け取ると、リクエストReqXb1を出力する。そして、応答AckXb1を受け取るとアービタブロック610は、リクエストReqXb1およびリクエストReqXb2のうち到着の早い方に対応する応答を出力する。
アービタブロック650乃至654の構成は、図27に例示したアービタブロック610と同様である。
図28は、本技術の第1の実施の形態におけるハンドシェイクの一例を示すタイミングチャートである。W画素400がローレベルのリクエストReqYp1を出力すると、行AERブロック270は、応答CHIP_ACKがハイレベルであれば、ハイレベルの応答AckYp1を返す。
応答AckYp1を受け取るとW画素400は、オンイベントが生じた場合にはローレベルのリクエストReqHXp1を出力する。なお、オフイベントが生じた場合にはローレベルのリクエストReqLXp1が出力される。
リクエストReqHXp1を受け取ると列AERブロック221は、応答CHIP_ACKがハイレベルであれば、ハイレベルの応答AckXp1を返す。応答AckXp1を受け取るとW画素400は、ローレベルのリセット信号xrstを生成してリクエストReqYp1およびReqHXp1とをハイレベルに初期化する。
また、応答AckXp1を出力すると、列AERブロック221は、ローレベルのリクエストCHIP_REQを出力する。リクエストCHIP_REQを受け取るとステートマシン215は、アドレスイベントの検出結果をDSP回路120に転送し、ローレベルの応答CHIP_ACKを返す。
応答CHIP_ACKを受け取ると行AERブロック270は、リクエストReqYp1がハイレベルであれば、応答AckYp1をローレベルに初期化する。また、応答CHIP_ACKを受け取ると列AERブロック221は、リクエストReqHXp1がハイレベルであれば、応答AckXp1をローレベルに初期化する。
応答AckXp1が初期化されるとW画素400は、リセット信号xrstをハイレベルに初期化し、列AERブロック221は、リクエストCHIP_REQをハイレベルに初期化する。また、ステートマシン215は、応答CHIP_ACKをハイレベルに初期化する。
[固体撮像素子の動作例]
図29は、本技術の第1の実施の形態における撮像処理の一例を示すフローチャートである。この撮像処理は、例えば、通常画像データの撮像のためのアプリケーションが実行されたときに開始される。
固体撮像素子200は、VSYNCの立上りのタイミングであるか否かを判断する(ステップS911)。VSYNCの立上りのタイミングである場合に(ステップS911:Yes)、固体撮像素子200内の画素のそれぞれは、露光終了の直前においてリセットレベルをP相データに変換する(ステップS912)。そして、画素は、露光終了時に電荷をFDに転送し(ステップS913)、信号レベルをD相データに変換する(ステップS914)。そして、固体撮像素子200は、CDS処理を実行する(ステップS915)。VSYNCの立上りのタイミング前の場合(ステップS911:No)、または、ステップS915の後に固体撮像素子200は、ステップS911以降を繰り返し実行する。
図30は、本技術の第1の実施の形態におけるAER処理の一例を示すフローチャートである。このAER処理は、例えば、AERのためのアプリケーションが実行されたときに開始される。
固体撮像素子200内のW画素400は、光量差が閾値Vthonに対応する値+Thを超えたか否かを判断する(ステップS921)。光量差が+Th以下である場合に(ステップS921:No)、W画素400は、光量差が閾値Vthoffに対応する値−Thを下回ったか否かを判断する(ステップS922)。光量差が−Thより小さい場合に(ステップS922:Yes)、W画素400は、オフイベントを検出する(ステップS923)。一方、光量差が+Thを超えた場合に(ステップS921:Yes)W画素400は、オンイベントを検出する(ステップS924)。
ステップS923またはS924の後にW画素400は、アドレスイベントの検出結果をハンドシェイクにより転送し(ステップS925)、ステップS921以降を繰り返し実行する。また、光量差が−Th以上の場合(ステップS922:No)、W画素400は、ステップS921以降を繰り返し実行する。
このように、本技術の第1の実施の形態によれば、W画素400がアドレスイベントを検出するとともに画素信号をデジタル信号に変換するため、アドレスイベントを検出しつつ、デジタル信号からなる高画質の通常画像データを生成することができる。
<2.第2の実施の形態>
上述の第1の実施の形態では、R画素310などの画素のそれぞれは、リセットレベルのP相データへの変換終了後に、そのP相データを列処理部250へ転送してから信号レベルをD相データに変換していた。しかし、この処理方法では、リセットレベルの変換開始から、信号レベルの変換終了までのサンプリング期間が、P相データの転送時間の分だけ長くなってしまい、暗電流の影響を十分に抑制することができないおそれがある。この第2の実施の形態の固体撮像素子200は、サンプリング期間を短くして暗電流の影響を抑制した点において第1の実施の形態と異なる。
図31は、本技術の第2の実施の形態におけるデータ記憶部370の一構成例を示すブロック図である。この第2の実施の形態のデータ記憶部370は、P相データおよびD相データの両方を保持する分のラッチ回路390を備え、ラッチ回路390ごとにラッチ制御回路385を設けた点において第1の実施の形態と異なる。
例えば、P相データを14ビットとし、D相データを16ビットとする場合、30ビット分のラッチ制御回路385およびラッチ回路390が設けられる。
図32は、本技術の第2の実施の形態におけるラッチ制御回路385の一構成例を示す回路図である。このラッチ制御回路385は、複合ゲート386とNANDゲート387とを備える。
複合ゲート386は、駆動回路212からの制御信号xWORDおよびxLATSELLとインバータ371からの信号xVCOとに対して論理演算を行うものである。この複合ゲート386は、制御信号xWORDおよびxVCOの論理積と、制御信号xLATSELLとの否定論理和をラッチ制御信号Tとしてラッチ回路390へ出力する。
NANDゲート387は、駆動回路212からの制御信号LATSELLと、正帰還回路360からの出力信号VCOとの否定論理積をラッチ制御信号Lとしてラッチ回路390へ出力するものである。
図33は、本技術の第2の実施の形態における固体撮像素子200のサンプリング処理の一例を示すタイミングチャートである。タイミングt10からの1V期間において、画素は、タイミングt11からタイミングt12までに亘ってリセットレベルをP相データに変換する処理を行う。画素は、P相データを出力せずに内部のラッチ回路390に保持し、続いてタイミングt13からタイミングt14に亘って信号レベルをD相データに変換する処理を行う。
図34は、本技術の第2の実施の形態における固体撮像素子200のサンプリング後の動作の一例を示すタイミングチャートである。信号レベルのサンプリングが終了したタイミングt14の直後のタイミングt15において駆動回路212は、制御信号LATSELL[0]によりP相データを出力させる。次にタイミングt16において駆動回路212は、制御信号LATSELL[1]によりD相データを出力させる。
そして、タイミングt17において駆動回路212は、制御信号LATSELL[0]によりP相データを出力させる。次にタイミングt18において駆動回路212は、制御信号LATSELL[1]によりD相データを出力させる。
このように、本技術の第2の実施の形態では、画素がP相データを保持するため、リセットレベルのサンプリング直後に信号レベルのサンプリングを開始することができる。これにより、サンプリング期間を短くして暗電流の影響を抑制することができる。
[変形例]
上述の第2の実施の形態では、R画素310等の画素のそれぞれは、複数の信号レベルを同一の露光時間によりAD変換していたが、自然光の下などでは、ダイナミックレンジが不足するおそれがある。ダイナミックレンジを拡大するには、一般的に、短時間露光の画素データと長時間露光の画素データとを生成し、それらを合成する方法が用いられる。しかし、この方法では、長時間露光と短時間露光との合計の露光時間が長くなってしまうという問題がある。この第2の実施の形態の変形例の固体撮像素子200は、露光時間の増大を抑制しつつ、ダイナミックレンジを拡大した点において第2の実施の形態と異なる。
図35は、本技術の第2の実施の形態の変形例における固体撮像素子200のリセットレベルサンプリング処理の一例を示すタイミングチャートである。タイミングt10からの1V期間において、画素は、タイミングt11からタイミングt12までに亘って1回目のリセットレベルの変換処理を行う。画素は、制御信号WENおよびLATSEL[0]により1回目のP相データを保持し、駆動回路212は、制御信号FDGをハイレベルからローレベルにして、画素の感度を低下させる。
画素は、タイミングt13からタイミングt14までに亘って2回目のリセットレベルの変換処理を行う。2回目のP相データは、制御信号WENおよびLATSEL[1]により保持される。2回目の変換処理においてDAC211は、参照信号REFのスロープの傾きを1回目よりも緩やかにする。感度の低下と、スロープの傾きの変更とにより、2回目のリセットレベルは、1回目よりも高い分解能によりAD変換される。
なお、固体撮像素子200は、制御信号FDGによる感度の制御と、スロープの傾きの制御との両方を行っているが一方のみを行う構成であってもよい。
図36は、本技術の第2の実施の形態の変形例における固体撮像素子200の信号レベルサンプリング処理の一例を示すタイミングチャートである。1回目および2回目のP相データを画素は保持し、タイミングt15からタイミングt16までに亘って1回目の信号レベルの変換処理を行う。画素は、制御信号WENおよびLATSEL[2]により1回目のD相データをさらに保持し、駆動回路212は、制御信号FDGをローレベルからハイレベルにして、画素の感度を1回目のリセットレベルサンプリング時の値に戻す。
画素は、タイミングt17からタイミングt18までに亘って2回目の信号レベルの変換処理を行う。2回目のD相データは、制御信号WENおよびLATSEL[3]により保持される。2回目の変換処理においてDAC211は、参照信号REFのスロープの傾きを、1回目のリセットレベルサンプリング時の値に戻す。感度の向上と、スロープの傾きの変更とにより、2回目の信号レベルは、1回目よりも低い分解能によりAD変換される。
このように、分解能を切り替える方式によれば、画素の露光は1回でよく、長時間露光と短時間露光との両方を行わずに済むため、露光時間の増大を抑制することができる。
図37は、本技術の第2の実施の形態の変形例における固体撮像素子200のサンプリング後の動作の一例を示すタイミングチャートである。信号レベルのサンプリングが終了したタイミングt18の直後のタイミングt19において駆動回路212は、1回目のP相データを出力させ、タイミングt20において駆動回路212は、2回目のP相データを出力させる。次に、タイミングt21において駆動回路212は、1回目のD相データを出力させ、タイミングt22において駆動回路212は、2回目のD相データを出力せる。
列処理部250は、1回目のP相データと2回目のD相データとの差分を低解像度の正味の画素データとして出力し、2回目のP相データと1回目のD相データとの差分を高解像度の正味の画素データとして出力する。そして、DSP回路120は、それらを合成してダイナミックレンジを拡大した合成画像データを生成する。
このように、本技術の第2の実施の形態の変形例によれば、固体撮像素子200が解像度の異なる2枚の画像データを生成するため、それらを合成することによりダイナミックレンジを拡大することができる。
<3.第3の実施の形態>
第3の実施の形態では、固体撮像素子200の積層構造と、ローカルビット線LBLおよびLBLを配線した効果とについて詳細に説明する。
図38は、本技術の第3の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第3の実施の形態の固体撮像素子200は、積層された画素チップ306および回路チップ307を備える。
画素チップ306には、画素回路330などの複数の画素回路が二次元格子状に配列される。回路チップ307には、画素回路以外の回路のそれぞれが配置される。例えば、ADC320などの複数のADCや、時刻コード転送部500が配置される。
図39は、本技術の第3の実施の形態におけるデータ記憶部370の一構成例を示すブロック図である。第3の実施の形態のデータ記憶部370は、前段ラッチ回路710および後段ラッチ回路720がビットごとに配置される。例えば、画素データが16ビットである場合には、前段ラッチ回路710および後段ラッチ回路720からなる組が16個配置される。
前段ラッチ回路710は、比較回路321からの出力信号VCOが反転したときの時刻コードを保持するものである。この前段ラッチ回路710は、インバータ711乃至714を備える。
インバータ711は、出力信号VCOがハイレベルであり、出力信号VCOの反転信号xVCOがローレベルである場合に、時刻コードの第kビットを反転し、インバータ713に出力するものである。
インバータ712は、出力信号VCOがローレベルであり、出力信号VCOの反転信号xVCOがハイレベルである場合に、インバータ713からの信号を反転し、インバータ713に出力するものである。
インバータ713は、インバータ711またはインバータ312からの信号を反転してインバータ714に出力するものである。インバータ714は、インバータ713からの信号を反転して後段ラッチ回路720に出力するものである。
後段ラッチ回路720は、列処理部250の制御に従って、前段ラッチ回路710からの信号を保持するものである。この後段ラッチ回路720は、NMOSトランジスタ721と、PMOSトランジスタ722と、インバータ723乃至725とを備える。
NMOSトランジスタ721およびPMOSトランジスタ722は、前段ラッチ回路710とインバータ723および725の入力端子との間に並列に接続される。また、NMOSトランジスタ721のゲートには、列処理部250からのラッチ制御信号TR_kが入力され、PMOSトランジスタ722のゲートには、ラッチ制御信号TR_kの反転信号xTR_kが入力される。このラッチ制御信号TR_kは、例えば、時刻コードのkビット目が更新された直後の所定のタイミングにおいて入力される。
インバータ723は、NMOSトランジスタ721およびPMOSトランジスタ722からの信号を反転してインバータ724に出力するものである。インバータ724は、ラッチ制御信号TR_kがローレベルで、その反転信号xTR_kがハイレベルである場合に、インバータ723からの信号を反転し、インバータ725へ出力するものである。
インバータ725は、駆動回路212からの制御信号WORD_m[k](mは0または1)がハイレベルで、その反転信号xWORD_m[k]がローレベルである場合に、入力信号を反転し、ローカルビット線LBL[k]へ出力するものである。
ここで、mは、左側の画素データと、右側の画素データとのいずれを読み出すかを示す。例えば、左側のローカルビット線LBL[k]から画素データを読み出す際に、制御信号WORD_0[k]が供給される。また、右側のローカルビット線LBL[k]から画素データを読み出す際に、制御信号WORD_1[k]が供給される。なお、ローカルビット線LBL[k]は特許請求の範囲に記載の第1のローカルビット線の一例であり、ローカルビット線LBL[k]は特許請求の範囲に記載の第2のローカルビット線の一例である。
図40は、本技術の第3の実施の形態における時刻データ転送部500内の単位ブロック520の一構成例を示すブロック図である。フリップフロップ550の出力端子は、メインビット線MBLを介して後段のフリップフロップ573に接続される。また、インバータ524およびバッファ525からなる左側の双方向バッファは、メインビット線MBLと左側の後段ラッチ回路720との間に挿入される。また、バッファ526およびインバータ527からなる右側の双方向バッファは、メインビット線MBLと右側の画素に対応する後段ラッチ回路720との間に挿入される。
また、インバータ524の入力端子と、バッファ525の出力端子とは、ローカルビット線LBL[k]を介して後段ラッチ回路720に接続される。インバータ527の入力端子と、バッファ526の出力端子とは、ローカルビット線LBL[k]を介して右側の画素に対応する後段ラッチ回路720に接続される。
図41は、本技術の第3の実施の形態における画素データの読出し制御の一例を示すタイミングチャートである。タイミングt50からt51までの期間に亘って、駆動回路212は、左側の双方向バッファへ画素データを転送させるためのローレベルの制御信号xWORD_0[15]を供給する。この制御信号xWORD_0[15]に従って左側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ローレベルからハイレベルに遷移させ、データは左側の双方向バッファへ転送される。なお、ローカルビット線LBL[15]はハイレベルからローレベルに遷移してもよい。また、ローカルビット線LBL[14]乃至LBL[0]を介して第14ビット乃至第0ビットの転送も並列に行われているが、記載の便宜上、同図では、第14ビット乃至第0ビットの転送は省略されている。
また、タイミングt51の直前から所定のパルス期間に亘って、列処理部250は、左側の画素データを読み出すための制御信号RENを供給する。この制御信号RENにより左側の双方向バッファはメインビット線MBLへデータを出力し、制御信号RENが立ち下がるまでにメインビット線MBLは、ハイレベルに遷移する。列処理部250は、そのメインビット線MBLを介して、左側の画素データ(例えば、16ビット)をマスタクロックMCKに同期して読み出す。
左側の画素データの読出しは、タイミングt53までに完了する。この左側の画素データの読出し完了前のタイミングt52からタイミングt54までの期間に亘って、駆動回路212は、右側の双方向バッファへ画素データを転送させるためのローレベルの制御信号xWORD_1[15]を供給する。この制御信号xWORD_1[15]に従って右側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ハイレベルからローレベルに遷移させ、データは右側の双方向バッファへ転送される。なお、ローカルビット線LBL[15]はローレベルからハイレベルに遷移してもよい。
また、タイミングt54の直前から所定のパルス期間に亘って、列処理部250は、右側の画素データを読み出すための制御信号RENを供給する。この制御信号RENにより右側の双方向バッファはメインビット線MBLへデータを出力し、制御信号RENが立ち下がるまでにメインビット線MBLは、ローレベルに遷移する。列処理部250は、そのメインビット線MBLを介して、右側の画素データ(例えば、16ビット)をマスタクロックMCKに同期して読み出す。
ここで、ビットごとに、双方向バッファを1つのみ配置し、ローカルビット線LBLを1本のみ配置した比較例を想定する。この比較例では、双方向バッファは、ローカルビット線LBLを介して、左側のデータ記憶部370に接続される。また、ローカルビット線LBLを分岐することにより、双方向バッファは右側のデータ記憶部370にも接続される。
図42は、比較例における画素データの読出し制御の一例を示すタイミングチャートである。タイミングt50からt51までの期間に亘って、駆動回路212は、ローレベルの制御信号xWORD_0[15]を供給する。この制御信号xWORD_0[15]に従って左側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ローレベルからハイレベルに遷移させる。
また、タイミングt51の直前から所定のパルス期間に亘って、列処理部250は、制御信号RENを供給する。この制御信号RENにより左側の双方向バッファは、メインビット線MBLへデータを出力し、制御信号RENが立ち下がるまでにメインビット線MBLは、ハイレベルに遷移する。列処理部250は、そのメインビット線MBLを介して、左側の画素データをマスタクロックMCKに同期して読み出す。
左側の画素データの読出しは、タイミングt53までに完了する。このタイミングt53の後のタイミングt54からタイミングt55までの期間に亘って、駆動回路212は、ローレベルの制御信号xWORD_1[15]を供給する。この制御信号xWORD_1[15]に従って右側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ハイレベルからローレベルに遷移させる。
上述のように、比較例では、左側の画素データの読出し(すなわち、制御信号RENによる時刻コードの転送)が完了しないと、右側の双方向バッファへ画素データを転送させるためのローレベルの制御信号xWORD_1[15]を供給することができない。これは、ローカルビット線LBLがビットごとに1本しかなく、そのローカルビット線LBLを介して左側の画素データと右側の画素データとを順に双方向バッファに転送する必要があるためである。
これに対して、時刻コード転送部500では、ビットごとに、左側の画素データを転送するローカルビット線LBL[k]と、右側の画素データを転送するローカルビット線LBL[k]とを個別に配線している。このため、左側の画素データの読出しが完了する前に右側の画素データの双方向バッファへの転送を開始することができる。言い換えれば、左側の画素データの読出し期間内に、右側のローカルビット線LBL[k]の遷移を隠蔽することができる。これにより、比較例よりも画素データの読出しを高速に行うことができる。また、読出し時に見える容量も軽減されるため、固体撮像素子200の消費電力を低減することができる。
このように、本技術の第3の実施の形態では、積層した画素チップ306および回路チップ307に回路を分散して配置したため、単一に半導体チップに配置する場合と比較して受光面を広くすることができる。また、ローカルビット線LB[k]とローカルビット線LBL[k]とを個別に配線したため、データの読出しを高速に行うことができる。
<4.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図43は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図43に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図43の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図44は、撮像部12031の設置位置の例を示す図である。
図44では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図44には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12101ないし12104内の固体撮像素子に適用され得る。撮像部12101ないし12104に本開示に係る技術を適用することにより、アドレスイベントを検出しつつ、高画質の画像データを撮像することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、
前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器と
を備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する固体撮像素子。
(2)2つのアナログデジタル変換器のうち分解能の低い方は、前記アナログ信号に基づいて前記電荷の量の変動量が所定の閾値を超えた旨をアドレスイベントとして検出する
前記(1)記載の固体撮像素子。
(3)前記画素アレイ部において、前記特定画素に該当しない画素のそれぞれには、アナログデジタル変換器が1つのみ設けられる
前記(1)または(2)に記載の固体撮像素子。
(4)前記画素回路は、
光を前記電荷に変換する光電変換部と、
前記光電変換部に流れる前記光電流に対する電流電圧変換により前記2つのアナログ信号の一方を生成する電流電圧変換部と、
前記電荷を蓄積する電荷蓄積部と、
前記露光期間の開始タイミングにおいて前記光電変換部から前記電荷を排出する排出トランジスタと、
前記終了タイミングにおいて前記光電変換部から前記電荷蓄積部へ前記電荷を転送する転送トランジスタと、
前記浮遊拡散層の電圧を増幅して前記2つのアナログ信号の他方として出力する増幅トランジスタと
を備える
前記(1)から(3)のいずれかに記載の固体撮像素子。
(5)前記アナログデジタル変換部は、所定の接地電位の端子に接続され、
前記浮遊拡散層および前記光電変換部を設けた基板には、前記所定の接地電位よりも低い電位が印加される
前記(4)記載の固体撮像素子。
(6)前記画素回路は、前記終了タイミングの前に前記電荷蓄積部の電圧をリセットレベルに初期化するリセットトランジスタをさらに備え、
前記画素信号は、前記リセットレベルと前記電荷が転送されたときの信号レベルとを含み、
前記デジタル信号は、前記リセットレベルを変換したリセットデータと前記信号レベルを変換した信号データとを含む
前記(4)または(5)に記載の固体撮像素子。
(7)前記リセットデータと前記信号データとの差分を求めて画素データとして出力する相関二重サンプリング回路をさらに具備する
前記(6)記載の固体撮像素子。
(8)前記アナログデジタル変換器は、前記リセットデータを保持し、前記信号レベルを変換すると前記リセットデータおよび前記信号データを前記相関二重サンプリング回路に順に出力する
前記(7)記載の固体撮像素子。
(9)前記画素信号は、第1および第2のリセットレベルと第1および第2の信号レベルとを含み、
前記アナログデジタル変換器は、
スロープを持つ所定の参照信号と前記画素信号とを比較して比較結果を出力する比較部と、
前記比較結果のそれぞれからなるデータを前記デジタル信号として記憶するデータ記憶部と
を備え、
前記第2のリセットレベルと前記第1の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第1のリセットレベルと前記第2の信号レベルとのそれぞれを比較するときの傾きより緩やかである
前記(7)または(8)に記載の固体撮像素子。
(10)前記第1のリセットレベルと前記第2の信号レベルとを所定の感度により前記画素回路に生成させ、前記第2のリセットレベルと前記第1の信号レベルとを所定感度と異なる感度により前記画素回路に生成させる駆動回路をさらに具備する
前記(9)記載の固体撮像素子。
(11)前記2つのアナログデジタル変換器のうち分解能の低い方は、
前記電圧信号を保持する微分回路と、
前記保持された電圧信号と前記所定の範囲内の閾値とを比較して当該比較結果を出力するコンパレータと、
前記比較結果に基づいてリクエストを送信し、前記リクエストに対する応答を受信したときに前記微分回路を初期化するハンドシェイク回路と
を備える前記(1)から(10)のいずれかに記載の固体撮像素子。
(12)前記リクエストを調停して当該調停結果に基づいて応答を返信するアービタをさらに具備する前記(11)記載の固体撮像素子。
(13)時刻を示す所定ビット数の時刻コードを前記2つのアナログデジタル変換器の一方に出力するとともに前記時刻コードにおいてビットごとに故障の有無を検出するテスト回路と、
前記時刻コードにおいて故障の生じた前記ビットに対応するビット線の代わりに予備の信号線を接続する冗長回路とをさらに具備し、
前記アナログデジタル変換器は、前記時刻コードを用いて前記画素信号を前記デジタル信号に変換する
前記(1)から(12)のいずれかに記載の固体撮像素子。
(14)互いに異なる前記デジタル信号を保持する第1および第2のデータ記憶部と、
前記第1のデータ記憶部から第1のローカルビット線を介して転送された前記デジタル信号を第1の制御信号に従ってメインビット線へ出力する第1の双方向バッファと、
前記第2のデータ記憶部から第2のローカルビット線を介して転送された前記デジタル信号を第2の制御信号に従って前記メインビット線へ出力する第2の双方向バッファと、
前記メインビット線を介して前記デジタル信号を読み出す列処理部と、
前記第1のデータ記憶部を制御して前記デジタル信号を第1のデジタル信号として前記第1の双方向バッファへ前記第1のローカルビット線を介して転送させる制御と前記第1のデジタル信号の読出し完了前に前記第2のデータ記憶部を制御して前記デジタル信号を第2のデジタル信号として前記第2の双方向バッファへ前記第2のローカルビット線を介して転送させる制御とを行う駆動回路と
をさらに具備する前記(1)から(13)のいずれかに記載の固体撮像素子。
(15)光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部と、
前記デジタル信号からなる画像データを処理するデジタル信号処理部と
を具備する撮像装置。
(16)光電変換により生じた電荷の量に応じた2つのアナログ信号を画素回路が出力する出力手順と、
前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換手順と
を具備する固体撮像素子の制御方法。
100 撮像装置
110 光学部
120 DSP回路
130 表示部
140 操作部
150 バス
160 フレームメモリ
170 記憶部
180 電源部
200 固体撮像素子
211 DAC
212 駆動回路
213 列アービタ
214 列アドレスエンコーダ
215 スレートマシン
216 行アドレスエンコーダ
220 列AER回路
221 列AERブロック
222 H側列AERブロック
223 L側列AERブロック
224 ORゲート
230 時刻コード発生部
231 テスト回路
232 バイナリ・グレイ変換部
233 バイナリカウンタ
234、550、573 フリップフロップ
235 レシーバ
236 ドライバ
240、251 冗長回路
241、391 スイッチ
250 列処理部
252 CDS回路
260 行AER回路
270 行AERブロック
271、341、344、346、361、362、365、366、421、441、442、452、454、461、463、474、479、523、528、534、536、537、551、553、554、556、559、611、614、615〜617、620、622、625、626、722 PMOSトランジスタ
272、273、342、343、345、351、363、364、367、416、417、420、423〜425、455、462、464、471〜473、475〜478、480、481、535、538、539、552、555、557、558、560、561、612、613、618、619、623、624、627、721 NMOSトランジスタ
276、381、533 NORゲート
274、275、371、382、383、392、393、511〜517、521、522、524、527、531、540、571、572、601、602、621、711〜714、723〜725 インバータ
300 画素アレイ部
305、406 画素ウェハー
306 画素チップ
307 回路チップ
310 R画素
311 G画素
312 B画素
320、405 ADC
321 比較回路
330、410 画素回路
331、411 リセットトランジスタ
332、412、451、453、482 容量
333、413 ゲイン制御トランジスタ
334、414 FD
335、415 転送トランジスタ
336、418 フォトダイオード
337、419 排出トランジスタ
340 差動入力回路
350 電圧変換回路
360 正帰還回路
370 データ記憶部
380、385 ラッチ制御回路
386 複合ゲート
387、532 NANDゲート
390 ラッチ回路
400 W画素
422 対数応答部
430 アドレスイベント検出部
440 バッファ
450 微分回路
460 コンパレータ
470 AERロジック回路
500 時刻コード転送部
510 クラスタ
520 単位ブロック
525、526 バッファ
530 バッファ回路
600 行アービタ
610、650〜654 アービタブロック
710 前段ラッチ回路
720 後段ラッチ回路
12101〜12104 撮像部

Claims (16)

  1. 光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、
    前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器と
    を備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する固体撮像素子。
  2. 2つのアナログデジタル変換器のうち分解能の低い方は、前記アナログ信号に基づいて前記電荷の量の変動量が所定の閾値を超えた旨をアドレスイベントとして検出する
    請求項1記載の固体撮像素子。
  3. 前記画素アレイ部において、前記特定画素に該当しない画素のそれぞれには、アナログデジタル変換器が1つのみ設けられる
    請求項1記載の固体撮像素子。
  4. 前記画素回路は、
    光を前記電荷に変換する光電変換部と、
    前記光電変換部に流れる前記光電流に対する電流電圧変換により前記2つのアナログ信号の一方を生成する電流電圧変換部と、
    前記電荷を蓄積する電荷蓄積部と、
    前記露光期間の開始タイミングにおいて前記光電変換部から前記電荷を排出する排出トランジスタと、
    前記終了タイミングにおいて前記光電変換部から前記電荷蓄積部へ前記電荷を転送する転送トランジスタと、
    前記浮遊拡散層の電圧を増幅して前記2つのアナログ信号の他方として出力する増幅トランジスタと
    を備える
    請求項1記載の固体撮像素子。
  5. 前記アナログデジタル変換部は、所定の接地電位の端子に接続され、
    前記浮遊拡散層および前記光電変換部を設けた基板には、前記所定の接地電位よりも低い電位が印加される
    請求項4記載の固体撮像素子。
  6. 前記画素回路は、前記終了タイミングの前に前記電荷蓄積部の電圧をリセットレベルに初期化するリセットトランジスタをさらに備え、
    前記画素信号は、前記リセットレベルと前記電荷が転送されたときの信号レベルとを含み、
    前記デジタル信号は、前記リセットレベルを変換したリセットデータと前記信号レベルを変換した信号データとを含む
    請求項4記載の固体撮像素子。
  7. 前記リセットデータと前記信号データとの差分を求めて画素データとして出力する相関二重サンプリング回路をさらに具備する
    請求項6記載の固体撮像素子。
  8. 前記アナログデジタル変換器は、前記リセットデータを保持し、前記信号レベルを変換すると前記リセットデータおよび前記信号データを前記相関二重サンプリング回路に順に出力する
    請求項7記載の固体撮像素子。
  9. 前記画素信号は、第1および第2のリセットレベルと第1および第2の信号レベルとを含み、
    前記アナログデジタル変換器は、
    スロープを持つ所定の参照信号と前記画素信号とを比較して比較結果を出力する比較部と、
    前記比較結果のそれぞれからなるデータを前記デジタル信号として記憶するデータ記憶部と
    を備え、
    前記第2のリセットレベルと前記第1の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第1のリセットレベルと前記第2の信号レベルとのそれぞれを比較するときの傾きより緩やかである
    請求項7記載の固体撮像素子。
  10. 前記第1のリセットレベルと前記第2の信号レベルとを所定の感度により前記画素回路に生成させ、前記第2のリセットレベルと前記第1の信号レベルとを所定感度と異なる感度により前記画素回路に生成させる駆動回路をさらに具備する
    請求項9記載の固体撮像素子。
  11. 前記2つのアナログデジタル変換器のうち分解能の低い方は、
    前記電圧信号を保持する微分回路と、
    前記保持された電圧信号と前記所定の範囲内の閾値とを比較して当該比較結果を出力するコンパレータと、
    前記比較結果に基づいてリクエストを送信し、前記リクエストに対する応答を受信したときに前記微分回路を初期化するハンドシェイク回路と
    を備える請求項1記載の固体撮像素子。
  12. 前記リクエストを調停して当該調停結果に基づいて応答を返信するアービタをさらに具備する請求項11記載の固体撮像素子。
  13. 時刻を示す所定ビット数の時刻コードを前記2つのアナログデジタル変換器の一方に出力するとともに前記時刻コードにおいてビットごとに故障の有無を検出するテスト回路と、
    前記時刻コードにおいて故障の生じた前記ビットに対応するビット線の代わりに予備の信号線を接続する冗長回路とをさらに具備し、
    前記アナログデジタル変換器は、前記時刻コードを用いて前記画素信号を前記デジタル信号に変換する
    請求項1記載の固体撮像素子。
  14. 互いに異なる前記デジタル信号を保持する第1および第2のデータ記憶部と、
    前記第1のデータ記憶部から第1のローカルビット線を介して転送された前記デジタル信号を第1の制御信号に従ってメインビット線へ出力する第1の双方向バッファと、
    前記第2のデータ記憶部から第2のローカルビット線を介して転送された前記デジタル信号を第2の制御信号に従って前記メインビット線へ出力する第2の双方向バッファと、
    前記メインビット線を介して前記デジタル信号を読み出す列処理部と、
    前記第1のデータ記憶部を制御して前記デジタル信号を第1のデジタル信号として前記第1の双方向バッファへ前記第1のローカルビット線を介して転送させる制御と前記第1のデジタル信号の読出し完了前に前記第2のデータ記憶部を制御して前記デジタル信号を第2のデジタル信号として前記第2の双方向バッファへ前記第2のローカルビット線を介して転送させる制御とを行う駆動回路と
    をさらに具備する請求項1記載の固体撮像素子。
  15. 光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部と、
    前記デジタル信号からなる画像データを処理するデジタル信号処理部と
    を具備する撮像装置。
  16. 光電変換により生じた電荷の量に応じた2つのアナログ信号を画素回路が出力する出力手順と、
    前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換手順と
    を具備する固体撮像素子の制御方法。
JP2017139567A 2017-04-25 2017-07-19 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Pending JP2018186478A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/014227 WO2018198691A1 (ja) 2017-04-25 2018-04-03 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US16/605,400 US11146751B2 (en) 2017-04-25 2018-04-03 Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element
CN201880025947.4A CN110546945B (zh) 2017-04-25 2018-04-03 固态摄像元件、摄像装置和固态摄像元件的控制方法
US17/474,920 US11838672B2 (en) 2017-04-25 2021-09-14 Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017086006 2017-04-25
JP2017086006 2017-04-25

Publications (1)

Publication Number Publication Date
JP2018186478A true JP2018186478A (ja) 2018-11-22

Family

ID=64355146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017139567A Pending JP2018186478A (ja) 2017-04-25 2017-07-19 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (3)

Country Link
US (1) US11146751B2 (ja)
JP (1) JP2018186478A (ja)
CN (1) CN110546945B (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110679A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020110537A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2020110676A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2020116185A1 (ja) * 2018-12-05 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
CN111432369A (zh) * 2020-04-03 2020-07-17 航天新气象科技有限公司 气象信息的无线采集方法和无线采集装置
WO2020158400A1 (ja) * 2019-01-30 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020158583A1 (ja) * 2019-01-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
WO2020166160A1 (ja) * 2019-02-12 2020-08-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020166457A1 (ja) * 2019-02-15 2020-08-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
WO2020196092A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020195966A1 (ja) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020203283A1 (ja) * 2019-03-29 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器
WO2020241108A1 (ja) * 2019-05-28 2020-12-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JPWO2021038749A1 (ja) * 2019-08-28 2021-03-04
JPWO2021038751A1 (ja) * 2019-08-28 2021-03-04
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
WO2021131771A1 (ja) * 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2021131831A1 (ja) * 2019-12-25 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2021162017A1 (ja) * 2020-02-14 2021-08-19 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置
KR20210133968A (ko) 2019-03-07 2021-11-08 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
WO2022059515A1 (ja) * 2020-09-16 2022-03-24 ソニーグループ株式会社 固体撮像装置及び認識システム
WO2022059481A1 (ja) * 2020-09-15 2022-03-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP7365823B2 (ja) 2019-08-23 2023-10-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11823466B2 (en) 2019-03-27 2023-11-21 Sony Group Corporation Object detection device, object detection system, and object detection method
JP7398880B2 (ja) 2019-01-31 2023-12-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198691A1 (ja) 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR102640070B1 (ko) * 2019-01-23 2024-02-27 애플 인크. 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5568880B2 (ja) * 2008-04-03 2014-08-13 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP5625284B2 (ja) * 2009-08-10 2014-11-19 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP5419659B2 (ja) * 2009-12-04 2014-02-19 キヤノン株式会社 撮像装置
JP5862126B2 (ja) * 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
EP2665257B1 (en) * 2012-05-16 2014-09-10 Harvest Imaging bvba Image sensor and method for power efficient readout of sub-picture
WO2013179615A1 (ja) * 2012-05-29 2013-12-05 パナソニック株式会社 ランプ生成回路及び固体撮像装置
JP6230260B2 (ja) * 2013-04-24 2017-11-15 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP6399749B2 (ja) * 2013-12-19 2018-10-03 キヤノン株式会社 撮像装置および撮像システム
JP2015130611A (ja) * 2014-01-08 2015-07-16 株式会社東芝 アナログデジタル変換器およびイメージセンサ
KR102195409B1 (ko) * 2014-05-29 2020-12-30 삼성전자주식회사 램프 신호 보정 장치와 방법 및 이를 포함하는 이미지 센서
TWI684363B (zh) 2015-02-13 2020-02-01 日商新力股份有限公司 圖像感測器、讀出控制方法、及電子機器
CN111432146B (zh) * 2015-02-23 2022-10-18 索尼公司 成像装置
WO2018096813A1 (ja) * 2016-11-24 2018-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627268B2 (en) 2018-11-29 2023-04-11 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020110537A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2020110676A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
US11632505B2 (en) 2018-11-29 2023-04-18 Sony Semiconductor Solutions Corporation Solid-state image sensor and imaging device
CN113170064A (zh) * 2018-11-29 2021-07-23 索尼半导体解决方案公司 固态成像元件、成像装置和用于控制固态成像元件的方法
CN113170065A (zh) * 2018-11-29 2021-07-23 索尼半导体解决方案公司 固态成像元件和成像装置
WO2020110679A1 (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11582406B2 (en) 2018-11-29 2023-02-14 Sony Semiconductor Solutions Corporation Solid-state image sensor and imaging device
US11832013B2 (en) 2018-11-29 2023-11-28 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020116185A1 (ja) * 2018-12-05 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
CN112640428B (zh) * 2018-12-05 2023-10-17 索尼半导体解决方案公司 固态成像装置、信号处理芯片和电子设备
CN112640428A (zh) * 2018-12-05 2021-04-09 索尼半导体解决方案公司 固态成像装置、信号处理芯片和电子设备
WO2020158400A1 (ja) * 2019-01-30 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020158583A1 (ja) * 2019-01-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP7398880B2 (ja) 2019-01-31 2023-12-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
US11558565B2 (en) 2019-01-31 2023-01-17 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and imaging apparatus
US11910108B2 (en) 2019-01-31 2024-02-20 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and imaging apparatus
WO2020166160A1 (ja) * 2019-02-12 2020-08-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020166457A1 (ja) * 2019-02-15 2020-08-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
CN113454985A (zh) * 2019-02-15 2021-09-28 索尼半导体解决方案公司 固态成像设备与成像设备
US11843892B2 (en) 2019-03-07 2023-12-12 Sony Semiconductor Solutions Corporation Imaging device
KR20210133968A (ko) 2019-03-07 2021-11-08 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
WO2020196092A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US11823466B2 (en) 2019-03-27 2023-11-21 Sony Group Corporation Object detection device, object detection system, and object detection method
WO2020195966A1 (ja) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US20220172488A1 (en) * 2019-03-27 2022-06-02 Sony Group Corporation Imaging system, method for controlling imaging system, and object recognition system
US11863911B2 (en) 2019-03-27 2024-01-02 Sony Semiconductor Solutions Corporation Imaging system, method of controlling imaging system, and object recognition system
US11902686B2 (en) 2019-03-29 2024-02-13 Sony Semiconductor Solutions Corporation Photodetection device and electronic apparatus
WO2020203283A1 (ja) * 2019-03-29 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器
WO2020241108A1 (ja) * 2019-05-28 2020-12-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
JP7365823B2 (ja) 2019-08-23 2023-10-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JPWO2021038749A1 (ja) * 2019-08-28 2021-03-04
US11653120B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
JP7191237B2 (ja) 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JPWO2021038751A1 (ja) * 2019-08-28 2021-03-04
KR20220074854A (ko) 2019-08-28 2022-06-03 주식회사 소니 인터랙티브 엔터테인먼트 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
WO2021038749A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JPWO2021038750A1 (ja) * 2019-08-28 2021-03-04
US11653109B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
WO2021038751A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP7352637B2 (ja) 2019-08-28 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム
JP7191238B2 (ja) 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
US11792527B2 (en) 2019-08-28 2023-10-17 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
WO2021131831A1 (ja) * 2019-12-25 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2021131771A1 (ja) * 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2021162017A1 (ja) * 2020-02-14 2021-08-19 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置
US11711637B2 (en) 2020-02-14 2023-07-25 Nuvoton Technology Corporation Japan Solid-state imaging device
CN111432369B (zh) * 2020-04-03 2022-09-02 航天新气象科技有限公司 气象信息的无线采集方法和无线采集装置
CN111432369A (zh) * 2020-04-03 2020-07-17 航天新气象科技有限公司 气象信息的无线采集方法和无线采集装置
WO2022059481A1 (ja) * 2020-09-15 2022-03-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2022059515A1 (ja) * 2020-09-16 2022-03-24 ソニーグループ株式会社 固体撮像装置及び認識システム

Also Published As

Publication number Publication date
CN110546945A (zh) 2019-12-06
CN110546945B (zh) 2022-08-16
US11146751B2 (en) 2021-10-12
US20200128205A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN110546945B (zh) 固态摄像元件、摄像装置和固态摄像元件的控制方法
WO2018198691A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2019146527A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11632505B2 (en) Solid-state image sensor and imaging device
CN110024377B (zh) 固态成像元件、固态成像装置和固态成像元件的控制方法
US11950009B2 (en) Solid-state image sensor
EP3657776B1 (en) Analog-digital converter including miller capacitor, solid-state imaging element including said analog-digital converter, and control method for said analog-digital converter
US11375149B2 (en) Solid-state image sensor and imaging device
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021040294A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020100427A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN111758251B (zh) 传感器元件和电子器件
JP2021170691A (ja) 撮像素子、制御方法、および電子機器
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
CN113875226A (zh) 固态摄像元件、摄像装置和固态摄像元件的控制方法
WO2020090311A1 (ja) 固体撮像素子
WO2023112594A1 (ja) 物理量検出装置及び撮像装置
JP2020129774A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法