JP2023037041A - 撮像回路および撮像装置 - Google Patents

撮像回路および撮像装置 Download PDF

Info

Publication number
JP2023037041A
JP2023037041A JP2020025437A JP2020025437A JP2023037041A JP 2023037041 A JP2023037041 A JP 2023037041A JP 2020025437 A JP2020025437 A JP 2020025437A JP 2020025437 A JP2020025437 A JP 2020025437A JP 2023037041 A JP2023037041 A JP 2023037041A
Authority
JP
Japan
Prior art keywords
circuit
event
imaging
read
circuits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020025437A
Other languages
English (en)
Inventor
克彦 半澤
Katsuhiko Hanzawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020025437A priority Critical patent/JP2023037041A/ja
Priority to DE112021001120.0T priority patent/DE112021001120T5/de
Priority to PCT/JP2021/001010 priority patent/WO2021166503A1/ja
Priority to CN202180014149.3A priority patent/CN115362671A/zh
Priority to US17/790,028 priority patent/US20220394206A1/en
Priority to TW110103933A priority patent/TW202137750A/zh
Publication of JP2023037041A publication Critical patent/JP2023037041A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Abstract

【課題】回路規模を抑制しつつ、高速な読み出しを行うことが可能な撮像回路および撮像装置を提供する。【解決手段】本開示による撮像回路は、入射光を光電変換して光電流を生成する光電変換素子と、前記光電流を電圧信号に変換する電流電圧変換回路とを含む、複数の回路ブロックと、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号をしきい値と比較した結果に応じてアドレスイベントの検出信号を生成する量子化器と、前記量子化器の後段に接続されたデマルチプレクサと、前記デマルチプレクサの異なる出力端子に接続された、複数のラッチ回路とを備える。【選択図】図7

Description

本開示は、撮像回路および撮像装置に関する。
一般的な撮像装置では、同期信号のタイミングで画像データ(フレーム)を撮像する、同期型の撮像素子がしばしば用いられる。ただし、同期型の撮像素子は、同期信号の周期(例えば、1/60秒)ごとにしか画像データを得ることができず、画像データをより高速に取得する用途には適さない。そこで、非同期型の撮像素子が提案されている。非同期型の撮像素子の画素は、アドレスごとに、光量がしきい値を超えた旨をイベントとしてリアルタイムに検出することが可能なイベント検出回路を含む。
特表2016-533140号公報
非同期型の撮像素子は、同期型の撮像素子と比べて高速にデータを生成し、出力することが可能である。非同期型の撮像素子を使うと、例えば、交通分野において、人または障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかし、アドレスイベント検出回路を画素ごとに設けると、実装面積が同期型と比べて大きくなってしまうという課題がある。
本開示は、回路規模を抑制しつつ、高速な読み出しを行うことが可能な撮像回路および撮像装置を提供する。
本開示による撮像回路の一態様は、入射光を光電変換して光電流を生成する光電変換素子と、前記光電流を電圧信号に変換する電流電圧変換回路とを含む、複数の回路ブロックと、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号をしきい値と比較した結果に応じてアドレスイベントの検出信号を生成する量子化器と、前記量子化器の後段に接続されたデマルチプレクサと、前記デマルチプレクサの異なる出力端子に接続された、複数のラッチ回路とを備えていてもよい。
前記複数のラッチ回路のそれぞれは、前記量子化器で検出された前記アドレスイベントを格納するように構成されていてもよい。
前記ラッチ回路の数は、2以上であり、前記光電変換素子の数の2倍以下であってもよい。
前記複数の回路ブロックのそれぞれは、インピーダンス変換を行うバッファ回路と、前記電圧信号を差分電圧に変換する減算器とを含んでいてもよい。
前記量子化器は、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号が第1しきい値電圧を超えたときにオンイベントを検出してもよい。
前記量子化器は、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号が第2しきい値電圧を下回ったときにオフイベントを検出してもよい。
複数の前記光電変換素子のうち、選択した少なくとも一部の前記光電変換素子について、前記オンイベントおよび前記オフイベントの両方を読み出し、前記オンイベントおよび前記オフイベントのそれぞれを前記複数のラッチ回路に格納するように構成されていてもよい。
前記複数のラッチ回路に格納された前記オンイベントおよび前記オフイベントが読み出し線を介して転送された後、複数の前記光電変換素子のうち、残りの前記光電変換素子について、前記オンイベントおよび前記オフイベントの両方を読み出し、前記オンイベントおよび前記オフイベントのそれぞれを前記複数のラッチ回路に格納するように構成されていてもよい。
複数の前記光電変換素子は、読み出し線と略垂直な方向に配列されていてもよい。
複数の前記光電変換素子は、読み出し線と略平行な方向に配列されていてもよい。
本開示による撮像装置の一態様は、記憶部と、複数の撮像回路とを備え、それぞれの前記撮像回路が有する複数のラッチ回路は、異なる読み出し線に接続されており、複数の前記撮像回路の対応する前記ラッチ回路は、同一の前記読み出し線に接続されており、複数の前記読み出し線の後段には、前記記憶部が接続されていてもよい。
前記撮像回路ごとに、前記ラッチ回路に格納された前記アドレスイベントを前記記憶部に転送するように構成されていてもよい。
前記撮像回路ごとに、前記ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、前記記憶部に転送するように構成されていてもよい。
本開示による撮像装置の一態様は、記憶部と、複数の撮像回路を備え、それぞれの前記撮像回路が有する複数のラッチ回路は、複数の読み出し線のうち、一部の前記読み出し線に接続されており、それぞれの前記撮像回路が有する複数のラッチ回路は、同一の前記読み出し線に接続されるグループに分けられており、前記撮像回路によって、前記複数のラッチ回路が接続される前記読み出し線が異なっており、複数の前記読み出し線の後段には、前記記憶部が接続されていてもよい。
複数の前記撮像回路について、前記グループに属する前記ラッチ回路のうち、いずれかの前記ラッチ回路に格納された前記アドレスイベントを読み出し、前記記憶部に転送するように構成されていてもよい。
それぞれの前記撮像回路から読み出され、前記記憶部に転送される前記アドレスイベントは、オンイベントおよびオフイベントの両方を含んでいてもよい。
複数の前記撮像回路について、前記ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、前記記憶部に転送するように構成されていてもよい。
本開示による撮像装置の構成例を示したブロック図。 撮像素子の積層構造の例を示した図。 本開示による受光チップの例を示した平面図。 本開示による検出チップの例を示した平面図。 アドレスイベント検出部の例を示した平面図。 アドレスイベント検出回路の構成例を示したブロック図。 本開示によるアドレスイベント回路の例を示した回路図。 ラッチ回路の例を示した回路図。 フォトダイオードの半数に等しい数のラッチ回路を有するアドレスイベント回路の例を示す図。 フォトダイオードの倍の数に等しい数のラッチ回路を有するアドレスイベント回路の例を示す図。 フォトダイオードの数に等しい数のラッチ回路を有するアドレスイベント回路の例を示す図。 3つのラッチ回路を有するアドレスイベント回路の例を示した図。 4本の読み出し線に接続されたアドレスイベント回路の例を示す図。 4本の読み出し線に接続された複数のアドレスイベント回路の例を示す図。 2本の読み出し線に接続されたアドレスイベント回路の例を示す図。 リードパターンAのフェーズ#Nの例を示した図。 リードパターンAのフェーズ#(N+1)の例を示した図。 リードパターンBのフェーズ#Nの例を示した図。 リードパターンBのフェーズ#(N+1)の例を示した図。 リードパターンCのフェーズ#Nの例を示した図。 リードパターンCのフェーズ#(N+1)の例を示した図。 リードパターンDのフェーズ#Nの例を示した図。 リードパターンDのフェーズ#(N+1)の例を示した図。 リードパターンEのフェーズ#Nの例を示した図。 リードパターンEのフェーズ#(N+1)の例を示した図。 リードパターンFのフェーズ#Nの例を示した図。 リードパターンFのフェーズ#(N+1)の例を示した図。 リードパターンGのフェーズ#Nの例を示した図。 リードパターンGのフェーズ#(N+1)の例を示した図。 リードパターンHのフェーズ#Nの例を示した図。 リードパターンHのフェーズ#(N+1)の例を示した図。 車両制御システムの概略的な構成例を示すブロック図。 撮像部及び車外情報検出部の設置位置の例を示す図。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[撮像装置の構成例]
図1は、本開示による撮像装置の構成例を示したブロック図である。図1の撮像装置100は、撮像レンズ110、撮像素子200、記憶部120および制御部130を備える。撮像装置100は、例えば、ウェアラブルデバイスに搭載されるカメラまたは車載カメラである。
撮像レンズ110は、入射光を撮像素子200上に集光する。
撮像素子200は、複数の画素を有する。複数の画素のそれぞれは、輝度の変化量の絶対値がしきい値を超えた場合、アドレスイベントを生成する。アドレスイベントは、例えば、オンイベントと、オフイベントとを含む。ここで、オンイベントは、検出輝度が第1しきい値を超えたことを示す。オフイベントは、検出輝度が第2しきい値を下回ったことを示す。例えば、第1しきい値として、基準値より大きい値を使うことができる。また、第2しきい値として、基準値より小さい値を使うことができる。ただし、第1しきい値および第2しきい値の設定方法を限定するものではない。
撮像素子200の各画素は、アドレスイベントの検出結果を示す検出信号を出力する。それぞれの検出信号は、例えば、オンイベントの有無を示すオンイベント検出信号VCHと、オフイベントの有無を示すオフイベント検出信号VCLとを含む。なお、撮像素子200内の画素は、オンイベントとオフイベントの両方を検出対象としてもよいし、これらのイベントのいずれかを検出対象としてもよい。
撮像素子200は、検出信号より画像データを生成することができる。また、撮像素子200は、画像データに対して認識処理などの所定の処理を実行する。そして、撮像素子200は、信号線209を介して、処理後のデータを記憶部120に出力する。
記憶部120は、撮像素子200から出力されたデータを記録するものである。制御部130は、撮像素子200を制御し、所望のタイミングにおける画像データの撮像を実現する。
[撮像素子の構成例]
図2は、撮像素子200の積層構造の一例を示している。図2の撮像素子200は、検出チップ202と、検出チップ202の上に積層された受光チップ201とを備える。ビアなどの接続部を介し、これらのチップ間を電気的に接続することが可能である。電気的な接続は、ビアに限らず、例えば、Cu-Cu接合またはバンプによるものであってもよい。
図3は、受光チップ201の一例を示した平面図である。受光チップ201には、受光部220が設けられている。受光部220には、二次元格子状に複数のフォトダイオード221が配列される。フォトダイオード221は、入射光を光電変換し光電流を生成するように構成されている。これらのフォトダイオード221のそれぞれには、例えば、行アドレスと、列アドレスとを含む画素アドレスが割り当てられる。このため、行アドレス、列アドレスまたは画素アドレスを指定し、各種の制御を行うことが可能である。
図4は、検出チップ202の一例を示した平面図である。図4の検出チップ202は、信号処理回路230と、行駆動回路251と、列駆動回路252と、アドレス保持部253と、アドレスイベント検出部260とを備えている。
アドレスイベント検出部260は、複数のフォトダイオード221(画素)のそれぞれについて輝度の変化量の絶対値が所定のしきい値を超えたとき、アドレスイベントを生成する。そして、アドレスイベント検出部260は、各画素について、アドレスイベントの検出結果を示した検出信号を生成する。そして、アドレスイベント検出部260は、イネーブル信号に応じて検出信号を信号処理回路230に入力する。
ここで、イネーブル信号とは、各画素について、検出信号の出力を有効にするか否かを指定する信号である。イネーブル信号が出力を有効化させる波形である場合には、対応する画素から検出信号が出力される。一方、イネーブル信号が出力を無効化にさせる波形である場合には、対応する画素から検出信号は出力されない。
行駆動回路251は、行アドレスを選択し、当該行アドレスに対応する検出信号をアドレスイベント検出部260に出力するように構成されている。
列駆動回路252は、列アドレスを選択し、当該列アドレスに対応する検出信号をアドレスイベント検出部260に出力させるように構成されている。
アドレス保持部253は、異常が生じた欠陥画素の画素アドレスを保持するように構成されている。
信号処理回路230は、アドレスイベント検出部260からの検出信号に対して所定の信号処理を実行するものである。この信号処理回路230は、検出信号を画素信号として二次元格子状に配列し、画像データを取得する。そして、信号処理回路230は、その画像データに対して画像認識処理などの信号処理を実行する。
なお、信号処理回路230は、画素ごとにアドレスイベントの検出頻度を取得し、検出頻度の統計量に基づいて欠陥画素を特定する機能を備えていてもよい。この場合、信号処理回路230は、その欠陥画素の画素アドレスをアドレス保持部253に保持する。また、信号処理回路230は、画素毎にイネーブル信号を生成し、アドレスイベント検出部260に供給する。欠陥画素に対応するイネーブル信号については、出力を無効にする波形のイネーブル信号が出力される。
図5は、アドレスイベント検出部260の平面図の一例である。図5にアドレスイベント検出部260には、二次元格子状に複数のアドレスイベント検出回路300が配列されている。それぞれのアドレスイベント検出回路300には画素アドレスが割り当てられる。また、アドレスイベント検出回路300は、同一アドレスまたは対応するアドレスのフォトダイオード221と接続される。
アドレスイベント検出回路300は、対応するフォトダイオード221からの光電流に応じた電圧信号を量子化するように構成されている。また、アドレスイベント検出回路300は、イネーブル信号に応じて量子化された電圧信号を検出信号として出力するように構成されている。
[アドレスイベント検出回路の構成例]
図6は、アドレスイベント検出回路300の構成例を示したブロック図である。図6のアドレスイベント検出回路300は、電流電圧変換回路310と、バッファ320と、減算器430と、量子化器340と、転送回路350と、N型トランジスタ361および362とを備えている。
電流電圧変換回路310は、対応するフォトダイオード221からの電流信号を電圧信号に変換するように構成されている。また、電流電圧変換回路310は、電圧信号をバッファ320に供給する。
バッファ320は、入力された電圧信号を減算器430に出力するように構成されている。バッファ320を使うことにより、後段の回路を駆動する電力を増やすことができる。また、バッファ320により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
減算器430は、減算処理を実行することにより、補正信号の変化量を求めるように構成されている。減算器430は、変化量を微分信号として後段の量子化器340に供給する。
量子化器340は、微分信号を所定のしきい値と比較し、アナログの微分信号をデジタルの検出信号に変換するように構成されている。この処理は、量子化処理に相当する。量子化器340は、例えば、微分信号を第1しきい値および第2しきい値と比較し、比較結果を2ビットの検出信号として転送回路350に供給する。なお、量子化器340は、比較器の一例である。
N型トランジスタ361および362は、イネーブル信号に応じて電流電圧変換回路310、バッファ320、減算器430、量子化器340および転送回路350に供給される電力のオンオフをすることができる。これらのN型トランジスタとして、例えば、MOS(Metal-Oxide-Semiconductor)トランジスタを使うことができる。N型トランジスタ361および362は、電源端子と、電源線363との間に直列に接続され、それらのゲートには、信号処理回路230から供給されたイネーブル信号ENxおよびENyが入力される。電源線363は、電流電圧変換回路310、バッファ320、減算器430、量子化器340のそれぞれの電源端子に接続される。なお、N型トランジスタ361および362は、トランジスタの一例である。
ここで、イネーブル信号ENxおよびENyは、画素アドレスが(x、y)の画素の出力を有効にするか否かを指示する信号である。例えば、有効にする場合にイネーブル信号ENxおよびENyの両方にハイレベルが設定される。また、無効にする場合、イネーブル信号ENxまたはENyの少なくとも一方にローレベルが設定される。
転送回路350は、列駆動回路252からの列駆動信号に応じて、検出信号を信号処理回路230に転送するように構成されている。
図7は、本開示によるアドレスイベント検出回路の例を示した回路図である。ここで、アドレスイベント回路は、撮像回路の一例である。図7では、図6のフォトダイオード221と、電流電圧変換回路310と、バッファ320と、減算器430と、量子化器340と、転送回路350とに相当する部分が詳細に示されている。ただし、図7のアドレスイベント検出回路300Aは、図6の回路とは異なり、複数のフォトダイオードPDを含んでいる。また、図7に例示したように、本開示による撮像回路では、複数のフォトダイオードPDについて、フォトダイオードPDより後段にある回路の少なくとも一部が共有される構成を採用することが可能である。
図7のアドレスイベント検出回路300Aは、回路ブロックをN個有する。ここで、Nは、2以上の任意の整数である。それぞれの回路ブロックは、フォトダイオードPDと、電流電圧変換回路2と、バッファ3と、減算器4と、スイッチ22とを含む。図7には、回路ブロック500_1と、回路ブロック500_Nが示されているが、回路ブロックの数はこれより多くてもよい。
フォトダイオードPDのアノードは、グラウンドに接続されている。グラウンドとして、例えば、回路の基準電位または基板の基準電位を使うことができる。ただし、グラウンドとして使われる基準電位の種類を限定するものではない。
電流電圧変換回路2は、トランジスタ20と、トランジスタ21と、電流源S0とを含んでいる。トランジスタ20およびトランジスタ21として、例えば、NMOSトランジスタを使うことができる。また、電流源S0として、例えば、PMOSトランジスタを使うことができる。
トランジスタ20のソースは、フォトダイオードPDのカソードに接続されている。トランジスタ20のドレインは、電源電位に接続されている。トランジスタ20のゲートは、トランジスタ21のソースに接続されている。そして、電流源S0は、電源電位と、トランジスタ20のゲートおよびトランジスタ21のソースの間にあるノードとの間に接続されている。また、トランジスタ21のゲートは、トランジスタ20のソースおよびフォトダイオードPDのカソードに接続されている。トランジスタ21のドレインは、グラウンドに接続されている。
電流電圧変換回路2は、フォトダイオードPDを流れる電流を対数出力の電圧値に変換する。図7の電流電圧変換回路2は、ソース接地型の対数変換回路であるが、この構成は一例にしかすぎない。したがって、電流を電圧に変換するその他の構成の回路を用いてもよい。例えば、電流電圧変換回路2として、ダイオード型の回路、ゲート接地型の回路またはゲインブースト型(多段型)の対数変換回路を使ってもよい。
バッファ3は、トランジスタ30と、電流源S1とを含んでいる。トランジスタ30として、例えば、NMOSトランジスタを使うことができる。電流源S1として、例えば、PMOSトランジスタを使うことができる。トランジスタ30のソースは、電源電位に接続されている。また、トランジスタ30のゲートは、電流電圧変換回路2(図7の例の場合、電流源S0およびトランジスタ21のソースの間にあるノード)に接続されている。電流源S1は、トランジスタ30のドレインとグラウンドとの間に接続されている。
上述のように、バッファ3は、インピーダンス変換を行うソースフォロワ回路となっている。ソースフォロワ回路を使うことにより、電流電圧変換回路2から出力される電圧信号の振幅に関わらず、高い入力インピーダンスと、低い出力インピーダンスを維持することが可能となる。
減算器4は、キャパシタC1と、キャパシタC2と、トランジスタ31と、トランジスタ32と、電流源S2とを備えている。トランジスタ31およびトランジスタ32として、例えば、PMOSトランジスタを使うことができる。電流源S2として、例えば、NMOSトランジスタを使うことができる。
トランジスタ32のソースは、電源電位に接続されている。電流源S2は、トランジスタ32のドレインと、グラウンドとの間に接続されている。また、トランジスタ32のドレインおよび電流源S2を連結するノードと、トランジスタ30のドレインおよび電流源S1を連結するノードとの間には、キャパシタC1と、キャパシタC2が直列に接続されている。トランジスタ32のゲートと、トランジスタ31のソースは、いずれもキャパシタC1およびキャパシタC2を連結するノードに接続されている。トランジスタ31のドレインは、トランジスタ32のドレインおよび電流源S2を連結するノードに接続されている。
トランジスタ32および電流源S2は、トランジスタ32のゲートを入力側、トランジスタ32のドレインおよび電流源S2を連結するノードを出力側とする、インバータを形成する。このインバータは、入力電圧を反転して出力するように構成されている。キャパシタC2は、インバータに並列に接続されている。トランジスタ31のゲート電圧は、行駆動信号によって制御される。したがって、トランジスタ31のソース/ドレイン間は、行駆動信号に応じてオンオフする。
トランジスタ31のソース/ドレイン間が導通状態となったときにキャパシタC1のバッファ3側(入力側)に電圧信号Vinitが入力されると、キャパシタC1の反対側は、仮想接地端子となる。仮想接地端子の電位をゼロとすると、キャパシタC1に蓄えられている電位Qinitは、キャパシタC1の静電容量をc1とすると、下記の式(1)のように表される。
Figure 2023037041000002
一方、このときキャパシタC2の両端は、短絡されているため、キャパシタC2の蓄積電荷はほぼゼロになる。
次に、トランジスタ31のソース/ドレイン間が非導通状態となったときの動作について述べる。この場合、キャパシタC1のバッファ3側(入力側)の電圧がVafterに変化した場合を考える。この場合、キャパシタC1に蓄えられる電荷Qafterは、下記の式(2)のようになる。
Figure 2023037041000003
一方、このときキャパシタC2に蓄えられる電荷Q2は、出力電圧をVout、キャパシタC2の静電容量をc2とすると、下記の式(3)のようになる。
Figure 2023037041000004
トランジスタ31のソース/ドレイン間の導通状態に関わらず、キャパシタC1およびキャパシタC2の総電荷量は変化しないため、下記の式(4)が成立する。
Figure 2023037041000005
式(1)~(3)を式(4)に代入すると、下記の式(5)を得ることができる。
Figure 2023037041000006
式(5)は、電圧信号の減算動作を示している。減算動作の利得は、c1/c2となる。利得を最大化するために、c1の値が大きく、なおかつc2の値が小さくなるような設計を行うことができる。ただし、c2の値を小さく設定しすぎると、kTCノイズが増大し、特性に影響する可能性がある。したがって、利得とノイズのトレードオフを考慮した設計を行う必要がある。なお、画素ごとに減算器4を含むアドレスイベント検出回路300が搭載されるため、キャパシタC1およびキャパシタC2には、面積上の制約がある。
それぞれの減算器4の出力側と、量子化器5の入力側との間には、スイッチ22が設けられている。アドレスイベント検出回路300Aの動作時には、読み出し対象の回路ブロックに対応するスイッチ22をオンし、読み出し対象ではない回路ブロックに対応するスイッチ22をオフにすることができる。
量子化器5は、トランジスタ33~36を備えている。トランジスタ33およびトランジスタ34として、例えば、PMOSトランジスタを使うことができる。また、トランジスタ35およびトランジスタ36として、例えば、NMOSトランジスタを使うことができる。
トランジスタ33のソースは、電源電位に接続されている。また、トランジスタ33のドレインは、トランジスタ35のソースに接続されている。トランジスタ35のドレインは、グラウンドに接続されている。トランジスタ34のソースは、電源電位に接続されている。また、トランジスタ34のドレインは、トランジスタ36のソースに接続されている。トランジスタ36のドレインは、グラウンドに接続されている。量子化器5の入力端子は、トランジスタ33のゲートおよびトランジスタ34のゲートに接続されている。
トランジスタ35のゲートには、バイアス電圧Vbonが印加されている。一方、トランジスタ36のゲートには、バイアス電圧Vboffが印加されている。ここで、バイアス電圧Vbonは、第1しきい値に相当し、バイアス電圧Vboffは、第2しきい値に相当する。また、量子化器5の一方の出力端子は、トランジスタ33のドレインおよびトランジスタ35のソースを連結するノードに接続されている。この出力端子の電圧は、オンイベント検出信号VCHに相当する。量子化器5の他方の出力端子は、トランジスタ34のドレインおよびトランジスタ36のソースを連結するノードに接続されている。この出力端子の電圧は、オフイベント検出信号VCLに相当する。
すなわち、量子化器5は、微分信号が第1しきい値を超えた場合に、ハイレベルのオンイベント検出信号VCHを出力し、微分信号が第2しきい値を下回った場合に、ローレベルのオフイベント検出信号VCLを出力するように構成されている。なお、量子化器5の数はひとつであってもよい。この場合、量子化器5は、時系列にオンイベント検出信号VCHおよびオフイベント検出信号VCLを出力するように構成されていてもよい。
転送回路6は、マルチプレクサ23と、デマルチプレクサ24と、ラッチ回路25a~25dと、読み出し回路26a~26dとを含む。例えば、読み出し回路26a~26dは、それぞれ選択用トランジスタを含む回路である。量子化器5のふたつの出力端子は、それぞれマルチプレクサ23の対応する入力端子に接続されている。マルチプレクサ23の出力端子は、デマルチプレクサ24の入力端子に接続されている。デマルチプレクサ24は、複数の出力端子を備える。デマルチプレクサ24のそれぞれの出力端子の後段には、ラッチ回路と読み出し回路が直列に接続されている。そして、それぞれの読み出し回路の出力側は、読み出し線(L1~L4)のうち、いずれかに接続されている。
マルチプレクサ23は、例えば、第1の制御信号(図示せず)に応じて、いずれかの入力端子に入力されている信号を後段にあるデマルチプレクサ24に供給することができる。また、デマルチプレクサ24は、例えば、第2の制御信号(図示せず)に応じて、入力端子に供給された信号をいずれかの出力端子より出力することができる。ここで、第1の制御信号と、第2の制御信号は、共通の信号であってもよいし、異なる信号であってもよい。第1の制御信号および第2の制御信号として、例えば、制御回路またはクロック生成器(いずれも図示せず)の生成するクロック信号またはタイミング信号を使うことができる。ただし、第1の制御信号および第2の制御信号の種類を限定するものではない。
このように、本開示による撮像回路は、複数の回路ブロックと、量子化器と、デマルチプレクサと、複数のラッチ回路とを備えていてもよい。複数の回路ブロックは、入射光を光電変換して光電流を生成する光電変換素子と、光電流を電圧信号に変換する電流電圧変換回路とを含む。フォトダイオードPDは、光電変換素子の一例である。量子化器は、複数の回路ブロックのうち、少なくともいずれかより供給された電圧信号をしきい値と比較した結果に応じてアドレスイベントの検出信号を生成する。デマルチプレクサは、量子化器の後段に接続されている。複数のラッチ回路は、デマルチプレクサの異なる出力端子に接続されている。複数のラッチ回路のそれぞれは、量子化器で検出されたアドレスイベントを格納するように構成されていてもよい。
また、複数の回路ブロックのそれぞれは、インピーダンス変換を行うバッファ回路と、電圧信号を差分電圧に変換する減算器とを含んでいてもよい。量子化器は、複数の回路ブロックのうち、少なくともいずれかより供給された電圧信号が第1しきい値電圧を超えたときにオンイベントを検出するように構成されていてもよい。量子化器は、複数の回路ブロックのうち、少なくともいずれかより供給された電圧信号が第2しきい値電圧を下回ったときにオフイベントを検出するように構成されていてもよい。
図7の転送回路6は、それぞれがデマルチプレクサ24の対応する出力端子に接続されたM個のラッチ回路を備えている。ラッチ回路の数Mが、例えば、2以上であり、2×N(フォトダイオードPDの数Nの2倍)以下の値となるように、設計を行うことができる。これにより、アドレスイベント検出回路の複雑化および実装面積の拡大を防ぐことができる。ただし、ラッチ回路の数Mを限定するものではない。
このように、ラッチ回路の数は、2以上であり、光電変換素子の数の2倍以下であってもよい。図7の例のように、複数の光電変換素子は、読み出し線と略平行な方向に配列されていてもよい。ただし、複数の光電変換素子が配列される方向を限定するものではない。
図8は、アドレスイベント検出回路に実装することが可能なラッチ回路の例を示している。例えば、ラッチ回路25a~25dとして、図8のラッチ回路40を使うことができる。ラッチ回路40は、スイッチ41と、インバータ42と、インバータ43と、スイッチ44とを備えている。インバータ42の出力側は、インバータ43の入力側に接続されている。また、インバータ42の入力側は、インバータ43の出力側に接続されている。ラッチ回路40の入力端子と、インバータ42の入力側およびインバータ43の出力側を連結するノードとの間には、スイッチ41が接続されている。また、インバータ42の出力側およびインバータ43の入力側を連結するノードと、ラッチ回路40の出力端子との間には、スイッチ44が接続されている。
ラッチ回路40は、スイッチ41がオンで、スイッチ44がオフであるときに、入力端子の電圧レベルを保持する。そして、ラッチ回路40は、スイッチ41がオフで、スイッチ44がオンであるときに、保持した電圧レベルを出力端子より出力する。
図8の回路は、ラッチ回路の一例にしかすぎない。したがって、これとは異なる構成のラッチ回路を使ってもよい。
次に、複数のフォトダイオードPDを含むアドレスイベント検出回路におけるラッチ回路25の数の接続関係について説明する。
図9のアドレスイベント検出回路は、4つのフォトダイオードPDを含んでいる。また、それぞれのフォトダイオードPDの後段には、対応する電流電圧変換回路2、バッファ3および減算器4が順に接続されている。一方、図9のアドレスイベント検出回路は、ひとつの量子化器5を備えている。このため、それぞれの減算器4から出力される検出信号は、共通の量子化器5に入力される。また、量子化器5の後段には、マルチプレクサ23およびデマルチプレクサ24aが順に接続されている。デマルチプレクサ24aのふたつの出力端子には、それぞれラッチ回路25が接続されている。さらに、それぞれのラッチ回路25の後段には、読み出し線が接続されている。
図7の例と同様、マルチプレクサ23は、第1の制御信号によって制御されるものであってもよい。また、デマルチプレクサ24aは、第2の制御信号によって制御されるものであってもよい。なお、以降の図では、説明の簡略化のため、ラッチ回路25と読み出し線の間にある読み出し回路を省略している。
図9のアドレスイベント検出回路では、ふたつのラッチ回路25を使って、例えば、いずれかのフォトダイオードPDにおけるオンイベントおよびオフイベントを同時に保持することができる。ただし、4つのフォトダイオードPDのすべてについてオンイベントおよびオフイベントを取得するためには、逐次的な読み出しが必要となるため、読み出しに要する時間が長くなってしまう。
図10のアドレスイベント検出回路も、4つのフォトダイオードPDを含んでいる。それぞれのフォトダイオードPDの後段には、対応する電流電圧変換回路2、バッファ3および減算器4が順に接続されている。一方、図10のアドレスイベント検出回路は、ひとつの量子化器5を備えている。このため、それぞれの減算器4から出力される検出信号は、共通の量子化器5に入力される。量子化器5の後段には、マルチプレクサ23およびデマルチプレクサ24bが順に接続されている。デマルチプレクサ24bの8つの出力端子には、それぞれラッチ回路25が接続されている。さらに、それぞれのラッチ回路25の後段には、読み出し線が接続されている。
図7の例と同様、マルチプレクサ23は、第1の制御信号によって制御されるものであってもよい。また、デマルチプレクサ24bは、第2の制御信号によって制御されるものであってもよい。
図10のアドレスイベント検出回路は、フォトダイオードPDの個数の2倍のラッチ回路25を備えている。したがって、すべてのフォトダイオードPDにおけるオンイベントおよびオフイベントを同時に保持することが可能である。ただし、ラッチ回路25の数が多くなり、実装面積が大きくなってしまう。
図11のアドレスイベント検出回路も、4つのフォトダイオードPDを含んでいる。それぞれのフォトダイオードPDの後段には、対応する電流電圧変換回路2、バッファ3および減算器4が順に接続されている。一方、図11のアドレスイベント検出回路は、ひとつの量子化器5を備えている。このため、それぞれの減算器4から出力される検出信号は、共通の量子化器5に入力される。量子化器5の後段には、マルチプレクサ23およびデマルチプレクサ24が順に接続されている。デマルチプレクサ24の4つの出力端子には、それぞれラッチ回路25が接続されている。さらに、それぞれのラッチ回路25の後段には、読み出し線が接続されている。
図7の例と同様、マルチプレクサ23は、第1の制御信号によって制御されるものであってもよい。また、デマルチプレクサ24は、第2の制御信号によって制御されるものであってもよい。
このように、ラッチ回路の数Mを2以上であり、2×N(フォトダイオードPDの数Nの2倍)以下にしてもよい。図11のアドレスイベント検出回路の場合、4つのフォトダイオードPDについてオンイベントを読み出した後、4つのフォトダイオードPDについてオフイベントを読み出すことができる。また、2つのラッチ回路を使っていずれかのフォトダイオードPDのオンイベントおよびオフイベントを保持し、残りの2つのラッチ回路を使ってその他のフォトダイオードPDのオンイベントおよびオフイベントを保持してもよい。このようなパイプライン動作を行わせることにより、ラッチ回路の数を抑えつつ、アドレスイベント検出回路の機能拡張を行うことが可能になる。
図12のアドレスイベント検出回路は、図11のアドレスイベント検出回路において、デマルチプレクサ24の後段にあるラッチ回路25の数を3つにしたものに相当する。図12のアドレスイベント検出回路が使われる場合、それぞれのラッチ回路に3つのステップのうち、いずれかのステップに係る処理を規定の順序にしたがって実行させてもよい。例えば、あるタイミングに、ラッチ回路#1に読み出し処理、ラッチ回路#2に比較動作(保持処理)、ラッチ#3にリセット処理を実行させてもよい。この場合、次のタイミングで、ラッチ回路#1はリセット処理、ラッチ回路#2は読み出し処理、ラッチ回路#3は比較動作(保持処理)を実行することができる。このようなパイプライン動作を行うことにより、効率的にイベントを読み出すことが可能となる。
図13のアドレスイベント検出回路は、図11のアドレスイベント検出回路と同様、4つのフォトダイオードPDと、4つのラッチ回路25を含んでいる。ただし、図11の例とは、異なり、それぞれのラッチ回路25の後段が異なる読み出し線(L1~L4)に接続されている。このように、ラッチ回路25によって後段の読み出し線が異なる構成を採用してもよい。これにより、複数のラッチ回路25が保持する内容を並列的に読み出すことが可能となり、動作の高速化を実現することができる。なお、図13の構成を採用した場合、それぞれの読み出し線(L1~L4)に、さらに図示されていないその他のアドレスイベント検出回路のラッチ回路25が接続されていてもよい。すなわち、読み出し線L1~L4は、複数のアドレスイベント検出回路で共用されるものであってもよい。図13のような構成を採用することにより、データの並び替えに必要なラインメモリの数を削減することが可能となる。
図14は、複数のアドレスイベント回路の出力側が共通の読み出し線に接続されている例を示している。図14の例では、複数のアドレスイベント回路における対応するラッチ回路が同一の読み出し線に接続されている。すなわち、ラッチ回路#1は、読み出し線L1に接続されている。また、ラッチ回路#2は、読み出し線L2に接続されている。ラッチ回路#3は、読み出し線L3に接続されている。ラッチ回路#4は、読み出し線L4に接続されている。例えば、図14の回路では、それぞれのアドレスイベント回路ごとに、ラッチ回路25の内容を読み出すことができる。この場合、読み出し線L1~L4より同時に出力される内容は、同一のアドレスイベント回路から読み出されたイベントとなるため、後段の回路におけるデータの並び替えが容易となる。
図15のアドレスイベント回路では、後段に接続されている読み出し線の本数が2本となっている。このように、アドレスイベント回路の後段に接続される読み出し線の本数は、必ずアドレスイベント回路が備えるラッチ回路の数Mと等しくなくてもよい。例えば、アドレスイベント回路の後段に接続される読み出し線の本数を、当該アドレスイベント回路が備えるラッチ回路の数Mを正の整数で除算した値にすることができる。図15では、M=4を2で除算した値2が読み出し線の本数となっている。ただし、アドレスイベント回路の後段に接続される読み出し線の本数は、必ずこの規則を満たさなくてもよい。この規則が満たされない場合、同時に複数のアドレスイベント回路を読み出すことができる。
図15のアドレスイベント回路では、ラッチ#1およびラッチ#3が読み出し線L1に接続されている。また、ラッチ#2およびラッチ#4が読み出し線L2に接続されている。
図16および図17は、読み出し線L1~L4に接続されているアドレスイベント回路50および51における読み出しパターン(READ PATTERN A)の例を示している。アドレスイベント回路50の複数のフォトダイオードPDには、0x01~0x04のアドレスが割り当てられている。一方、アドレスイベント回路51の複数のフォトダイオードPDには、0x05~0x08のアドレスが割り当てられている。また、アドレスイベント回路50および51では、ラッチ回路#1が読み出し線L1に接続されている。また、アドレスイベント回路50および51では、ラッチ回路#2が読み出し線L2に接続されている。同様に、ラッチ回路#3が読み出し線L3に接続され、ラッチ回路#4が読み出し線L4に接続されている。
このように、本開示による撮像装置は、記憶部と、複数の撮像回路とを備えていてもよい。上述のメモリは、記憶部の一例である。それぞれの撮像回路が有する複数のラッチ回路は、異なる読み出し線に接続されていてもよい。また、複数の撮像回路の対応するラッチ回路は、同一の読み出し線に接続されていてもよい。複数の読み出し線の後段には、記憶部が接続されていてもよい。
図16は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路50のアドレス0x01~0x04のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片46は、それぞれ読み出されたオンイベントに相当している。
図17は、図16の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路51のアドレス0x05~0x08のフォトダイオードPDについて、オンイベントが読み出されている。直前のフェーズで読み出されたオンイベントに相当する4つのデータ断片46は、メモリ45より後段の回路に転送される。そして、当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたオンイベントに相当している。
図16および図17に示した読み出しパターン(READ PATTERN A)が使われる場合、読み出し線L1~L4に接続されるメモリ45は、4ラインのバッファであればよい。図16および図17の例では、オンイベントが読み出される場合を例に説明したが、同様の方式によってオフイベントを読み出してもよい。このように、本開示による撮像装置は、撮像回路ごとに、ラッチ回路に格納されたアドレスイベントを記憶部に転送するように構成されていてもよい。
図18および図19は、読み出し線L1~L4に接続されているアドレスイベント回路52および53における読み出しパターン(READ PATTERN B)の例を示している。アドレスイベント回路52の複数のフォトダイオードPDには、0x01~0x04のアドレスが割り当てられている。一方、アドレスイベント回路53の複数のフォトダイオードPDには、0x05~0x08のアドレスが割り当てられている。
アドレスイベント回路52および53では、読み出し線L1~L4との接続関係が上述のアドレスイベント回路50および51と異なっている。すなわち、アドレスイベント回路52のラッチ回路#1およびラッチ回路#3は、読み出し線L1に接続されている。一方、アドレスイベント回路52のラッチ回路#2およびラッチ回路#4は、読み出し線L2に接続されている。また、アドレスイベント回路53のラッチ回路#1およびラッチ回路#3は、読み出し線L3に接続されている。また、アドレスイベント回路53のラッチ回路#2およびラッチ回路#4は、読み出し線L4に接続されている。
このように、本開示による撮像装置は、記憶部と、複数の撮像回路とを備えていてもよい。それぞれの撮像回路が有する複数のラッチ回路は、複数の読み出し線のうち、一部の読み出し線に接続されていてもよい。また、それぞれの撮像回路が有する複数のラッチ回路は、同一の読み出し線に接続されるグループに分けられていてもよい。撮像回路によって、複数のラッチ回路が接続される読み出し線が異なっていてもよい。複数の読み出し線の後段には、記憶部が接続されていてもよい。
図18は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路52のアドレス0x01、0x02およびアドレスイベント回路53のアドレス0x05、0x06のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45Aに格納される。メモリ45A内の4つのデータ断片46は、それぞれ読み出されたオンイベントに相当している。
図19は、図18の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路52のアドレス0x03、0x04およびアドレスイベント回路53のアドレス0x07、0x08のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45Aに格納される。メモリ45A内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたオンイベントに相当している。
図18および図19に示した読み出しパターン(READ PATTERN B)が使われる場合、複数フェーズでひとつのアドレスイベント回路内におけるイベントの読み出しが完了するため、読み出し線L1~L4に接続されるメモリ45Aとして、8ラインのバッファを使う必要がある。なお、図18および図19の例では、オンイベントが読み出される場合を例に説明したが、同様の方式によってオフイベントを読み出してもよい。このように、本開示による撮像回路は、複数のアドレスイベント回路が同時に読み出されるように構成されていてもよい。また、本開示による撮像装置は、複数の撮像回路について、グループに属するラッチ回路のうち、いずれかのラッチ回路に格納されたアドレスイベントを読み出し、記憶部に転送するように構成されていてもよい。
図20および図21は、読み出し線L1~L4に接続されているアドレスイベント回路50および51における読み出しパターン(READ PATTERN C)の例を示している。図20および図21の例におけるアドレス割り当てと、読み出し線L1~L4の接続関係は、上述の図16および図17の例と同様となっている。
図20は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路50のアドレス0x01~0x04のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片46は、それぞれフェーズ#Nで読み出されたオンイベントに相当している。
図21は、図20の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路50のアドレス0x01~0x04のフォトダイオードPDについて、オフイベントが読み出されている。直前のフェーズで読み出されたオンイベントに相当する4つのデータ断片46は、メモリ45より後段の回路に転送される。そして、当該フェーズで読み出されたオフイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたオフイベントに相当している。
図20および図21の読み出しパターン(READ PATTERN C)に示したように、それぞれのアドレスイベント回路について、オンイベントを交互に読み出してもよい。また、それぞれのアドレスイベント回路について、オフイベントを交互に読み出してもよい。このように、本開示による撮像装置は、撮像回路ごとに、ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、記憶部に転送するように構成されていてもよい。
図22および図23は、読み出し線L1~L4に接続されているアドレスイベント回路52および53における読み出しパターン(READ PATTERN D)の例を示している。図22および図23の例におけるアドレス割り当てと、読み出し線L1~L4の接続関係は、上述の図18および図19の例と同様となっている。
図22は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路52のアドレス0x01、0x02およびアドレスイベント回路53のアドレス0x05、0x06のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45Aに格納される。メモリ45A内の4つのデータ断片46は、それぞれフェーズ#Nで読み出されたオンイベントに相当している。
図23は、図22の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路52のアドレス0x03、0x04およびアドレスイベント回路53のアドレス0x07、0x08のフォトダイオードPDについて、オフイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45Aに格納される。メモリ45A内の4つのデータ断片47は、それぞれフェーズ#Nで読み出されたオンイベントに相当している。
図22および図23の読み出しパターン(READ PATTERN D)に示したように、複数のアドレスイベント回路について、同時にオンイベントまたはオフイベントを読み出してもよい。図22および図23に示した読み出しパターン(READ PATTERN D)が使われる場合、複数フェーズでひとつのアドレスイベント回路内におけるイベントの読み出しが完了するため、読み出し線L1~L4に接続されるメモリ45Aとして、8ラインのバッファを使う必要がある。このように、本開示による撮像装置は、複数の撮像回路について、ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され記記憶部に転送するように構成されていてもよい。
図24および図25は、読み出し線L1~L4に接続されているアドレスイベント回路50および51における読み出しパターン(READ PATTERN E)の例を示している。図24および図25の例におけるアドレス割り当てと、読み出し線L1~L4の接続関係は、上述の図16および図17の例と同様となっている。
図24は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路50のアドレス0x01、0x02のフォトダイオードPDについて、オンイベントおよびオフイベントが読み出される。このため、アドレスイベント回路50は、アドレス0x01のフォトダイオードPDのオンイベント、アドレス0x01のフォトダイオードPDのオフイベント、アドレス0x02のフォトダイオードPDのオンイベント、アドレス0x02のフォトダイオードPDのオフイベントがそれぞれいずれかのラッチ回路25に格納されるよう、制御される。すなわち、フェーズ#Nにおいて、アドレスイベント回路50内では、同一の回路ブロックについて2回のリード処理が実行される。
当該フェーズで読み出されたイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片46は、それぞれフェーズ#Nで読み出されたイベントに相当している。
このように、本開示による撮像回路は、複数の光電変換素子のうち、選択した少なくとも一部の光電変換素子について、オンイベントおよびオフイベントの両方を読み出し、オンイベントおよびオフイベントのそれぞれを複数のラッチ回路に格納するように構成されていてもよい。
図25は、図24の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路50のアドレス0x03、0x04のフォトダイオードPDについて、オンイベントおよびオフイベントが読み出される。このため、アドレスイベント回路50は、アドレス0x03のフォトダイオードPDのオンイベント、アドレス0x03のフォトダイオードPDのオフイベント、アドレス0x04のフォトダイオードPDのオンイベント、アドレス0x04のフォトダイオードPDのオフイベントがそれぞれいずれかのラッチ回路25に格納されるよう、制御される。すなわち、フェーズ#(N+1)において、アドレスイベント回路50内では、同一の回路ブロックについて2回のリード処理が実行される。
直前のフェーズで読み出されたイベントに相当する4つのデータ断片46は、メモリ45より後段の回路に転送される。そして、当該フェーズで読み出されたイベントの内容は、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたイベントに相当している。
このように、本開示による撮像回路は、複数のラッチ回路に格納されたオンイベントおよびオフイベントが読み出し線を介して転送された後、複数の光電変換素子のうち、残りの光電変換素子について、オンイベントおよびオフイベントの両方を読み出し、オンイベントおよびオフイベントのそれぞれを複数のラッチ回路に格納するように構成されていてもよい。
図24および図25の読み出しパターン(READ PATTERN E)が採用される場合、2フェーズの読み出し処理によって、ひとつのアドレスイベント回路におけるオンイベントおよびオフイベントに相当するデータが揃う。また、この読み出しパターンの場合、メモリ45として4ラインのバッファを使えばよい。
図26および図27は、読み出し線L1~L4に接続されているアドレスイベント回路50および51における読み出しパターン(READ PATTERN F)の例を示している。図24および図25の例におけるアドレス割り当てと、読み出し線L1~L4の接続関係は、上述の図18および図19の例と同様となっている。
図26は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路52のアドレス0x01およびアドレスイベント回路53のアドレス0x05のフォトダイオードPDについて、オンイベントおよびオフイベントが読み出される。このため、アドレスイベント回路52は、アドレス0x01のフォトダイオードPDのオンイベントおよびアドレス0x01のフォトダイオードPDのオフイベントがそれぞれいずれかのラッチ回路25に格納されるよう、制御される。また、アドレスイベント回路53は、アドレス0x05のフォトダイオードPDのオンイベントおよびアドレス0x05のフォトダイオードPDのオフイベントがそれぞれいずれかのラッチ回路25に格納されるよう、制御される。すなわち、フェーズ#Nにおいて、アドレスイベント回路52および53では、同一の回路ブロックについて2回のリード処理が実行される。
当該フェーズで読み出されたイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片46は、それぞれフェーズ#Nで読み出されたイベントに相当している。
図27は、図26の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路52のアドレス0x02およびアドレスイベント回路53のアドレス0x06のフォトダイオードPDについて、オンイベントおよびオフイベントが読み出される。このため、アドレスイベント回路52は、アドレス0x02のフォトダイオードPDのオンイベントおよびアドレス0x02のフォトダイオードPDのオフイベントがそれぞれいずれかのラッチ回路25に格納されるよう、制御される。また、アドレスイベント回路53は、アドレス0x06のフォトダイオードPDのオンイベントおよびアドレス0x06のフォトダイオードPDのオフイベントがそれぞれいずれかのラッチ回路25に格納されるよう、制御される。すなわち、フェーズ#(N+1)において、アドレスイベント回路52および53では、同一の回路ブロックについて2回のリード処理が実行される。
直前のフェーズで読み出されたイベントに相当する4つのデータ断片46は、メモリ45より後段の回路に転送される。そして、当該フェーズで読み出されたイベントの内容は、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたイベントに相当している。
以降のフェーズにおいて、上述と同様の処理により、アドレスイベント回路52のアドレス0x03および0x04のフォトダイオードPD、アドレスイベント回路53のアドレス0x07および0x08のフォトダイオードPDにおけるイベントを読み出すことが可能である。このように、本開示による撮像装置では、それぞれの撮像回路から読み出され、記憶部に転送されるアドレスイベントは、オンイベントおよびオフイベントの両方を含んでいてもよい。
本開示による撮像回路は、必ず上述のように複数のフォトダイオードPDが読み出し線と略平行方向に配列されているものでなくてもよい。例えば、図28および図29のように、ひとつのアドレスイベント回路に含まれるフォトダイオードPDが2行(2列)に配列されていてもよい。また、下記の図30および図31に示すように、アドレスイベント回路内の複数のフォトダイオードPDが読み出し線と略垂直な方向に配列されていてもよい。すなわち、複数の光電変換素子は、読み出し線と略垂直な方向に配列されていてもよい。
図28および図29は、読み出し線L1~L4に接続されているアドレスイベント回路54および55における読み出しパターン(READ PATTERN G)の例を示している。アドレスイベント回路54の複数のフォトダイオードPDには、0x11、0x12、0x21、0x22のアドレスが割り当てられている。一方、アドレスイベント回路55の複数のフォトダイオードPDには、0x31、0x32、0x41、0x42のアドレスが割り当てられている。アドレス0x11、0x21、0x31、0x41のフォトダイオードPDは、読み出し線と平行な列(行)を形成している。同様に、アドレス0x12、0x22、0x32、0x42のフォトダイオードPDも、読み出し線と平行な列(行)を形成している。
また、アドレスイベント回路54および55では、ラッチ回路#1が読み出し線L1に接続されている。また、アドレスイベント回路50および51では、ラッチ回路#2が読み出し線L2に接続されている。同様に、ラッチ回路#3が読み出し線L3に接続され、ラッチ回路#4が読み出し線L4に接続されている。
図28は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路54のアドレス0x11、0x12、0x21、0x22のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片46は、それぞれ読み出されたオンイベントに相当している。
図29は、図28の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路55のアドレス0x31、0x32、0x41、0x42のフォトダイオードPDについて、オンイベントが読み出されている。直前のフェーズで読み出されたオンイベントに相当する4つのデータ断片46は、メモリ45より後段の回路に転送される。そして、当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたオンイベントに相当している。
図28および図29に示した読み出しパターン(READ PATTERN G)が使われる場合、読み出し線L1~L4に接続されるメモリ45は、4ラインのバッファであればよい。図28および図29の例では、オンイベントが読み出される場合を例に説明したが、同様の方式によってオフイベントを読み出してもよい。また、上述で示したように、アドレスイベント回路に同一フェーズで複数回リード処理を実行させ、同一フェーズでオンイベントとオフイベントの両方を読み出してもよい。
図30および図31は、読み出し線L1~L4に接続されているアドレスイベント回路56および57における読み出しパターン(READ PATTERN H)の例を示している。アドレスイベント回路56の複数のフォトダイオードPDには、0x51、0x52、0x53、0x54のアドレスが割り当てられている。一方、アドレスイベント回路57の複数のフォトダイオードPDには、0x61、0x62、0x63、0x64のアドレスが割り当てられている。アドレス0x51、0x52、0x53、0x54のフォトダイオードPDは、読み出し線と略垂直方向に列(行)を形成している。同様に、アドレス0x61、0x62、0x63、0x64のフォトダイオードPDも、読み出し線と略垂直方向に列(行)を形成している。
また、アドレスイベント回路56および57では、ラッチ回路#1が読み出し線L1に接続されている。また、アドレスイベント回路56および57では、ラッチ回路#2が読み出し線L2に接続されている。同様に、ラッチ回路#3が読み出し線L3に接続され、ラッチ回路#4が読み出し線L4に接続されている。
図30は、フェーズ#Nにおける動作を示している。フェーズ#Nでは、アドレスイベント回路56のアドレス0x51、0x52、0x53、0x54のフォトダイオードPDについて、オンイベントが読み出されている。当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片46は、それぞれ読み出されたオンイベントに相当している。
図31は、図30の次のフェーズに相当する、フェーズ#(N+1)における動作を示している。フェーズ#(N+1)では、アドレスイベント回路57のアドレス0x61、0x62、0x63、0x64のフォトダイオードPDについて、オンイベントが読み出されている。直前のフェーズで読み出されたオンイベントに相当する4つのデータ断片46は、メモリ45より後段の回路に転送される。そして、当該フェーズで読み出されたオンイベントは、読み出し線L1~L4を経由してメモリ45に格納される。メモリ45内の4つのデータ断片47は、それぞれフェーズ#(N+1)で読み出されたオンイベントに相当している。
図30および図31に示した読み出しパターン(READ PATTERN H)が使われる場合、読み出し線L1~L4に接続されるメモリ45は、4ラインのバッファであればよい。図30および図31の例では、オンイベントが読み出される場合を例に説明したが、同様の方式によってオフイベントを読み出してもよい。また、上述で示したように、アドレスイベント回路に同一フェーズで複数回リード処理を実行させ、同一フェーズでオンイベントとオフイベントの両方を読み出してもよい。
本開示による撮像回路を使うと、アドレスイベント回路に実装されるラッチ回路の数を削減しつつ、高速なイベントの読み出しを行うことができる。これにより、回路規模を抑制しつつ、高速にデータを生成し、出力することが可能な非同期型の撮像素子を実現することができる。例えば、交通分野において、人または障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図32は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図32に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図32の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図33は、撮像部12031の設置位置の例を示す図である。
図33では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図33には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、撮像部12031に、上述の撮像回路または撮像装置を実装することができる。撮像部12031に、本開示に係る技術を適用することにより、幅広い明るさダイナミックレンジの環境において、正確な距離情報を得ることができ、車両12100の機能性および安全性を高めることができる。
なお、本技術は、以下のような構成をとることができる。
(1)
入射光を光電変換して光電流を生成する光電変換素子と、前記光電流を電圧信号に変換する電流電圧変換回路とを含む、複数の回路ブロックと、
前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号をしきい値と比較した結果に応じてアドレスイベントの検出信号を生成する量子化器と、
前記量子化器の後段に接続されたデマルチプレクサと、
前記デマルチプレクサの異なる出力端子に接続された、複数のラッチ回路とを備える、
撮像回路。
(2)
前記複数のラッチ回路のそれぞれは、前記量子化器で検出された前記アドレスイベントを格納するように構成されている、
(1)に記載の撮像回路。
(3)
前記ラッチ回路の数は、2以上であり、前記光電変換素子の数の2倍以下である、
(1)または(2)に記載の撮像回路。
(4)
前記複数の回路ブロックのそれぞれは、インピーダンス変換を行うバッファ回路と、前記電圧信号を差分電圧に変換する減算器とを含む、
(1)ないし(3)のいずれか一項に記載の撮像回路。
(5)
前記量子化器は、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号が第1しきい値電圧を超えたときにオンイベントを検出する、
(1)ないし(4)のいずれか一項に記載の撮像回路。
(6)
前記量子化器は、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号が第2しきい値電圧を下回ったときにオフイベントを検出する、
(5)に記載の撮像回路。
(7)
複数の前記光電変換素子のうち、選択した少なくとも一部の前記光電変換素子について、前記オンイベントおよび前記オフイベントの両方を読み出し、前記オンイベントおよび前記オフイベントのそれぞれを前記複数のラッチ回路に格納するように構成されている、
(6)に記載の撮像回路。
(8)
前記複数のラッチ回路に格納された前記オンイベントおよび前記オフイベントが読み出し線を介して転送された後、複数の前記光電変換素子のうち、残りの前記光電変換素子について、前記オンイベントおよび前記オフイベントの両方を読み出し、前記オンイベントおよび前記オフイベントのそれぞれを前記複数のラッチ回路に格納するように構成されている、
(7)に記載の撮像回路。
(9)
複数の前記光電変換素子は、読み出し線と略垂直な方向に配列されている、
(1)ないし(8)のいずれか一項に記載の撮像回路。
(10)
複数の前記光電変換素子は、読み出し線と略平行な方向に配列されている、
(1)ないし(9)のいずれか一項に記載の撮像回路。
(11)
記憶部と、
複数の(1)ないし(4)のいずれか一項に記載の撮像回路とを備え、
それぞれの前記撮像回路が有する複数のラッチ回路は、異なる読み出し線に接続されており、複数の前記撮像回路の対応する前記ラッチ回路は、同一の前記読み出し線に接続されており、複数の前記読み出し線の後段には、前記記憶部が接続されている、
撮像装置。
(12)
前記撮像回路ごとに、前記ラッチ回路に格納された前記アドレスイベントを前記記憶部に転送するように構成されている、
(11)に記載の撮像装置。
(13)
前記撮像回路ごとに、前記ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、前記記憶部に転送するように構成されている、
(11)に記載の撮像装置。
(14)
記憶部と、
複数の(1)ないし(4)のいずれか一項に記載の撮像回路を備え、
それぞれの前記撮像回路が有する複数のラッチ回路は、複数の読み出し線のうち、一部の前記読み出し線に接続されており、
それぞれの前記撮像回路が有する複数のラッチ回路は、同一の前記読み出し線に接続されるグループに分けられており、
前記撮像回路によって、前記複数のラッチ回路が接続される前記読み出し線が異なっており、複数の前記読み出し線の後段には、前記記憶部が接続されている、
撮像装置。
(15)
複数の前記撮像回路について、前記グループに属する前記ラッチ回路のうち、いずれかの前記ラッチ回路に格納された前記アドレスイベントを読み出し、前記記憶部に転送するように構成された、
(14)に記載の撮像装置。
(16)
それぞれの前記撮像回路から読み出され、前記記憶部に転送される前記アドレスイベントは、オンイベントおよびオフイベントの両方を含む、
(15)に記載の撮像装置。
(17)
複数の前記撮像回路について、前記ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、前記記憶部に転送するように構成されている、
(15)に記載の撮像装置。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
PD フォトダイオード
2 電流電圧変換回路
3 バッファ
4 減算器
5 量子化器
6 転送回路
23 マルチプレクサ
24 デマルチプレクサ
25、25a、25b、25c、25d、40 ラッチ回路
26a、26b、25c、25d 読み出し回路
41、44 スイッチ
42、43 インバータ
45、45A メモリ
50、51、52、53 撮像回路
100 撮像装置

Claims (17)

  1. 入射光を光電変換して光電流を生成する光電変換素子と、前記光電流を電圧信号に変換する電流電圧変換回路とを含む、複数の回路ブロックと、
    前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号をしきい値と比較した結果に応じてアドレスイベントの検出信号を生成する量子化器と、
    前記量子化器の後段に接続されたデマルチプレクサと、
    前記デマルチプレクサの異なる出力端子に接続された、複数のラッチ回路とを備える、
    撮像回路。
  2. 前記複数のラッチ回路のそれぞれは、前記量子化器で検出された前記アドレスイベントを格納するように構成されている、
    請求項1に記載の撮像回路。
  3. 前記ラッチ回路の数は、2以上であり、前記光電変換素子の数の2倍以下である、
    請求項1に記載の撮像回路。
  4. 前記複数の回路ブロックのそれぞれは、インピーダンス変換を行うバッファ回路と、前記電圧信号を差分電圧に変換する減算器とを含む、
    請求項1に記載の撮像回路。
  5. 前記量子化器は、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号が第1しきい値電圧を超えたときにオンイベントを検出する、
    請求項1に記載の撮像回路。
  6. 前記量子化器は、前記複数の回路ブロックのうち、少なくともいずれかより供給された前記電圧信号が第2しきい値電圧を下回ったときにオフイベントを検出する、
    請求項5に記載の撮像回路。
  7. 複数の前記光電変換素子のうち、選択した少なくとも一部の前記光電変換素子について、前記オンイベントおよび前記オフイベントの両方を読み出し、前記オンイベントおよび前記オフイベントのそれぞれを前記複数のラッチ回路に格納するように構成されている、
    請求項6に記載の撮像回路。
  8. 前記複数のラッチ回路に格納された前記オンイベントおよび前記オフイベントが読み出し線を介して転送された後、複数の前記光電変換素子のうち、残りの前記光電変換素子について、前記オンイベントおよび前記オフイベントの両方を読み出し、前記オンイベントおよび前記オフイベントのそれぞれを前記複数のラッチ回路に格納するように構成されている、
    請求項7に記載の撮像回路。
  9. 複数の前記光電変換素子は、読み出し線と略垂直な方向に配列されている、
    請求項1に記載の撮像回路。
  10. 複数の前記光電変換素子は、読み出し線と略平行な方向に配列されている、
    請求項1に記載の撮像回路。
  11. 記憶部と、
    複数の請求項1に記載の撮像回路とを備え、
    それぞれの前記撮像回路が有する複数のラッチ回路は、異なる読み出し線に接続されており、複数の前記撮像回路の対応する前記ラッチ回路は、同一の前記読み出し線に接続されており、複数の前記読み出し線の後段には、前記記憶部が接続されている、
    撮像装置。
  12. 前記撮像回路ごとに、前記ラッチ回路に格納された前記アドレスイベントを前記記憶部に転送するように構成されている、
    請求項11に記載の撮像装置。
  13. 前記撮像回路ごとに、前記ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、前記記憶部に転送するように構成されている、
    請求項11に記載の撮像装置。
  14. 記憶部と、
    複数の請求項1に記載の撮像回路を備え、
    それぞれの前記撮像回路が有する複数のラッチ回路は、複数の読み出し線のうち、一部の前記読み出し線に接続されており、
    それぞれの前記撮像回路が有する複数のラッチ回路は、同一の前記読み出し線に接続されるグループに分けられており、
    前記撮像回路によって、前記複数のラッチ回路が接続される前記読み出し線が異なっており、複数の前記読み出し線の後段には、前記記憶部が接続されている、
    撮像装置。
  15. 複数の前記撮像回路について、前記グループに属する前記ラッチ回路のうち、いずれかの前記ラッチ回路に格納された前記アドレスイベントを読み出し、前記記憶部に転送するように構成された、
    請求項14に記載の撮像装置。
  16. それぞれの前記撮像回路から読み出され、前記記憶部に転送される前記アドレスイベントは、オンイベントおよびオフイベントの両方を含む、
    請求項15に記載の撮像装置。
  17. 複数の前記撮像回路について、前記ラッチ回路に格納されたオンイベントまたはオフイベントが交互に読み出され、前記記憶部に転送するように構成されている、
    請求項15に記載の撮像装置。
JP2020025437A 2020-02-18 2020-02-18 撮像回路および撮像装置 Pending JP2023037041A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020025437A JP2023037041A (ja) 2020-02-18 2020-02-18 撮像回路および撮像装置
DE112021001120.0T DE112021001120T5 (de) 2020-02-18 2021-01-14 Bildgebungsschaltung, bildgebungsvorrichtung und bildgebungsverfahren
PCT/JP2021/001010 WO2021166503A1 (ja) 2020-02-18 2021-01-14 撮像回路、撮像装置および撮像方法
CN202180014149.3A CN115362671A (zh) 2020-02-18 2021-01-14 成像电路、成像装置和成像方法
US17/790,028 US20220394206A1 (en) 2020-02-18 2021-01-14 Imaging circuit, imaging device, and imaging method
TW110103933A TW202137750A (zh) 2020-02-18 2021-02-03 攝像電路、攝像裝置及攝像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025437A JP2023037041A (ja) 2020-02-18 2020-02-18 撮像回路および撮像装置

Publications (1)

Publication Number Publication Date
JP2023037041A true JP2023037041A (ja) 2023-03-15

Family

ID=77392120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025437A Pending JP2023037041A (ja) 2020-02-18 2020-02-18 撮像回路および撮像装置

Country Status (6)

Country Link
US (1) US20220394206A1 (ja)
JP (1) JP2023037041A (ja)
CN (1) CN115362671A (ja)
DE (1) DE112021001120T5 (ja)
TW (1) TW202137750A (ja)
WO (1) WO2021166503A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036755B2 (en) * 2012-09-28 2015-05-19 Liming Xiu Circuits and methods for time-average frequency based clock data recovery
KR102054774B1 (ko) * 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
CN105706439B (zh) 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US9952323B2 (en) * 2014-04-07 2018-04-24 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
KR102426677B1 (ko) * 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102421141B1 (ko) * 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10447508B2 (en) * 2018-01-16 2019-10-15 Micron Technology, Inc. Multi-bias level generation and interpolation
US10909824B2 (en) * 2018-08-14 2021-02-02 Samsung Electronics Co., Ltd. System and method for pulsed light pattern capturing using a dynamic vision sensor

Also Published As

Publication number Publication date
WO2021166503A1 (ja) 2021-08-26
CN115362671A (zh) 2022-11-18
US20220394206A1 (en) 2022-12-08
DE112021001120T5 (de) 2022-12-29
TW202137750A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
JP7141440B2 (ja) 固体撮像素子
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR102606087B1 (ko) 고체 촬상 소자, 촬상 장치, 및 고체 촬상 소자의 제어 방법
EP3576404B1 (en) Solid-state image pickup element
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP7227926B2 (ja) 固体撮像素子、撮像装置および固体撮像素子の制御方法
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
JP2020053827A (ja) 固体撮像素子、および、撮像装置
WO2021039142A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
JP2019195135A (ja) 固体撮像素子および撮像装置
JP2020099015A (ja) センサ及び制御方法
WO2019187685A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021166503A1 (ja) 撮像回路、撮像装置および撮像方法
JP2019176334A (ja) 固体撮像素子、テストシステム、および、固体撮像素子の制御方法
US20230108619A1 (en) Imaging circuit and imaging device
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置