JP2021082883A - イベント検出装置 - Google Patents

イベント検出装置 Download PDF

Info

Publication number
JP2021082883A
JP2021082883A JP2019206968A JP2019206968A JP2021082883A JP 2021082883 A JP2021082883 A JP 2021082883A JP 2019206968 A JP2019206968 A JP 2019206968A JP 2019206968 A JP2019206968 A JP 2019206968A JP 2021082883 A JP2021082883 A JP 2021082883A
Authority
JP
Japan
Prior art keywords
pixel
signal
event
unit
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019206968A
Other languages
English (en)
Inventor
弘博 朱
Hongbo Zhu
弘博 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019206968A priority Critical patent/JP2021082883A/ja
Priority to PCT/JP2020/040770 priority patent/WO2021095560A1/ja
Publication of JP2021082883A publication Critical patent/JP2021082883A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/51Control of the gain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】イベントの発生を検出する装置を小型化する。【解決手段】第1の光電変換素子と、第2の光電変換素子と、第1の光電変換素子と第2の光電変換素子の電圧の差に対応する差信号を生成する回路として、差動増幅回路とを備え、差動増幅回路からの信号により信号の変化であるイベントの発生を検出する。差動増幅回路を構成するトランジスタは、第1の光電変換素子を含む第1の画素と、第2の光電変換素子を含む第2の画素に分散して配置されている。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサ等に適用できる。【選択図】図9

Description

本技術はイベント検出装置に関し、例えば、画素の輝度変化をイベントとして検出する装置をより小型化するようにしたイベント検出装置に関する。
画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている(例えば、特許文献1を参照)。
ここで、垂直同期信号に同期して撮像を行い、ラスタスキャン形式でフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータが発生した画素の随時読み出しを行うため、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
特表2017-535999号公報
非同期型のイメージセンサによりイベントの発生を検出する装置の小型化が望まれている。
本技術は、このような状況に鑑みてなされたものであり、非同期型のイメージセンサによりイベントの発生を検出する装置を小型化することができるようにするものである。
本技術の一側面のイベント検出装置は、第1の光電変換素子と、第2の光電変換素子と、前記第1の光電変換素子と前記第2の光電変換素子の電圧の差に対応する差信号を生成する回路として、差動増幅回路とを備え、前記差動増幅回路からの信号により信号の変化であるイベントの発生を検出するイベント検出装置である。
本技術の一側面のイベント検出装置においては、第1の光電変換素子と、第2の光電変換素子と、第1の光電変換素子と第2の光電変換素子の電圧の差に対応する差信号を生成する回路として、差動増幅回路が備えられ、差動増幅回路からの信号により信号の変化であるイベントの発生が検出される。
イベント検出装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用したイベント検出装置の一実施の形態の構成を示す図である。 DVSチップの構成例を示す図である。 画素アレイ部の構成例を示す図である。 画素ブロックの構成例を示す図である。 イベント検出部の構成例を示す図である。 電流電圧変換部の構成例を示す図である。 減算部と量子化部の構成例を示す図である。 量子化部の他の構成例を示す図である。 第1の実施の形態における画素アレイ部の構成例を示す図である。 読出画素と参照画素の配置について説明するための図である。 第1の実施の形態における画素アレイ部の動作について説明するための図である。 第2の実施の形態における画素アレイ部の構成例を示す図である。 第2の実施の形態における画素アレイ部の動作について説明するための図である。 第3の実施の形態における画素アレイ部の構成例を示す図である。 第4の実施の形態における画素アレイ部の構成例を示す図である。 読出画素と参照画素の配置について説明するための図である。 読出画素と参照画素の配置について説明するための図である。 読出画素と参照画素の配置について説明するための図である。 読出画素と参照画素の配置について説明するための図である。 第4の実施の形態における画素アレイ部の他の構成例を示す図である。 第5の実施の形態における画素アレイ部の構成例を示す図である。 第5の実施の形態における画素アレイ部の他の構成例を示す図である。 第6の実施の形態における画素アレイ部の構成例を示す図である。 第6の実施の形態における画素アレイ部の他の構成例を示す図である。 第7の実施の形態における画素アレイ部の構成例を示す図である。 第7の実施の形態における画素アレイ部の他の構成例を示す図である。 第8の実施の形態における画素アレイ部の構成例を示す図である。 第8の実施の形態における画素アレイ部の他の構成例を示す図である。 第9の実施の形態における画素アレイ部の構成例を示す図である。 第9の実施の形態における画素アレイ部の他の構成例を示す図である。 第10の実施の形態における画素アレイ部の構成例を示す図である。 第10の実施の形態における画素アレイ部の他の構成例を示す図である。 第11の実施の形態における画素アレイ部の構成例を示す図である。 第12の実施の形態における画素アレイ部の構成例を示す図である。 第13の実施の形態における画素アレイ部の構成例を示す図である。 第14の実施の形態における画素アレイ部の構成例を示す図である。 第14の実施の形態における画素アレイ部の動作について説明するための図である。 第15の実施の形態における画素アレイ部の構成例を示す図である。 第15の実施の形態における画素アレイ部の動作について説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
<本技術を適用したデータ処理チップの一実施の形態>
図1は、本技術を適用したデータ処理チップの一実施の形態の構成例を示す図である。
データ処理チップは、1チップの半導体チップであり、複数のダイ(基板)としてのセンサダイ(基板)11とロジックダイ12とが積層されて構成される。なお、データ処理チップは、1個のダイで構成することもできるし、3個以上のダイを積層して構成することもできる。
図1のデータ処理チップにおいて、センサダイ11には、イベント生成部21(としての回路)が構成され、ロジックダイ12には、データ処理部22が構成されている。なお、イベント生成部21については、その一部を、ロジックダイ12に構成することができる。また、データ処理部22については、その一部を、センサダイ11に構成することができる。
イベント生成部21は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。イベント生成部21は、イベントデータを、データ処理部22に供給する。すなわち、イベント生成部21は、例えば、同期型のイメージセンサと同様に、画素において、入射光の光電変換を行って電気信号を生成する撮像を行うが、フレーム形式の画像データを生成するのではなく、又は、フレーム形式の画像データを生成するとともに、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
データ処理部22は、イベント生成部21からのイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるデータ処理結果を出力する。
イベント生成部21は、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)とも呼ばれる。以下では、区別を容易にするために、イベント生成部21が構成されているセンサダイ11を、DVSチップ11と称する。
<DVSチップの構成例>
図2は、DVSチップ11の構成例を示すブロック図である。
DVSチップ11は、画素アレイ部31、駆動部32、アービタ33、及び、出力部34を備える。
画素アレイ部31には、複数の画素が二次元格子状に配列される。また、画素アレイ部31は、それぞれが所定数の画素からなる複数の画素ブロックに分割される。以下、水平方向に配列された画素または画素ブロックの集合を「行」と称し、行に垂直な方向に配列された画素または画素ブロックの集合を「列」と称する。
画素ブロックは、画素の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化が発生した場合に、その光電流の変化をイベントとして検出する。イベントが検出された場合、画素ブロックは、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ33に出力する。
駆動部32は、画素アレイ部31に制御信号を供給することにより、画素アレイ部31を駆動する。
アービタ33は、画素アレイ部31を構成する画素ブロックからのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を画素ブロックに返す。イベントデータの出力の許可を表す応答を受け取った画素ブロックは、イベントデータを出力部34に出力する。
出力部34は、画素アレイ部31を構成する画素ブロックが出力するイベントデータに必要な処理を施し、データ処理部22(図1)に供給する。
ここで、画素の電気信号としての光電流の変化は、画素の輝度変化とも捉えることができるので、イベントは、画素の輝度変化(閾値を超える輝度変化)であるともいうことができる。
イベントの発生を表すイベントデータには、少なくとも、イベントとしての輝度変化が発生した画素ブロックの位置を表す位置情報(座標等)が含まれる。その他、イベントデータには、輝度変化の極性(正負)を含ませることができる。
<画素アレイ部31の構成例>
図3は、図2の画素アレイ部31の構成例を示すブロック図である。
画素アレイ部31は、複数の画素ブロック41を有する。画素ブロック41は、I行×J列(I及びJは整数)に配列された1以上としてのI×J個の画素51、及び、イベント検出部52を備える。画素ブロック41内の1以上の画素51は、イベント検出部52を共有している。
画素51は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素51は、生成した光電流を、イベント検出部52に供給する。
イベント検出部52は、アービタ33からのリセット信号によるリセット後に、画素51のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部52は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ33(図2)に供給する。そして、イベント検出部52は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ33から受け取ると、イベントデータを、出力部34に出力する。
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。
<画素ブロック41の構成例>
図4は、図3の画素ブロック41の構成例を示す回路図である。
画素ブロック41は、図3で説明したように、1以上の画素51と、イベント検出部52とを備える。
画素51は、光電変換素子61を備える。光電変換素子61は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
画素ブロック41を構成するI×J個の画素51は、ノード60を介して、その画素ブロック41を構成するイベント検出部52に接続されている。したがって、画素51(の光電変換素子61)で生成された光電流は、ノード60を介して、イベント検出部52に供給される。その結果、イベント検出部52には、画素ブロック41内のすべての画素51の光電流の和が供給される。したがって、イベント検出部52では、画素ブロック41を構成するI×J個の画素51から供給される光電流の和の変化がイベントとして検出される。
図3の画素アレイ部31では、画素ブロック41が1以上の画素51で構成され、その1以上の画素51で、イベント検出部52が共有される。したがって、画素ブロック41が、複数の画素51で構成される場合には、1個の画素51に対して、1個のイベント検出部52を設ける場合に比較して、イベント検出部52の数を少なくすることができ、画素アレイ部31の規模を抑制することができる。
なお、画素ブロック41が、複数の画素51で構成される場合、画素51ごとに、イベント検出部52を設けることができる。画素ブロック41の複数の画素51で、イベント検出部52を共有する場合には、画素ブロック41の単位でイベントが検出されるが、画素51ごとに、イベント検出部52を設ける場合には、画素51の単位で、イベントを検出することができる。
<イベント検出部52の構成例>
図5は、図3のイベント検出部52の構成例を示すブロック図である。
イベント検出部52は、電流電圧変換部81、バッファ82、減算部83、量子化部84、及び、転送部85を備える。
電流電圧変換部81は、画素51からの光電流(の和)を、その光電流の対数に対応する電圧(以下、光電圧ともいう)に変換し、バッファ82に供給する。
バッファ82は、電流電圧変換部81からの光電圧をバッファリングし、減算部83に供給する。
減算部83は、アービタ33からのリセット信号に従ったタイミングで、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部84に供給する。
量子化部84は、減算部83からの差信号をデジタル信号に量子化し、差信号の量子化値を、イベントデータとして、転送部85に供給する。
転送部85は、量子化部84からのイベントデータに応じて、そのイベントデータを、出力部34に転送(出力)する。すなわち、転送部85は、イベントデータの出力を要求するリクエストを、アービタ33に供給する。そして、転送部85は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ33から受け取ると、イベントデータを、出力部34に出力する。
<電流電圧変換部81の構成例>
図6は、図5の電流電圧変換部81の構成例を示す回路図である。
電流電圧変換部81は、トランジスタ91ないし93で構成される。トランジスタ91及び93としては、例えば、N型のMOS FETを採用することができ、トランジスタ92としては、例えば、P型のMOS FETを採用することができる。
トランジスタ91のソースは、トランジスタ93のゲートと接続され、トランジスタ91のソースとトランジスタ93のゲートとの接続点には、画素51からの光電流が供給される。トランジスタ91のドレインは、電源VDDに接続され、そのゲートは、トランジスタ93のドレインに接続される。
トランジスタ92のソースは、電源VDDに接続され、そのドレインは、トランジスタ91のゲートとトランジスタ93のドレインとの接続点に接続される。トランジスタ92のゲートには、所定のバイアス電圧Vbiasが印加される。バイアス電圧Vbiasによって、トランジスタ92はオン/オフし、このトランジスタ92のオン/オフにより、電流電圧変換部81の動作もオン/オフする。
トランジスタ93のソースは接地される。
電流電圧変換部81において、トランジスタ91のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているトランジスタ91のソースには、画素51(図4)が接続され、これにより、トランジスタ91(のドレインからソース)には、画素51の光電変換素子61で生成された電荷による光電流が流れる。トランジスタ91は、サブスレッショルド領域で動作し、トランジスタ91のゲートには、そのトランジスタ91に流れる光電流の対数に対応する光電圧が現れる。以上のように、電流電圧変換部81では、トランジスタ91により、画素51からの光電流が、その光電流の対数に対応する光電圧に変換される。
電流電圧変換部81において、トランジスタ91のゲートは、トランジスタ92のドレインとトランジスタ93のドレインとの接続点に接続されており、その接続点から、光電圧が出力される。
<減算部83及び量子化部84の構成例>
図7は、図5の減算部83及び量子化部84の構成例を示す回路図である。後述するように、画素51(PD61)からの読み出しは、差動増幅回路を用いた読み出しを行い、2画素の信号の差分を出力する構成とする場合を例に挙げて説明する。また減算部83と量子化部84にも、差動増幅回路を適用した場合を例に挙げて説明する。
そのような差動増幅回路が適用されている減算部83と量子化部84の説明を容易とするために、そのような適用がされていない従来の減算部83と量子化部84について、図7を参照して説明し、DVSチップ11に含まれるイベント検出部52の構成について説明を加える。
減算部83は、コンデンサ101、オペアンプ102、コンデンサ103、及び、スイッチ104を備える。量子化部84は、コンパレータ111を備える。
コンデンサ101の一端は、バッファ82(図5)の出力端子に接続され、他端は、オペアンプ102の入力端子(反転入力端子)に接続される。したがって、オペアンプ102の入力端子には、コンデンサ101を介して光電圧が入力される。
オペアンプ102の出力端子は、コンパレータ111の非反転入力端子(+)に接続される。コンデンサ103の一端は、オペアンプ102の入力端子に接続され、他端は、オペアンプ102の出力端子に接続される。
スイッチ104は、コンデンサ103の両端の接続をオン/オフするように、コンデンサ103に接続される。スイッチ104は、リセット信号に従ってオン/オフすることにより、コンデンサ103の両端の接続をオン/オフする。
スイッチ104をオンにした際のコンデンサ101のバッファ82(図5)側の光電圧をVinitと表すとともに、コンデンサ101の容量(静電容量)をC1と表すこととする。オペアンプ102の入力端子は、仮想接地になっており、スイッチ104がオンである場合にコンデンサ101に蓄積される電荷Qinitは、式(1)により表される。
Qinit = C1 ×Vinit ・・・(1)
また、スイッチ104がオンである場合には、コンデンサ103の両端の接続はオフにされる(短絡される)ため、コンデンサ103に蓄積される電荷はゼロとなる。
その後、スイッチ104がオフになった場合の、コンデンサ101のバッファ82(図5)側の光電圧を、Vafterと表すこととすると、スイッチ104がオフになった場合にコンデンサ101に蓄積される電荷Qafterは、式(2)により表される。
Qafter = C1×Vafter ・・・(2)
コンデンサ103の容量をC2と表すとともに、オペアンプ102の出力電圧をVoutと表すこととすると、コンデンサ103に蓄積される電荷Q2は、式(3)により表される。
Q2 = -C2×Vout ・・・(3)
スイッチ104がオフする前後で、コンデンサ101の電荷とコンデンサ103の電荷とを合わせた総電荷量は変化しないため、式(4)が成立する。
Qinit = Qafter + Q2 ・・・(4)
式(4)に式(1)ないし式(3)を代入すると、式(5)が得られる。
Vout = -(C1/C2)×(Vafter - Vinit) ・・・(5)
式(5)によれば、減算部83では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式(5)によれば、減算部83の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック41ごとに減算部83を含むイベント検出部52が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
コンパレータ111は、減算部83からの差信号と、反転入力端子(-)に印加された所定の閾値(電圧)Vth(>0)とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして、転送部85に出力する。
例えば、コンパレータ111は、差信号が閾値Vthを超えている場合、1を表すH(High)レベルを、イベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すL(Low)レベルを、イベントが発生していないことを表すイベントデータとして出力する。
転送部85は、量子化部84からのイベントデータに応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大である場合に、リクエストをアービタ33に供給し、イベントデータの出力の許可を表す応答を受け取った後に、イベントの発生を表すイベントデータ(例えば、Hレベル)を、出力部34に出力する。
<量子化部84の他の構成例>
図8は、図5の量子化部84の他の構成例を示すブロック図である。なお、図中、図7の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図8において、量子化部84は、コンパレータ111及び112、並びに、出力部113を有する。
したがって、図8の量子化部84は、コンパレータ111を有する点で、図7の場合と共通する。但し、図8の量子化部84は、コンパレータ112及び出力部113を新たに有する点で、図7の場合と相違する。
図8の量子化部84を有するイベント検出部52(図5)では、イベントの他、イベントとしての光量変化の極性も検出される。
図8の量子化部84では、コンパレータ111は、差信号が閾値Vthを超えている場合、1を表すHレベルを、正極性のイベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すLレベルを、正極性のイベントが発生していないことを表すイベントデータとして出力する。
また、図8の量子化部84では、コンパレータ112の非反転入力端子(+)には、閾値Vth'(<Vth)が供給され、コンパレータ112の反転入力端子(-)には、減算部83からの差信号が供給される。いま、説明を簡単にするため、閾値Vth'が、例えば、-Vthに等しいこととする。
コンパレータ112は、減算部83からの差信号と、反転入力端子(-)に印加された閾値Vth'とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして出力する。
例えば、コンパレータ112は、差信号が閾値Vth'より小さい場合(負の値の差信号の絶対値が閾値Vthを超えている場合)、1を表すHレベルを、負極性のイベントの発生を表すイベントデータとして出力する。また、コンパレータ112は、差信号が閾値Vth'より小さくない場合(負の値の差信号の絶対値が閾値Vthを超えていない場合)、0を表すLレベルを、負極性のイベントが発生していないことを表すイベントデータとして出力する。
出力部113は、コンパレータ111及び112が出力するイベントデータに応じて、正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、又は、イベントが発生していないことを表すイベントデータを、転送部85に出力する。
転送部85は、量子化部84の出力部113からのイベントデータに応じて、正極性又は負極性のイベントとしての光量変化が発生したと認められる場合、リクエストをアービタ33に供給し、イベントデータの出力の許可を表す応答を受け取った後に、正極性又は負極性のイベントの発生を表すイベントデータ(1を表すHパルス、又は、-1を表すLパルス)を、出力部34に出力する。
量子化部84を図7の構成とした場合には、イベントの発生が正極性のみの1ビット(0または1)で出力され、図8の構成とした場合には、イベントの発生が1.5ビット(1、0、または、−1)で出力される。
<差分型の増幅読み出しについて>
上記したDVSチップ11は、画素アレイ部31を含み、画素アレイ部31は、PD61が行列状に2次元配置されている。PD61を含むセンサとしては、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサがある。
CMOSイメージセンサでは、画素アレイ部に行列状に2次元配置された画素に、光電変換部としてのフォトダイオード(PD)と、フォトダイオードで光電変換された電子を電圧変換する浮遊拡散領域(FD:Floating Diffusion)と、浮遊拡散領域(FD)で得られる電圧をゲート入力とする増幅トランジスタを有し、この増幅トランジスタを用いたソースフォロア回路による読み出し(以下、ソースフォロア型の読み出しという)を行うのが一般的である。
一方で、画素は同様の構成ながら、ソース接地回路による読み出しを行う構成や、差動増幅回路による読み出し(以下、差動型の増幅読み出しという)を行う構成がある。差動型の増幅読み出しの場合、高い変換効率で信号を読み出すことができるという利点がある。
このような利点を得られる差動型の増幅読み出しをDVSチップ11に適用することで、高い変換効率で信号を読み出すことができる。DVSチップ11に、差動型の増幅読み出しを適用した場合について以下に説明を加える。
<第1の実施の形態>
図9は、第1の実施の形態におけるDVSチップ11の構成を示す図である。図9では、DVSチップ11のうち、画素アレイ部31の構成を示す。また、第1の実施の形態における画素アレイ部31であることを示すために、画素アレイ部31aと記述する。
図9では、画素アレイ部31a内に含まれる列方向に配置されている2画素を示している。図9中、上側の画素51Sを読出画素とし、下側の画素51Rを参照画素とする。以下に説明する本実施の形態は、差動型の読出しを行う画素アレイ部31であり、読出画素と参照画素との差分を読出し、出力する構成とされている。
以下に説明する差動型の読出しの場合、読出画素のトランジスタと、参照画素のトランジスタとが、差動増幅回路を構成し、読出画素のPDで検出された信号電荷に応じた電圧信号が、出力される。
また読出画素は、信号の蓄積及び読み出しの他に、参照画素に切り替え可能で、例えば画素駆動線の切り替えスイッチによって、読出画素と参照画素の画素ペアを入れ替えながら、アドレスを走査して、画素アレイ部31に、2次元配置された全有効画素を読み出すことが可能となる。
図9に示した例では、列方向(図中縦方向)に配置されている2画素のうち一方を読出画素51Sとし、他方を参照画素51Rとした例を示している。また以下の説明では、図9に示したように、列方向に配置されている2画素を読出画素51Sと参照画素51Rに設定した場合を例に挙げて説明を続けるが、読出画素51Sと参照画素51Rは、列方向配置されている2画素に限定される記載ではない。
図示はしないが、行方向(横方向)に配置されている2画素のうちの一方を読出画素51Sとし、他方を参照画素51Rとした場合にも本技術を適用できる。また、読出画素51Sと参照画素51Rは、隣接していなくても良く、例えば、1画素や2画素離れた位置にある2画素であっても良い。
また参照画素51Rは、列方向または行方向に配置されている画素に共通して用いられる参照画素として、専用に設けられている画素であっても良い。
また、図10に示すように、アイドル画素51Iが設定される読み出しが行われるような場合にも本技術は適用できる。アイドル画素51Iは、読出画素51S、参照画素51Rのどちらにも設定されていない画素であり、後述する差動増幅回路を構成しない画素として設定されている画素である。
なお、アイドル画素51Iも、読出画素51Sや参照画素51Rに設定され、画素アレイ部31に、2次元配置された全有効画素を読み出すことが可能な構成とされている。
図10を参照するに、読出画素51Sは図中上側の行に配置され、参照画素51Rは図中下側の行に配置されている。
上側の行に注目すると、アイドル画素51I−1、読出画素51S−1、アイドル画素51I−2、読出画素51S−2、アイドル画素51I−3の順に配置されている。この読出画素51S−1と読出画素51S−2は、同時に信号が読み出される。
下側の行に注目すると、参照画素51R−1、アイドル画素51I−4、参照画素51R−2、アイドル画素51I−5、参照画素51R−3の順に配置されている。
図10に示した場合、例えば、読出画素51S−1と参照画素51R−1がペアとされ、後述するように、読出画素51S−1と参照画素51R−1で差動増幅回路が形成され、差動型の読み出しが行われる。
また同様に、例えば、読出画素51S−2と参照画素51R−2がペアとされ、後述するように、読出画素51S−2と参照画素51R−2で差動増幅回路が形成され、差動型の読み出しが行われる。
この場合、読出画素51Sの左下側に配置されている画素が、参照画素51Rに設定される例である。このように、読出画素51Sと参照画素51Rは、異なる行であり、異なる例に配置されているようにすることも可能である。
ここでは、図9に示したように、読出画素51Sと参照画素51Rは、列(縦方向)に配置されている場合を例に挙げて説明を続ける。
図9を参照した説明に戻る。図9に示した画素51Sは、PD61S、PRC(信号処理回路)311S、コンデンサ312S、スイッチ313S、NMOSトランジスタ314S、PMOSトランジスタ315S、OR回路316S、およびスイッチ317Sを備える。
同様に画素51Rは、PD61R、PRC311R、コンデンサ312R、スイッチ313R、NMOSトランジスタ314R、PMOSトランジスタ315R、OR回路316R、およびスイッチ317Rを備える。
画素51Sと画素51Rは、同様の構成をしているため、画素51Sを例に挙げて説明する。PD61Sは、PRC311Sと接続されている。図4を参照して説明したように、PD61からの信号は、イベント検出部52に供給される。イベント検出部52の構成は、図5を参照して説明したような構成を有し、PD61からの信号は、電流電圧変換部81に供給される。
PRC311Sは、PD61Sからの信号を処理する処理回路として設けられている。PRC311Sは、イベント検出部52の電流電圧変換部81に該当し、例えば、PD61Sからの信号を電圧信号に変換する処理を実行する。PRC311は、コンデンサ312Sと接続されている。
コンデンサ312Sは、スイッチ313Sの一端と、NMOSトランジスタ314Sのゲートに接続されている。NMOSトランジスタ314Sのソースは、電流供給線319に接続されている。電流供給線319は、一定電流源である負荷MOS回路320に接続されている。NMOSトランジスタ314Sのドレインは、PMOSトランジスタ315Sのドレインに接続されている。
一定電流源である負荷MOS回路320は、図9に示したように、2画素共有で設けられていても良いし、画素毎に設けられている構成としても良い。さらには、列方向で配置されている複数の画素51(2以上の画素51)で共有される構成としても良い。
PMOSトランジスタ315Sのゲートは、参照画素である画素51R内のPMOSトランジスタ315Rのゲートと接続されている。PMOSトランジスタ315Sのソースは、電源VDD(不図示)に接続されている。
読出画素である画素51S内のPMOSトランジスタ315Sのドレインは、スイッチ318Sの一端と接続されている。スイッチ318Sの他端は、垂直信号線321に接続されている。スイッチ318Sは、画素51Sが読み出し対象の画素に設定されているとき閉じられる構成とされている。
スイッチ317Sの一端は、ACK信号線322に接続され、他端はOR回路316Sの2入力のうちの1入力側に接続されている。ACK信号線322は、アービタ33(図2)と接続されている。詳細は後述するが、ACK信号線を介して、信号ACKenが供給されたとき、スイッチ317Sは閉じられる。
図9に示した構成において、PMOSトランジスタ315SとPMOSトランジスタ315Rは、カレントミラー回路を構成している。またこのカレントミラー回路を構成するPMOSトランジスタ315SとPMOSトランジスタ315Rを含み、NMOSトランジスタ314SとNMOSトランジスタ314Rを加えた部分は、差動増幅回路を構成している。
この場合、PMOSトランジスタ315S,315Rは、信号を読み出す側のMOSトランジスタとして機能し、NMOSトランジスタ314S,314Rは、信号を入力する側のMOSトランジスタとして機能する。
読み出し側のMOSトランジスタを、NMOSトランジスタとし、入力側のMOSトランジスタをPMOSトランジスタとした構成であっても良い。
また、この差動増幅回路を構成するPMOSトランジスタ315S、PMOSトランジスタ315R、NMOSトランジスタ314S、およびNMOSトランジスタ314Rを含む部分は、イベント検出部52の量子化部84(図5,図7)に該当する。
図7を参照して説明したように、量子化部84は、減算部83からの信号、換言すれば、PD61からの信号と、所定の閾値(電圧)Vth(>0)とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして、転送部85に出力する。図9に示した構成においては、所定の閾値は、参照画素である画素51Rから供給される信号である。
図9に示した画素アレイ部31aにおいては、読出画素である画素51SのNMOSトランジスタ314Sのゲート側に供給される電圧値VdiffSと、参照画素である画素51RのNMOSトランジスタ314Rのゲート側に供給される電圧値VdiffRのどちらが大きいかを表す差分値が、スイッチ318Sに供給され、垂直信号線321を介して転送部85(図5)に供給される。
電圧値VdiffSは、読出画素における光量の時間変化量を表し、電圧値VdiffSは、参照画素における光量の時間変化量を表す。画素51Sと画素51Rは、図9に示すように、異なる位置に配置されている画素である。よって、図9に示した構成は、読出画素と参照画素の光量の時間変化量を、空間差分で読み出す構成を有しているといえる。
図11のタイミングチャートを参照し、図9に示した画素アレイ部31aにおける読出し動作について説明する。時刻t11において、スイッチ318Sを閉じる指示を出す信号SELaがHレベルの信号とされる。信号SELaがHレベルの信号にされることで、スイッチ318Sは閉じられ、読出画素である画素51Sから、垂直信号線321に信号が出される。
垂直信号線321に印加される信号(図11中、VSLと記載した信号)は、時刻t11から徐々に大きくなり、一定の値まで達する。信号ACKは、カラム回路(不図示)が信号を受け取った時点でHレベルにされる信号である。時刻t12において、信号ACKがHレベルにされる。その後、時刻t13において、信号ACKenがHレベルにされる。この信号ACKenは、リセットの開始を示す信号である。
信号ACKenがHレベルにされると、スイッチ313Sは閉じられ、OR回路316Sとコンデンサ312Sが接続された状態となる。スイッチ313Sは、スイッチ104(図7)と同様の役割を有し、オンの状態にされることで、コンデンサ312Sがリセットされる。このコンデンサ312Sをリセットするためのリセット信号は、グローバルなリセット信号RST Gと、信号ACKenによるリセット信号RST PaとのORの関係で生成される。
垂直信号線321に印加される信号が0レベルになると、信号ACKenは、Lレベルの信号へと切り替えられる(時刻t14)。信号ACKenが、Lレベルの信号となることで、スイッチ313Sは開放される。時刻t15において、信号SELaがLレベルに切り替えられることで、スイッチ318Sが開放される。また、時刻t15において、信号ACKもLレベルに切り替えられることで、スイッチ317Sが開放される。
図9に示した構成において、図11に示したタイミングチャートに基づく処理が実行されると、リセットは画素51Sと画素51Rにおいて、同期して行われることになる。
図9に示した構成によれば、回路構成を小さくすることができる。ここで比較のため、再度、図7を参照する。図7は、イベント検出部52を構成する減算部83と量子化部84の構成例を示す図であった。図7に示した構成は、画素51(画素ブロック41、図4)毎に設けられている。よって、画素51毎に、コンパレータ111を備えていることになる。画素51毎にコンパレータ111を備える構成した場合、コンパレータ111を配置するための面積が大きくなり、画素アレイ部31の小型化を妨げる一因となってしまう可能性があった。
図9に示した構成によれば、コンパレータ111を有さない構成とされている。図9に示した画素アレイ部31aは、コンパレータ111(量子化部84)に該当する部分は有しているが、その部分は2画素に渡って構成されている。また、図9に示した画素アレイ部31aにおいては、減算部83に該当する部分は、コンパレータ111に該当する部分に含まれている。よって、図9に示した画素アレイ部31aは、小型化できる構成である。
また、読出画素と参照画素は隣接した画素である。すなわち、閾値電圧を供給する参照画素は、読出画素付近にあるため、閾値電圧を画素付近で生成する構成とすることができる。よって、高速な読み出しを実現することができる。また、隣接する画素を用いるため、温度特性をキャンセルでき、フリッカの影響を抑制することができる。
<第2の実施の形態>
図12は、第2の実施の形態におけるDVSチップ11のうちの画素アレイ部31bの構成を示す図である。第1の実施の形態における画素アレイ部31a(図9)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
第2の実施の形態における画素アレイ部31bは、第1の実施の形態における画素アレイ部31aと比較し、コンデンサ341S,341R、スイッチ342S,342R、およびスイッチ343S,343Rが追加された構成とされている点以外は、同様である。
コンデンサ341Sは、NMOSトランジスタ314Sのゲートとドレインを接続する位置に配置されている。同じくコンデンサ341Rは、NMOSトランジスタ314Rのゲートとドレインを接続する位置に配置されている。
図12に示した画素アレイ部31bにおいても、上側の画素51Sを読出画素とし、下側の画素51Rを参照画素とするが、図12に示した構成では、読出画素と参照画素を入れ替えることができる構成とされている。
画素51S内には、スイッチ342Sとスイッチ343Sが配置されている。スイッチ342Sは、画素51Sを読出画素として機能させるときに閉じられるスイッチである。スイッチ343Sは、画素51Sを読出画素として機能させないときに閉じられるスイッチであり、画素51Rを参照画素として機能させるときに閉じられるスイッチである。
スイッチ342Sとスイッチ343Sは、一方が閉じられているときには、他方は開放されている状態となるように制御される。スイッチ342Sが閉じられているときには、読出画素としての画素51Sと参照画素としての画素51Rの差分が垂直信号線321に供給される状態にされる。スイッチ343Sが閉じられているときには、PMOSトランジスタ315Sのドレイン側にかかる電圧が、OR回路316Sの1入力側に供給される状態にされる。
画素51R内には、スイッチ342Rとスイッチ343Rが配置されている。スイッチ342Rは、画素51Rを読出画素として機能させるときに閉じられるスイッチである。スイッチ343Rは、画素51Rを読出画素として機能させないときに閉じられるスイッチであり、画素51Sを参照画素として機能させるときに閉じられるスイッチである。
スイッチ342Rとスイッチ343Rは、一方が閉じられているときには、他方は開放されている状態となるように制御される。スイッチ342Rが閉じられているときには、読出画素としての画素51Rと参照画素としての画素51Sの差分が垂直信号線321に供給される状態にされる。スイッチ343Rが閉じられているときには、PMOSトランジスタ315Rのドレイン側にかかる電圧が、OR回路316Rの1入力側に供給される状態にされる。
スイッチ342S、スイッチ342Rは、読出画素として機能するときに閉じられるスイッチであり、一方が閉じられているとき、他方は開放されている状態となるように制御される。スイッチ343S、スイッチ343Rは、参照画素として機能するときに閉じられるスイッチであり、一方が閉じられているとき、他方は開放されている状態となるように制御される。
図12では、列方向に配置されている2画素の一方を読出画素、他方を参照画素とする場合を例に挙げて説明しているため、上記したようなスイッチの制御となる。列方向に配置されている複数の画素の1つを読出画素とし、その読出画素に隣接する画素を参照画素として、順次読出画素(参照画素)を切り替えながら読出しを行う構成とすることもできる。
複数の画素を順次読出画素に設定し、読出しを行う場合、読出画素に設定された画素51内のスイッチ342が閉じられ、垂直信号線321と接続される。また、参照画素に設定された画素51内のスイッチ343は、閉じられ、PMOSトランジスタ315のドレイン側にかかる電圧が、OR回路316の1入力にかかる状態にされる。読出画素または参照画素に設定された画素51以外の画素51のスイッチ342とスイッチ343は、開放された状態とされる。
図12に示した状態は、図中上側に示した画素51Sが読出画素に設定され、図中下側に示した画素51Sが参照画素に設定されている状態を示している。このような設定の場合、画素51S内のスイッチ342Sは閉じられ、スイッチ343Sは開放されている状態である。また、画素51R内のスイッチ342Rは開放され、スイッチ343Rは閉じられている状態である。
図12に示したスイッチの状態の場合、図9に示した画素アレイ部31aの状態と同様となり、参照画素51RのPMOSトランジスタ315Rのドレインとゲート、および読出画素51SのPMOSトランジスタ315Sのゲートが接続された状態となる。よって、第1の実施の形態と同じく、読出画素と参照画素の差分が垂直信号線321に供給される構成となる。
また第1の実施の形態と同じく、差動増幅回路を構成するPMOSトランジスタ315S、PMOSトランジスタ315R、NMOSトランジスタ314S、およびNMOSトランジスタ314Rを含む部分と、スイッチ342S,342Rとスイッチ343S,343Rをさらに含む部分は、イベント検出部52の量子化部84(図5,図7)に該当する。
図12に示した第2の実施の形態における画素アレイ部31bにおいても、第1の実施の形態と同じく、読出画素である画素51SのNMOSトランジスタ314Sのゲート側に供給される電圧値VdiffSと、参照画素である画素51RのNMOSトランジスタ314Rのゲート側に供給される電圧値VdiffRのどちらが大きいかを表す差分値が、スイッチ342Sに供給され、垂直信号線321を介して転送部85(図5)に供給される。
電圧値VdiffSは、読出画素における光量の時間変化量を表し、電圧値VdiffRは、参照画素における光量の時間変化量を表す。画素51Sと画素51Rは、図12に示すように、異なる位置に配置されている画素である。よって、図12に示した構成も第1の実施の形態と同じく、読出画素と参照画素の光量の時間変化量を、空間差分で読み出す構成を有しているといえる。
また、図12に示した構成によれば、コンパレータ111を有さない構成とされているため、画素アレイ部31bを小型化できる。
図13のタイミングチャートを参照し、図12に示した画素アレイ部31bにおける読出し動作について説明する。図12に示した画素アレイ部31bは、複数の画素51で同期してリセットする場合と、非同期でリセットする場合とに対応している。まず、複数の画素51で同期してリセットする場合の読出し動作について説明を加える。
信号SELaと信号ACKenは、行毎の同期信号とされている。また、信号SELaと信号ACKenは、画素51外から供給される制御信号とされている。図12には図示していないが、例えば、画素51Sの左側や右側の行方向にも、他の画素51Sが配置されている。信号SELaと信号ACKenは、行方向に配置されている画素51に対して、同タイミングで供給される信号である。
信号SELaは、読出し有効信号であり、Hレベルにされると、スイッチ342がオンの状態にされ、垂直信号線321に信号が出される状態にされる。この信号SELaは、時刻t21から時刻t24の間、Hレベルとされ、その間、スイッチ342、例えば、図12におけるスイッチ342Sは閉じられた状態とされる。
時刻t22において、信号ACKenがHレベルにされると、それまで垂直信号線321に供給されていた信号(以下、VSL信号と記述する)が、OR回路316Sの一方の入力に伝搬される。OR回路316SにVSL信号が伝搬されると、グローバルなリセット信号RST GとORの関係でリセット信号が、OR回路316Sで生成され、出力される。このリセット信号を有効とすることで、すなわちこの場合、スイッチ313SをOR回路316Sの出力側と接続することで、画素51SのVdiffsがリセットされる。
このような読出し動作が繰り返し行われることで、各画素51から信号が読み出される。
次に複数の画素51において、非同期でリセットする場合の読出し動作について説明を加える。非同期でリセットする場合も、タイミングチャートとしては、図11に示したタイミングチャートとなる。
信号SELaは、行毎の同期信号とされている。また、信号SELaは、画素51外から供給される制御信号とされている。非同期のリセットの場合、信号ACKenは、画素51内から供給される制御信号とされている。
信号SELaは、上記した場合と同じく、時刻t21から時刻t24の間、Hレベルとされ、その間、スイッチ342、例えば、図12におけるスイッチ342Sが閉じられた状態とされる。スイッチ342Sが閉じられることで、垂直信号線321にVSL信号が供給される。
画素アレイ部31b外に設けられているカラム回路(不図示)は、VSL信号の供給を受けると信号ACKenを生成する。具体的には、VSL信号がHighとして読み出されたカラムに対してのみ信号ACKenはHレベルにされる。VSL信号がHighとして読み出されないカラムに対しては、信号ACKenは、Lレベルのままとされる。
このように信号ACKenが制御されることで、VSL信号がHighの画素51、換言すれば輝度の変化があった画素51のみを、信号ACKenによる制御対象とすることができる。Hレベルの信号ACKenの供給を受けた画素51Sにおいては、VSL信号が、OR回路316Sのリセット信号RST Paとして伝搬される状態となる。
この後の動作は上記した場合と同様である。このように、信号ACKenをVSL信号がHighの画素51のみに供給されるようにすることで、輝度変化のあった画素51のみを対象としたリセットを行うことができる。
なお、上記および以下に説明する実施の形態において、グローバルなリセット信号RST Gは、一例であり、必須の構成ではない。
第2の実施の形態における画素アレイ部31bも、小型化できる。また、第1の実施の形態と同じく、閾値電圧を供給する参照画素は、読出画素付近にあるため、閾値電圧を画素付近で生成する構成とすることができる。よって、高速な読み出しを実現することができる。また、隣接する画素を用いるため、温度特性をキャンセルでき、フリッカの影響を抑制することができる。このような効果は、以下に説明する第3乃至第15の実施の形態においても同様に期待できる効果である。
<第3の実施の形態>
図14は、第3の実施の形態におけるDVSチップ11のうちの画素アレイ部31cの構成を示す図である。第3の実施の形態における画素アレイ部31cの構成のうち、第2の実施の形態における画素アレイ部31b(図12)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
第3の実施の形態における画素アレイ部31cは、第2の実施の形態における画素アレイ部31bと比較し、共有量子化部361が追加された構成とされている点が異なり、他の点は同様である。
共有量子化部361は、画素51と垂直信号線321cとの間に設けられる。すなわち、第3の実施の形態における画素アレイ部31cは、画素51から読み出された信号は、共有量子化部361を介して、垂直信号線321cに供給される構造となっている。
共有量子化部361は、PMOSトランジスタ371、NMOSトランジスタ372、およびスイッチ373を備える構成とされている。画素51から読み出された信号は、共有量子化部361のPMOSトランジスタ371のゲートに供給される構成とされている。PMOSトランジスタ371のドレインは、スイッチ373の一端と、NMOSトランジスタ372のドレインに接続されている。
スイッチ373は、画素51Sが読出画素に設定されているとき、および画素51Rが読出画素に設定されているときに、閉じられ、垂直信号線321Cと接続される構成とされている。
NMOSトランジスタ372のゲートには、信号Vonと信号Voffが時分割に切り替えられて供給される。信号Vonと信号Voffは、図8を参照した説明において、閾値Vthと閾値Vth’に該当する。ここでは、信号Vonは、閾値Vthに該当し、信号Voffは、と閾値Vth’に該当するとして説明を続ける。
共有量子化部361を設けることで、イベントの他、イベントとしての光量変化の極性も検出できる構成となる。
図8の量子化部84と同じく、共有量子化部361は、画素51側から供給される差信号が、時分割で供給される信号Vonよりも大きい場合、Hレベルを、正極性のイベントの発生を表すイベントデータとして出力し、差信号が信号Vonより大きくない場合、0を表すLレベルを、正極性のイベントが発生していないことを表すイベントデータとして出力する。
また共有量子化部361は、差信号が信号Voffより小さい場合(負の値の差信号の絶対値が信号Voffより大きい場合)、1を表すHレベルを、負極性のイベントの発生を表すイベントデータとして出力する。また、共有量子化部361は、差信号が信号Voffより小さくない場合(負の値の差信号の絶対値が信号Voffより大きくない場合)、0を表すLレベルを、負極性のイベントが発生していないことを表すイベントデータとして出力する。
このように、共有量子化部361を設けることで、正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、又は、イベントが発生していないことを表すイベントデータを、転送部85に出力する構成とすることができる。
図14に示した画素アレイ部31cにおいては、差動増幅回路を構成するPMOSトランジスタ315S、PMOSトランジスタ315R、NMOSトランジスタ314S、およびNMOSトランジスタ314Rを含む部分と、スイッチ342S,342Rとスイッチ343S,343Rをさらに含む部分は、イベント検出部52の減算部83(図5,図8)に該当し、共有量子化部361は、量子化部84(図5,図8)に該当する。
図14に示した共有量子化部361は、画素51Sと画素51Rの2画素で共有される量子化部として記載しているが、2以上の画素で共有される量子化部として設けることも可能である。共有量子化部361を、複数(n個とする)の画素51で共有される量子化部として設けた場合、n個の画素51が読出画素に設定されているときには、スイッチ373は閉じられているように制御される。
第3の実施の形態においても、画素アレイ部31cを小型化することが可能である。第3の実施の形態における画素アレイ部31cは、共有量子化部361を備えるが、2画素以上の画素に共通して設けられるため、1画素毎に設ける場合よりも少ない個数となる。よって、共有量子化部361を備える構成とした場合であっても、画素アレイ部31cを小型化できる。
<第4の実施の形態>
図15は、第4の実施の形態におけるDVSチップ11のうちの画素アレイ部31dの構成を示す図である。第2の実施の形態における画素アレイ部31b(図12)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
第1乃至第3の実施の形態では、列方向に配置されている2画素に注目した構成であったが、第4の実施の形態では、さらに行方向に配置されている画素にも注目した構成である。
図15では、画素アレイ部31dに配置されている2×2の4画素を図示している。図中、左側に示した画素51S−1と画素51R−1は、図14に示した画素51Sと画素51Rに該当するとする。この画素51S−1の図中右隣の画素を51S−2とし、画素51R−1の図中右隣の画素を51R−2とする。この場合、画素51S−1と画素51S−2が読出画素として設定され、画素51R−1と画素51R−2が参照画素として設定されている状態である。
図15では、説明の都合上、図中右側に示した画素51S−2と画素51R−2は、構成を一部省略して記載してあるが、図中左側に示した画素51S−1と画素51R−1と同様の構成とされている。以下の説明においても、一部省略して図示してあるが、画素アレイ部31内の画素51は、基本的に同一の構成とされている。
第4の実施の形態における画素アレイ部31dの画素51は、第2の実施の形態における画素アレイ部31bの画素51と同様の構成であるが、隣接する画素と接続されている点が異なる。図15に示した例では、参照画素同士が接続されている。以下、横方向に配置されている参照画素同士を接続する構成を、適宜、横繋ぎの構成と記述する。
第1乃至第3の実施の形態と同じく、第4の実施の形態においても読出画素と参照画素は接続されている。具体的には画素51S−1のPMOSトランジスタ315S−1のゲートと、画素51R−1のPMOSトランジスタ315R−1のゲートは接続されている。また、画素51S−2のPMOSトランジスタ315S−2のゲートと、画素51R−2のPMOSトランジスタ315R−2のゲートも接続されている。
さらに、参照画素に設定されている画素51R−1のPMOSトランジスタ315R−1のゲートと画素51R−2のPMOSトランジスタ315R−2のゲートも接続されている。よって、図15に示した画素51S−1、画素51R−1、画素51R−2、および画素51S−2は、それぞれに含まれるPMOSトランジスタ315のゲートが接続された状態とされている。
このような接続は、カレントミラー回路を横繋ぎした構成ともいえる。すなわち、画素51S−1のPMOSトランジスタ315S−1と、画素51R−1のPMOSトランジスタ315R−1が接続されていることで、カレントミラー回路が構成されている。また、画素51S−2のPMOSトランジスタ315S−2と、画素51R−2のPMOSトランジスタ315R−2が接続されていることで、カレントミラー回路が構成されている。そして、この2つのカレントミラー回路は、横繋ぎで接続されている。
このように、参照画素同士を接続することで、信号電圧と同じ回路で参照電圧を生成することができ、温度特性をキャンセルする構成とすることができる。また、フリッカの影響を画素回路の中でキャンセルすることができる構成とすることができる。よって、ノイズを低減した読み出しを行うことができる。
なお、参照画素は読出画素に順次設定されることで、読み出しが行われる構成とした場合、図15に示すように、行方向(図中横方向)に設けられた画素51間にスイッチ391を設けた構成としても良い。例えば、図15に示した構成においては、画素51R−1と画素51R−2の間にスイッチ391が設けられている。このスイッチ391は、参照画素に設定された画素51同士を接続するスイッチとして設けられている。換言すれば、参照画素以外に設定されているときには、開放されるスイッチとして設けられている。
横方向に配置されている参照画素51Rを接続した横繋ぎの構成を適用した場合、読出画素51Sと参照画素51Rの関係の一例としては、図16に示すような関係がある。図16は、1つの読出画素51S−1に対して、複数の参照画素51Rが対応付けられた場合を示している。
読み出し行に設定された図中上側の行は、読出画素51S−1以外の画素は、アイドル画素51Iに設定されている。参照行に設定された図中下側の行は、横繋ぎ構成のため、参照画素51R−1乃至51R−5が接続された状態とされている。
読み出し行に設定されている行に位置するアイドル画素51Iは、順次、読出画素51Sに設定され、横繋ぎされている参照画素51R−1乃至51R−5からの信号との差分が算出される。
なお、図16では、読み出し行に設定された行内に、1つの読出画素51Sが設定される場合を示したが、図17に示すように、複数の画素が、読出画素51Sに設定され、同時に信号が読み出されるように構成することもできる。
図17は、横繋ぎ構成とした場合の、読出画素51Sと参照画素51Rの他の関係の一例を示す図である。また、図17に示した例は、読み出し行に設定された行内に、複数の読出画素51Sが設定された場合の例である。
図17に示した例は、読み出し行に設定された行内の画素全てを、読み出し画素として設定した場合を示している。図17では、読み出し画素として、読出画素51S−1乃至51S−5が設定されている。
図17に示した例において、参照画素は、図16に示した例と同じく、参照画素の行として設定された行内の全ての画素が横繋ぎ構成で接続されている場合を示している。
このように、複数の読出画素51Sを設定し、横繋ぎされた参照画像51Rとの差分が、同時にそれぞれの読出画素51Sで算出され、出力されるように構成することもできる。
また、図18に示すように、参照画素51Rは、参照画素の行に設定された行内の全ての画素を接続するのではなく、所定の画素数だけ離れた位置にある参照画素同士を接続する構成とすることもできる。
図18に示した例では、図中下側に示した参照画素の行に設定された行内のうち、参照画素51R−1、参照画素51R−2、および参照画素51R−3が設定され、その間の画素は、アイドル画素51I−4とアイドル画素51I―5に設定されている。
図18に示した例では、参照画素51R−1乃至51R−3が横繋ぎで接続されている。次のタイミングでは、アイドル画素51I−4とアイドル画素51I−5が、参照画素51Rに設定され、横繋ぎ接続される。
図18では、読み出し画素の行に設定された行内のうち、読出画素51S−1と読出画素51S−2が設定され、その間の画素は、アイドル画素51I−1乃至51I−3に設定されている。
読出画素51S−1と読出画素51S−2は、横繋ぎに接続されている参照画素51R−1乃至51R−3からの信号を参照信号とした差分を、それぞれ算出し、同時に出力する。
このように、参照画素51Rを横繋ぎ構成とした場合、読出画素51Sと参照画素51Rは、1対多の関係で読み出しが行われる。
さらに、図19に示すように、参照画素51Rは、複数の行に配置されていても良い。
図19では、読み出し行に設定された行内のうち、読出画素51S−1、読出画素51S−2、読出画素51S−3、および読出画素51S−4が設定され、その間の画素は、アイドル画素51I−1乃至51I−4に設定されている。
読み出し行の次の行(図中中段)は、参照画素の行に設定され、その行内のうち、参照画素51R−1と参照画素51R−2が設定され、その間の画素は、アイドル画素51I−5乃至51I−10に設定されている。
さらに、参照画素の行の次の行(図中下段)も、参照画素の行に設定され、その行内のうち、参照画素51R−3と参照画素51R−4が設定され、その間の画素は、アイドル画素51I−11乃至51I−16に設定されている。
複数行(この場合2行)にわたって配置されている参照画素51R−1乃至51R−4は、横繋ぎ構成により接続されている。ここでは、横繋ぎ構成と記述しているが、行方向(横方向)に配置されている画素だけでなく、列方向(縦方向)に配置されている画素も接続される構成とすることができる。
ここでは、図19に示したように、2行にわたって配置されている参照画素51R−1乃至51R−4が接続されている場合を例に挙げて説明しているが、2以上の行にわたって配置されている参照画素51Rが接続される構成とすることもできる。
読出画素51S−1と読出画素51S−2は、接続されている参照画素51R−1乃至51R−4からの信号を参照信号とした差分を、それぞれ算出し、同時に出力する。
第4の実施の形態においても、画素アレイ部31dの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
図15に示した第4の実施の形態における画素アレイ部31dは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図20に示すように、電流源を横繋ぎする構成としても良い。
図20に示した画素アレイ部31dは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第5の実施の形態>
図21は、第5の実施の形態におけるDVSチップ11のうちの画素アレイ部31eの構成を示す図である。第3の実施の形態における画素アレイ部31c(図14)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図21を参照して説明した第4の実施の形態における画素アレイ部31dは、第2の実施の形態における画素アレイ部31b(図12)に対して横方向(行方向)に配置されている参照画素を接続する構成(横繋ぎの構成)であった。このような横繋ぎの構成は、第3の実施の形態における画素アレイ部31cに対しても適用できる。
図21に示した第5の実施の形態における画素アレイ部31eは、第3の実施の形態における画素アレイ部31cに対して横繋ぎの構成を適用した構成とされている。すなわち、共有量子化部361eが、読出画素間および参照画素間に設けられた構成とされている。
共有量子化部361eは、図14に示した共有量子化部361と同様の構成を有し、読出画素と参照画素の差分として出力された信号と、閾値信号Vonまたは閾値信号VOFFを比較した結果を、垂直信号線321cに出力する構成とされている。また、第4の実施の形態の画素アレイ部31dと同じく、画素51S−1、画素51R−1、画素51R−2、および画素51S−2は、それぞれに含まれるPMOSトランジスタ315のゲートが接続された状態とされている。
このように、共有量子化部361eを備える構成とすることもできる。第5の実施の形態においても、画素アレイ部31eの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
図21に示した第5の実施の形態における画素アレイ部31eは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図22に示すように、電流源を横繋ぎする構成としても良い。
図22に示した画素アレイ部31eは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第6の実施の形態>
図23は、第6の実施の形態におけるDVSチップ11のうちの画素アレイ部31fの構成を示す図である。第6の実施の形態における画素アレイ部31fにおいて、第5の実施の形態における画素アレイ部31e(図21)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図23に示した第6の実施の形態における画素アレイ部31fは、第5の実施の形態の画素アレイ部31eにメモリ部411を追加した構成とされている点が異なる。
メモリ部411は、メモリ412を含む構成とされている。メモリ部411は、共有量子化部361fと垂直信号線321fの間に設けられている。共有量子化部361e(図21)内に設けられていたスイッチ373は、メモリ部411を設けた場合、共有量子化部361f内には設けられず、メモリ部411と垂直信号線321fとの間に設けられる構成とされる。
すなわち、共有量子化部361fの出力は、メモリ部411のメモリ412に直接的に入力される構成とされ、メモリ412に記憶された信号は、スイッチ373fを介して、垂直信号線321fに出力される構成とされている。
選択されている読出画素と参照画素の組のところに設けられているスイッチ373fは閉じられ、選択されていない読出画素と参照画素の組のところに設けられているスイッチ373fは開放された状態となるようにスイッチ373fは制御される。
メモリ412は、共有量子化部361fからの出力結果を一時的に記憶し、スイッチ373fが閉じられたときに、記憶している信号を、垂直信号線321fに出力する構成とされている。メモリ412には、共有量子化部361からの正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、またはイベントが発生していないことを表すイベントデータが記憶される。
図23に示した第6の実施の形態における画素アレイ部31fは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図24に示すように、電流源を横繋ぎする構成としても良い。
図24に示した画素アレイ部31fは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第7の実施の形態>
メモリ412を複数設けることで、正極性のイベントの発生を表すイベントデータと負極性のイベントの発生を表すイベントデータを、それぞれ記憶するメモリ部411を備える構成とすることもできる。第7の実施の形態として、2つのイベントデータをそれぞれ記憶するメモリを有する画素アレイ部31gについて説明する。
図25は、第7の実施の形態におけるDVSチップ11のうちの画素アレイ部31gの構成を示す図である。第7の実施の形態における画素アレイ部31gにおいて、第6の実施の形態における画素アレイ部31f(図23)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図25に示した第7の実施の形態における画素アレイ部31gは、メモリ部411g内に、onメモリ421とoffメモリ422を有する構成とされている点が異なる。
onメモリ421は、共有量子化部361fに閾値信号Vonが供給され、正極性のイベントの発生を表すイベントデータが検出されたときに、正極性のイベントの発生を表すイベントデータを記憶するメモリである。offメモリ422は、共有量子化部361fに閾値信号Voffが供給され、負極性のイベントの発生を表すイベントデータが検出されたときに、負極性のイベントの発生を表すイベントデータを記憶するメモリである。
第6、第7の実施の形態においても、画素アレイ部31f,31gの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
なお、第6,第7の実施の形態は、図14に示した第3の実施の形態と組み合わせることも可能である。すなわち第6,第7の実施の形態におけるメモリ部411(メモリ部411g)を、図14に示した画素アレイ部31cに含まれる共有量子化部361の後段に設ける構成とすることもできる。
図25に示した第7の実施の形態における画素アレイ部31gは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図26に示すように、電流源を横繋ぎする構成としても良い。
図26に示した画素アレイ部31gは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第8の実施の形態>
図27は、第8の実施の形態におけるDVSチップ11のうちの画素アレイ部31hの構成を示す図である。第8の実施の形態における画素アレイ部31hにおいて、第5の実施の形態における画素アレイ部31e(図21)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
第3の実施の形態における画素アレイ部31c、第5の実施の形態における画素アレイ部31e、第6の実施の形態における画素アレイ部31f、第7の実施の形態における画素アレイ部31gは、それぞれ共有量子化部361を備える点で共通している。また共有量子化部361は、正極性または負極性のイベントの発生を表すイベントデータを出力する点で共通している。
第8の実施の形態における画素アレイ部31hとして、正極性のイベントの発生を表すイベントデータを出力する共有量子化部と、負極性のイベントの発生を表すイベントデータを出力する共有量子化部の2つを備える画素アレイ部31hについて説明する。
図27に示した第8の実施の形態における画素アレイ部31hは、第5の実施の形態の画素アレイ部31eの共有量子化部361eが、共有量子化部431と共有量子化部432の2つの量子化部で構成されている点が異なる。
共有量子化部431は、PMOSトランジスタ441、NMOSトランジスタ442、およびスイッチ443を備える構成とされている。同様に、共有量子化部432は、PMOSトランジスタ451、NMOSトランジスタ452、およびスイッチ453を備える構成とされている。
画素51から読み出された信号は、共有量子化部431のPMOSトランジスタ441のゲートと、共有量子化部432のPMOSトランジスタ451のゲートにそれぞれ供給される構成とされている。
共有量子化部431のNMOSトランジスタ442には閾値信号Vonが供給される。共有量子化部431は、正極性のイベントの発生を表すイベントデータを検出する。共有量子化部431により、正極性のイベントの発生を表すイベントデータが検出された場合であり、スイッチ443が閉じられているとき、垂直信号線444に信号が供給される。
共有量子化部432のNMOSトランジスタ452には閾値信号Voffが供給される。共有量子化部432は、負極性のイベントの発生を表すイベントデータを検出する。共有量子化部432により、負極性のイベントの発生を表すイベントデータが検出された場合であり、スイッチ453が閉じられているとき、垂直信号線454に信号が供給される。
このように2つの共有量子化部431,432を備え、正極性と負極性のイベントをそれぞれ検出する構成とすることもできる。
第8の実施の形態においても、画素アレイ部31hの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
なお、第8の実施の形態は、図14に示した第3の実施の形態と組み合わせることも可能である。すなわち第8の実施の形態における共有量子化部431と共有量子化部432を、図14に示した画素アレイ部31cに含まれる共有量子化部361の後段に設ける構成とすることもできる。
図27に示した第8の実施の形態における画素アレイ部31hは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図28に示すように、電流源を横繋ぎする構成としても良い。
図28に示した画素アレイ部31hは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第9の実施の形態>
図29は、第9の実施の形態におけるDVSチップ11のうちの画素アレイ部31iの構成を示す図である。第9の実施の形態における画素アレイ部31iにおいて、第4の実施の形態における画素アレイ部31d(図15)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
第9の実施の形態における画素アレイ部31iは、カレントミラー回路を構成する部分を、画素51外に設けた構成としている点が、第1乃至第8の実施の形態における画素アレイ部31と異なる。
読出画素に設定されている画素51S−1と参照画素に設定されている画素51R−1に対するカレントミラー回路として、PMOSトランジスタ511−1とPMOSトランジスタ512−1が、画素51外であり、画素アレイ部31内に設けられている。また、スイッチ513−1とスイッチ514−1も、画素51外であり、画素アレイ部31内に設けられている。
また、画素51S−1内には、スイッチ501S−1が設けられ、スイッチ501S−1が閉じられたときには、PMOSトランジスタ511−1のドレインとNMOSトランジスタ314Sのドレインが接続される状態となる。同様に画素51R−1内には、スイッチ501R−1が設けられ、スイッチ501R−1が閉じられたときには、PMOSトランジスタ512−1のドレインとNMOSトランジスタ314Rのドレインが接続される状態となる。
PMOSトランジスタ511−1は、例えば、図15に示した画素アレイ部31dの画素51S−1内のPMOSトランジスタ315S−1に該当する。PMOSトランジスタ512−1は、例えば、図15に示した画素アレイ部31dの画素51R−1内のPMOSトランジスタ315R−1に該当する。また、スイッチ513−1は、例えば、図15に示した画素アレイ部31dの画素51S−1内のスイッチ343Sに該当する。また、スイッチ514−1は、例えば、図15に示した画素アレイ部31dの画素51S−1内のスイッチ342Sに該当する。
スイッチ514−1は、画素51S−1を読出画素として機能させるときに閉じられるスイッチである。スイッチ513−1は、画素51Sを読出画素として機能させないときに閉じられるスイッチであり、画素51R−1を参照画素として機能させるときに閉じられるスイッチである。
スイッチ513−1とスイッチ514−1は、一方が閉じられているときには、他方は開放されている状態となるように制御される。スイッチ314−1が閉じられているときには、読出画素としての画素51S−1と参照画素としての画素51R−1の差分が垂直信号線516−1に供給される状態にされる。またスイッチ313−1が閉じられているときには、読出画素としての画素51R−1と参照画素としての画素51S−1の差分が垂直信号線515−1に供給される状態にされる。
このような画素51S−1と画素51R−1における構成と同様の構成が、画素51S−2と画素51R−2においても形成されている。すなわち、読出画素に設定されている画素51S−2と参照画素に設定されている画素51R−2に対するカレントミラー回路として、PMOSトランジスタ511−2とPMOSトランジスタ512−2、スイッチ513−2、およびスイッチ514−2が、画素51外であり、画素アレイ部31内に設けられている。
カレントミラー回路同士は、横繋ぎ線531により接続されている。横繋ぎ線531には、PMOSトランジスタ511−1のゲートとPMOSトランジスタ512−1のゲートを接続する配線と、スイッチ513−1とスイッチ514−1を接続する配線が接続されている。また、横繋ぎ線531には、PMOSトランジスタ511−2のゲートとPMOSトランジスタ512−2のゲートを接続する配線と、スイッチ513−2とスイッチ514−2を接続する配線が接続されている。
この場合、カレントミラー回路のバイアス電圧が横繋ぎで接続された状態となる。このように、横繋ぎを行うことで、ノイズの発生を抑制することができる。
図29に示したように、横繋ぎ線531にスイッチ532を設けても良い。スイッチ532が閉じられることで、カレントミラー回路のバイアス電圧が横繋ぎの状態となるため、そのような横繋ぎの状態と、横繋ぎではない状態を、スイッチ532の開閉により制御できる構成とすることもできる。
図29に示した例では、カレントミラー回路の部分は、画素51S−1と画素51R−1の2画素で共有される例を示したが、2以上の画素51で共有される構成とすることも可能である。換言すれば、カレントミラー回路は、複数行で共有する回路として設けることが可能である。
カレントミラー回路を構成するPMOSトランジスタ511,512を画素51外に構成することで、画素51の構成を小型化することができる。また、カレントミラー回路を複数の画素51で共有する構成とすることで、画素アレイ部31iの構成を小型化することができる。よって第9の実施の形態においても、画素アレイ部31iの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
図29に示した第9の実施の形態における画素アレイ部31iは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図30に示すように、電流源を横繋ぎする構成としても良い。
図30に示した画素アレイ部31iは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第10の実施の形態>
図31は、第10の実施の形態におけるDVSチップ11のうちの画素アレイ部31jの構成を示す図である。第10の実施の形態における画素アレイ部31jにおいて、第9の実施の形態における画素アレイ部31i(図29)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図31に示した第10の実施の形態における画素アレイ部31jは、第9の実施の形態における画素アレイ部31i(図29)から、カレントミラー回路を画素アレイ部31外に配置した点以外は、同一である。
すなわち、図31に示した第10の実施の形態における画素アレイ部31jと、図29に示した第9の実施の形態における画素アレイ部31iは、同一の構成であるが、画素51外であるが画素アレイ部31i内に形成されていたカレントミラー回路が、画素51外であり、さらに画素アレイ部31j外である位置にカレントミラー回路が形成されている点が異なる。
カレントミラー回路を構成するPMOSトランジスタ511,512、スイッチ513,514などは、周辺回路に形成することができる。例えば、図1に示したようにデータ処理チップを形成した場合、DVSチップ11に積層されるロジックダイ12にカレントミラー回路を形成した構成とすることができる。
カレントミラー回路を、画素アレイ部31外に設けることで、画素アレイ部31の構成を小型化することができる。よって第10の実施の形態においても、画素アレイ部31jの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
図31に示した第10の実施の形態における画素アレイ部31jは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図32に示すように、電流源を横繋ぎする構成としても良い。
図32に示した画素アレイ部31jは、隣り合う画素の電流源が接続されている。具体的には、列方向に配置されている画素51S−1と画素51R−1の電流源(負荷MOS回路320)と、その隣の列の列方向に配置されている画素51S−2と画素51R−2の電流源(負荷MOS回路320)が横繋ぎ構成で接続されている。電流源(負荷MOS回路320)を接続する配線上にスイッチ392を設けた構成としても良い。
換言すれば、画素51S−1と画素51R−1に配線されている電流供給線319と、画素51S−2と画素51R−2に配線されている電流供給線319が接続される構成としても良い。また、電流供給線319間に、スイッチ392が設けられた構成とすることもできる。
スイッチ392は、スイッチ392と同時にオンまたはオフされる。よって、図16乃至19に示したように、参照画素51Rが設定された場合、参照画素51R同士を接続するスイッチ391とスイッチ392はオンにされる(閉じられる)。このように、電流源も横繋ぎされる構成とすることもできる。
<第11の実施の形態>
図33は、第11の実施の形態におけるDVSチップ11のうちの画素アレイ部31kの構成を示す図である。第11の実施の形態における画素アレイ部31kにおいて、第10の実施の形態における画素アレイ部31j(図31)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図33に示した第11の実施の形態における画素アレイ部31kは、図31に示した第10の実施の形態における画素アレイ部31jと比較して、画素51内に、メモリ551を追加した構成とされている点が異なり、他の点は同一である。
図33では、図31に示した画素アレイ部31jの右側に位置する画素51S−2と画素51R−2を図示していないが、図31に示した場合と同じく、横繋ぎ構成で接続されている。なお、以下の実施の形態においても図33と同じく、右側に図示していた画素51S−2と画素51R−2は図示しないが、横繋ぎ構成とされている。
画素51Sにはメモリ551Sが設けられ、画素51Rにはメモリ551Rが設けられている。メモリ551Sは、画素51Sが読出画素に設定されているときに、イベントが検出された場合、そのイベントデータを記憶する。同様に、メモリ551Rは、画素51Rが読出画素に設定されているときに、イベントが検出された場合、そのイベントデータを記憶する。
このように画素51内に、メモリ551を設け、イベントデータを記憶する構成とすることで、歪み(アーチファクト)の発生を軽減することができる。例えば、上の行と下の行の読み出しのタイミングが異なると、動きの速い物体を撮影しているときなどには、その読み出しタイミングの違いにより、歪みが発生してしまう可能性があった。
メモリ551を設けることで、2フェーズ(2-Phase)のグローバルシャッタを実現することができる。図33に示した構成において、スイッチ514の開閉を制御する信号を制御信号SELaとし、スイッチ513の開閉を制御する信号を制御信号SELbとする。また、メモリ551Sにイベントデータを書き込むタイミングを制御する信号を制御信号Mem WRaとし、メモリ551Rにイベントデータを書き込むタイミングを制御する信号を制御信号Mem WRbとする。
制御信号SELaと制御信号Mem WRaは、全ての奇数行で共有される信号とし、制御信号SELbと制御信号Mem WRbは、全ての偶数行で共有される信号とする。
フェーズ1のときには、制御信号SELaと制御信号Mem WRaがアクティブな状態とされ、奇数行の画素51に輝度変化の結果(イベントデータ)が書き込まれる。フェーズ2のときには、制御信号SELbと制御信号Mem WRbがアクティブな状態とされ、偶数行の画素51に輝度変化の結果(イベントデータ)が書き込まれる。このような、2フェーズのグローバルシャッタを実現することができる。
第11の実施の形態においても、画素アレイ部31kの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。また歪みを低減した撮影を行うことが可能となる。
図33に示した第11の実施の形態における画素アレイ部31kは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図示はしないが、例えば図32に示した構成を適用し、電流源を横繋ぎする構成としても良い。
<第12の実施の形態>
図34は、第12の実施の形態におけるDVSチップ11のうちの画素アレイ部31mの構成を示す図である。第12の実施の形態における画素アレイ部31mにおいて、第11の実施の形態における画素アレイ部31k(図33)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図34に示した第12の実施の形態における画素アレイ部31mは、図33に示した第11の実施の形態における画素アレイ部31kと比較して、画素51内に、量子化部552を追加した構成とされている点が異なり、他の点は同一である。
画素51Sには量子化部552Sが設けられ、画素51Rには量子化部552Rが設けられている。
図34に示した第12の実施の形態における画素アレイ部31mは、画素51内に、量子化部552と量子化部552により量子化された結果を記憶するメモリ551を備える。量子化部552とメモリ551は、例えば、図23に示した画素アレイ部31fにおける共有量子化部361fとメモリ412に相当する部分とすることができる。
メモリ551を備えることで、上記したように、歪みの少ないグローバルシャッタを実現することができる。さらに量子化部552を設けることで、動作速度を向上させることができる。画素アレイ部31mは、上記した実施の形態と同じく、差動増幅回路を備える構成とされている。画素アレイ部31mは、さらに、増幅機能を有する量子化部552を、差動増幅回路の後段に備える構成とされている。よって、増幅率を上げることができ、動作速度を向上させることができる。
量子化部552に2つの閾値を記憶させ、その2つの閾値を用いた量子化が行われるようにすることもできる。2つの閾値とは、例えば、図23に示した画素アレイ部31fにおける共有量子化部361fに入力される閾値信号Vonと閾値信号Voffに該当する閾値とすることができる。2つの閾値を量子化部552に設定しておくことで、輝度が上がる、すなわち正極性の場合と、輝度が下がる、すなわち負極性の場合とを検出することが可能となる。
第12の実施の形態においても、画素アレイ部31mの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。また歪みを低減した撮影を行うことが可能となる。
図34に示した第12の実施の形態における画素アレイ部31mは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図示はしないが、例えば図32に示した構成を適用し、電流源を横繋ぎする構成としても良い。
<第13の実施の形態>
図35は、第13の実施の形態におけるDVSチップ11のうちの画素アレイ部31nの構成を示す図である。第13の実施の形態における画素アレイ部31nにおいて、第10の実施の形態における画素アレイ部31j(図31)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図35に示した第13の実施の形態における画素アレイ部31nは、図31に示した第10の実施の形態における画素アレイ部31jと比較して、画素51外に、量子化部571を追加した構成とされている点が異なり、他の点は同一である。
図35に示した第13の実施の形態における画素アレイ部31nは、画素アレイ部31n外に量子化部571を備える。この量子化部571は、例えば、図14に示した第3の実施の形態における画素アレイ部31cの共有量子化部361に該当し、複数の画素51に共有して用いられる量子化部として設けることができる。
量子化部571に2つの閾値を記憶させ、その2つの閾値を用いた量子化が行われるようにすることもできる。2つの閾値とは、例えば、図23に示した画素アレイ部31fにおける共有量子化部361fに入力される閾値信号Vonと閾値信号Voffに該当する閾値とすることができる。2つの閾値を量子化部571に設定しておくことで、輝度が上がる、すなわち正極性の場合と、輝度が下がる、すなわち負極性の場合とを検出することが可能となる。
第13の実施の形態においても、画素アレイ部31nの構成を小型化することができる。また、ノイズを低減した高効率での読み出しを行うことができる。
図35に示した第13の実施の形態における画素アレイ部31nは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図示はしないが、例えば図32に示した構成を適用し、電流源を横繋ぎする構成としても良い。
<第14の実施の形態>
図36は、第14の実施の形態におけるDVSチップ11のうちの画素アレイ部31pの構成を示す図である。第14の実施の形態における画素アレイ部31pにおいて、第4の実施の形態における画素アレイ部31d(図15)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図36に示した第14の実施の形態における画素アレイ部31pは、図15に示した第4の実施の形態における画素アレイ部31dと比較して、画素51に、コンデンサ601とコンデンサ602が追加された構成とされている点が異なり、他の点は同一である。
図36には、図15に示した画素51S−2と画素51R−2に該当する画素51は図示していないが、横繋ぎ構成とされ、図示していない画素51R−2と接続されている。後述する図38においても、同様である。
画素51Sは、コンデンサ601Sとコンデンサ602Sを有する。コンデンサ601Sの一端には、外部から、所定の電圧値を有する信号VTHa1が供給され、他端は、NMOSトランジスタ314Sのゲート側に接続されている。同じく、コンデンサ602Sの一端には、外部から、所定の電圧値を有する信号VTHa2が供給され、他端は、NMOSトランジスタ314Sのゲート側に接続されている。
同様に、画素51Rは、コンデンサ601Rとコンデンサ602Rを有する。コンデンサ601Rの一端には、外部から、所定の電圧値を有する信号VTHb1が供給され、他端は、NMOSトランジスタ314Rのゲート側に接続されている。同じく、コンデンサ602Rの一端には、外部から、所定の電圧値を有する信号VTHb2が供給され、他端は、NMOSトランジスタ314Rのゲート側に接続されている。
図36に示した画素アレイ部31pの構成は、横繋ぎの構成が採用されている例である。コンデンサ601やコンデンサ602は、横繋ぎでの容量のばらつきを緩和することを目的の1つとして設けられている。
図36に示した画素アレイ部31pの構成では、差動増幅回路に該当する部分は、イベント検出部52の量子化部84(図5)として動作する。図36に示した画素アレイ部31pの動作について、図37のタイミングチャートを参照して説明する。
ここでは、画素51Sが読出画素であり、画素51Rが参照画素である場合を例に挙げて説明する。横繋ぎの構成が採用されているため、参照画素が配置されている行(参照行)の平均電圧との比較がされる。具体的には、読出画素に設定された画素51Sに対して、参照行の平均電圧との比較が行われ、画素51Sの輝度変化が高くなるか、低くなるか、または変化がないかの状態がイベントデータとして検出される。
時刻t51において、制御信号SELaがHレベルにされることで、画素51Sが読出画素に設定され、スイッチ342Sがオンの状態にされる。時刻t51から時刻t54の間、制御信号SELbは、Lレベルの信号のまま維持され、信号VTHa1は、Hレベルのまま維持され、信号VTHa2は、Lレベルまま維持される。
時刻t52から時刻t53において、OFFイベント、すなわちこの場合、負極性のイベントの検出が行われる。時刻t52において、信号VTHb1は、HレベルからLレベルに切り替えられ、信号VTHb2はLレベルが維持される。すなわちこの場合、信号VTHb1と信号VTHb2は、共にLレベルに設定されている。信号VTHb1と信号VTHb2がLレベルであるときに、垂直信号線321への出力がHighとなる場合、負極性のイベントが検出されたことになる。
時刻t53から時刻t54において、ONイベント、すなわちこの場合、正極性のイベントの検出が行われる。時刻t53において、信号VTHb1は、LレベルからHレベルに切り替えられ、信号VTHb2はLレベルからHレベルに切り替えられる。信号VTHb1と信号VTHb2がともにHレベルのときに、垂直信号線321への出力がLOWとなる場合、正極性のイベントが検出されたことになる。
このように、画素51内にコンデンサを設け、参照画素とされた画素51に供給する信号VTHb1、信号VTHb2を制御することで、差動増幅回路に該当する部分を、量子化部として機能させ、イベントの発生を検出することができる。第14の実施の形態においても、画素アレイ部31pの構成を小型化することができる。
図36に示した第14の実施の形態における画素アレイ部31pは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図示はしないが、例えば図32に示した構成を適用し、電流源を横繋ぎする構成としても良い。
<第15の実施の形態>
図38は、第15の実施の形態におけるDVSチップ11のうちの画素アレイ部31qの構成を示す図である。第15の実施の形態における画素アレイ部31qにおいて、第14の実施の形態における画素アレイ部31p(図36)と同一の部分には、同一の符号を付し、その説明は適宜省略する。
図38に示した第15の実施の形態における画素アレイ部31qは、図36に示した第14の実施の形態における画素アレイ部31pと比較して、共有量子化部361qを追加した構成とされている点が異なり、他の点は同一である。また、共有量子化部361qは、図21に示した第5の実施の形態における画素アレイ部31eの共有量子化部361eに該当し、同様の構成を有し、基本的に同様の動作を行う。
図38に示した画素アレイ部31qの構成では、差動増幅回路に該当する部分は、イベント検出部52の減算部83(図5)として動作する。また、図38に示した画素アレイ部31qの構成では、共有量子化部361qは、イベント検出部52の量子化部84(図5)として動作する。図38に示した画素アレイ部31qの動作について、図39のタイミングチャートを参照して説明する。
図39のAに示したタイミングチャートを参照する。制御信号SELa、制御信号SELbVTHa1、信号VTHa2、信号VTHb1、および信号VTHb2は、図37に示した場合と同様である。すなわち、画素51Sや画素51Rで行われる動作は、第14の実施の形態における画素アレイ部31pの画素51Sや画素51Rと同様である。
共有量子化部361q内のNMOSトランジスタ372には、信号Vonと信号Voffが時分割で供給される。図39のAに示したタイミングチャートにおいては、信号Vonと信号Voffは、一定値の信号とされ、時刻t61から時刻t64までレベルが変化することがない信号とされている。このように、共有量子化部361qに供給される信号は、一定値とし、共有量子化部361qのバイアス電圧を1つにした制御を行う。
または、図39のBに示したタイミングチャートに基づく制御が行われるようにしても良い。図39のBに示したタイミングチャートは、信号Vonと信号Voffが時分割で供給される例を示している。
時刻t72から時刻t73において、負極性のイベントを検出するときには、信号Voff(Lレベルの信号)が供給される。時刻t73から時刻t74において、正極性のイベントを検出するときには、信号Von(Hレベルの信号)が供給される。
このように、共有量子化部361qを備える構成とし、イベントの発生を検出するようにしても良い。第15の実施の形態においても、画素アレイ部31qの構成を小型化することができる。
図38に示した第15の実施の形態における画素アレイ部31qは、カレントミラー回路を横繋ぎ構成した構成であった。さらに、図示はしないが、例えば図32に示した構成を適用し、電流源を横繋ぎする構成としても良い。
第4乃至第15の実施の形態においては、行方向での横繋ぎの構成を適用した場合を例に挙げて説明したが、ブロック毎に横繋ぎ構成を適用した構成としても良い。
第1乃至第15の実施の形態においては、画素51単位で処理する場合を例に挙げて説明したが、ブロック毎に処理される場合にも適用できる。
また、第1乃至第15の実施の形態においては、読出画素や参照画素が、順次切り替えられて読み出しが行われる例を挙げて説明したが、所定の画素を参照画素として固定し、その固定された参照画素との差分が読み出されるようにしても良い。また参照画素としては遮光された画素であっても良い。
なお、第1乃至第15の実施の形態を組み合わせた実施の形態も可能である。
本技術を適用することで、画素面積を小さくすることができる。また、閾値電圧を画素付近で生成する構成とすることができる。よって、高速な読み出しを実現することができる。また、隣接する画素を用いるため、温度特性をキャンセルでき、フリッカの影響を抑制することができる。
<移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図40は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図40に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図40の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図41は、撮像部12031の設置位置の例を示す図である。
図41では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図41には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
第1の光電変換素子と、
第2の光電変換素子と、
前記第1の光電変換素子と前記第2の光電変換素子の電圧の差に対応する差信号を生成する回路として、差動増幅回路と
を備え、
前記差動増幅回路からの信号により信号の変化であるイベントの発生を検出する
イベント検出装置。
(2)
前記差動増幅回路を構成するトランジスタは、前記第1の光電変換素子を含む第1の画素と、前記第2の光電変換素子を含む第2の画素に分散して配置されている
前記(1)に記載のイベント検出装置。
(3)
前記第1の画素と前記第2の画素のうちの一方を読出画素、他方を参照画素としたとき、前記差動増幅回路は、前記読出画素からの信号と前記参照画素からの信号の差分を出力する
前記(2)に記載のイベント検出装置。
(4)
前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタのうち、第1のトランジスタは前記第1の画素に含まれ、前記第2のトランジスタは前記第2の画素に含まれる
前記(2)に記載のイベント検出装置。
(5)
前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタは、前記第1の画素と前記第2の画素が配置されている画素アレイ部に含まれる
前記(2)に記載のイベント検出装置。
(6)
前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタは、前記第1の画素と前記第2の画素が配置されている画素アレイ部外に配置されている
前記(2)に記載のイベント検出装置。
(7)
前記第1の画素内の信号のリセットと、前記第2の画素内の信号のリセットは、外部からの信号により同期して行われる
前記(2)乃至(6)のいずれかに記載のイベント検出装置。
(8)
前記第1の画素内の信号のリセットと、前記第2の画素内の信号のリセットは、それぞれの画素内で生成される信号により非同期で行われる
前記(2)乃至(6)のいずれかに記載のイベント検出装置。
(9)
前記第1の画素と前記第2の画素は、ぞれぞれ、前記読出画素に設定されたときに閉じられる第1のスイッチと、前記参照画素に設定されたときに閉じられる第2のスイッチをさらに備える
前記(3)乃至(8)のいずれかに記載のイベント検出装置。
(10)
前記第1のスイッチを介して出力された信号と、所定の閾値とを比較した比較結果を前記イベントの発生を表すイベントデータとして出力する量子化部をさらに備える
前記(9)に記載のイベント検出装置。
(11)
前記量子化部からの出力を記憶するメモリ部をさらに備える
前記(10)に記載のイベント検出装置。
(12)
前記メモリ部は、第1の閾値と比較された結果を記憶する第1のメモリと、第2の閾値と比較された結果を記憶する第2のメモリを含む
前記(11)に記載のイベント検出装置。
(13)
前記第1のスイッチを介して出力された信号と、第1の閾値とを比較した比較結果を前記イベントの発生を表すイベントデータとして出力する第1の量子化部と、
前記第1のスイッチを介して出力された信号と、第2の閾値とを比較した比較結果を前記イベントの発生を表すイベントデータとして出力する第2の量子化部と
をさらに備える前記(9)に記載のイベント検出装置。
(14)
前記参照画素は接続され、
前記参照画素に含まれ、前記差動増幅回路に含まれるカレントミラー回路を構成するトランジスタが接続されている
前記(3)乃至(13)のいずれかに記載のイベント検出装置。
(15)
前記第1の画素は、前記イベントの発生を表すイベントデータを記憶する第1のメモリを含み、
前記第2の画素は、前記イベントの発生を表すイベントデータを記憶する第2のメモリを含み、
前記第1のメモリへの書き込みと前記第2のメモリの書き込みは、異なるタイミングで行われる
前記(2)乃至(14)のいずれかに記載のイベント検出装置。
(16)
前記第1の画素は、前記差動増幅回路からの出力と所定の閾値とを比較する第1の量子化部を含み、
前記第2の画素は、前記差動増幅回路からの出力と所定の閾値とを比較する第2の量子化部を含み、
前記第1のメモリは、前記第1の量子化部からの出力を記憶し、
前記第2のメモリは、前記第2の量子化部からの出力を記憶する
前記(15)に記載のイベント検出装置。
(17)
前記差動増幅回路からの出力と所定の閾値とを比較する量子化部をさらに備え、
前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタ、および前記量子化部は、前記第1の画素と前記第2の画素が配置されている画素アレイ部外に配置されている
前記(2)に記載のイベント検出装置。
(18)
第1の閾値信号が供給される第1のコンデンサと、第2の閾値信号が供給される第2のコンデンサがさらに備えられ、
前記第1のコンデンサと前記第2のコンデンサは、光電変換素子と差動増幅回路を構成するトランジスタとの間に接続されている
前記(1)に記載のイベント検出装置。
(19)
前記第1の閾値信号と前記第2の閾値信号は、前記差動増幅回路に参照信号を供給する参照画素に供給される
前記(18)に記載のイベント検出装置。
(20)
前記差動増幅回路からの出力と第1の閾値との比較結果を、前記イベントとして検出するとき、前記第1の閾値信号と前記第2の閾値信号は共にHレベルの信号とされ、
前記差動増幅回路からの出力と第2の閾値との比較結果を、前記イベントとして検出するとき、前記第1の閾値信号と前記第2の閾値信号は共にLレベルの信号とされる
前記(19)に記載のイベント検出装置。
11 DVSチップ, 12 ロジックダイ, 21 イベント生成部, 22 データ処理部, 31 画素アレイ部, 32 駆動部, 33 アービタ, 34 出力部, 41 画素ブロック, 51 画素, 52 イベント検出部, 60 ノード, 61 光電変換素子, 81 電流電圧変換部, 82 バッファ, 83 減算部, 84 量子化部, 85 転送部, 91 トランジスタ, 92 トランジスタ, 93 トランジスタ, 101 コンデンサ, 102 オペアンプ, 103 コンデンサ, 104 スイッチ, 111,112 コンパレータ, 113 出力部, 312コンデンサ, 313,314 スイッチ, 315 PMOSトランジスタ, 316 OR回路, 317,318 スイッチ, 319 電流供給線, 320 負荷MOS回路, 321 垂直信号線, 322 ACK信号線, 323 スイッチ, 341 コンデンサ, 342,343 スイッチ, 361 共有量子化部, 371 PMOSトランジスタ, 372 NMOSトランジスタ, 373 スイッチ, 391,392 スイッチ, 411 メモリ部, 412 メモリ, 421 onメモリ, 422 offメモリ, 431,432 共有量子化部, 441 PMOSトランジスタ, 442 NMOSトランジスタ, 443スイッチ, 444 垂直信号線, 451 PMOSトランジスタ, 452 NMOSトランジスタ, 453 スイッチ, 454 垂直信号線, 501 スイッチ, 511,512 PMOSトランジスタ, 513,514 スイッチ, 515,516 垂直信号線, 531 横繋ぎ線, 532 スイッチ, 551 メモリ, 552 量子化部, 571 量子化部, 601,602 コンデンサ

Claims (20)

  1. 第1の光電変換素子と、
    第2の光電変換素子と、
    前記第1の光電変換素子と前記第2の光電変換素子の電圧の差に対応する差信号を生成する回路として、差動増幅回路と
    を備え、
    前記差動増幅回路からの信号により信号の変化であるイベントの発生を検出する
    イベント検出装置。
  2. 前記差動増幅回路を構成するトランジスタは、前記第1の光電変換素子を含む第1の画素と、前記第2の光電変換素子を含む第2の画素に分散して配置されている
    請求項1に記載のイベント検出装置。
  3. 前記第1の画素と前記第2の画素のうちの一方を読出画素、他方を参照画素としたとき、前記差動増幅回路は、前記読出画素からの信号と前記参照画素からの信号の差分を出力する
    請求項2に記載のイベント検出装置。
  4. 前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタのうち、第1のトランジスタは前記第1の画素に含まれ、前記第2のトランジスタは前記第2の画素に含まれる
    請求項2に記載のイベント検出装置。
  5. 前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタは、前記第1の画素と前記第2の画素が配置されている画素アレイ部に含まれる
    請求項2に記載のイベント検出装置。
  6. 前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタは、前記第1の画素と前記第2の画素が配置されている画素アレイ部外に配置されている
    請求項2に記載のイベント検出装置。
  7. 前記第1の画素内の信号のリセットと、前記第2の画素内の信号のリセットは、外部からの信号により同期して行われる
    請求項2に記載のイベント検出装置。
  8. 前記第1の画素内の信号のリセットと、前記第2の画素内の信号のリセットは、それぞれの画素内で生成される信号により非同期で行われる
    請求項2に記載のイベント検出装置。
  9. 前記第1の画素と前記第2の画素は、それぞれ、前記読出画素に設定されたときに閉じられる第1のスイッチと、前記参照画素に設定されたときに閉じられる第2のスイッチをさらに備える
    請求項3に記載のイベント検出装置。
  10. 前記第1のスイッチを介して出力された信号と、所定の閾値とを比較した比較結果を前記イベントの発生を表すイベントデータとして出力する量子化部をさらに備える
    請求項9に記載のイベント検出装置。
  11. 前記量子化部からの出力を記憶するメモリ部をさらに備える
    請求項10に記載のイベント検出装置。
  12. 前記メモリ部は、第1の閾値と比較された結果を記憶する第1のメモリと、第2の閾値と比較された結果を記憶する第2のメモリを含む
    請求項11に記載のイベント検出装置。
  13. 前記第1のスイッチを介して出力された信号と、第1の閾値とを比較した比較結果を前記イベントの発生を表すイベントデータとして出力する第1の量子化部と、
    前記第1のスイッチを介して出力された信号と、第2の閾値とを比較した比較結果を前記イベントの発生を表すイベントデータとして出力する第2の量子化部と
    をさらに備える請求項9に記載のイベント検出装置。
  14. 前記参照画素は接続され、
    前記参照画素に含まれ、前記差動増幅回路に含まれるカレントミラー回路を構成するトランジスタが接続されている
    請求項3に記載のイベント検出装置。
  15. 前記第1の画素は、前記イベントの発生を表すイベントデータを記憶する第1のメモリを含み、
    前記第2の画素は、前記イベントの発生を表すイベントデータを記憶する第2のメモリを含み、
    前記第1のメモリへの書き込みと前記第2のメモリの書き込みは、異なるタイミングで行われる
    請求項2に記載のイベント検出装置。
  16. 前記第1の画素は、前記差動増幅回路からの出力と所定の閾値とを比較する第1の量子化部を含み、
    前記第2の画素は、前記差動増幅回路からの出力と所定の閾値とを比較する第2の量子化部を含み、
    前記第1のメモリは、前記第1の量子化部からの出力を記憶し、
    前記第2のメモリは、前記第2の量子化部からの出力を記憶する
    請求項15に記載のイベント検出装置。
  17. 前記差動増幅回路からの出力と所定の閾値とを比較する量子化部をさらに備え、
    前記差動増幅回路に含まれるカレントミラー回路を構成する第1のトランジスタと第2のトランジスタ、および前記量子化部は、前記第1の画素と前記第2の画素が配置されている画素アレイ部外に配置されている
    請求項2に記載のイベント検出装置。
  18. 第1の閾値信号が供給される第1のコンデンサと、第2の閾値信号が供給される第2のコンデンサがさらに備えられ、
    前記第1のコンデンサと前記第2のコンデンサは、光電変換素子と差動増幅回路を構成するトランジスタとの間に接続されている
    請求項1に記載のイベント検出装置。
  19. 前記第1の閾値信号と前記第2の閾値信号は、前記差動増幅回路に参照信号を供給する参照画素に供給される
    請求項18に記載のイベント検出装置。
  20. 前記差動増幅回路からの出力と第1の閾値との比較結果を、前記イベントとして検出するとき、前記第1の閾値信号と前記第2の閾値信号は共にHレベルの信号とされ、
    前記差動増幅回路からの出力と第2の閾値との比較結果を、前記イベントとして検出するとき、前記第1の閾値信号と前記第2の閾値信号は共にLレベルの信号とされる
    請求項19に記載のイベント検出装置。
JP2019206968A 2019-11-15 2019-11-15 イベント検出装置 Pending JP2021082883A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019206968A JP2021082883A (ja) 2019-11-15 2019-11-15 イベント検出装置
PCT/JP2020/040770 WO2021095560A1 (ja) 2019-11-15 2020-10-30 イベント検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019206968A JP2021082883A (ja) 2019-11-15 2019-11-15 イベント検出装置

Publications (1)

Publication Number Publication Date
JP2021082883A true JP2021082883A (ja) 2021-05-27

Family

ID=75912501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019206968A Pending JP2021082883A (ja) 2019-11-15 2019-11-15 イベント検出装置

Country Status (2)

Country Link
JP (1) JP2021082883A (ja)
WO (1) WO2021095560A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US20180146149A1 (en) * 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
JP6887856B2 (ja) * 2017-04-11 2021-06-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Also Published As

Publication number Publication date
WO2021095560A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
TWI820078B (zh) 固體攝像元件
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
WO2020090460A1 (ja) センサ及び制御方法
US11523079B2 (en) Solid-state imaging element and imaging device
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
JP7489189B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2020129657A1 (ja) センサ及び制御方法
WO2021095560A1 (ja) イベント検出装置
WO2024042946A1 (ja) 光検出素子