JP2021524705A - 時間に依存した画像データを検出するためのセルのアレイ - Google Patents

時間に依存した画像データを検出するためのセルのアレイ Download PDF

Info

Publication number
JP2021524705A
JP2021524705A JP2021500685A JP2021500685A JP2021524705A JP 2021524705 A JP2021524705 A JP 2021524705A JP 2021500685 A JP2021500685 A JP 2021500685A JP 2021500685 A JP2021500685 A JP 2021500685A JP 2021524705 A JP2021524705 A JP 2021524705A
Authority
JP
Japan
Prior art keywords
photosensor
processing unit
pixel
pixel information
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021500685A
Other languages
English (en)
Other versions
JP7160410B2 (ja
Inventor
リー,チュンハン
Original Assignee
イニベーション・アー・ゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イニベーション・アー・ゲー filed Critical イニベーション・アー・ゲー
Publication of JP2021524705A publication Critical patent/JP2021524705A/ja
Application granted granted Critical
Publication of JP7160410B2 publication Critical patent/JP7160410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本発明は、時間に依存した画像データを検出するためのフォトアレイであって、多数のデバイスセル(1)のアレイを含み、各デバイスセル(1)は、フォトセンサ(2)のグループ(12)であって、各フォトセンサ(2)は、前記フォトセンサ(2)においての光強度に依存するアナログセンサ信号を生成するように構成される、フォトセンサ(2)のグループ(12)と、各フォトセンサ(2)に対して、前記フォトセンサ(2)により生成されたアナログセンサ信号を、前記フォトセンサ(2)から生じるデジタル画素情報へと変換するように構成される画素コード化回路と、処理ユニット(13)とを含み、処理ユニット(13)は、フォトセンサ(2)の前記グループ(12)のフォトセンサ(2)から生じる前記画素情報を相関させるように、ならびに、読み取られるべき画素情報を前記セル(1)が含むことを示す要求信号、および/または、前記セル(1)内に含まれる画素情報が送信されることを可能とするために処理ユニット(13)内で利用される通過信号を結果として作り出すように構成される相関論理(3)を含む、フォトアレイに関する。

Description

本発明は、時間に依存した画像データを検出するためのフォトアレイに関する。
そのようなフォトアレイは、普通は画素のアレイからなり、それらの画素の各々は、フォトダイオードなどのフォトセンサと、画素コード化回路とを含む。フォトセンサは、入射光強度に対応するアナログセンサ信号を生成する。このアナログ信号は、引き続いて、画素コード化回路により、以下においてデジタル信号情報と呼ばれるデジタル信号へとコンバートされる。
米国特許第7,728,269B2号が、そのようなフォトアレイを提案しており、そのフォトアレイは、フォトアレイのフォトセンサにより捕捉されるシーンの時間的視覚的コントラストをコード化する。そのようにすることにより、時間的冗長性、フォトアレイの出力データは、ほとんど消失させられ、そのことにより、オン/オフイベントのフォーマットでのアクティビティ駆動型(activity−driven)スパースデータを作り出す。このことは、各イベントが、符号オン/オフと、画素座標とからなることを意味する。しかしながら、米国特許第7,728,269B2号において説明されるフォトアレイからのイベントベースの出力は、ノイズイベント、および、空間的に冗長なイベントを作る、ノイズおよび空間的冗長性により引き起こされる、望ましいよりも多い量のデータを、依然として含む。ノイズイベント、および、空間的に冗長なイベントの両方は、とりわけ、シーン空間的コントラストが、この上ない関心のものであるとき、有意味の情報を薄めることがある。
別個の回路において、または、ホストデバイス上で走るソフトウェアを通してのいずれかで実現され得る別個の信号処理を通して、ノイズイベントをフィルタリングし取り除くことが可能である。しかしながら、効果的なフィルタリングは、ホストデバイスに対する相当の計算コストをかけてはじめて達成され得る。さらにまた、すべてのノイズイベントは、依然として、フォトアレイからホストデバイスに、多重化通信バスにより送出されることを必要とし、そのことは、通信バスへの高い負担につながる。
ノイズイベントをフィルタリングし取り除くためのホストコンピュータ上の計算コスト、および、ノイズイベントを送信するための通信負担を低減するために、相関ベースのノイズイベントフィルタリングアルゴリズムが、フォトアレイおよびホストデバイスの両方とは別個である、プログラマブル論理デバイスへと実現され得る。米国特許出願公開第2016/0274643A1号において、時空間的相関原理に基づくノイズイベントフィルタが提案されている。ホストデバイス、および、ホストデバイスの通信バスに対する負担を低下させる一方で、時空間的相関ベースのノイズイベントフィルタの、そのようなハードウェア実装形態は、すべてのイベントが、ノイズイベントがフィルタリングし取り除かれ得る前に、フォトアレイから2次(secondary)デバイスに送信されることを、依然として要する。それゆえに、フォトアレイから2次デバイスへの多重化通信バスは、依然として、ノイズイベントにより負担をかけられる。このことは、極端な場合、すなわち、通信バスが、所望される時間フレーム内にすべてのイベントを送信することができないとき、フォトアレイそれ自体の効果的動作を損ない得る。さらにまた、そのような時空間的相関ベースのノイズイベントフィルタリングアルゴリズムは、また、空間的に冗長なイベントをフィルタリングし取り除くことができない。
米国特許第7,728,269号明細書 米国特許出願公開第2016/0274643号明細書
フォトアレイ上で発生し得る、ノイズイベント、および、場合によりまた、空間的に冗長なイベントをフィルタリングし取り除くことができ、一方で、フォトアレイを読み出すホストデバイスへの負担、ならびに、フォトアレイおよびホストデバイスを接続する通信バスへの負担を低下させるデバイスを提唱することが、本発明の目的である。
この目的は、請求項1の特徴を伴うフォトアレイを提供することにより、本発明によってかなえられる。本発明のさらなる有利な実施形態は、従属請求項の主題である。
本発明によれば、フォトアレイは、多数のデバイスセルのアレイを含む。各デバイスセルは、画素のグループと、処理ユニットとを含む。各画素は、フォトセンサと、画素コード化回路とを含む。例えばフォトダイオードまたはフォトトランジスタである各フォトセンサは、前記フォトセンサに当たる光の光強度に依存するアナログセンサ信号を連続的に生成する。さらなるデジタル処理のためのデジタル信号を取得するために、画素コード化回路は、前記フォトセンサにより生成されたアナログセンサ信号を、デジタル画素情報へと変換する。以下において、このデジタル画素情報は、前記フォトセンサから生じるデジタル画素情報または画素情報と識別される。
フォトセンサ、および、後に続く画素コード化回路のユニットは、画素情報を生成する画素と規定され得る。かくして、本発明のフォトアレイは、事実上、画素のアレイを含み、それらの画素の各々は、フォトセンサと、そのフォトセンサに対する画素コード化回路とを含み、フォトセンサと画素コード化回路は、フォトアレイがデバイスsellのアレイを同時に含むように、一緒にグループにされる。例として、高精細度用途に対するフォトアレイは、1280掛ける720画素(またはフォトセンサ)を含み得る。グループサイズが4である、かくして、各デバイスセルが、2掛ける2画素(またはフォトセンサ)のサブアレイを含むならば、このことは、前記フォトアレイ内の640掛ける360デバイスセル(または処理ユニット)のアレイに対応することになる。
上記で解説されたように、画素コード化回路により生成された画素情報は、ノイズイベント、および/または、空間的に冗長なイベントにより重畳され得る。ノイズイベントは、画素内のトランジスタ熱雑音およびジャンクションリーク電流が、フォトセンサにおいての入射光の時間的強度変化に対応する、転換された内部的な電気信号を引き起こして、画素コード化回路のオン/オフイベント検出しきい値を上回るときに生起し得る。空間的に冗長なイベントは、フォトアレイにより検出されるシーン内のいくつかの領域、または、シーンの全体が、均一に、より明るく、または、より暗くなるときに、例えば、シーンの部分、または、シーンの全体が、増大される、または、減少される光により照明されるときに生起し得る。
ノイズイベント、および、空間的に冗長なイベントの両方は、とりわけ、シーン空間的コントラストが、この上ない関心のものであるとき、有意味の情報を薄める。さらにまた、過剰なノイズイベント、および、空間的に冗長なイベントは、画素アレイとホストとの間の通信バスに不必要な負担をかけ、そのことは、極端な場合は、例えば、通信バスが、所望される時間フレーム内にすべてのイベントを送信することができないとき、画素アレイの効果的動作を損ない得る。
本発明は、グループのフォトセンサから生じる画素情報を相関させることにより、画素情報内のノイズイベント、および、場合によりまた、空間的に冗長なイベントの両方をフィルタリングし取り除くという着想に基づく。相関プロセスまたは機能は、場合によりそのグループのすべてのフォトセンサからの情報を包含さえする、そのグループの2つ以上のフォトセンサからの情報に関して実施され得る。グループは、同じように、少なくとも2つのフォトセンサを、有利には、2×2フォトセンサのサブアレイに配置構成される4つのフォトセンサ、または、4×4フォトセンサのサブアレイに配置構成される16個のフォトセンサなど、3つ以上を含み得る。
この相関を実施するために、各デバイスセルは処理ユニットを含み、処理ユニットは、フォトセンサの前記グループのフォトセンサから生じる前記画素情報を相関させるように、および、読み取られるべき画素情報を前記セルが含むことを示す要求(request)信号を結果として作り出すように構成される相関論理を含む。代替的または追加的に、通過(pass)信号が、相関の結果として作り出され得、通過信号は、前記セル内に含まれるその画素情報が、例えばホストに、2次処理ユニットに、または、さらなる処理デバイスに送信されることが可能であるとして示す。相関論理を正しく構成することにより、ノイズおよび/または空間的冗長性と関連付けられた画素情報は、対応する1つまたは複数のフォトセンサから生じた画素情報が存し得るとしても、そのような要求および/または通過信号を保留することにより無視され得る。換言すれば、相関を通して、画素情報がノイズ、または、空間的に冗長な情報ではないことが決定されるときにのみ、相関論理は、要求信号および/または通過信号を結果として作り出すことになり、かくして、読み取られるべき画素情報を前記デバイスセルが含むことを示し、すなわち、デバイスセル内のグループの画素のいくつかまたはすべてが読み出され得る、および/または、読み出されるべきであることを示す。その場合、対応する画素情報は、さらなる処理のためにフォトアレイからホストデバイスに送信される。
前記情報フィルタリングまたはイベントフィルタリングは、何らかの画素情報が、例えば多重化通信バスにより送出される前に、画素アレイ内で、画素並列方式で実施され、ゆえに、バス上の、および、フォトアレイ上の通信負荷を最小化する。有利には、有意味のイベント(すなわち、非ノイズ、および/または、空間的に冗長でない画素情報)が、個々に送出される代わりに、グループをなして送出され、ゆえに、通信バスのスループットを増大する。
ノイズイベントをフィルタリングし取り除くために、相関論理は、ノイズイベントと非ノイズイベントとの間の時空間的相関差を活用する。ノイズイベントは、空間的および時間的の両方の点においてランダムに生起し、ゆえに、時空間的に無相関である。非ノイズイベントは、普通は時空間的に相関がある、実際のシーン視覚的刺激により引き起こされたイベントを意味する(すなわち、非ノイズイベントは、普通は、比較的同じ時間において、互いに隣接して生起する)。相関論理は、それゆえに、後続の処理のために、時空間的に無相関であるイベントをフィルタリングし取り除いてはじめて、時空間的に相関があるイベントを通過させる。
さらにまた、空間的に冗長なイベントは、普通は、極端に時空間的に相関がある。例えば、シーン照明全体が突然増大するならば、イベントが、同じ時間においてフォトアレイ全体のあらゆる画素内で生起することになる。これらのイベントは、空間的に冗長であり、何らの空間的コントラスト情報も伝えない。相関論理は、それゆえに、後続の処理のために、極端に時空間的に相関があるイベントをフィルタリングし取り除いてはじめて、適度に時空間的に相関があるイベントを通過させる。
有利な実施形態において、フォトセンサの前記グループの2つ以上のフォトセンサは、互いに隣接して配置構成される。換言すれば、2つ以上のフォトセンサは、事実上、空間的に、フォトアレイの内側で一緒にグループにされる。前記グループのすべてのフォトセンサが、また、空間的に一緒にグループにされることが、また可能である。両方の場合において、2つのグループは、1つのグループのフォトセンサが第2のグループのフォトセンサに空間的に組み入れられるようにすることにより、特にグループ縁部において、空間的に重なることができる。単純化された1次元(1D)例において、各々が4つのフォトセンサを有する、フォトセンサの2つのグループAおよびBが存するならば、フォトセンサは、AABABABBとして配置構成され得るものであり、ここで、各文字は、フォトセンサが属するグループを意味する。
一部の実施形態において、フォトセンサが再使用されるならば、そのことは有利であり得る。フォトセンサは、かくして、フォトセンサの出力を多数のグループに送出することができる。換言すれば、同じフォトセンサが、したがって、多数の異なるグループに属する。そのため、先の単純化された1D例において、2つのグループを支持するための8つ未満のフォトセンサが存し得るものであり、フォトセンサは、AA(A&B)(A&B)BBとしての配置構成であり、ここで、(A&B)は、フォトセンサが、フォトセンサの出力をグループAおよびBの両方に送出することを示す。フォトセンサが、より組み入れられる、または共有されるほど、出力は、より空間的に連続的であることになるが、フォトアレイの中の配線/接続は、より複雑な様態になり得る。
好ましい実施形態によれば、多数のデバイスセルは、特に、セルの行(row)および列(column)を有する、セルのマトリックスに配置構成される、セルの多数のセットへと分けられる。セルの各セットは、セルの前記セットの端部に、特に、セルの列の端部に配置される2次処理ユニットをさらに含む。各2次処理ユニットは、前記セルのうちの選択されたセルのフォトセンサの前記グループのフォトセンサから生じる前記画素情報を相関させ、読み取られるべき画素情報を前記選択されたセルが含むことを示す要求信号を結果として作り出すように構成される2次相関論理を含む。換言すれば、いくつかの処理ユニットが、単一の2次処理ユニットを共有する。処理ユニットは、この場合、1次(primary)処理ユニットと呼ばれることがあり、なぜならば、画素情報は、2次処理ユニットに中継される前に、それらの1次処理ユニットに最初に入るからである。
2次処理ユニットの2次相関論理は、有利には、一度に1つのセルを相関させる。マトリックス全体の読み出しは、行単位でスキャンすることにより実施され得るので、列の端部の2次処理ユニットは、行が読み出しのために選択されるたびに、単一のセルの2次フィルタリングを行う。それゆえに、2次処理ユニットからの要求信号は、その列、および、現在選択された行の個別のセルが、フィルタリングの2つのステージ、すなわち、1次処理ユニット内の相関論理による1つのフィルタリング、および、2次処理ユニット内の2次相関論理による第2のフィルタリングの後の情報を含むことを示す。
代替的に、または、要求信号に加えて、前記選択されたセル内に含まれる画素情報が送信されることを可能とするために2次処理ユニット内で利用される少なくとも1つの通過信号が生成され得る。有利には、2次相関論理は、画素情報が送信され得ることのみではなく、何の種類の画素情報が送信され得るかも示す、2つの通過信号を作り出し得る。例えば、単一の画素からの画素情報は、オン値、オフ値、またはニュートラル値を有し得る。オン値は、画素が、あらかじめ決定されたしきい値により、画素の入射光の増大を検出したことを示し、オフ値は、画素が、あらかじめ決定されたしきい値により、画素の入射光の減少を検出したことを示し、ニュートラル値は、画素により検出された入射光において(あらかじめ決定されたしきい値を上回る)変化が存しなかったことを示す。この場合、画素のグループからのオン値は有意味である(非ノイズである、および/または、空間的に冗長でない)ことを示すpass(ON)信号、および、画素のグループからのオフ値は有意味であることを示すpass(OFF)信号が存し得る。
この実施形態において、1次処理ユニットの相関論理は、より単純なやり方で実現され得るものであり、例えば、すべてのイベントを極性ブラインド(polarity−blind)方式で相関させるように単に構成され、一方で、処理ユニットは、より複雑なやり方で実現され得、例えば、オンイベントおよびオフイベントを別個に、すなわち、極性によってイベントを分離して相関させるように構成される。オンイベントは、画素においての入射光強度増大がオンしきい値を上回ることを意味し、一方で、オフイベントは、反対のことを、画素においての入射光強度減少がオフしきい値を上回ることを意味する。画素情報は、有利には、2つのビット、すなわち、ONおよびOFF信号を含む。ON=1、OFF=0は、オンイベントを意味し、一方で、ON=0、OFF=1は、オフイベントを意味し、ON=0、OFF=0は、イベントがないことを意味する。特に、ONおよびOFFは、両方が、同一の1であるべきではない。それゆえに、オン/オフイベントは、入射光の時間的変化を示す画素情報によりコード化される。
セルの多数のセットは、マトリックス方式で配置構成され得る。このマトリックス内で、セルのセットは、列に配置構成される、数Xのセルを含み得るものであり、そのことによって、列の端部に、セルのその列に対する対応する第2の処理ユニットが配置される。かくして、フォトアレイ全体は、サブアレイまたはセルへと分けられ、それらのサブアレイまたはセルの各々は、1次処理ユニットを有し、一方で、セルの列は、2次処理ユニットを有する。各個々の1次処理ユニットは、読み取られるべき1以上のイベントを対応するセルが含むときに行要求信号を、対応するセル内のイベントが読み取られることを可能とするための内部的な通過信号を生成し、読み出しに対するインディケータとしてホストから行選択信号を受信し得る。各2次処理ユニットは、列要求信号を、2つの内部的な通過信号pass(ON)およびpass(OFF)を生成し、列選択信号を受信し得る。
好ましくは、前記相関論理および/または前記2次相関論理は、組合せ論理により実現される。このことは、特に、実現がブール回路によって行われること、および、対応する論理の出力が、任意の所与の時間においての現在の入力の純粋な関数であることを意味する。換言すれば、相関論理および/または2次相関論理は、画素情報を記憶するための記憶またはメモリ要素を含まない。
前記相関論理および/または前記2次相関論理は、好ましくは、時空間的相関論理として実現される。単純化された実施形態において、相関論理および/または前記2次相関論理は、空間的相関論理として実現される。特に、そのような相関論理および/または2次相関論理は、前記画素情報の相関結果が、最小しきい値数(N)以上である、および/または、最大しきい値数(M)以下であるとき、要求信号および/または通過信号を作り出すように構成され得る。このことは、特に、画素のグループ内のイベントの数、すなわち、イベントを報告するグループ内の画素の数が、N以上である、および/または、M以下であることを意味し得る。
フォトアレイの有利な実施形態において、各画素の画素情報は、相関論理により読み取られる前に記憶される。この目的のために、前記処理ユニットは、フォトセンサの前記グループの各フォトセンサに対して、前記フォトセンサから生じる前記画素情報を記憶するように構成されるイベント記憶メモリを含む。このように、フォトアレイ全体の各フォトセンサは、対応するイベント記憶メモリを有する。好ましくは、前記2次処理ユニットは、フォトセンサの前記グループの各フォトセンサに対して、前記フォトセンサから生じる前記画素情報を記憶するように構成される2次イベント記憶メモリを含む。換言すれば、2次イベント記憶メモリのサイズは、第1のイベント記憶メモリのサイズに等しい。デバイスセルの各セットは、有利には、1つの単一の2次処理ユニットを有するので、フォトアレイ全体は、グループ内の画素の数掛けるデバイスセルのセットの数と同じだけの2次イベント記憶メモリを有し得る。
画素のグループからのすべてのイベントは、同期された方式で、すなわち、同じ時間において、対応するデバイスセルの対応するイベント記憶メモリ内へと読み取られる。このことは、また、2次処理ユニットの2次記憶メモリ内への画素情報の読み取りに対して当てはまる。換言すれば、処理ユニットの、または、2次処理ユニットのイベント記憶メモリ全体は、同期されたサンプル信号を基に、同じサンプリング区間の間に書き込まれる。それゆえに、各処理ユニット内に、すなわち、各グループ内に記憶されたイベントは、すでに一時的に相関がある。かくして、後続の相関論理が、時空間的相関論理として機能するためには、空間的相関を単に実施するだけで十分であり得る。同じことが、よって、2次処理ユニットおよび2次相関論理に適用される。
有利には、前記処理ユニットは、グループの各フォトセンサに対する記憶メモリを有し、前記2次処理ユニットは、前記グループの各フォトセンサに対する2次記憶メモリを有する。この実施形態において、2次記憶メモリは、前記記憶メモリから前記画素情報を受信するように構成され得る。換言すれば、画素情報は、最初に、1次処理ユニット内の記憶メモリ内へと、および次いで、2次処理ユニットの2次記憶メモリ内へと読み取られる。
好ましくは、前記処理ユニットは、選択信号を受信し、前記選択信号に応答して、その前記処理ユニットの内部的な通過信号が真であるならば、前記セルが含む、読み取られるべきすべての画素情報を並列方式で送信するように構成される。特に、処理ユニットが、画素情報が記憶されるイベント記憶メモリを含むとき、および、その前記処理ユニットの内部的な通過信号が真であるならば、選択信号は、通信バスへの、または、利用可能ならば2次処理ユニットへのいずれかでの、イベント記憶メモリの読み出しを開始し得る。加えて、または代替的に、前記2次処理ユニットは、選択信号を受信し、前記選択信号に応答して、その前記2次処理ユニットの内部的な通過信号が真であるならば、セルの前記セットが含む、読み取られるべきすべての画素情報を並列方式で送信するように構成され得る。処理ユニットと同様に、2次処理ユニットは2次イベント記憶メモリを含み得、画素情報は、例えば前記処理ユニットのイベント記憶メモリから読み取られた後に、2次イベント記憶メモリ内に記憶される。この場合、その前記2次処理ユニットの内部的な通過信号が真であるならば、選択信号は、通信バスへの2次イベント記憶メモリの読み出しを開始し得る。
前に述べられたように、画素コード化回路は、フォトセンサにより生成されたアナログセンサ信号を、デジタル画素情報またはイベント情報へと変換する。好ましい実施形態によれば、画素コード化回路は変化検出回路である。この場合、画素コード化回路により生成されたデジタル画素情報は、フォトセンサにより生成されたセンサ信号の変化を示す。このことは、しきい値比較によって実現され得る。例えば、アナログセンサ信号が、所与のしきい値以上の量だけ、上昇または下降する各時間に、画素情報は、それに応じて、on信号またはoff信号を含み得る。この目的のために、各画素の画素情報は、変化の極性を区別するために2ビット情報を含み、また、例えば変化が起こらない場合のニュートラル信号を考えに入れたものであり得る。
特に、変化検出回路は、各パルスがアナログ信号の固定された量だけの変化を表す、アナログ信号をパルスのストリームとしてコード化するスキームである、差分パルスコード変調(differential pulse−code modulation)(DPCM)コード化スキームを使用するアナログ−デジタルコンバータであり得る。そのような変化検出回路は、例えば、上記の序文において説明された、米国特許第7,728,269B2号において説明されたものである。
本発明の実施形態のいくつかの例が、添付する概略的な図面を参照して、以下の説明において、より詳細に解説されることになる。
1つの有利な実施形態による、画素のグループと、処理ユニットとを伴うデバイスセルのアーキテクチャの概略線図を示す図である。 さらなる有利な実施形態による、画素のグループと、処理ユニットと、2次処理ユニットとを伴うデバイスセルのアーキテクチャの概略線図を示す図である。 なおもさらなる有利な実施形態による、デバイスセルの各列の端部に2次処理ユニットを伴う、マトリックス方式で配置構成されるデバイスセルの多数のセットの概略線図を示す図である。 最新式による画素の概略線図を示す図である。 1つの好ましい実施形態による、処理ユニット内で利用される画素動作論理の概略図を示す図である。 1つの好ましい実施形態による、処理ユニット内で利用されるイベント記憶メモリの概略線図を示す図である。 1つの好ましい実施形態による、処理ユニット内の相関論理の一般的な形態の概略線図を示す図である。 図7の相関論理の具体的な形態の概略線図を示す図である。
図1は、フォトアレイの1つの有利な実施形態による、P個の隣接する画素2のグループと、画素2のこのグループに対する処理ユニット13とを含むデバイスセル1の概略線図を示す。各画素2は、フォトセンサと、画素コード化回路とを含む(両方とも、図1において個々に示されない)。デバイスセル1のすべてのグループの処理ユニット13は、フォトアレイのフォトセンサおよび画素2の2Dアレイ内に組み込まれる2Dアレイを形成する。
各処理ユニットは、3つの部分:画素動作論理5、イベント記憶メモリ4、および時空間的相関論理3から作製される。各画素2は、処理ユニット13内に、対応する画素動作論理5と、イベント記憶メモリ4とを有する。近隣の画素2のグループは、同じ時空間的相関論理3を共有する。
出力または入力識別子の前のnは、普通は、対応する入力、出力、または信号の否定を意味することが留意されるべきである。それゆえに、rstがリセット信号であり得る一方で、nrstは、論理的に反転されたリセット信号であり得る。
画素2のグループは、画素の出力slowon(1:P)およびslownoff(1:P)を、画素の対応する画素動作論理5に送出し、nrst(1:P)を、画素の対応する画素動作論理5から受信する。画素動作論理5は、グローバル信号restartにより制御され、画素動作論理の出力non(1:P)およびoff(1:P)を、画素動作論理の対応するイベント記憶メモリ4に送出し、一方で、信号store(1:P)およびnstore(1:P)を、イベント記憶メモリ4から逆に受信する。イベント記憶メモリ4は、グローバル信号sample/nsample、および、行/列信号selにより制御される。イベント記憶メモリ4は、イベント記憶メモリの出力onstore(1:P)およびoffstore(1:P)を、2つの対応する時空間的相関論理31、32に送出し、それらの時空間的相関論理は、読み出しを可能とするために、信号pass(on)およびpass(off)を、イベント記憶メモリ4に返送する。第1の時空間的相関論理31が、信号nreq(on)を作り出すために、イベント記憶メモリ4から受信されるすべてのオンイベントを相関させる一方で、第2の時空間的相関論理32は、信号nreq(off)を作り出すために、すべてのオフイベントを相関させる。信号nreq(on)およびnreq(off)は、その対応する行に対する読み出し通信バスアクセスを要求するために、最終的な出力信号nreqを一緒に決定する。pass(on)およびpass(off)が真であるならば、イベント記憶メモリは、その対応する行が行選択信号selにより選択されると、ビット線信号nonbl(1:P)およびnoffbl(1:P)を通して読み取られ得る。
同じ時空間的相関論理31、32回路が、図1において示されるオンイベントおよびオフイベント信号、onstore(1:P)およびoffstore(1:P)の両方を供給することができる。しかしながら、処理ユニット13あたりで2つの時空間的相関論理回路31、32を有することは、かなりのシリコンエリアを占有する。それゆえに、図2は、さらなる有利な実施形態による、代替的な処理ユニットと、2次処理ユニットとを有するデバイスセルの代替的なアーキテクチャを例示する。
この代替的なアーキテクチャにおいて、1次処理ユニットあたりで1つの時空間的相関論理3のみが存する。そのような処理ユニット13(以下において1次処理ユニットと呼ばれる)の列は、列の端部に2次処理ユニット8を共有する。2次処理ユニット8は、2次イベント記憶メモリ6のバンクと、あと2つの時空間的相関論理回路81、82とを含む。2次イベント記憶メモリ6は、P個の画素2のグループ12から生じるすべての画素情報を収容するために、イベント記憶メモリ4と同じサイズを有する。
1次処理ユニット内の時空間的相関論理3は、入力として信号store(1:P)およびnstore(1:P)を受け取り、イベント記憶メモリからの読み出しを可能とするために信号passを、および、その対応する行に対する読み出し通信バスアクセスを要求するために信号nreq(row)を作り出す。ゆえに、時空間的相関論理は、オンイベントとオフイベントとを区別しない。そのことは、極性ブラインドであると言われることがある。1次処理ユニット13のこの行が行信号sel(row)により選択されるとき、および、passが真であるならば、イベント記憶メモリ4は、ビット線信号nonbl1(1:P)およびnoffbl1(1:P)を通して、列の端部の2次イベント記憶メモリ6内へと読み取られ、それらの信号は、2次時空間的相関論理81、82内へとさらに給送される。換言すれば、2次イベント記憶6は、sel(row)信号から導出されるsample信号を受信する。それゆえに、1次処理セルの行が選択されるたびに、2次イベント記憶6は、その選択された行内の1次処理ユニット13のイベント記憶4からの画素情報をサンプリングする。2つの回路を含み、この列により共有される2次時空間的相関論理81、82は、符号付きイベントに関するさらなるフィルタリングを実施し、読み出しを可能とするために、2次イベント記憶メモリ6に戻すように信号pass(on)およびpass(off)を、ならびに、その対応する列に対する読み出し通信バスアクセスを要求するために信号nreq(col)を作り出す。
その対応する列が列信号sel(col)により選択されるとき、ならびに、pass(on)およびpass(off)が真であるならば、2次イベント記憶メモリ6内に記憶されたイベントは、ビット線信号nonbl2(1:P)およびnoffbl2(1:P)を通して読み出される。図2において示される代替的なアーキテクチャは、1次処理ユニット13アレイの複雑さを低減するが、そのことは、潜在的な不完全な、および/または、正しくないイベントフィルタリングという犠牲を払ってのものである。イベントは、1次処理ユニット13アレイ内で符号なしとして処理されるので、異なる符号のノイズイベントが、時空間的に相関があるイベントとして誤って扱われ、続けて通過することを可能とされることがあり;異なる符号の有意味のイベントが、空間的に冗長なイベントとして誤って扱われ、フィルタリングし取り除かれることがある。しかしながら、ノイズイベントの不完全なフィルタリングは、依然として、多重化バスnonbl1(1:P)およびnoffbl1(1:P)へのトラフィック負担を低減するという見地において、全くフィルタリングがないことにまさる改善である。さらにまた、1次処理ユニット13内の時空間的相関論理3は、有意味のイベントを正しくなくフィルタリングし取り除くことを防止するために、後で説明されるように、空間的に冗長なイベントをフィルタリングし取り除かないように構成され得る。
相関論理3および2次相関論理81、82は、要求信号および通過信号の両方を作り出すことが留意されるべきである。通過信号は、各個々の相関論理3、81、82の即時の出力であり、その対応するイベント記憶メモリ4、6を制御するように意図されている。要求信号は、1つまたは多数の処理ユニット13、8の、その/それらの通過信号から導出される出力であり、バスアクセス時間を要求するように意図されている。
第1の例として、処理ユニットの行は、単一の行要求信号を共有し得る。共有される行要求信号は、この行内の少なくとも1つの処理ユニット13が内部的にpass=1を有する限り1となる、すなわち、行要求=OR(この行内のすべての個々の通過信号)である。そして、この行が選択されたとき、どの処理ユニット13が処理ユニットの情報を送出することができるかを決定するのが、個々の内部的な通過信号である。行は、行の要求=1であるときに選択されるのみであり得る。
第2の例として、2次処理ユニット8は、2つの極性センシティブな相関論理回路81および82を、ゆえに、pass(ON)信号およびpass(OFF)信号を内部的に含み得る。2次処理ユニット8の出力は、列要求信号である。列要求は、pass(ON)=1またはpass(OFF)=1のいずれかのときに1であることになる。そして、この2次処理ユニット8が選択されたとき、2次処理ユニットの内部的なpass(ON)およびpass(OFF)信号は、ONまたはOFF情報が読み出され得るかどうかを決定する。2次処理ユニット8は、2次処理ユニットの列要求=1であるときに選択されるのみであり得る。
図3は、上記で説明された、および、図2において示される実施形態によるフォトアレイのアーキテクチャをより良好に例示することに役立つ。図3は、デバイスセルの各列の端部に2次処理ユニット81、82、83を伴う、マトリックス方式で配置構成されるデバイスセルの多数のセット71、72、73の概略線図を示す。フォトアレイは、行および列に配置構成される、1次処理ユニット13のマトリックスまたはアレイを含む。図3において、3×3個の1次処理ユニット13のアレイが示される。各デバイスセルの画素のグループ12は、明確性の目的のために、図3において省略され、すなわち、グループは、図3において示される各1次処理ユニット13の部分とみなされ得る。
デバイスセルの各セット7は、デバイスセルの列として配置構成され、その列の端部に、2次処理ユニット8が配置構成される。例えば、デバイスセルまたは1次処理ユニット13の第1のセット71の端部に、第1の2次処理ユニット81が配置構成される、等々である。各1次処理ユニット13の相関論理3は、デバイスセルの対応する行、すなわちrow 1、row 2、および/またはrow 3が、送信すべき情報を有することを示すために、行要求信号nreq(r1)、nreq(r2)、nreq(r3)を生成する。他方で、デバイスセルの特定の列の選択されたセル、すなわち、前記選択されたデバイスセル内の画素の任意のものが、送信すべき情報を有するならば、対応する2次処理ユニット8は、列要求信号nreq(c1)、nreq(c2)、nreq(c3)を生成することになる。例えば、第2の行が信号sel(r2)により選択されるとき、row 2およびcol 2を伴うセルが、第2の2次処理ユニット82に対する選択されたセルである。この選択されたセルが、送信すべき情報を伴う画素を含むならば、第2の2次処理ユニット82は、対応する列要求信号nreq(c2)を生成することになる。
それゆえに、2次処理ユニットは、行単位のスキャニング読み出しの間、第2ステージフィルタリングを実施する。row 1およびrow 3が情報を有するならば、row 1が選択されるとき、row 1全体の情報が、2次処理ユニット81、82、83内へと進む。すなわち、row 1、col 1からの情報が、第1の2次処理ユニット81内へと読み取られ、row 1、col 2からの情報が、第2の2次処理ユニット82内へと読み取られ、row 1、col 3からの情報が、第3の2次処理ユニット83内へと読み取られる。次いで、2次処理ユニット81、82、83は、どの列が実際に情報を有するかをさらに決定する。例えば、極性ベースの2次フィルタリングの後で、row 1の列2のみが情報を含むことがあり、または、row 1内のセルのうちのどれも情報を有さないことがある。row 1が読み出された後、row 3が選択され得るものであり、2次処理ユニット81、82、83が、次いで、row 3からの情報を処理する。
図4は、米国特許第7,728,269B2号において説明された、先行技術に属する画素回路の概略図を示す。画素回路は、フォトセンサとしてのフォトダイオードDと、出力slowonおよびslownoffを作り出す画素コード化回路とを含む。
図5は、好ましい実施形態による画素動作論理5の概略図を示す。画素動作論理5は、時間的/時空間的視覚的コントラスト感知画素の動作を制御する。画素が、入射光で生じたフォト電流の対数値に対応する画素の内部的な転換された電気信号の変化を検出し、その変化があらかじめ決定されたオン/オフイベントしきい値を上回るとき、画素動作論理5は、検出されたイベントを保ち、画素をリセット状態に置く。
画素動作論理5は、各々が図5において破線の囲み内に入れられた3つのサブ回路:イベントキーパ、リセット論理、およびリスタート論理へとさらに分けられ得る。画素がONまたはOFF信号を作り出すとき、slowon=1またはslownoff=0であり、イベントキーパは、on=1またはoff=1の状態でラッチして、(fb=1およびnfb=0を想定して)1つの符号付きイベントを排他的に保つことになる。同じ時間において、リセット論理は、(fb=1を想定して)リセット信号rst=1およびnrst=0を設定して、画素をリセット状態に置くことになる。画素は、それがグローバルパルス信号restartを受信するまで、リセット状態にあるままであることになる。restart=1であるとき、リスタート論理は、(store=1およびnstore=0を想定して)fb=0およびnfb=1を設定し、そのことはさらに、イベントキーパ内の正帰還機構をディセーブルし、rst=0およびnrst=1を設定する。restartが0に戻るとき、リスタート論理は、(store=1およびnstore=0を想定して)fb=1およびnfb=0を設定し、そのことは、イベントキーパおよびリセット論理を再びイネーブルする。それゆえに、リセット状態にある画素がコントラスト検出状態を再開することができる時点は、グローバルパルス信号restartにより決定される。信号storeおよびnstoreは、イベント記憶メモリ4から来る。
図6は、好ましい実施形態による、イベント記憶メモリ4の、および/または、2次イベント記憶メモリ6の概略図を示す。画素動作論理5が、検出されたイベントをイベント記憶メモリ4、6内へと書き込むことができる時点は、グローバル信号sampleおよびnsampleにより決定される(nsampleは、sampleからの反転された信号である)。
sampleパルスの後、イベント記憶メモリがオン/オフイベントを記憶したならば、store=1およびnstore=0であり、次いで、画素動作論理内のリスタート論理は、画素を、リセット状態から、restartパルスの後に続いてコントラスト検出状態に置くことになる。画素が何らのイベントも検出しなかったならば、イベント記憶メモリはイベントを記憶していない。sampleパルスの後、store=0およびnstore=1であり、次いで、画素動作論理内のリスタート論理は、restart信号を無視し、画素は、コントラスト検出状態にあるままである。画素が、sampleパルスの後に、ただしrestartパルスの前にオン/オフイベントを単に検出したならば、画素動作論理5が画素をリセット状態に置いたとしても、リスタート論理は、依然として、restart信号を無視し、画素は、リセット状態にあるままであるが、なぜならば、画素動作論理5は、依然として、検出されたイベントを保持し、イベントをイベント記憶メモリ内へと書き込むことができるようになっていないからである(store=0およびnstore=1)。
イベント記憶メモリは、2つのビット線nonblおよびnoffblを通して、sel=1およびpass=1であるときに読み取られる。信号selは、行/列選択信号である。信号passは、時空間的相関論理3、8、81、82から来る。
時空間的相関論理3、8、81、82は、そのグループ内のすべての画素のイベント記憶メモリ4、6を読み取り、各sampleパルスの後に、このグループ内に記憶されたイベントが、読み出し通信バスに通過させられることになるか、それとも、フィルタリングし取り除かれることになるかを決定する。
グローバルな同期されたsample信号は、各sampleパルスの後に各グループ内に記憶されたイベントがすでに時間的に相関があることを示唆するが、なぜなら、イベントが同じサンプリング区間の中で生起するからである。それゆえに、時空間的相関論理3、8、81、82は、記憶されたイベントが通過することになるかどうかを、デバイスセルのイベント記憶メモリ4、6内の記憶されたイベントの数により近似される、イベントの空間的相関のみに基づいてさらに決定する。判断基準は、2つの任意選択の条件の組合せとして構成され得る:
1.デバイスセル内に記憶された、最小しきい値数N未満のイベントが存するならば、これらのイベントは、ノイズイベントとみなされ、フィルタリングし除かれる。ここで、Nは、1より大きく、デバイスセル内の画素の総数Pより小さい。(第1の任意選択の条件)
2.デバイスセル内に記憶された、最大しきい値数Mより多いイベントが存するならば、これらのイベントは、空間的に冗長なイベントと考えられ、フィルタリングし除かれる。ここで、Mは、Nより大きく、デバイスセル内の画素の総数Pより小さい。(第2の任意選択の条件)
時空間的相関論理3、8、81、82が、2つの任意選択の条件の両方を実行するように構成されるならば、時空間的相関論理は、グループ内の記憶されたイベントの数が、NおよびMを含めてNからMの間である場合にはじめて、記憶されたイベントを通過させることになる。時空間的相関論理3、8、81、82が、2つの任意選択の条件のどれも実行しないように構成されるならば、時空間的相関論理は、少なくとも1つの記憶されたイベントがグループ内に存する限り、いかなる記憶されたイベントも通過させることになる。第1の任意選択の条件のみが実行されるならば、時空間的相関論理3、8、81、82は、少なくともN個の記憶されたイベントがデバイスセル内に存する限り、いかなる記憶されたイベントも通過させることになる。第2の任意選択の条件のみが実行されるならば、時空間的相関論理3、8、81、82は、M個以下の記憶されたイベントがデバイスセル内に存する限り、いかなる記憶されたイベントも通過させることになる。同じ時空間的相関論理3、8、81、82が、図1および図2において示されるように、オンイベント(onstore(1:P)およびnonstore(1:P))、オフイベント(offstore(1:P)およびnoffstore(1:P))、または、符号なしイベント(store(1:P)およびnstore(1:P))を処理するために使用され得る。
時空間的相関論理3、8、81、82は、組合せ論理により実現される。図7は、好ましい実施形態による、時空間的相関論理回路3、8、81、82の一般的な形態を示す。s[i]およびns[i]は、デバイスセル内の各画素i(i∈[1,P])からの記憶されたイベント(符号付き、または、符号なし)が存するかどうかを意味する。s[i]=1およびns[i]=0は、両方が、記憶されたイベントが画素i内に存することを意味する。alN(少なくともN)は、第1の任意選択の条件をイネーブル/ディセーブルするための信号である。amM(多くともM)は、第2の任意選択の条件をイネーブル/ディセーブルするための信号である。passは、グループ内に記憶されたイベントが送出されることになるかどうかを決定する時空間的相関論理3、8、81、82の出力信号である。nreqは、読み出し通信バスにアクセスするための要求信号である。
alN=1であるならば、第1の任意選択の条件がイネーブルされる。第1の任意選択の条件は、プルアップ回路およびプルダウン回路により現実化される。プルアップ回路は、C(P,N)(P個のうちからのN個の組合せ)個のブランチから作製され、各ブランチは、ns[i]により制御される直列のN個のp型トランジスタからなる。各プルアップブランチは、ns[i]=0を有するN個の画素の一意的な組合せを表す。それゆえに、プルアップ回路は、少なくともN個の画素が、ns[i]=0を有する、すなわち、イベントを記憶したときに、pass=1を設定することができる。プルダウン回路は、C(P,P−N+1)(P個のうちからのP−N+1個の組合せ)個のブランチから作製され、各ブランチは、ns[i]により制御される直列のP−N+1個のn型トランジスタからなる。各プルダウンブランチは、ns[i]=1を有するP−N+1個の画素の一意的な組合せを表す。それゆえに、プルダウン回路は、少なくともP−N+1個の画素が、ns[i]=1を有する、すなわち、イベントを記憶していないときに、換言すれば、N個未満の画素がイベントを記憶したときに、pass=0を設定することができる。
amM=1であるならば、第2の任意選択の条件がイネーブルされる。第2の任意選択の条件は、プルアップ回路およびプルダウン回路により、また現実化される。プルアップ回路は、C(P,P−M)(P個のうちからのP−M個の組合せ)個のブランチから作製され、各ブランチは、s[i]により制御される直列のP−M個のp型トランジスタからなる。各プルアップブランチは、s[i]=0を有するP−M個の画素の一意的な組合せを表す。それゆえに、プルアップ回路は、少なくともP−M個の画素が、s[i]=0を有する、すなわち、イベントを記憶していないときに、換言すれば、多くともM個の画素がイベントを記憶したときに、pass=1を設定することができる。プルダウン回路は、C(P,M+1)(P個のうちからのM+1個の組合せ)個のブランチから作製され、各ブランチは、s[i]により制御される直列のM+1個のn型トランジスタからなる。各プルダウンブランチは、s[i]=1を有するM+1個の画素の一意的な組合せを表す。それゆえに、プルダウン回路は、少なくともM+1個の画素が、s[i]=1を有する、すなわち、イベントを記憶したときに、換言すれば、M個より多い画素がイベントを記憶したときに、pass=0を設定することができる。
alN=1およびamM=1であるならば、第1および第2の両方の任意選択の条件がイネーブルされる。2つの条件の2つのプルアップ回路は直列のものであり、一方で、2つの条件の2つのプルダウン回路は並列のものである。
alN=0およびamM=0であるならば、2つの任意選択の条件の両方がディセーブルされる。時空間的相関論理全体は、P入力ORゲートへと縮小される。
図8は、N=2、M=3、P=4である、図7において一般的に示される実施形態による、時空間的相関論理の具体的な例の概略図を示す。2つの構成ビットは、al2(少なくとも2)およびam3(多くとも3)である。s1〜4およびns1〜4は、デバイスセル内の各画素からの記憶されたイベント(符号付き、または、符号なし)が存するかどうかを示す信号である。s1〜4=1およびns1〜4=0は、記憶されたイベントが画素1〜4内に存することを意味する。以下は、図8において示される具体的な時空間的相関論理の真理値表である。
Figure 2021524705
1 デバイスセル
12 画素のグループ
13 (1次)処理ユニット
2 画素
3 相関論理
4 記憶メモリ
5 画素動作論理
6 2次記憶メモリ
7 セルのセット
8 2次相関論理

Claims (11)

  1. 時間に依存した画像データを検出するためのフォトアレイであって、多数のデバイスセル(1)のアレイを含み、各デバイスセル(1)は、
    フォトセンサ(2)のグループ(12)であって、各フォトセンサ(2)は、前記フォトセンサ(2)においての光強度に依存するアナログセンサ信号を生成するように構成される、フォトセンサ(2)のグループ(12)と、
    各フォトセンサ(2)に対して、前記フォトセンサ(2)により生成されたアナログセンサ信号を、前記フォトセンサ(2)から生じるデジタル画素情報へと変換するように構成される画素コード化回路と、
    処理ユニット(13)であって、フォトセンサ(2)の前記グループ(12)のフォトセンサ(2)から生じる前記画素情報を相関させるように、ならびに、読み取られるべき画素情報を前記セル(1)が含むことを示す要求信号、および/または、前記セル(1)内に含まれる画素情報が送信されることを可能とするために処理ユニット(13)内で利用される通過信号を結果として作り出すように構成される相関論理(3)を含む、処理ユニット(13)と
    を含む、フォトアレイ。
  2. フォトセンサ(2)の前記グループ(12)の2つ以上のフォトセンサ(2)が、互いに隣接して配置構成されることを特徴とする、請求項1に記載のフォトアレイ。
  3. 多数のデバイスセル(1)が、セル(1)の多数のセット(7)へと分けられること、ならびに、セル(1)の各セット(7)が、セル(1)の前記セット(7)の端部に配置される2次処理ユニット(8)をさらに含み、その2次処理ユニット(8)が、前記セル(1)のうちの選択されたセルのフォトセンサ(2)の前記グループ(12)のフォトセンサ(2)から生じる前記画素情報を相関させ、読み取られるべき画素情報を前記選択されたセルが含むことを示す要求信号、および/または、前記選択されたセル内に含まれる画素情報が送信されることを可能とするために2次処理ユニット(8)内で利用される少なくとも1つの通過信号を結果として作り出すように構成される2次相関論理(81、82)を含むことを特徴とする、請求項1または2に記載のフォトアレイ。
  4. 前記相関論理(3)および/または前記2次相関論理(81、82)が、組合せ論理により実現されることを特徴とする、請求項1から3のいずれか一項に記載のフォトアレイ。
  5. 前記相関論理(3)および/または前記2次相関論理(81、82)が、時空間的相関論理であることを特徴とする、請求項1から4のいずれか一項に記載のフォトアレイ。
  6. 前記相関論理(3)および/または前記2次相関論理(81、82)が、前記画素情報の相関結果が、最小しきい値数(N)以上である、および/または、最大しきい値数(M)以下であるとき、要求信号および/または通過信号を作り出すように構成されることを特徴とする、請求項1から5のいずれか一項に記載のフォトアレイ。
  7. 前記処理ユニット(13)が、フォトセンサ(2)の前記グループ(12)の各フォトセンサ(2)に対して、前記グループ(12)の前記対応するフォトセンサ(2)から生じる画素情報を受信し一時的に記憶するように、ならびに、前記対応するフォトセンサ(2)の前記画素コード化回路をリセットおよび/またはリスタートするように構成される画素動作論理(5)を含むことを特徴とする、請求項1から6のいずれか一項に記載のフォトアレイ。
  8. 前記処理ユニット(13)が、フォトセンサ(2)のグループ(12)の各フォトセンサ(2)に対して、前記フォトセンサ(2)から生じる前記画素情報を記憶するように構成されるイベント記憶メモリ(4)を含む、および/または、
    前記2次処理ユニット(8)が、フォトセンサ(2)のグループ(12)の各フォトセンサ(2)に対して、前記フォトセンサ(2)から生じる前記画素情報を記憶するように構成される2次イベント記憶メモリ(6)を含む
    ことを特徴とする、請求項1から7のいずれか一項に記載のフォトアレイ。
  9. 前記処理ユニット(13)が、フォトセンサ(2)のグループ(12)の各フォトセンサ(2)に対して、前記フォトセンサ(2)から生じる前記画素情報を記憶するように構成される記憶メモリ(4)を含み、前記2次処理ユニット(8)が、フォトセンサ(2)のグループ(12)の各フォトセンサ(2)に対して、前記フォトセンサ(2)から生じる前記画素情報を記憶するように構成される2次記憶メモリ(6)を含み、前記2次記憶メモリ(6)が、前記記憶メモリ(4)から前記画素情報を受信するように構成されることを特徴とする、請求項8に記載のフォトアレイ。
  10. 前記処理ユニット(13)および/または前記2次処理ユニット(8)が、選択信号を受信するように、および、前記選択信号に応答して、前記通過信号に、または、前記少なくとも1つの通過信号に依存して、前記セル(1)または前記選択されたセルが含む、読み取られるべき画素情報を並列方式で送信するように構成されることを特徴とする、請求項1から9のいずれか一項に記載のフォトアレイ。
  11. 前記画素コード化回路が、前記フォトセンサ(2)により生成されたアナログセンサ信号を、前記フォトセンサ(2)により生成されたセンサ信号の変化を示すデジタル画素情報へと変換するように構成される変化検出回路であることを特徴とする、請求項1から10のいずれか一項に記載のフォトアレイ。
JP2021500685A 2018-07-11 2019-07-04 時間に依存した画像データを検出するためのセルのアレイ Active JP7160410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18182942.5 2018-07-11
EP18182942.5A EP3595295B1 (en) 2018-07-11 2018-07-11 Array of cells for detecting time-dependent image data
PCT/EP2019/068044 WO2020011651A1 (en) 2018-07-11 2019-07-04 Array of cells for detecting time-dependent image data

Publications (2)

Publication Number Publication Date
JP2021524705A true JP2021524705A (ja) 2021-09-13
JP7160410B2 JP7160410B2 (ja) 2022-10-25

Family

ID=63165137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500685A Active JP7160410B2 (ja) 2018-07-11 2019-07-04 時間に依存した画像データを検出するためのセルのアレイ

Country Status (6)

Country Link
US (1) US11616923B2 (ja)
EP (1) EP3595295B1 (ja)
JP (1) JP7160410B2 (ja)
KR (2) KR20210018920A (ja)
CN (1) CN112400313B (ja)
WO (1) WO2020011651A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2971228A1 (en) * 2013-12-16 2015-06-25 Inbubbles Inc. Space time region based communications
EP4315833A1 (en) * 2021-03-26 2024-02-07 Sony Semiconductor Solutions Corporation Pixel circuit and solid-state imaging device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316127A (ja) * 1999-05-06 2000-11-14 Nec Corp 固体撮像装置およびその駆動方法
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
JP2011171806A (ja) * 2010-02-16 2011-09-01 Shimadzu Corp 高速度撮影装置
US20140009650A1 (en) * 2012-07-05 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the image sensor chip
WO2019097797A1 (ja) * 2017-11-14 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050501B2 (en) * 2002-07-16 2006-05-23 Broadcom Corporation Digital noise reduction techniques
EP1958433B1 (en) 2005-06-03 2018-06-27 Universität Zürich Photoarray for detecting time-dependent image data
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置
DE102007026445A1 (de) 2007-06-06 2008-12-11 Robert Bosch Gmbh Mikromechanisches Bauelement und Verfahren zur Herstellung eines mikromechanischen Bauelements
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US20140047512A1 (en) * 2012-08-02 2014-02-13 Ariff Sidi System and method for monitoring online activity on electronic devices
WO2014055280A2 (en) * 2012-10-05 2014-04-10 Rambus Inc. Image sensor architecture with multi-bit sampling
KR20140047494A (ko) 2012-10-12 2014-04-22 삼성전자주식회사 서브픽셀, 이를 포함하는 이미지 센서, 및 이미지 센싱 시스템
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
CN104008377A (zh) * 2014-06-07 2014-08-27 北京联合大学 基于时空关联的地面交通标志实时检测识别方法
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
US20170357644A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Notable moments in a collection of digital assets
KR102662029B1 (ko) * 2016-08-01 2024-05-03 삼성전자주식회사 이벤트 신호 처리 방법 및 그 방법을 수행하는 이벤트 기반 센서
US10484628B2 (en) * 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout
US10757384B2 (en) * 2017-09-28 2020-08-25 Gopro, Inc. Desaturation control
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316127A (ja) * 1999-05-06 2000-11-14 Nec Corp 固体撮像装置およびその駆動方法
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
JP2011171806A (ja) * 2010-02-16 2011-09-01 Shimadzu Corp 高速度撮影装置
US20140009650A1 (en) * 2012-07-05 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the image sensor chip
WO2019097797A1 (ja) * 2017-11-14 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像システム

Also Published As

Publication number Publication date
KR20230071193A (ko) 2023-05-23
CN112400313B (zh) 2024-02-13
KR20210018920A (ko) 2021-02-18
EP3595295B1 (en) 2024-04-17
CN112400313A (zh) 2021-02-23
JP7160410B2 (ja) 2022-10-25
US20210281779A1 (en) 2021-09-09
WO2020011651A1 (en) 2020-01-16
US11616923B2 (en) 2023-03-28
EP3595295A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN108574809B (zh) 像素、像素驱动电路以及包括其的视觉传感器
US7525586B2 (en) Image sensor and method with multiple scanning modes
JP7405328B2 (ja) 画像センサー
KR102640070B1 (ko) 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
US20230085570A1 (en) Event array readout control of event-based vision sensing
JP7160410B2 (ja) 時間に依存した画像データを検出するためのセルのアレイ
CN113812142A (zh) 使用接通/关断事件和灰度检测斜坡的基于事件的视觉传感器
US11343454B2 (en) Imaging systems and methods for performing pixel binning and variable integration for analog domain regional feature extraction
US20190289233A1 (en) Solid-state imaging device and imaging system
EP4340353A1 (en) Pixel acquisition circuits and image sensor
EP3643058B1 (en) Multi-spectral imaging system and method thereof
US20200014871A1 (en) Imaging device, imaging system, and moving body
EP3994495A1 (en) Time-of-flight sensing circuitry and method for operating a time-of-flight sensing circuitry
JP2021082934A (ja) 撮像装置及び撮像システム
KR101444014B1 (ko) 이미지 센서의 구동 회로 및 구동 방법
US11871131B2 (en) Foveal compressive upsampling
US11218661B2 (en) Signal processing apparatus, photoelectric conversion apparatus, imaging apparatus, and moving body
EP4303531A1 (en) Low-power asynchronous solar sensor
JPH11298797A (ja) 画像検出装置
Hamamoto et al. Image compression sensor based on column parallel architecture
Mustafa et al. RTS noise reduction of CMOS image sensors using amplifier-selection pixels
WO2024097128A1 (en) Neuromorphic programmable multiple pathways event-based sensors
WO2006049605A1 (en) Image sensor and method with multiple scanning modes
KR20120004754A (ko) 이미지 센서 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7160410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150