JP2023182811A - 動的ビジョンセンサアーキテクチャ - Google Patents

動的ビジョンセンサアーキテクチャ Download PDF

Info

Publication number
JP2023182811A
JP2023182811A JP2023181483A JP2023181483A JP2023182811A JP 2023182811 A JP2023182811 A JP 2023182811A JP 2023181483 A JP2023181483 A JP 2023181483A JP 2023181483 A JP2023181483 A JP 2023181483A JP 2023182811 A JP2023182811 A JP 2023182811A
Authority
JP
Japan
Prior art keywords
comparator
pixel
circuit
voltage
photoreceptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023181483A
Other languages
English (en)
Inventor
ラファエル ベルナー
Berner Raphael
クリスティアン ブレントリ
Braendli Christian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Advanced Visual Sensing AG
Original Assignee
Sony Advanced Visual Sensing AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Advanced Visual Sensing AG filed Critical Sony Advanced Visual Sensing AG
Publication of JP2023182811A publication Critical patent/JP2023182811A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J1/46Electric circuits using a capacitor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/004Error avoidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/573Control of the dynamic range involving a non-linear response the logarithmic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86Event-based monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88Monitoring involving counting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)

Abstract

【課題】従来のコンピュータビジョンシステムよりはるかに高速に視覚情報を処理する変化検出センサを提供する。【解決手段】光強度の変化に反応してシーンがどのように変化するかをモニタする動的ビジョンセンサ(DVS)又は変化検出センサであって、1つの画素100または画素の2次元もしくは1次元アレイを含み、画素によって登録された強度の変化を比較し、変化が正又は負である画素アドレスを記録して、処理し多ビットのカラー又はグレイレベルの画素値を連続するフレーム間で相関させ、画素についての3つだけの値である増加、減少または変化なしに基づいてフレームを解析する。【選択図】図1

Description

[関連出願]
本出願は、いずれもそれらの全体が参照により本明細書に組み込まれる、2016年12月30日出願のスイス仮特許出願第CH20160001764号、および2016年12月30日出願のスイス仮特許出願第CH20160001765号の優先権を主張する。
[技術分野]
本発明は、ビジョンセンサ、より詳しくは動的または変化検出センサに関する。これらのセンサは、光強度の変化に反応し、このような方法でシーンがどのように変化するかをモニタする。
現在、マシンビジョンは、ほとんどが従来のカメラおよびそれらと関連するフレームベースの画像センサに基づく。いくつかのマシンビジョンタスク、例えば、物体認識には、これらの従来のフレームベースのカメラがよく適している。しかしながら、他のタスク、例えば、追跡または位置および動きの推定について、従来の画像センサは、欠点を有する。
主な欠点は、従来のカメラが冗長かつ不必要な著しい量のデータを生み出し、それらのデータを取り込み、通信して、処理しなければならないことである。この高いデータ負荷が時間分解能を減少させることによって反応時間を遅らせ、電力消費量の増加をもたらし、さらにマシンビジョンシステムのサイズおよびコストを増加させる。加えて、ほとんどの画像センサには限られたダイナミックレンジ、不十分な低照度性能およびモーションブラーの問題がある。
これらの欠点は、データが静止画(フレーム)のシーケンスとして取込まれるという事実から生じる。いくつかのケースでは、動的シーンを静止画像として符号化することが美しい画像および動画を作り出すのに有用であるが、マシンビジョンに用いるためのデータ処理には最適でない。
従来のカメラを用いた従来型コンピュータビジョンシステムは、典型的に、物体認識のために連続した画像フレーム間でフィーチャを比較する。モバイルシステムの位置および方位を推定するため、ならびに周りの世界の3次元マップを推測するために、部分的に重なっているが、異なる時間に異なる姿勢からとられた、2つの連続した画像が比較される。2つのフレーム間で発生した動きを推測するためには、特徴的な視覚的ランドマーク(キーとなる箇所または他の視覚的フィーチャ)を2つの画像にわたって照合しなければならない。両方の画像において互いに対応するこれらの箇所の対を見出すことは、「対応問題」を解決することとして知られている。
対応問題を解決するには、著しい量の処理能力を必要とする。ランドマークを検出するために、特徴的なフィーチャ(角、斑点、稜など)について画像中のすべての画素を検索しなければならないであろう。次に、いわゆるフィーチャ記述子を特徴付けるために画素およびそれらの周辺近傍の画素がグループ分けされ、フィーチャ記述子は、次に、フレーム間でフィーチャを照合し、それによって、対応する箇所の対を確立するために用いられる。これは、計算を多用する。画素強度を直接に比較する直接的なアプローチは、計算がさらにいっそう複雑である。
他方、いわゆる動的ビジョンセンサ(DVS:Dynamic Vision Sensor)は、フレームベースの符号化の限界を克服するセンサである。本参照により本明細書に組み込まれる特許文献1、Lichtsteiner等、「Photoarray for Detecting Time-Dependent Image Data」を参照。画素内データ圧縮を用いることによって、データ冗長性が除去され、高時間分解能、低レイテンシ、低消費電力で、モーションブラーのほとんどない高ダイナミックレンジが達成される。従って、DVSは、特に、太陽電池または電池式の圧縮センシング用途に、またはシステムの位置を推定しなければならず、限られた電池容量に起因して処理電力が限られる、モバイルマシンビジョン用途によく適している。
DVSは、視覚情報を局所的に前処理する。鮮明な画像を生成する代わりに、DVSは、コンピュータアプリケーションのためのスマートデータを作り出す。従来の画像センサは、動画を一連の静止画像として取り込むが、DVSは、シーン中の変化の位置を検出して、それだけを送信する。DVSは、画素内データ圧縮を行うため、従来のカメラよりはるかに効率的に視覚情報を符号化する。これは、より少ないリソース、より低い正味の電力を用いて、より速いシステム反応時間でデータを処理できることを意味する。高時間分解能が視覚的フィーチャの連続的な追跡を可能にし、それによって、対応問題を克服する。加えて、DVSのアーキテクチャは、高ダイナミックレンジおよび良好な低照度性能を可能にする。
米国特許出願公開第2008/0135731号
典型的なDVSは、いくつかの欠点を抱える可能性がある:
1.画素回路は、いくつかのケースでは、増幅器および2つの比較器をそれらが含むため、大きくなりかねない。
2.非同期読み出し回路は、タイミングジッタを生じやすい。シーンの広い区域が短時間に変化するならば、ジッタが増加して、センサの部分からのデータ読み出しが遅延し、動きアーチファクトにつながりかねない。
3.DVS画素回路は、セルフタイム式の傾向があるため、センサ時間分解能を課することができず、小区域における非常に速い変化が通信帯域幅を飽和させかねない。
4.DVSセンサは、作り出される出力データの量がシーンのダイナミックスに主に依存するという特性を有する。従って、データレートが予測不可能であり、処理段階における問題、すなわち、過負荷の問題につながる(すなわち、処理段階がデータ量に対処できない)。
5.いくつかのDVSセンサでは、アレイ中の画素は、各行が読み出された後にその行がリセットされる。これは、フレームからフレームへの小さい変化を蓄積できないため、遅い移動が検出されないことを意味する。さらに、既存の画素回路設計は、ローリングシャッタに起因する動きアーチファクトを生じやすい。
本発明は、DVS(動的ビジョンセンサ)設計に関係する。既存の解決法と関連する少なくともいくつかの不利な点を軽減する、取り除く、または陳腐化するために異なる実施形態を採用することができる。例えば、本発明の実施形態は、画素アレイに用いられる画素のサイズを縮小することを可能にして、その結果、同じ解像度に対してより小さいセンサ、または同じダイサイズに対してより高い解像度を可能にする。さらに、いくつかの実施形態では、画素アレイの画素が同時に作動されてよい(従って、同時に機能するセンサを可能にする)。そのうえ、光強度の変化を評価する時間を制御することができ、従って、時間分解能および事象レートを目下の状況および用途に適応可能にできる。
画素回路は、同時に、および/または外部タイミング基準によって機能できる。これは、以下に列挙されるいくつかの利点を有する:
1.センサの時間分解能を変化させることによる事象レート制御。
2.フレームベースの読み出しは、画素からの時間ジッタがより少ないデータ読み取りを可能にする。
3.クロックド画素回路を有すると、標準的なデジタル設計ツールを用いることができて、画素アレイにインターフェースで接続するデジタル通信回路の設計がより容易になる。典型的な既存のDVSの非同期回路の設計は、適切な市販のツールが入手できないため、より難しくなりがちである。
4.コントローラによってタイミングを制御すると、変化検出フェーズと読み出しフェーズとを時間的に分離することが可能になる。これは、1つの画素から別の画素への寄生結合に起因して誤事象を生成するリスクを低減する。
一般に、一態様によれば、本発明は、センサを特徴とする。センサは、典型的に、画素のアレイを備える。アレイは、1または2次元アレイとすることができる。しかしながら、単一画素のセンサも可能である。
センサの画素の各々がいくつかの要素を含む。フォトセンサは、入射光を検出する。フォトレセプタ信号は、フォトセンサによって受光された光の量の関数である。メモリキャパシタがさらに設けられて、キャパシタの第1のプレートは、フォトレセプタ信号からの電荷を帯び、キャパシタの第2のプレートは、フォトレセプタ信号の変化とともにその電圧が変動する比較器ノードに接続される。次に、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、1つ以上の比較器が比較器ノードの電圧を1つ以上の基準電圧と比較する。
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサは、典型的に、画素のアレイまたは単一画素を含む。それらの画素の各々がフォトセンサを含む。フォトレセプタ信号は、フォトレセプタによって受光された光の量の関数である。さらに、メモリキャパシタは、フォトレセプタ信号からの電荷を帯びる。画素には、1つだけの比較器が設けられる。比較器は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、比較器ノードの電圧を1つ以上の基準電圧と比較する。
画素中の単一の比較器のみの使用は、画素のサイズを縮小するという利点を有する。このサイズ縮小を用いてアレイのサイズを半導体チップの同じ面積に対して増加させることができる。他方では、それを用いて、センサの全体サイズを縮小し、より低コストのデバイスを可能にすることができる。
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサも画素のアレイまたは単一画素を備える。画素の各々は、フォトセンサおよびメモリキャパシタを含む。画素は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するためにメモリキャパシタからの電圧を1つ以上の基準電圧と比較する比較器をさらに含む。本発明によれば、比較器は、メモリキャパシタへのリセット電圧も提供する。
メモリキャパシタへリセット電圧を提供するために比較器を用いることが有用である。なぜなら、このリセット電圧が比較器におけるオフセットを考慮に入れる方法でメモリキャパシタをリセットするからである。これが重要なのは、画素アレイ中の比較器の各々が、製造ばらつきに起因して、わずかに異なるオフセットを有するかもしれないためである。本発明によれば、結果として生じる任意のオフセットがメモリキャパシタへリセット電圧を提供するために比較器を用いることによって除去される。
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサも画素のアレイまたは単一画素を備える。画素の各々は、フォトセンサおよびメモリキャパシタを含む。画素中には比較器がさらに設けられる。比較器は、フォトレセプタ信号上の変化をオン閾値またはオフ閾値に対して評価するために、メモリキャパシタからの電圧を2つの基準電圧と相次いで比較する。
本発明は、メモリキャパシタからの電圧をオン閾値またはオフ閾値と連続的に比較することによってオン事象およびオフ事象の両方を判定するために単一の比較器を用いるという利点を有する。
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサは、画素のアレイまたは単一画素を有する。それらの画素の各々がフォトセンサおよびメモリキャパシタを含む。さらに、画素は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するためにメモリキャパシタからの電圧を比較する1つ以上の比較器を有する。最後に、1つ以上の比較器の出力を保存するために、画素中にメモリ構造が設けられる。
画素中にメモリ構造を設けると、画素が閾値処理の結果を保存することが可能になる。これにより、例えば、アレイ中の様々な画素から情報がいつ読み出されるかのタイミングを見込むことが可能になる。
一般に、別の態様によれば、本発明は、画素のアレイまたは単一画素を特徴とする。これらの画素の各々がフォトセンサおよびメモリキャパシタを含む。本発明によれば、スイッチも画素の各々に設けられて、フォトセンサをメモリキャパシタに接続するシャッタ回路信号によって制御される。このような方法で、アレイ中の画素のすべてにグローバルシャッタ信号を提供できる。
グローバルシャッタの使用は、例えば、ローリングシャッタと関連する問題を回避するようにアレイ全体をトリガするために、単一の信号を用いることができるという点で有利である。
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサは、画素のアレイまたは単一画素を備える。それらの画素の各々がフォトセンサを含む。フォトレセプタ信号は、フォトレセプタ信号からの電荷を帯びるメモリキャパシタにおいてフォトセンサによって受光された光に基づく。本発明によれば、アレイの読み出し回路中に1つ以上の比較器が設けられる。これらの比較器は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、アレイのメモリキャパシタの電圧を基準電圧と比較する。
この発明では、比較器が画素のアレイを囲む周辺回路へ移される。これは、それらの対応する画素をさらに縮小することを可能にする。他方では、アレイ全体に必要な閾値処理機能を提供するために、少数の比較器を用いることができる。
一般に、別の態様によれば、本発明を方法としても特徴付けることができる。具体的には、センサの作動の方法は、入射光を検出するアレイの画素のフォトセンサ、フォトセンサによって受光された光の量の関数であるフォトレセプタ信号を生成するステップ、フォトセンサによって前に検出された光に対応する電荷を保存するためにメモリキャパシタを用いるステップであって、キャパシタの第1のプレートは、フォトレセプタ信号からの電荷を帯び、キャパシタの第2のプレートは、比較器ノードに接続されて、それらの電圧がフォトレセプタ信号の変化とともに変動する、用いるステップ、およびフォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、比較器ノードの電圧を1つ以上の基準電圧と比較するステップを含む。
構成および部分の組み合わせの様々な新規の詳細、ならびに他の利点を含む、本発明の上記および他の特徴が、次に、添付図面を参照してより詳しく記載され、特許請求の範囲において示されるであろう。本発明を具現化した特定の方法およびデバイスが、本発明の限定としてではなく、説明として示されることが理解されるであろう。本発明の原理および特徴は、本発明の範囲から逸脱することなく、様々な多くの実施形態に採用されてよい。
添付図面において、参照文字は、異なる図面を通じて同じ部分を指す。図面は、必ずしも縮尺通りではなく、本発明の原理を示す際にはむしろ強調されている。図面は、以下の通りである。
本発明の原理による、DVSまたは変化検出センサのための画素回路の構成要素および接続を示す回路図である。 随意的なサンプリング回路をもつ画素回路の代わりの実施形態を示す回路図である。 行および列の2次元画素アレイに配置された画素をもつセンサのレイアウトを示す概略図である。 フレームを処理する各フェーズが固定された時間量を要する、固定フレームレートをもつ変化検出センサのためのフェーズタイミングを示す。 可変フレームレートをもつ変化検出センサのためのフェーズタイミングを示し、可変性は、事象読み出しフェーズに要する時間に帰される。 サンプリングのない画素回路の好ましい実施形態の構成要素を示す回路図である。 信号のタイムラインを示す。横時間軸は、上にラベル付けされたフェーズ作動の発生の持続時間および時刻に対応する。 サンプリングのある画素回路素子の好ましい実施形態の構成要素を示す回路図である。 前のものと比較して、より小さく、より簡単な画素回路の実施形態の構成要素を示す回路図である。 図8に図示される画素回路の実施形態に対応する信号のタイムラインを示す。 メモリ回路が画素回路素子から読み出し回路へ移された、さらに小さく、より簡単な画素の実施形態の構成要素を示す回路図である。 図10に図示される画素回路の実施形態に対応する信号のタイムラインを示す。 前の実施形態より高速にできる、画素ごとに2つの比較器をもつ別の画素の実施形態を示す回路図である。 比較器機能が画素回路から読み出し回路へ移されたときになおさらに小さい画素サイズを示す回路図である。(注:示される2つの画素は、画素アレイの列に沿う。) 図13と同様の配置における2つの画素を示す。図中、画素回路は、画素出力の変化を増幅するための増幅回路を含む。 サンプリング回路SCの実施形態を示す回路図である。 2段比較器A1の実施形態を示す回路図である。 オペレーショナルトランスコンダクタンス増幅器に基づく代わりの比較器の実施形態を示す回路図である。 リセット回路の実施形態を示す回路図である。 代わりのリセット回路を示す回路図である。 リセット回路の第3の実施形態を示す回路図である。 図8の画素の実施形態のリセット回路の第1の実施形態を示す回路図である。 図8の画素の実施形態の代わりのリセット回路を示す回路図である。 図8の画素の実施形態のリセット回路の第3の実施形態を示す回路図である。 図10に示される画素の実施形態のためのリセット回路を示す回路図である。 図10に示される画素の実施形態のためのリセット回路の実施形態を示す回路図である。 フォトレセプタ回路の概略図である。 画素フォトレセプタおよび回路の好ましい実施形態を示す回路図である。 2つのNMOSフィードバックトランジスタをもつフォトレセプタの実施形態を示す回路図である。 PMOSフィードバックトランジスタをもつフォトレセプタの実施形態を示す回路図である。 画素アレイ中の基本的な読み出し回路の実施形態を示す概略図である。 事象ベースの読み出し回路の実施形態を示す概略図である。 図5、図7および図12における画素回路のための列論理回路の好ましい実施形態を示す回路図である。 図8の画素回路のための列論理回路の実施形態を示す回路図である。 図10の画素回路のための列論理回路の実施形態を示す回路図である。 図13の画素回路のための列論理回路の実施形態を示す回路図である。 図13に示される画素回路および図35の列論理回路実施のための信号タイムラインを示す。 図14に示される画素回路のための列論理回路の実施を示す。
次に、本発明の実例となる実施形態が示される添付図面を参照して、本発明をより十分に記載する。しかしながら、本発明は、多くの異なる形態で具現化されてよく、本明細書に提示される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態を、本開示が十分かつ完全であり、本発明の範囲が当業者に十分に伝わるように提供する。
本明細書では、用語「および/または」は、関連する列挙項目のうちの1つ以上のあらゆる組み合わせを含む。さらに、単数形および冠詞「a」、「an」および「the」は、別に明記されない限り、複数形も同様に含むことが意図される。用語:含む、備える、含むことおよび/または備えることは、本明細書に用いられるときに、明記される特徴、整数、ステップ、作動、要素および/または構成要素の存在を特定するが、1つ以上の他の特徴、整数、ステップ、作動、要素、構成要素、および/またはそれらの群の存在または追加を排除しないことがさらに理解されるであろう。さらに、ある要素が、構成要素またはサブシステムを含めて、別の要素に接続または結合されることが言及され、および/または示されるときには、その要素を他の要素に直接接続または結合することができ、あるいは介在要素が存在してもよいことが理解されるであろう。
「第1の」および「第2の」などの用語が様々な要素を記述するために本明細書では用いられるが、これらの要素は、これらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、1つの要素を別の要素から区別するために用いられるに過ぎない。従って、以下に考察される要素を第2の要素および同様に呼ぶことができるであろうが、本発明の教示から逸脱することなく第2の要素が第1の要素と呼ばれてもよい。
別に定義されない限り、本明細書に用いられるすべての用語(技術および科学用語を含む)は、当業者によって共通に理解されるのと同じ意味を有する。一般に用いられる辞書に定義されるような用語は、関連する技術分野の文脈におけるそれらの意味と整合する意味を有すると解釈されるべきであり、本明細書において明示的にそのように定義されない限り、理想化されたまたは過度に形式的な感覚で解釈されることにはならないことがさらに理解されるであろう。
本出願を通して多くの専門用語が用いられる。便宜上および本発明の正確な記載のためにそれらの専門用語が以下に定義される。
閉じたスイッチ:導通している、すなわち、2つの端子が電気的に接続されたスイッチ。
電子接続:回路における2つのノード間の直接的(2つのノード間に電流が流れることができるような、電気的)か、またはバッファを介した、いずれかの接続。
事象:所与の画素における光強度の増加または減少。
事象フレーム:閾値電圧の適用、メモリの作動、メモリコンテンツの読み出しおよびリセットの1回の反復。
事象レート:画素回路によって生成され、送信される毎秒の事象の数。事象レートは、画素回路構成、閾値設定および時間分解能に、さらにセンサの動きならびに観察シーンにも依存する。
フレームレート:各画素が毎秒読み取られる回数。1つの事象フレーム全部が走査されるレートに相当する。フレームレートは、固定することもでき、または生成される事象の数に従属させることもできる。
動きアーチファクト:カメラまたは対象のいずれかがフレームにわたって速く動いている場合、ローリングシャッタは、画像中の潜在的な垂直線の顕著なスキューを示しかねない。フレーム中に速い動きがあれば、画像全体が歪みかねない。
OFF事象:所与の画素についての光強度の離散的な減少。
ON事象:所与の画素についての光強度の離散的な増加。
開いたスイッチ:導通していないスイッチ、すなわち、2つの端子間に開回路が提供される。
画素アドレス:アレイ中の画素の位置を記述する番号または番号の対。通常、行番号および列番号。
パワーレイル:接地(Vss)または電源電圧(Vdd)のいずれか。
一般に、図1は、本発明の原理によって組み立てられ、接続された画素回路の構成要素を示す。この文書の後の方では、画素の行および列を有し、各々の画素がこの実施形態または代わりの実施形態に示されるようなエレクトロニクスを有する、2次元画素アレイが参照される。
本発明における「画素」は、それに衝突する光の強度を記録するセンシング要素を指し、「画素回路」または「画素エレクトロニクス」は、画素の電子的構成要素および回路素子を指す。この文書では、用語「画素回路」は、画素のエレクトロニクスに関する考察に焦点に合わせるために用いられ、用語「画素」は、センシング要素を全体として指すために用いられる。典型的に、センサ(図3参照)は、画素100の2次元アレイおよび追加の周辺回路素子から構成される。それでもなお、すべての用途に2次元アレイが必要とされるわけではない。センサは、単一画素(1つの画素のアレイ)または画素の1次元アレイ(ラインセンサ)を含むこともできる。
画素回路100の主な構成要素が以下に列挙される。
1.フォトレセプタモジュール。図に示されるように、画素回路は、衝突光9を測定して光強度を電流Iphotoへ変換するためのフォトダイオードPD、または他のフォトセンサ、光強度に依存するフォトレセプタ信号Vprを生成するためのフォトレセプタ回路PRC、および過去のフォトレセプタ信号を記憶するためのメモリキャパシタC1を含む。フォトセンサPDおよびフォトレセプタ回路PRCは、フォトレセプタモジュールPRを構成する。
2.メモリキャパシタC1:フォトレセプタ信号Vpr、従って、フォトセンサPDによって受光された光に応答する電荷をキャパシタの第1のプレートが帯びるようにフォトレセプタ信号Vprを受け取る。メモリキャパシタC1の第2のプレートは、A1の比較器ノード(反転入力)に接続される。従って、比較器ノードの電圧Vdiffは、フォトレセプタ信号Vprの変化とともに変動する。
3.比較器A1:これは、現在のフォトレセプタ信号Vprと過去のフォトレセプタ信号との間の差を閾値と比較するための手段である。この比較器A1は、各画素中にあっても、または画素のサブセット(例えば、列)間で共有されてもよい。好ましい実施形態では、比較器が画素と一体になり、各画素が専用の比較器A1を有する。
4.メモリ:メモリ50は、コントローラ60からのサンプル信号に基づいて比較器出力を保存する。メモリは、サンプリング回路(例えば、スイッチおよび寄生または明示的キャパシタ)あるいはデジタルメモリ回路(ラッチまたはフリップフロップ)とすることができる。1つの実施形態では、メモリがサンプリング回路であり、各画素が2つのメモリを有する。
5.条件付きリセット回路R1:リセットのための条件は、記憶された比較器出力の状態とコントローラによって適用されるリセット信号との組み合わせである。
6.周辺回路の構成要素:比較器A1およびメモリ50は、画素中または周辺回路中(画素回路の外部)に配置することができる。
周辺回路は、コントローラ60を含み、コントローラ60は、閾値信号を比較器A1に適用し、制御信号をメモリ50へ送り、条件付きリセット回路R1がアクティブになる時間を選択する。
周辺回路は、読み出し回路ROも含んでよく、読み出し回路ROは、メモリ50のコンテンツを読み取り、所与の画素についての光強度が、増加した、減少した、または変化しなかったかどうかを判定して、(現在のメモリ値から計算された)出力をプロセッサへ送る。
さらに詳細には、比較器は、光が増加/減少したかどうかを伝える。Off事象について:Vdiffが(Vb上の)閾値Voffより低ければ、比較器出力はハイであり、このレベルがメモリに保存される。これは、減少が検出されることを意味する。Vdiffが閾値より低くなければ、比較器出力はローである:減少が検出されない。
唯一困難なのは、On事象では、ロー比較器出力が増加を意味し、一方でハイ比較器出力が変化なしを意味するが、Off事象については、ハイ比較器出力が減少を意味し、一方でロー比較器出力が変化なしを意味することである。
従って、読み出しは、メモリコンテンツおよびどの閾値が適用されたかを知らなければならない。あるいは、後に記載される好ましい実施形態におけるように、メモリ極性がオンおよびオフの両方について同じであるように、Onに対してはインバータがある。
本発明の画素回路100の1つの好ましい実施形態では、各画素回路100が1つの比較器のみを含み、従ってこの比較器が最初にON事象のための比較器として、次にOFF事象のための比較器として機能する(逆もまた同様である)。
画素回路100およびコントローラ60は、以下のように作動する。
フォトセンサPDによって受光される光強度の変化は、フォトレセプタ信号Vprの変化に換算される。リセット回路R1が導通していないときには、比較器A1への反転入力(-)における比較器ノードの電圧VdiffにもVprの変化が反映される。これは、メモリキャパシタC1の両端間の電圧が一定のままであるために発生する。
コントローラ60によって選択された時刻に、比較器A1は、メモリキャパシタC1の第2の端子における比較器ノードの電圧(Vdiff)を、比較器A1の非反転入力(+)に適用された(コントローラからの)閾値電圧Vbと比較する。
コントローラ60は、比較器出力Vcompを保存するためにメモリ50を作動させる。メモリ50は、示されるように、典型的に、画素回路100の一部として実施される。しかしながら、他の実施形態では、メモリ50は列論理回路(周辺回路、画素アレイの各列ごとに1つ)の一部として実施される。
メモリ50に保持された保存比較器出力の状態が光強度の変化を示し、AND、コントローラ60からのグローバルリセット信号であるGlobalReset信号がアクティブであれば、条件付きリセット回路R1は、導通している。ここで「AND」は、論理AND演算子を示す。条件付きリセット回路R1が導電状態にあると、比較器A1の反転入力における比較器ノードの電圧(Vdiff)は、既知のレベルへリセットされる。従って、比較器A1は、現在のフォトレセプタ信号VprをメモリキャパシタC1上に保存する。
図2は、フォトレセプタ回路PRCとメモリキャパシタC1との間に随意的なサンプリング回路SCを含む、別の実施形態による画素回路100を示す。サンプリング回路SCは、フォトレセプタ回路PRCの出力VprとメモリキャパシタC1との間の選択的電子接続または切断を可能にする。
サンプリング回路SCは、動きアーチファクトを回避するためすべての画素のフォトレセプタ出力を同じ瞬間にグローバルにサンプリングするためにコントローラ60からのサンプル信号25によって作動される。典型的に、サンプリング回路SCは、サンプリングスイッチ150、寄生または明示的サンプリングキャパシタC2、およびバッファ増幅器A2を備えてよい。(注:すべての実施でバッファ増幅器A2が用いられるわけではない。)
画素回路100およびコントローラ60は、以下のように作動する。
光強度の変化は、図1の前の実施形態におけるように、フォトレセプタ信号Vprの変化に換算される。
同時に、コントローラ60は、フォトレセプタ回路PRCからのフォトレセプタ出力電圧VprをサンプリングキャパシタC2へ電気的に接続することによってサンプリング回路SCを作動させる。コントローラ60は、さらに、制御信号25を介してスイッチ150を開くことにより、フォトレセプタ出力電圧VprをキャパシタC2から切断することによってサンプリング回路SCを作動させる。
コントローラ60によって指定された時刻に、比較器A1は、比較器ノードにおけるVdiffをその非反転入力上に適用された閾値Vbと比較する。同時に、コントローラ60は、比較器出力Vcompを保存するためにメモリ50を作動させる。前のように、メモリ50は、画素回路100中、または後に記載されるような周辺RO回路42の列論理回路44中のいずれかに配置される。
保存された比較器出力の状態が光強度の変化を示し、AND、(コントローラによって制御された)グローバルリセット信号であるGlobalResetがアクティブであれば、条件付きリセット回路R1は、導通しており、Vdiffが既知のレベルへリセットされて、次に、サンプリングC2上の電圧がメモリC1上に記憶される。
先述のように、画素または画素アレイをマシンビジョン用途のためのセンサとして用いることができる。マシンビジョン用途では、センサの出力が(直接的または間接的に)データプロセッサへ向かうことになり、データプロセッサではアルゴリズムがセンサの、またはセンサによって解析された物体の位置および動きを算出できる。
従来のセンサは、画素に衝突する光強度を表す画素値を含んだ画像を出力する。対照的に、本明細書では、センサは、光強度変化が検出された画素のアドレス(画素のアドレスがその行および列番号に対応する)を出力する。所与の画素におけるこの光強度変化は、事象と呼ばれる。より具体的には、用語「事象」は、画素の光強度を表し、その関数であるフォトレセプタ信号が、コントローラによって適用された閾値以上の量で変化したことを意味する。事象を送信するために、対応する画素のアドレスが、光強度変化が正または負であったかどうかを示すための1ビットとともに送信される。
時間的に現在および前のインスタンスの間の光強度変化を検出するために、各画素は、時間的に前のインスタンスにおける光強度の表現を保存する必要がある。
より具体的には、各画素は、この画素で放出された最後の事象の時刻におけるフォトレセプタ信号と、この画素における現在のフォトレセプタ信号との間の差を表す電圧Vdiffを保存する。
好ましい実施形態において事象を検出するために、比較器ノードにおけるVdiffは、光強度の増加(ON事象)を検出するため最初に1つの閾値と比較されて、比較器出力が(明示的または寄生)キャパシタ上でサンプリングされるか、またはフリップフロップに保存される。次に、比較器ノードにおけるVdiffは、光強度の減少(OFF事象)を検出するため第2の閾値と比較されて、比較器出力が(明示的または寄生)キャパシタ上でサンプリングされるか、またはフリップフロップに保存される。グローバルリセット信号がすべての画素へ送られて、各画素では、事象が検出された画素のみをリセットするために、このグローバルリセット信号が、サンプリングされた比較器出力と論理的にAND処理される。次に、サンプリングされた比較器出力電圧が読み出されて、対応する画素アドレスがレシーバへ送られる。
図3は、画素100-1~100-6の2次元アレイを備えるセンサ8を示す。図示されたセンサは、図を混乱させるのを避けるために、2つの行のみおよび3つの列のみが示される。実際には、センサ8は、m行(典型的に2よりずっと大きい)およびn列(典型的に3よりずっと大きい)の画素からなるであろう。2次元アレイ中の画素を画素の行番号および列番号であるそのアドレスによって特定できる。例えば、画素103-6は、(上から数えて)行2および(左から数えて)列3をそのアドレスとして有する。
コントローラ60は、画素100、および行選択回路40、読み出し回路42のような他の構成要素、ならびにアレイからプロセッサ46へのデータの送信を制御する。
図示された例では、行選択回路40がコントローラ60の一部として示される。この行選択回路40は、行の1つまたは複数のサブセットを選択する。画素100の行が選択されたときには、選択された行中の画素の比較器出力が読み出し回路42へ伝達される。
読み出し回路42は、画素アレイからのデータ(記憶された比較器出力)を読み取る。しばしば、読み出し回路42は、このデータをセンサチップの外部にありうる、プロセッサ46のような、ある種のレシーバ(通常はプロセッサの形態)へ送信する前に、より効率的な表現へさらに符号化する。
いくつかの列論理回路44-1~44-nに分割された、n個の列がある、読み出し回路42は、比較器出力を読み取ることから、対応する画素について光強度が増加した、減少した、または変わらないままであるかどうかを判定する。
コントローラ60は、好ましくは、以下に列挙されるような複数のフェーズ(図4Aおよび4B)でセンサ8を作動させる:
1.照射変化の積分:この実施形態では、変化の積分が他のフェーズ中に継続し、追加の専用時間を必要としない。
2.ON事象についての比較フェーズ(図4Aおよび図4B中の218):各画素において、積分された照射変化をON閾値に対して比較するために比較器A1が用いられる。結果は、メモリ50に保存される。
3.OFF事象についての比較フェーズ(図4Aおよび図4B中の220):各画素において、積分された照射変化をOFF閾値に対して比較するために比較器A1が用いられる。結果は、メモリ50に保存される。
4.リセットフェーズ(図4Aおよび図4B中の222):保存された比較器出力の状態が光強度の変化を示す各画素回路100が、それぞれのリセット回路R1を導通させることによってリセットされる。
5.読み出しフェーズ(図4Aおよび図4B中の224):行選択回路40の制御の下で、メモリ50に保存された比較結果が画素アレイから読み出される。
一般に、第1のフェーズ(照射変更の積分)は、変化の連続的な時間積分が他のフェーズ中に停止しないため、明示的な持続時間を有する必要がない。従って、このフェーズのための明示的な時間配分を省略することが可能である。
もちろん、ONおよびOFF事象の比較の順序を逆にすることができる。さらに、画素の実施形態によっては、読み出しフェーズがリセットフェーズの前に生じることができる。
コントローラ60は、好ましくは、フェーズの相対的なタイミングを制御して、画素を制御するために必要な信号を生み出す。図4Aおよび図4Bに示されるように、いくつかの画素作動モードが可能である。
固定された読み出し時間:図4Aは、作動フェーズの各々が固定された持続時間を有する固定時間モードを示すタイミング図である。従って、フレームレートが固定される。図示された例では、各Evtフレームが100マイクロ秒長である。
従って、読み出しフェーズも固定された持続時間を有するが、最もありそうなのは読み出すべき事象の数が事象フレームごとに変化することであろう。読み出しフェーズの持続時間の妥当な限度を維持するためには、単一の事象フレームにおいて読み取ることができる事象の数(214)を制限しなければならない。読み出すべき事象の数が可能な最大値より少なければ、アイドルフェーズがあることになる。
事象の数が読み出しフェーズ中に読み出すことができる数より大きければ、3つの選択肢がある:1)プロセッサ46に通知して、追加の事象を破棄する、2)プロセッサ46に通知して、現在のフレームのためだけに読み出しフェーズを延長する(延ばされたフレーム後に、センサ、すなわち、画素アレイは、次の事象フレームを直ちに開始する)、または3)プロセッサ46に通知して、現在のフレームのために読み出しフェーズを延長し、延ばされたフレーム後に、前の事象フレーム開始時刻との同期を保つために「オフィシャルな」フレーム開始時刻を待つ。
図4Aは、毎秒10k事象フレームまたはフレーム当たり100マイクロ秒のフレームレート例について作動の実例となるタイムラインを示す。
さらに詳細には、各事象フレーム212において、ON事象の比較218は、10μsを消費し、OFF事象の比較220も10μsを消費する。次に、20μsのフェーズ222中に画素がリセットされる。最後に、読み出しフェーズ224では事象が画素アレイ210から読み出されて、読み出し回路42中に蓄積される。読み出しフェーズは、60μs続く。従って、この具体例では、フェーズの持続時間の合計が10+10+20+60=100マイクロ秒である。
連続する事象フレーム212-1、212-2、212-3の間に図示されるように、フェーズ224には60μsが割り当てられるが、このフェーズ224における実際の読み出し214は、様々な時間量を消費する。例えば、第1の事象フレーム212-1のためのフェーズ224-1における事象読み出し214-1については、214-1のために割り当てられた60μsの半分未満が消費される。対照的に、第3の事象フレーム224-3については、事象214-3の読み出しは、224-3のために割り当てられた60μsの3分の2を消費する。
可変的な読み出し時間:図4Bに示される、可変的な読み出し時間モードでは、読み出しフェーズ224の持続時間は送信されるべき事象の数に依存する。結果として、1つのフレームの全長、従って、フレームレートは可変的であり、フレーム当たりの事象の数に依存する。
さらに詳細には、前の例におけるように、事象フレーム212の各々は、10μsを消費するON事象の比較218と、10μsをやはり消費するOFF事象の比較220とに分割される。事象リセットフェーズ222は、各事象フレーム212中で20μsを消費する。他方、事象フレーム212の各々のための事象読み出しフェーズ224は、長さが可変的である。結果として、このフェーズは、画素アレイ210から読み出されることが必要な事象の数214によって決定付けられる時間の長さを有する。
図5は、本発明の原理によって構築された、画素回路100、サンプリングのない好ましい実施形態を示す。
フォトセンサPD、例えば、フォトダイオードもしくはフォトトランジスタまたはフォトアクティブ領域は、衝突光9を電気信号(すなわち、Iphotoと指定される電流、または電荷)へ変換するために用いられる。Iphotoは、次に、フォトレセプタ回路PRCによって電圧Vprへ変換される。Vprの光の強度に対する関係は、典型的に、対数的であるが、このおよび他のすべての画素の実施形態において線形とすることもできるであろう。
好ましくは、いずれかのセンサの実施形態の1つ以上の画素の各々におけるフォトレセプタモジュールPRは対数フォトレセプタモジュールである。対数フォトレセプタモジュールとは、フォトセンサPDのセンシング表面に衝突する光の強度に比例するIphoto電流を、検出光の対数関数である信号へ変換するように構成されたフォトレセプタである。Vprは、Iphotoに対して対数的であるように選ばれるが、Iphotoおよび他の関数に比例するようにVprを選ぶことができたであろうことに留意すべきである。
フォトダイオードによって生成された電流(iphoto)から出力電圧への対数的な変換は、広範囲の入力電流を限られた電圧範囲上にマッピングすることを可能にするため、非常に強力である。対数強度ドメインにおける差の比較は、それが正規化された差の比較と数学的に類似しているという利点も有する。コントラストのほとんどの定義は、正規化された差に基づく(例えば、輝度比、WeberコントラストまたはMichelsonコントラスト)。対数強度ドメインにおける差の比較は、物体の反射率の差を背景照明とは独立して観測することも可能にする。
メモリキャパシタC1は、キャパシタの第1のプレートがフォトレセプタ信号Vprに応答する電荷を帯びるようにフォトレセプタ信号Vprを受け取る。メモリキャパシタC1の第2のプレートは、比較器ノードA1に接続される。図示された例では、第2のプレートは事象比較器A1の反転入力に接続される。従って、比較器ノードの電圧Vdiffは、フォトレセプタ信号Vpr、従って、フォトセンサPDによって受光された光の変化とともに変動する。
比較フェーズ(例えば、図4Aおよび図4B参照)中には、リセット回路R1のリセットスイッチRSが導通しておらず、従って、比較器ノードの電圧Vdiffは、浮いている。メモリキャパシタC1の両端間の電圧は、画素100がリセットされたときから一定のままなので、フォトレセプタ信号Vprの変化が、結果として、浮いた比較器ノードの電圧Vdiffを変化させる。
ON事象の比較のために、閾値電圧Vbがコントローラ60によって値Vonに設定される(図6参照)。事象比較器A1は、従って、閾値電圧VbをVdiffと比較する。コントローラ60は、ON事象サンプリングスイッチS2を閉じる(ON選択のための)Onselもパルスする。結果として、比較器出力がインバータI1によって反転されて、キャパシタンス上でサンプリングされる。図示された実施形態では、このキャパシタンスは、出力回路OUTのON事象出力トランジスタNM2の寄生ゲートキャパシタンスである。
OFF事象の比較のために、バイアス電圧Vbが値Voffに設定される(図6参照)。従って、事象比較器A1は、新しい閾値電圧VbをVdiffと比較する。コントローラ60は、OFF事象サンプリングスイッチS1を閉じるOffselもパルスする。結果として、比較器出力がキャパシタンス上でサンプリングされる。図示された実施形態では、このキャパシタンスは、出力回路OUTのOFF事象出力トランジスタNM1の寄生ゲートキャパシタンスである。
リセットフェーズ中には、閾値電圧Vbが電圧レベルVreset(VonとVoffとの間、好ましくは、VonとVoffとの間の中央における値)に設定されて、GlobalReset信号がコントローラ60によってアクティブにされる。結果として、ON事象またはOFF事象のいずれかが(ORゲートを用いて)検出されて、AND、GlabalResetがアクティブであれば、リセット回路R1がリセットスイッチRSを閉じることになる。
結果として、事象が検出された画素のみがリセットされる。有利には、リセット機能は、フレームからフレームへの小さい変化を蓄積できるため、遅い動きを検出することを可能にする。
図示された回路例は、さらに、事象比較器A1における任意のオフセットを補償し、その結果、画素アレイ8(図3)中の画素100の応答にアレイにわたって一貫性をもたせるのを助ける。一般に、OFF事象出力トランジスタNM1またはON事象出力トランジスタNM2上のいずれかにハイ電圧レベルが保存された、画素アレイ8内の画素100では、リセットスイッチRSが閉じられる。発生する電圧フォロワー構成の結果として、メモリキャパシタC1の第2の端子におけるVdiffは、Vresetプラス比較器の任意のオフセットに落ち着くであろう。結果として、閾値に適用される補正が、今や、事象比較器A1におけるオフセットについて補償される。
読み出しフェーズ中には、画素アレイが行ごとに読み出される。従って、各画素回路100は、コントローラ60がそのRowSelect(行選択)信号を、一度に1つの行、アクティブにするのを待つ。
画素制御信号およびそれらの経時的な変化(タイムラインプロット)が次に考察される。
図6は、グローバル画素制御信号およびローカル画素信号のタイムラインを示す。Vb、Onsel、OffselおよびGlobalResetが画素アレイ中のすべての画素のためのグローバル信号であるのに対して、RowSelectは、行方向の(ローカル)信号である。
さらに詳細には、ONおよびOFF比較フェーズをもつ2つの事象フレームが示される。具体的には、比較フェーズ218-1およびOFF比較フェーズ220-1中に、閾値電圧VbがVonおよびVoffレベルの間で変更される。フォトレセプタ信号Vprが一定なので、事象は、検出されない。
ON比較フェーズ218-2中には、閾値電圧VbがVonに変更される。フォトレセプタ信号Vprが、今や、フォトセンサPDによって受光された光の量が増加したことを示す、より高いレベルにあるので、メモリキャパシタC1の第2の端子における電圧(Vdiff)も(変化が十分に大きければ、Vonのレベルを超えて)増加する。結果として、コントローラ60はOnselもパルスし、ON事象サンプリングスイッチS2が閉じて、ON信号がON事象出力トランジスタNM2(図5)のキャパシタンス上に保存される。RowSelect信号がアクティブであるときに、nRxOnラインがローにプルされる。
事象が検出されるため、リセットフェーズもメモリキャパシタC1の両端間の電圧をリセットする。具体的には、リセットフェーズ222-2において、閾値電圧Vbは、中間レベルVresetに設定される。リセット回路R1における論理のゆえにPixResetがハイであるので、VdiffがVresetへリセットされて、新しい電圧がメモリキャパシタC1の両端間に保存される。
図7は、フォトレセプタPRとメモリキャパシタC1との間にサンプリング回路SCをもつ別の画素回路100(図5)を示す。
これは、フォトレセプタ信号Vprを比較前にサンプリングすることを可能にする。この構成は、ONおよびOFF事象についての比較のために同じフォトレセプタ電圧値が確実に用いられるようにして、ON事象およびOFF事象についての比較の間に、Vprの変化に起因して生じうる動きアーチファクトを回避する。
さらに詳細には、各ON比較フェーズ218の前に、コントローラ60からのサンプルラインは、サンプリングスイッチ150を閉じるためにしばらくの間アクティブである。これは、フォトレセプタ信号電圧VprをメモリキャパシタC1のプレートへ転送する。次に、コントローラ60からのサンプル信号ラインは、サンプリングスイッチ150が再び開くように非アクティブになる。従って、メモリキャパシタC1の左のプレート上の電荷は、静的であり、フォトレセプタ信号Vprのその後の変化とともには変化しない。かかる変化は、典型的に、シーンの変化またはセンサとシーンとの間の移動の結果として生じるであろう。
次に、ON比較フェーズ218およびOFF比較フェーズ220の両方が行われる。異なる閾値電圧Vbに対するそれぞれの比較が、次に、フォトレセプタ信号Vprからサンプリングされた同じ電圧に対して発生することになる。
図8は、別の画素回路100を示す。この設計は、より小さい画素をもたらす。
より具体的には、この画素回路は、前の例(図5および図7)に採用された2つの出力ラインnRXonおよびnRXoffを置き換える、1つだけの出力ラインnRXを有する。この変化は、さらに、リセット回路R1中のORゲート(図5および図7参照)の除去、ならびにNM2、出力回路OUT中の出力トランジスタ(図5および図7参照)のうちの1つの除去を可能にする。両方の事象極性について、出力信号nRxは、アクティブローである。リセット回路R1は、それが導通しているか否かを決定するために、GlobalReset信号およびサンプリングされた比較器出力を用いる。
この実施形態では、事象極性ごとに別々にリセットフェーズ(すなわち、OFF事象のために1つのリセットフェーズおよびON事象のために別のリセットフェーズ)を有することが好ましい。
さらに詳細には、前の実施形態と同様に、フォトレセプタ出力電圧Vprの変化は浮いたノードのVdiffを変化させる。
ON事象についての比較のために、バイアス電圧Vbが電圧レベルVonに設定される。比較器は、VbをVdiffと比較する。OnSelをパルスすることによって、比較器出力はトランジスタNM1の寄生キャパシタンス上でサンプリングされる。
ON事象に起因するリセットのために、Vbは(VonとVoffとの間の中央における)電圧レベルVresetに設定されて、GlobalReset信号はアクティブにされる。ハイ電圧レベルが出力トランジスタNM1上に保存された画素において、リセットスイッチRSは閉じられて、その結果、VdiffはVresetプラス比較器のオフセットに落ち着くことになる。
ON事象の、行ごとの、読み出しのために、RowSelect信号は一度に1つの行についてアクティブにされる。出力トランジスタNM1のゲートキャパシタンスがハイ電圧レベルを保存していれば、出力トランジスタNM1は、導通しており、対応するリクエストラインnRxは引き下げられる。このアクティブローリクエストは周辺読み出し回路42中にラッチされる。
OFF事象についての比較のためには、バイアス電圧Vbがコントローラ60によってレベルVoffに設定される。OffSelをパルスすることによって、この新しい比較器出力は出力トランジスタNM1の寄生キャパシタンス上でサンプリングされる。
リセットされたOFF事象のために、Vbは(VonとVoffとの間の中央における)電圧レベルVresetに設定されて、GlobalReset信号はアクティブにされる。ハイ電圧レベルが出力トランジスタNM1のゲート上に保存された画素において、リセットスイッチRSは閉じられて、その結果、Vdiffは、Vresetプラス比較器のオフセットに落ち着くことになる。
行ごとに行われる、OFF事象の読み出しのために、RowSelect信号は一度に1つの行についてアクティブにされる。出力トランジスタNM1のゲートキャパシタンスがハイ電圧レベルを保持すれば、それは導通しており、出力ラインnRxは引き下げられる。このアクティブローリクエストは周辺読み出し回路42中にラッチされる。
図9は、グローバル画素制御信号およびローカル画素信号のタイムラインを示す。Vb、Onsel、OffselおよびGlobalResetは、グローバル信号であり、RowSelectは、行方向の(ローカル)信号である。
この例では、ON比較フェーズが読み出しフェーズ218と組み合わされる。この間に、閾値電圧Vbは、Vonへ増加し、RowSelectは、アクティブである。しかし、図示されたフェーズ例218-1では、ON事象は、検出されない。同様に、OFF比較フェーズが読み出しフェーズ220と組み合わされる。ONリセットフェーズ219およびOFFリセットフェーズ221中に、GlobalReset信号は、アクティブである。
ON比較および読み出しフェーズ218-2の前に、Vprは、フォトセンサPD上の光の増加に起因して増加し、そして結果として、Vdiffは、Vonより大きい値へ増加する。従って、事象比較器A1は、ON事象を登録し、OnSelがハイおよび再びローになり、従って、PixEvtがハイになるときに、これがメモリに保存される。行選択信号RowSelectがアクティブであるときに、ON事象が出力ラインnRx上の周辺回路へ通信される。ONリセットフェーズ219-2中に、PixEvtおよびGlobalResetが同時にハイである間に、PixResetは、画素がリセットフェーズ219-2中にリセットされるようにハイになる。
図10は、別の画素回路100を示す。この設計は、メモリ機能が画素回路100中には配置されないが、代わりに読み出し回路42の一部である、なおさらに小さい画素をもたらす。
さらに詳細には、リセット回路R1は、リセットスイッチRSを閉じてメモリキャパシタC1をリセットすべきかどうかを決定するために、RowSelect信号および読み出し回路42からの出力アクノリッジ信号ColAckを用いる。ColAckおよびRowSelectの論理ANDは、PixReset信号を記憶するようにラッチを設定するために用いられ、コントローラからのグローバル信号(ResetPixReset)は、リセットフェーズ中にラッチをリセットするために用いられる。ColAckおよびRowSelectのANDを保存して、スイッチRSを制御するために直接にそれを用いない理由は、アレイ中のすべての画素を同時にリセットできるためである。ラッチがないと、読み出しフェーズ中に行ごとにリセットが生じることが必要であろう。
読み出し回路42からのColAck信号は、列中のすべての画素間で共有される。従って、画素のリセットを行ごとにアクティブにしなければならない。作動中に、行選択回路が対応するRowSelectをアクティブにすることよって画素の1つの行を選択し、対応する比較器出力が出力トランジスタNM1を介して読み出し回路へ伝達される。次に、コントローラ60は伝達された比較器出力を保存するために読み出し回路42中のメモリを作動させて、読み出し回路42の列論理回路が光強度に増加または減少があったかどうかを判定する。列論理回路が光強度変化を検出した列では、ColAck信号がアクティブにされる。コントローラは、次に、アレイ210の事象比較器A1の正の入力にリセット電圧Vresetを適用する。依然としてアクティブなRowSelect信号と一緒に、アクティブなColAck信号が対応する画素をリセットする。
加えて、この画素回路では、比較器出力の極性がON事象(増加する光レベル)とOFF事象(減少する光レベル)との間で異なる。結果として、ON事象およびOFF事象についての比較器出力の極性の違いが読み出し回路42において考慮される。これは、出力信号nRxがON事象についてアクティブハイ、OFF事象についてはアクティブローであることを意味する。
図11は、グローバル画素制御信号およびローカル画素信号のタイムラインを示す。Vb、Onsel、OffselおよびResetPixResetがグローバル信号であるのに対して、RowSelectは、行方向のローカル信号であり、ColAckは、列方向のローカル信号である。
この例では、ON比較フェーズが読み出しフェーズ218と組み合わされる。この間に、閾値電圧Vbは、Vonへ増加し、RowSelectは、アクティブである。しかし、図示されたフェーズ例218-1では、ON事象は、検出されない。同様に、OFF比較フェーズが読み出しフェーズ220と組み合わされる。2つの比較および読み出しフェーズ後には、リセットフェーズ224がある。
ON比較および読み出しフェーズ218-2の前に、Vprは、フォトセンサPD上の光の増加に起因して増加し、そして結果として、Vdiffは、Vonより大きい値へ増加する。従って、事象比較器A1がON事象を登録し、行選択信号RowSelectがアクティブであるときに、これが出力ラインnRx上で周辺回路へ通信される。対応する列論理回路が事象を登録するため、この列論理回路は、ColAck信号をアクティブにすることになる。ColAckおよびRowSelectが同時にアクティブであるすべての画素では、PixReset信号がハイになり、比較器の入力と出力とを短絡させる。リセットフェーズ224-2中には、コントローラはVbにVresetを適用し、PixResetが依然としてハイであるため、画素がリセットされる。次に、コントローラは、すべてのPixResetをロー値に戻すために、ResetPixResetをしばらくの間ハイに設定する。
図12は、別の画素回路100を示す。この設計は、より速い作動を可能にする。この設計は、ON事象およびOFF事象比較が同時に生じることを可能にする、画素ごとに2つの事象比較器を含む。加えて、メモリは、画素回路中に配置され、対応する比較器出力における2つのサンプリング回路によって実施される。図5におけるように、メモリは、寄生キャパシタンスをもつスイッチ、ここではS4およびNM2の寄生ゲートキャパシタンスと、同様にS5およびNM1の寄生ゲートキャパシタンスとの組み合わせである。比較器出力は、サンプリングされて、2つの出力トランジスタNM1およびNM2の寄生ゲートキャパシタンス上に保存される。
さらに詳細には、OFF事象比較器A1は、画素アレイ210全体に提供されたVoff閾値電圧を受け取る。同様に、ON事象比較器A2は、画素アレイ210全体に提供されたVon閾値電圧を受け取る。
コントローラ60からのサンプル比較信号SampleCompがアクティブであるときに、比較器A1、A2の出力は、それぞれ、OFF事象出力トランジスタNM1およびON事象出力トランジスタNM2のゲートキャパシタンスへ転送される。次に、それらの状態が、RowSelectがアクティブである(すなわち、NM3が導電している)ときに、出力ラインnRxonおよびnRxoffを介して読み取られる。
ON事象またはOFF事象に応答して、リセット回路は、OFF事象比較器A1の反転入力およびON事象比較器A2の非反転入力へ供給された、メモリキャパシタC1の第2の端子における電圧(Vdiff)をリセットする。このケースでは、アレイ210にわたってVdiffが共通電圧にリセットされる。
図13は、アレイ210からの列に沿った2つの代表的な画素100を示す。ResetLevel、ColAckおよびVsfラインに沿った省略記号(点)は、列に沿った他の画素の存在を示す。それらは、混乱を避けるために図から省略された。この図の画素回路の実施形態は、なおさらに小さい画素をもたらす。その理由は、比較器機能が画素回路100中には配置されないが、代わりに読み出し回路42(図の底部に示される)の一部とされるためである。
この画素回路100は、その出力が他の実施形態について考察されたようにVprであるフォトレセプタ回路PRCとメモリキャパシタC1との間にサンプリングスイッチ150を含む。これは、フォトレセプタ回路PRCの出力とメモリキャパシタC1との選択的な電子接続を可能にする。サンプリングスイッチ150は、コントローラ60からのライン25上のサンプル信号Sampleによって作動される。サンプル信号は、アレイ210中のすべての画素100のフォトレセプタ出力を同時にグローバルにサンプリングするために、コントローラ60によってアクティブにされる。これは、動きアーチファクトを回避する。
具体的には、フォトレセプタ信号VprがVprsとしてメモリキャパシタC1へ転送される。バッファ27が、次に、メモリキャパシタC1の第2の端子における電圧(Vdiff)を保持する。一般に、バッファ27は、メモリキャパシタC1の第2の端子の電圧(Vdiff)を周辺回路へ伝達する。バッファは、行選択回路60から来るRowSelect信号によってイネーブルされる。
画素回路100は、バッファ27としてソースフォロワを用いる。これは、アレイ210中の画素の列についてメモリキャパシタC1の第2の端子上の電圧を読み出し回路42へ伝達する。電圧Vdiffは、読み出し回路へのラインVout上で読み出し回路42の端子Vsfに提供される。そこでは、事象比較器回路A1がVdiffをVonレベルおよびVoffレベルの両方と比較する。この列比較器A1は、読み出し回路42中に配置される。
バッファ27中では、トランジスタM1がユニティゲインソースフォロワ入力トランジスタとしての機能を果たし(ソースフォロワの電流源は、読み出し回路42の一部である)、一方でM2は、ソースフォロワをイネーブルするためのスイッチである。読み出し回路42は、画素の列ごとに別個のColAck信号があるように実施される。ColAck信号は、事象が検出された列においてのみアクティブである(図37は、かかる読み出し回路42を示す)。
リセットトランジスタN1は、RowSelect信号によって制御される。リセットトランジスタN2は、出力アクノリッジ信号ColAckによって制御される。従って、これらの両方の信号がアクティブであるときには、リセットトランジスタN1およびN2が導電しており、メモリキャパシタC1上の第2の端子における電圧(Vdiff)は、読み出し回路42からのリセットラインResetLevel上で画素の列210へ供給されたリセット電圧にリセットされる。トランジスタN1およびN2の直列接続は、従って、信号RowSelectおよびColAckについて論理AND関数を形成する。
理解されるべきは、フォトレセプタ回路PRCとメモリキャパシタC1との間のサンプルスイッチ150なしにこの実施形態を実施することもできるであろうということである。
図14は、アレイ210からの列に沿った2つの代表的な画素100を示す。図13におけるように、ResetLevel、ColAckおよびVsfラインに沿った省略記号(点)は、図を混乱させるのを避けるために省略された、他の画素の存在を示す。この設計も小さい画素面積に焦点を合わせる。前の実施形態におけるように、比較器機能は、画素回路100中には配置されないが、代わりに読み出し回路42の一部とされる。しかしながら、図13の実施形態とは違って、この実施形態は、メモリキャパシタC1の第2の端末における電圧Vdiff、具体的には、画素が最後にリセットされてからの電圧の変化を増幅するために、バッファ27中の容量性増幅器を用いる。
Vdiffは、増幅前に、これまでのようにVprsから得られる(図13)。Vdiffの変化を増幅すると、フォトレセプタ信号Vprの小さい変化を検出することが容易になる。バッファ27の利得は、C1をC2で除したキャパシタンスの比によって与えられる。留意すべきは、キャパシタC2が明示的または寄生であってよいことである。キャパシタンスの比によるこの増大を除けば、図14に示される画素の実施形態および機能は、図13のものと同一である。
バッファ27では、トランジスタM1は、PFET入力トランジスタであり、従ってバッファは増幅器であるが、一方でM2は、増幅器をイネーブルするためのスイッチである。読み出し回路42は、画素の列ごとに別個のColAck信号があるように実施される。ColAck信号は、事象が検出された列においてのみアクティブである。図37は、かかる読み出し回路42を示す。
ノードVdiffのリセットは、RowSelect信号によって制御される行選択スイッチRS、および出力アクノリッジ信号ColAckによって制御される列リセットスイッチCSによって制御される。
(図35とともに)図13では、リセットレベルがソースフォロワおよび読み出し回路中のA1によって決定される。実際のリセットレベルは、ソースフォロワのオフセットおよびA1のオフセットを含み、従って、これらのオフセットの両方が補償されることになる。
(図37とともに)図14では、A1が2つの比較器(ONのために1つ、OFFのために1つ)として実施され、従って、それらの両方をリセットレベルに含めることはできない。しかし、図14中のバッファが1よりずっと大きい利得を有するため、比較器のオフセットは、実際にはあまり問題ではなく、従って、補償されないままであってよい。
かさねて図13についてと同様に、図14もフォトレセプタ回路PRCとメモリキャパシタC1との間のサンプルスイッチ150なしに実施できるであろう。
次に、考察は、上記の画素回路の実施形態の態様/部分の可能な実施例を取り上げることへ移る。理解されるべきは、概ね、上記のいずれの回路も以下に記載される特徴のいずれか1つ以上を有してよいことである。
図15は、画素の実施形態(図2、図7、図13および図14)に用いられうるようなサンプリング回路SCのコンパクトな実施形態を示す。サンプリング回路SCは、スイッチとしてのnFETトランジスタT10と2つのpFETトランジスタT11およびT12によって実施されたソースフォロワとを用い、ここでT11は、ソースフォロワの電流源であり、一方でT12は、ソースフォロワの入力トランジスタである。pFETトランジスタT12のゲートキャパシタンスがサンプリングキャパシタを形成する。
図16および図17は、照射における小さい変化を検出するために用いられる比較器A1の様々な実施形態を示す。数ミリボルト程度の小さい電圧変化を検出することが必要である。これは、図1~図3、図5、図7、図8、図10、図12~図14の回路に示される比較器がかなりの利得(好ましくは、10dBもしくは20dBより大きく、理想的には約40dB、またはそれ以上)を必要とするであろうことを意味する。
図16は、必要な利得を提供するであろう2段比較器を示す。リセットスイッチRSも示され、この実施形態におけるリセットスイッチRSは、比較器の入力と出力とを接続せず、代わりに、入力を比較器の第1段の出力に接続する。
図17は、オペレーショナルトランスコンダクタンス増幅器に基づく比較器A1の別の実施を示す。この増幅器は、比較器として5つのトランジスタを2つのトランジスタの出力段とともに用いる。この増幅器は、比較器の速度が基準電圧に依存せず、結果として、閾値の範囲にさらに多くの自由度があるという利点を有する。さらに、2つのトランジスタの2段比較器を用いた前の例のうちの1つを用いるよりもオフセット補償が良好であると思われる。
リセットスイッチおよびリセット回路は、すべての実施形態において画素回路の一部である。それらの実施形態が以下に続く。
リセットスイッチは、NMOSトランジスタ、PMOSトランジスタ、またはNMOSおよびPMOSトランジスタを含んだ完全なトランスミッションゲートとして実施できる。用いられるスイッチのタイプに依存して、リセット信号の極性は、NMOSトランジスタに対してアクティブハイ、PMOSトランジスタに対してアクティブロー、およびトランスミッションゲートに対してはハイおよびローの両方の極性である。リセット信号がPixResetと呼ばれる場合、極性は、アクティブハイと考えられ、リセット信号がnPixResetと呼ばれる場合には、極性がアクティブローと考えられる。
図18は、図5、図7、および図12中の画素回路のためのリセット回路の実施を示す。図5、図7、および図12に示される回路では、リセット信号生成のためにAND-OR組み合わせが用いられる。リセットスイッチとして機能するNMOSトランジスタのために図18に示されるAND-OR組み合わせ回路を実施できる。ONおよびOFFは、サンプリングされた比較器出力である。例えば、ONがハイ電圧レベルであれば、スイッチS1は導通しており、一方でS3は導通していない。PixReset上の電圧は、従って、このケースではGlobalResetの電圧に従う。コントローラがGlobalResetをハイ電圧レベルに設定する場合、リセットNMOSトランジスタは、導通しており、比較器がリセットされる。
ONおよびOFFの両方がローであれば、S1およびS2のいずれも導通していないが、S3およびS4の両方は、導通している。PixResetは、従って、接地に繋がれ、その結果、リセットトランジスタは、導通していない。
図19は、PMOSリセットトランジスタを用いたリセットの代わりの実施を示す。例えば、電圧レベルONがハイであれば、NM1が導通している。コントローラ60がGlobalResetをハイ電圧レベルに設定する場合、NM3も導通しており、nPixReset上の電圧が接地へプルされることになり、従って、PMOSリセットトランジスタは、導通している。コントローラ60がGlobalResetをロー電圧レベルに設定するときには、nPixResetと接地との間に電流経路はもはやない。次に、PM1における(PM1のゲート上のバイアス電圧によって制御される)バイアス電流がnPixResetを電源電圧へゆっくりプルする。ONまたはOFFがいずれもハイ電圧レベルでなければ、PM1におけるバイアス電流がnPixResetを電源電圧に維持することになり、従って、リセットトランジスタは、導通していない。
図20は、リセット回路のさらに別の実施を示す。このバージョンは、論理機能を実際のリセットスイッチへ組み込む。これは、よりコンパクトな実装を可能にする。ONまたはOFFのいずれかがハイ電圧レベルであり、(コントローラ60によって制御される)GlobalResetがハイであれば、比較器入力間の経路は、導通している。
図21は、図8の画素の実施形態のためのリセット回路の実施を示す。ここでは、NMOSトランジスタがリセットスイッチとして機能する。PixEvtは、サンプリングされた比較器出力である。PixEvtがハイ電圧レベルであれば、スイッチS1が導通しており、一方でS2は、導通していない。PixReset上の電圧は、従って、このケースではGlobalResetの電圧に従う。コントローラがGlobalResetをハイ電圧レベルに設定する場合、リセットNMOSトランジスタは、導通しており、比較器がリセットされる。
PixEvtがローであれば、S1は、導通していないが、S2は導通している。PixResetは、従って、接地に繋がれ、その結果、リセットトランジスタは、導通していない。
図22は、リセット回路の実施を示す。この回路は、PMOSリセットトランジスタを用いる。電圧レベルPixEvtがハイであれば、NM1が導通している。コントローラがGlobalResetをハイ電圧レベルに設定する場合、NM2も導通しており、nPixReset上の電圧が接地へプルされることになり、その結果、PMOSリセットトランジスタは、導通している。コントローラがGlobalResetをロー電圧レベルに設定するときには、nPixResetと接地との間に電流経路はもはやない。次に、PM1における(PM1のゲート上のバイアス電圧によって制御される)バイアス電流がnPixResetを電源電圧へゆっくりプルする。PixEvtがロー電圧レベルであれば、PM1におけるバイアス電流がnPixResetを電源電圧に維持することになり、結果として、リセットトランジスタは、導通していない。
図23は、論理機能を実際のリセットスイッチへ組み込むリセット回路を示す。これは、よりコンパクトな実装を可能にする。比較器の入力と出力との間の経路は、PixEvtがハイ電圧レベルであり、(コントローラによって制御される)GlobalResetがハイであれば、導通している。
図24は、図10に示される画素回路と整合するリセット回路の実施の別の実施を示す。
ここでは、RowSelectおよびColAck(ColAckは、図10における列論理回路から画素への信号である)の両方が高いときに、ノードnPixResetが接地へプルされて、このロー電圧レベルが(明示的または寄生)キャパシタCR上に保存され、その結果、比較器の入力と出力とを接続するスイッチは、導通している。アレイ全体で読み出しが完了した後に、事象を生成したすべての画素は、接地されたnPixResetを有することになり、従って、リセットされる。次に、コントローラは、信号ResetPixResetをロー電圧レベルへセットすることになり、MP1は、導通しており、nPixResetを電源電圧へプルする。リセットフェーズ中にResetPixResetのレベルを制御することによって、PixResetの上り勾配を制御することができる。
図24に示される実施形態では、キャパシタを用いてPixReset信号のためのラッチが実施される(ノードがいつも駆動されるわけではない)。代わりに、図25に示されるように、2つの交差結合インバータをラッチとして用いることができる。
好ましい実施形態では、画素は、時間的な差ではなく時間的なコントラストに対する高ダイナミックレンジおよび感度を可能にするために、対数的フロントエンドを用いる。ネガティブフィードバック回路を採用すれば、照射の変化に対する高速応答を達成できる。
図26は、フィードバックをもつ基本的な対数フォトレセプタPRを示す。このフォトレセプタは、フォトセンサとしてフォトダイオードPDを用いる。フォトレセプタ回路PRCは、反転増幅器と、反転増幅器の入力および出力間に接続された対数的な電流-電圧関係をもつ回路要素M1とを含む。反転増幅器は、フォトダイオードPDにかかる電圧が確実にほとんど一定のままであるようにする。
図27は、フォトレセプタPRの好ましい実施形態を示す。フィードバック要素としてNMOSトランジスタ、および反転増幅器として共通ソース増幅器が用いられる。フロントエンドを画素のリセット中の電圧トランジェントから分離するために、対数フォトレセプタとキャパシタとの間に、ソースフォロワが用いられてよい。ソースフォロワは、入力信号のローパスフィルタリングを追加することも可能にし、その結果、積分ノイズを低減する。
図28および図29は、2つのNMOSフィードバックトランジスタ(図28)またはPMOSフィードバックトランジスタ(図29)を用いたさらに2つの選択肢を示す。
図5または図12に示される画素読み出し回路ROにおいては、列リクエストラインnRxOnおよびnRxOffが同じ列中のすべての画素間で共有される。RowSelectがアクティブであり、NM2の寄生キャパシタ上にハイ電圧が保存される場合、ON事象をデータ読み出し回路へシグナリングするためにnRxOnがローにプルされる。NM2上にロー電圧が保存されている場合には、NM2が導通しておらず、従って、nRxOnは、ハイのままである。
図8および図10に示される画素回路については、読み出し回路ROの列リクエストラインnRxが同じ列中のすべての画素間で共有される。RowSelectがアクティブであり、NM1の寄生キャパシタ上にハイ電圧が保存されている場合、事象をデータ読み出し回路へシグナリングするためにnRxがローにプルされる。NM1上にロー電圧が保存されている場合には、NM1が導通しておらず、従って、nRxは、ハイのままである。
コントローラ60は、画素への制御信号に必要な波形を生成し、比較器の入力における電圧Vbを制御して、列論理回路を制御するために必要な波形を生成する。コントローラ60は、多くのケースでは、さらに、これらの波形を外部タイミング基準へ同期させる。
コントローラ60を画素回路と同じセンサ集積回路(IC:integrated circuit)上に、または例えば、マイクロコントローラもしくはフィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)を用いた別個のIC中に集積できる。コントローラを有限状態マシンによって、またはマイクロコントローラコアを用いて実施できる。
コントローラ60の一部は、行選択回路である。行選択回路は、1つの行における各画素中のOUTを一組のRowSelect信号によって選択してイネーブルする。行選択回路は、1つの行から次の行へ移ることを可能にするクロック入力を有する。行選択回路の出力は、画素の行ごとに1つの、一組のRowSelect信号である。行を選択することは、その行のためのRowSelect信号がアクティブ(ハイ電圧レベル)であり、一方で他のすべての行のためのRowSelect信号が非アクティブ(ロー電圧レベル)であることを意味する。アクティブなRowSelect信号は、「ハイ」比較器出力がサンプリングされた画素が、列中のすべての画素間で共有される信号ラインの状態を変化させることによって、列リクエストを生成することを可能にする。
行選択回路は、現在選択された行のアドレスを符号化してこのアドレスをデータ読み出し回路へ出力する回路を含む。
行選択回路は、走査中に行をスキップするやり方で構成される可能性を含んでよい。この特徴は、いわゆる関心領域(ROI:region-of-interest)読み出しを実施するために用いられる。
コントローラ60は、最初に、Vb(第1の比較器入力)を第1の閾値電圧(Von)に設定して、次に、短い遅延後に、反転された比較器出力をONノードへ電気的に接続するために信号OnSelをロジックハイに設定する、有限状態マシンのようなソフトウェアまたはハードウェアを用いて実施される。次に、別の遅延後に、コントローラ(ハードウェアまたはソフトウェア)は、反転された比較器出力をONノードから切断するためにOnSelをロジックローに設定する。次に、コントローラは、Vbを第2の閾値電圧(Voff)に設定する。短い休止後に、ソフトウェアは、比較器出力をOFFノードへ電気的に接続するために信号OffSelをロジックハイに設定する。再び短い遅延後に、ソフトウェアは、比較器出力をOFFノードから切断するためにOffSelをロジックローに設定する。次に、ソフトウェアは、Vbをリセット電圧Vresetに設定する。ある遅延後に、ソフトウェアは、キャパシタの第2の端子をリセットレベルへ電気的に接続するために信号GlobalResetをロジックハイに設定する。別の遅延後に、ソフトウェアは、キャパシタの第2の端子をリセットレベルから切断するためにGlobalResetをロジックローに設定する。
次に、コントローラは、第1の行中の画素の記憶された比較器出力を読み出し回路に接続するために、第1のRowSelectラインをロジックハイに設定して、この第1の行からの事象の送信を開始するために、信号を読み出し回路へ送る。読み出し回路が終了したときに、コントローラは、第1のRowSelectラインをロジックローに設定し、第2のRowSelectラインをロジックハイに設定する。
すべての行が尽きるまで、すなわち、コントローラがすべての行について記憶された比較器出力を読み取るまで処理が行われる。
すべての記憶された比較器出力を読み終えたときに、コントローラは、短い遅延後に、Vbを第1の閾値電圧に再び設定することによってシーケンスを再開してよい。このプロセスがDVSによるデータ取得の間、繰り返される。
代わりに、シーケンスを直接に再開するのではなく、コントローラは、外部タイミング基準信号を待ってもよい。この外部タイミング基準信号は、プロセッサに由来してよい。
読み出し回路が以下に記載される。
その最も基本的な形態において、読み出し回路は、アレイ210中のすべての画素100について比較器出力を読み取り、3値(増加、減少、または変化なし)画像をフレームごとに1度レシーバへ送る。
図30は、画素アレイ210のための読み出し回路を示す。
画素アレイ210全体について比較器出力を読み取るために、アレイ210が行ごとに走査される。これは、行選択回路40(コントローラ60の一部)が画素の1つの行を選択することを意味し、これらの画素における比較器の出力(または、画素の実施形態に依存して、比較器の記憶された出力)が、読み出し回路42の対応する列論理回路44へ向かう列ラインに接続されることを意味する。列論理回路44は、対応する画素に変化があったかどうかを判定し、次に、それぞれの列論理回路44の出力が列走査回路48を用いて走査される。列走査回路48は、列論理回路の出力をプロセッサ46へ向かう出力データラインへ連続的に接続する。
事象ベースの読み出しが次に記載される。
プロセッサ46におけるより効率的な読み出しおよび処理を可能にするために、データ読み出し回路は、データをより効率的な方法で符号化することができる。この種類の画素回路では、データがまばらであることが予想され、これは、事象フレーム当たりわずかな比率の画素のみが変化を登録したことを意味する。
まばらなデジタル信号を容易にさらに圧縮することができる。多次元デジタルデータを圧縮するためのポピュラーな方法は、このデータ中のデジタル信号の座標/アドレスを符号化することである。デジタル事象のこの符号化は、事象ベースの読み出しとしても知られる。事象ベースのビジョンセンサにおけるポピュラーな符号化スキームは、デジタル信号をアレイ中の画素の行および列座標ならびにタイムスタンプのタプルとして符号化することであり、デジタル事象の発生の場所および時を符号化することにつながる。これは、1つの実施形態では、光強度変化が検出された(事象が生じた)画素のアドレスのみが送信されることを意味する。
図31は、事象が生じた画素のアドレスからの読み出しを可能にする読み出し回路を示す。このために、列論理回路によって事象が検出されたすべての列のアドレスだけでなく、対応する行のアドレスも、次々に、出力される。
この実施は、シフトレジスタ70を採用する。画素の各列が1つの対応するシフトレジスタ段72-1、72-2、72-3を有する。
各シフトレジスタ段72-1、72-2、72-3は、バイパスすることができる。バイパスは、それぞれの列論理回路44-1、44-2、44-3のEventDetect出力によって制御される。EventDetect出力がローであれば、対応するシフトレジスタ段72-1、72-2、72-3は、バイパスされる。EventDetect出力がハイであれば、シフトレジスタ段72-1、72-2、72-3は、バイパスされない。
コントローラ60は、startPulseをハイに設定し、クロックをパルスすることによって事象の読み出しを開始する。これが第1段72-1の入力マルチプレクサ74-1で受け取られる。入力マルチプレクサは、d入力をDラッチ78-1に提供する。Dラッチ78-1出力Qは、出力マルチプレクサ76-1へ提供される。クロック入力は、Dラッチ78-1のクロック入力で受け取られる。
次に、コントローラは、startPulseを再びローに設定する。バイパスされない(例えば、対応するEventDetectがハイである)第1のシフトレジスタ段は、その出力にハイ電圧レベルを保存しているであろう。これは、対応する列論理回路のAddress+EventPolarityを通信バスに接続する。レシーバは、今や、このアドレスを読み取ることができる。クロックの次のパルスでは、バイパスされない、次のシフトレジスタ段72へハイレベルが移り、対応するAddress+EventPolarityが通信バスに接続される。バイパスされない最後のシフトレジスタ段72へハイレベルが移るまでこれが続く。この段の出力は、ライン80を用いて、この行について読み出しが終了したことをコントローラ60に伝える。コントローラ60は、次に、次の行についてRowSelect信号をアクティブにし、行アドレスエンコーダ40を通信バスに接続して、シフトレジスタを再始動する。
列論理回路が次に記載される。
図32を参照すると、画素出力nRxOnおよびnRxOff(図5もしくは図7または図12参照)あるいはnRXだけ(図10参照)について、画素回路の実施形態に依存して、列論理回路44は、対応する画素における光強度が、変化しなかった、増加または減少したかどうかを、画素出力の状態(ロジックローまたはロジックハイ)が増加または減少を表す値に対応するかどうかをチェックすることによって判定する。列論理回路44が増加または減少を検出した場合、データ読み出し回路に通知される。
列論理回路の出力は、事象が検出されたときにアクティブである信号(EventDetect)、事象の極性に対応する信号、および対応する列の列アドレスを符号化する番号である。(ハイEventPolarityは、光強度の増加を意味する)。列アドレスは、列ごとの固定番号に過ぎないため、その実施は、図に示されない。
列論理回路の実施の一部は、リクエストラインごとのバイアストランジスタ(図32中の92、94)である。それらのバイアストランジスタは、画素がそれらをオンにプルしない限り、リクエストライン(nRxOnおよびnRxOff)をロジックハイレベルに保つ。
事象発生は、2つのリクエストライン(nRxOffまたはnRxOn)のうちの1つがロー電圧にあるときにシグナリングされる。列論理回路は、コントローラ60からのラッチクロック信号によって与えられた時刻に2つのリクエストラインのNANDをフリップフロップ96に、nRxOffの状態をフリップフロップ98に保存する。
図8の画素回路のための列論理回路の実施が図33に示される。
ここでは、事象は、Vonが画素比較器に適用されたときにリクエストラインnRXがローであるか、あるいはVoffが画素比較器に適用されるときにリクエストラインがローであるかいずれかのときに検出される。リクエストラインの反転状態がコントローラのコマンドでフリップフロップに保存される。EventDetectは、フリップフロップ出力の論理ORである。
図10の画素回路のための列論理回路の実施が図34に示される。
出力信号EventDetectおよびEventPolarityに加えて、図10の画素の実施形態のための列論理回路は、画素へ向かう信号を生成しなければならず、RowSelect信号とともに事象の検出後の画素をリセットする。提案される実施では、このColAck信号がEventDetect信号と等価である。
事象は、Vonが画素比較器に適用されたときにリクエストラインnRXがハイであるときか、またはVoffが画素比較器に適用されたときにリクエストラインがローであるときに検出される。
図10の画素回路の実施形態は、画素中にメモリユニットを含まないので、列論理回路がメモリユニットを含む。
図13に示される回路の画素のための列論理回路の実施が図35に示される。
ここでは、列論理回路が比較器A1を含む。画素はVdiffを表す信号を出力し、事象を検出するための比較は、列論理回路44で行われる。
画素のリセットは、比較器/増幅器Comp1を用いて行われる。画素がリセットされるべきときには、一致する列におけるEventDetect信号がハイである。コントローラ60は、VbをVresetに設定し、DoResetをハイに設定して、ColAckをハイにする。RowSelect_mがハイの行では、一致するR1中の両方のトランジスタが導通しているため、電圧Vdiffは、次に、Vcompへ短絡される。増幅器Comp1(A1)およびソースフォロワによって形成されたフィードバック回路は、次に、VdiffがVsfをVresetに等しくする電圧に確実に落ち着くようにする。
図36は、図13に示される画素回路および図35の列論理回路の実施のための信号タイムラインを示す。
図14の画素回路のための列論理回路の実施が図37に示される。
列論理回路は、2つの比較器A1-1およびA1-2を含む。2つの比較器は、Voutを一度に両方の閾値と比較することを可能にする。コントローラ60によって制御される信号ラッチにおいて、比較器出力がフリップフロップ112、114に保存される。比較器出力の論理ORが、コントローラ60からの信号DoResetとともに、信号CoAckによって画素がリセットされるか否かを決定する。

Claims (20)

  1. 画素のアレイを備えるセンサであって、前記画素の各々は、
    入射光を検出するフォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量の関数である、フォトセンサ、
    メモリキャパシタであって、前記キャパシタの第1のプレートは、前記フォトレセプタ信号からの電荷を帯び、前記キャパシタの第2のプレートは、比較器ノードに接続されて、その電圧が前記フォトレセプタ信号の変化とともに変動する、メモリキャパシタ、および、
    前記フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、前記比較器ノードの電圧を1つ以上の基準電圧と比較する1つ以上の比較器、
    を含む、センサ。
  2. 前記フォトセンサと前記メモリキャパシタとの間にフォトレセプタ回路をさらに備える、請求項1に記載のセンサ。
  3. 前記フォトレセプタ回路は、前記フォトセンサからの電流に対数的応答を提供する、請求項2に記載のセンサ。
  4. 前記キャパシタの前記第2のプレートは、前記比較器に直接接続される、請求項1に記載のセンサ。
  5. 前記比較器ノードの電圧をリセットするためのリセット回路をさらに備える、請求項1に記載のセンサ。
  6. 画素のアレイを備えるセンサであって、前記画素の各々は、
    フォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量を示す、フォトセンサ、
    前記フォトレセプタ信号からの電荷を帯びるメモリキャパシタ、および、
    前記フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、比較器ノードの電圧を1つ以上の基準電圧と比較する1つだけの比較器、
    を含む、センサ。
  7. 画素のアレイを備えるセンサであって、前記画素の各々は、
    フォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量の関数である、フォトセンサ、
    前記フォトレセプタ信号からの電荷を帯びるメモリキャパシタ、および、
    前記フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、前記メモリキャパシタからの電圧を1つ以上の基準電圧と比較して、前記メモリキャパシタにリセット電圧を提供する比較器、
    を含む、センサ。
  8. 画素のアレイを備えるセンサであって、前記画素の各々は、
    フォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量の関数である、フォトセンサ、
    前記フォトレセプタ信号からの電荷を帯びるメモリキャパシタ、および、
    前記フォトレセプタ信号の変化をそれぞれのオン閾値およびオフ閾値に対して評価するために、前記メモリキャパシタの電圧を2つの基準電圧と連続して比較する比較器、
    を含む、センサ。
  9. 画素のアレイを備えるセンサであって、前記画素の各々は、
    フォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量の関数である、フォトセンサ、
    前記フォトレセプタ信号からの電荷を帯びるメモリキャパシタ、および、
    前記フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、前記メモリキャパシタからの電圧を比較する1つ以上の比較器、ならびに、
    前記1つ以上の比較器の出力を保存するための少なくとも1つのメモリ構造、
    を含む、センサ。
  10. 前記メモリ構造は、スイッチおよび寄生キャパシタンスである、請求項9に記載のセンサ。
  11. 前記フォトセンサを前記メモリキャパシタに接続するためのスイッチをさらに備える、請求項1~10のいずれか一項に記載のセンサ。
  12. グローバルリセット信号に応答して前記メモリキャパシタをリセットするためのリセット回路をさらに備える、請求項1~11のいずれか一項に記載のセンサ。
  13. グローバルリセット信号に応答して、かつメモリ構造のコンテンツに応じて前記メモリキャパシタをリセットするためのリセット回路をさらに備える、請求項1~11のいずれか一項に記載のセンサ。
  14. 前記フォトセンサは、フォトダイオード、フォトトランジスタ、またはフォトアクティブエリアを備える、請求項1~13のいずれか一項に記載のセンサ。
  15. センサであり、
    画素のアレイであって、前記画素の各々は、
    フォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量の関数である、フォトセンサ、および、
    前記フォトレセプタ信号からの電荷を帯びるメモリキャパシタ、
    シャッタ信号によって制御され、前記フォトセンサを前記メモリキャパシタに接続するスイッチ、
    を含む、画素のアレイと、
    前記フォトレセプタ信号の変化が1つ以上の閾値を超えるかどうかを判定するために、前記メモリキャパシタの電圧を1つ以上の基準電圧と比較する1つ以上の比較器と、
    を備える、センサ。
  16. 前記1つ以上の比較器は、画素の前記アレイの周辺にある回路中に配置される、請求項15に記載のセンサ。
  17. 前記1つ以上の比較器は、前記画素の列に割り当てられる、請求項15に記載のセンサ。
  18. センサであり、
    画素のアレイであって、前記画素の各々は、
    フォトセンサであって、フォトレセプタ信号は、前記フォトセンサによって受光された光の量の関数である、フォトセンサ、および、
    前記フォトレセプタ信号からの電荷を帯びるメモリキャパシタ、
    を含む、画素のアレイと、
    前記フォトレセプタ信号の変化が1つ以上の閾値を超えるかどうかを判定するために、前記画素のメモリキャパシタの電圧を基準電圧と比較する読み出し回路中の1つ以上の比較器と、
    を備える、センサ。
  19. センサであり、
    1つ以上の画素であって、前記1つ以上の画素の各々は、
    フォトダイオードに入射する光を電流に変換できる前記フォトダイオードであって、前記電流の振幅は前記光の強度に比例する、フォトダイオード、
    フォトレセプタ回路が前記フォトダイオードからの前記電流を受け取ることができるように前記フォトダイオードに接続された前記フォトレセプタ回路であって、前記フォトレセプタ回路は、前記フォトダイオードから受け取る前記電流を電圧に変換できるように、そしてその電圧を前記フォトレセプタ回路の出力として出力するように構成された、フォトレセプタ回路、および、
    メモリキャパシタ、
    第1および第2の入力を有する少なくとも1つの比較器であって、前記第1の入力は閾値電圧に設定されることでき、前記キャパシタが前記フォトレセプタ回路の前記出力と前記比較器の前記第2の入力との間にあるように、前記キャパシタは前記第2の入力に電気的に接続された、少なくとも1つの比較器、
    少なくとも1つのメモリであって、前記比較器によって出力された値が前記メモリに割り当てられ、保存されることができるように前記比較器の出力に電気的に接続された、少なくとも1つのメモリ、ならびに、
    前記比較器の前記第2の入力における電圧を予め定義された基準電圧に設定するために選択的に作動可能であるように構成されたリセット回路アセンブリ、
    を含む、1つ以上の画素と、
    1つ以上の閾値電圧を前記比較器の前記第1の入力に適用し、前記1つ以上の閾値電圧が前記比較器の前記第1の入力に適用された後に、前記比較器によって出力される前記1つ以上の値を保存するために前記メモリを始動し、前記比較器によって出力された前記値を前記メモリが保存した後に、前記比較器の前記第2の入力における電圧を予め定義された基準電圧に設定するために前記リセット回路を始動するように構成された、コントローラと、
    を備える、センサ。
  20. センサの作動の方法であって、
    到来光を検出するアレイの画素のフォトセンサ、
    前記フォトセンサによって受光された光の量の関数であるフォトレセプタ信号を生成するステップ、
    前記フォトセンサによって前に検出された光に対応する電荷を保存するためにメモリキャパシタを用いるステップであって、前記キャパシタの第1のプレートは前記フォトレセプタ信号からの電荷を帯び、前記キャパシタの第2のプレートは、比較器ノードに接続されて、それらの電圧が前記フォトレセプタ信号の変化とともに変動する、ステップ、および、
    前記フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、前記比較器ノードの電圧を1つ以上の基準電圧と比較するステップ、
    を含む方法。
JP2023181483A 2016-12-30 2023-10-20 動的ビジョンセンサアーキテクチャ Pending JP2023182811A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CH01765/16 2016-12-30
CH17642016 2016-12-30
CH17652016 2016-12-30
CH01764/16 2016-12-30
JP2019532733A JP7074954B2 (ja) 2016-12-30 2017-12-29 動的ビジョンセンサアーキテクチャ
PCT/IB2017/058526 WO2018122798A1 (en) 2016-12-30 2017-12-29 Dynamic vision sensor architecture
JP2022036827A JP7374242B2 (ja) 2016-12-30 2022-03-10 動的ビジョンセンサアーキテクチャ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022036827A Division JP7374242B2 (ja) 2016-12-30 2022-03-10 動的ビジョンセンサアーキテクチャ

Publications (1)

Publication Number Publication Date
JP2023182811A true JP2023182811A (ja) 2023-12-26

Family

ID=61094545

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019532733A Active JP7074954B2 (ja) 2016-12-30 2017-12-29 動的ビジョンセンサアーキテクチャ
JP2019533146A Active JP7074955B2 (ja) 2016-12-30 2017-12-29 事象ベースの視覚センサのためのデータ速度制御
JP2022036827A Active JP7374242B2 (ja) 2016-12-30 2022-03-10 動的ビジョンセンサアーキテクチャ
JP2022036833A Active JP7442560B2 (ja) 2016-12-30 2022-03-10 事象ベースの視覚センサのためのデータ速度制御
JP2023181483A Pending JP2023182811A (ja) 2016-12-30 2023-10-20 動的ビジョンセンサアーキテクチャ
JP2024022196A Pending JP2024056930A (ja) 2016-12-30 2024-02-16 事象ベースの視覚センサのためのデータ速度制御

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2019532733A Active JP7074954B2 (ja) 2016-12-30 2017-12-29 動的ビジョンセンサアーキテクチャ
JP2019533146A Active JP7074955B2 (ja) 2016-12-30 2017-12-29 事象ベースの視覚センサのためのデータ速度制御
JP2022036827A Active JP7374242B2 (ja) 2016-12-30 2022-03-10 動的ビジョンセンサアーキテクチャ
JP2022036833A Active JP7442560B2 (ja) 2016-12-30 2022-03-10 事象ベースの視覚センサのためのデータ速度制御

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024022196A Pending JP2024056930A (ja) 2016-12-30 2024-02-16 事象ベースの視覚センサのためのデータ速度制御

Country Status (7)

Country Link
US (9) US10715750B2 (ja)
EP (3) EP3869791A1 (ja)
JP (6) JP7074954B2 (ja)
KR (4) KR20230087615A (ja)
CN (3) CN110192387B (ja)
DE (1) DE202017007535U1 (ja)
WO (2) WO2018122800A1 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐
JP2018125599A (ja) * 2017-01-30 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器、及び駆動方法
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
EP3725068B1 (en) * 2017-12-11 2021-07-14 Prophesee Event-based image sensor and operating method thereof
CN112262568B (zh) 2018-03-14 2024-03-29 索尼高级视觉传感股份公司 具有直接存储器控制的基于事件的视觉传感器
US10923520B2 (en) 2018-03-14 2021-02-16 Sony Advanced Visual Sensing Ag Event-based vision sensor manufactured with 3D-IC technology
TWI815841B (zh) * 2018-03-15 2023-09-21 日商尼康股份有限公司 控制裝置、控制方法以及程式
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
US11368645B2 (en) * 2018-06-27 2022-06-21 Prophesee Sa Image sensor with a plurality of super-pixels
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Pixel reading circuit and imaging method
CN109842767B (zh) * 2019-01-09 2020-07-14 上海芯仑光电科技有限公司 一种防闪光电路组件及图像传感器
US11526209B2 (en) 2019-01-21 2022-12-13 Sony Advanced Visual Sensing Ag Transparent smartphone
CN109842768B (zh) * 2019-01-29 2020-05-15 上海芯仑光电科技有限公司 一种像素采集电路及图像传感器
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
JP2020136811A (ja) * 2019-02-15 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
KR20200115881A (ko) 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
TWI831962B (zh) * 2019-04-26 2024-02-11 日商索尼半導體解決方案公司 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
US20220224853A1 (en) 2019-05-10 2022-07-14 Sony Advanced Visual Sensing Ag NMOS Comparator for Image Sensor Pixel
EP3967028B1 (en) 2019-05-10 2023-11-01 Sony Advanced Visual Sensing AG Event-based vision sensor using on/off event and grayscale detection ramps
WO2020229981A1 (en) 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
KR20200143141A (ko) * 2019-06-14 2020-12-23 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN114026844A (zh) 2019-07-01 2022-02-08 索尼高级视觉传感股份公司 基于事件的视觉传感器的动态感兴趣区域(roi)
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
JP7101721B2 (ja) * 2019-08-01 2022-07-15 シャープ株式会社 固体撮像素子
JP7451110B2 (ja) * 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
WO2021044299A1 (en) 2019-09-04 2021-03-11 Sony Advanced Visual Sensing Ag Delay equalization in event-based vision sensors
JP2021048554A (ja) 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
CN112738432B (zh) * 2019-10-28 2022-06-21 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN111107287B (zh) * 2019-11-29 2021-06-04 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
KR20210077840A (ko) * 2019-12-17 2021-06-28 삼성전자주식회사 다이나믹 비전 센서 시스템
WO2021127809A1 (en) * 2019-12-23 2021-07-01 Huawei Technologies Co., Ltd. Imaging apparatus and imaging method
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20210102511A (ko) * 2020-02-10 2021-08-20 삼성전자주식회사 버퍼를 포함하는 동적 비전 센서 장치
JP2023076773A (ja) * 2020-04-14 2023-06-02 ソニーグループ株式会社 物体認識システム及び電子機器
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
WO2021242941A1 (en) 2020-05-28 2021-12-02 Apple Inc. Sensor-based user detection for electronic devices
WO2022009720A1 (ja) * 2020-07-09 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、撮像方法および電子機器
ES2947688T3 (es) 2020-08-14 2023-08-16 Alpsentek Gmbh Sensor de imágenes con circuito de píxeles configurable y método
WO2022047651A1 (zh) * 2020-09-02 2022-03-10 华为技术有限公司 视觉传感器芯片及其操作方法和电子设备
KR20220039022A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
WO2022093123A1 (en) * 2020-10-29 2022-05-05 Nanyang Technological University A computer vision sensor for efficient real time object detection under varying lighting conditions
TWI795870B (zh) * 2020-11-06 2023-03-11 大陸商廣州印芯半導體技術有限公司 影像感測器以及影像感測方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学(浙江)研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
KR20220076943A (ko) 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
WO2022143462A1 (zh) * 2020-12-30 2022-07-07 上海集成电路研发中心有限公司 图像信号检测电路、控制方法以及运动检测方法
KR102445008B1 (ko) 2020-12-31 2022-09-21 한국전자통신연구원 이벤트 기반 영상 센싱 장치 및 방법
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社SensAI 固体撮像装置、及び固体撮像装置の駆動方法
CN113132656B (zh) * 2021-04-20 2022-01-28 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113365004B (zh) * 2021-06-07 2022-03-29 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN113518159B (zh) * 2021-06-08 2022-11-01 天津大学 同步读出的大阵列动态视觉传感器及读出方法
FR3125666A1 (fr) * 2021-07-26 2023-01-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Architecture de lecture à base de drapeau pour un réseau matriciel de pixels événementiels
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels
KR20230018044A (ko) * 2021-07-29 2023-02-07 삼성전자주식회사 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN117223293A (zh) * 2022-02-10 2023-12-12 华为技术有限公司 一种高速、低功耗像素偏置电路
CN114422725B (zh) * 2022-03-15 2022-07-01 深圳锐视智芯科技有限公司 一种图像输出方法、图像传感器及其应用
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line
CN114581490B (zh) * 2022-04-29 2022-09-20 北京大学 一种场景设置方法、装置、控制设备及可读存储介质
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
US11848173B1 (en) * 2023-01-31 2023-12-19 Integrated Dynamic Electron Solutions, Inc. Methods and systems for event modulated electron microscopy

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH176516A (de) 1933-10-01 1935-04-15 Enderlin Charles Vorrichtung an Fahrrädern zur Ermöglichung der Unterstützung des Fussantriebes durch Handantrieb.
CH176416A (de) 1933-10-23 1935-04-15 Fa Fr Speidel Karabinerhaken, insbesondere für Uhrarmbänder.
US5107103A (en) 1990-01-26 1992-04-21 Carnegie-Mellon University Integrated circuit having at least a sensor and a processor thereon
DE69218755T2 (de) 1992-01-24 1997-07-10 Rockwell International Corp Ausleseverstärker für starrende Infrarotbildebenenanlage
US5488415A (en) 1993-07-09 1996-01-30 Olympus Optical Co., Ltd. Solid-state image pickup device having a photoelectric conversion detection cell with high sensitivity
CA2242622A1 (en) 1997-07-10 1999-01-10 Universite Laval Integrated motion vision sensor
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
DE10125307A1 (de) 2000-10-07 2002-08-01 Silicon Vision Ag Optischer Sensor
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
DE10301598A1 (de) 2002-09-13 2004-03-25 Conti Temic Microelectronic Gmbh Photodetektor-Anordnung und Verfahren zur Störlichtkompensation
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
GB0412296D0 (en) * 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
EP1657910A1 (en) 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
SG162756A1 (en) 2005-06-03 2010-07-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US7821558B2 (en) * 2005-11-15 2010-10-26 Stmicroelectronics S.A. Image sensor with circuitry for detecting each pixel receiving a given light intensity and providing addresses thereof
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置
WO2007085942A2 (en) 2006-01-25 2007-08-02 Melexis Nv Image sensor with a photodiode readout circuit
US20070222879A1 (en) * 2006-03-24 2007-09-27 Intel Corporation Sub-ranging pixel sample and hold
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8026960B2 (en) * 2008-04-29 2011-09-27 Xerox Corporation Image sensor and associated readout system
WO2010032842A1 (ja) * 2008-09-19 2010-03-25 国立大学法人静岡大学 情報取得装置及び光通信システム
US8436288B2 (en) * 2009-04-24 2013-05-07 Quantum Semiconductor Llc Image sensors with photo-current mode and solar cell operation
WO2012093387A2 (en) * 2011-01-09 2012-07-12 Emza Visual Sense Ltd. Pixel design with temporal analysis capabilities for scene interpretation
US8890052B2 (en) * 2011-05-03 2014-11-18 Raytheon Company Shift register with two-phase non-overlapping clocks
FR2977055B1 (fr) 2011-06-21 2013-07-12 Astrium Sas Detecteur a fonction d'imagerie selective et procede de detection d'eclairs
US9521338B2 (en) * 2011-11-08 2016-12-13 Rambus Inc. Image sensor sampled at non-uniform intervals
WO2013092666A1 (en) 2011-12-19 2013-06-27 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム
JP5973758B2 (ja) * 2012-03-22 2016-08-23 オリンパス株式会社 固体撮像装置
WO2013158965A1 (en) * 2012-04-19 2013-10-24 Raytheon Company Repartitioned digital pixel
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
JP6145655B2 (ja) * 2012-12-18 2017-06-14 パナソニックIpマネジメント株式会社 半導体光検出器
FR3000347B1 (fr) * 2012-12-21 2016-03-04 Trixell Procede de lecture d'un dispositif d'imagerie
KR102009165B1 (ko) 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
JP5925713B2 (ja) * 2013-02-26 2016-05-25 株式会社東芝 固体撮像装置
CN103259985B (zh) 2013-05-17 2016-08-17 昆山锐芯微电子有限公司 Cmos图像传感器、像素单元及其控制方法
KR102102702B1 (ko) * 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
ES2811152T3 (es) 2013-09-16 2021-03-10 Prophesee Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
KR102136055B1 (ko) 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102357680B1 (ko) 2014-11-17 2022-02-03 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102399017B1 (ko) 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
US10498977B2 (en) 2016-03-03 2019-12-03 Insightness Ag Event-based vision sensor
US10652489B2 (en) 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
WO2017174579A1 (en) 2016-04-04 2017-10-12 Chronocam Sample and hold based temporal contrast vision sensor
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐

Also Published As

Publication number Publication date
EP3869791A1 (en) 2021-08-25
DE202017007535U1 (de) 2022-11-03
KR102541757B1 (ko) 2023-06-13
KR20230087615A (ko) 2023-06-16
EP3563564B1 (en) 2021-12-15
WO2018122800A1 (en) 2018-07-05
JP2022076485A (ja) 2022-05-19
US11711631B2 (en) 2023-07-25
JP7074955B2 (ja) 2022-05-25
EP3563563B1 (en) 2020-12-16
US10715750B2 (en) 2020-07-14
CN110192387A (zh) 2019-08-30
US11431937B2 (en) 2022-08-30
JP2020505801A (ja) 2020-02-20
US20200221040A1 (en) 2020-07-09
JP2020503752A (ja) 2020-01-30
JP7074954B2 (ja) 2022-05-25
KR20190102021A (ko) 2019-09-02
US20230328406A1 (en) 2023-10-12
CN110192387B (zh) 2022-06-17
US11076114B2 (en) 2021-07-27
JP2022075789A (ja) 2022-05-18
US20180191972A1 (en) 2018-07-05
JP7442560B2 (ja) 2024-03-04
US20180189959A1 (en) 2018-07-05
US10567679B2 (en) 2020-02-18
US11991466B2 (en) 2024-05-21
US20180191982A1 (en) 2018-07-05
CN110169050A (zh) 2019-08-23
WO2018122798A1 (en) 2018-07-05
US11336859B2 (en) 2022-05-17
EP3563563A1 (en) 2019-11-06
US20200288073A1 (en) 2020-09-10
US20210337151A1 (en) 2021-10-28
JP7374242B2 (ja) 2023-11-06
EP3563564A1 (en) 2019-11-06
CN115037896A (zh) 2022-09-09
JP2024056930A (ja) 2024-04-23
KR20220157514A (ko) 2022-11-29
KR102467771B1 (ko) 2022-11-16
US20200154064A1 (en) 2020-05-14
US10602083B2 (en) 2020-03-24
CN110169050B (zh) 2022-07-26
US20220394205A1 (en) 2022-12-08
KR20190102223A (ko) 2019-09-03

Similar Documents

Publication Publication Date Title
JP7374242B2 (ja) 動的ビジョンセンサアーキテクチャ
US10516841B2 (en) Pixel, pixel driving circuit, and vision sensor including the same
EP3967027B1 (en) Dynamic vision sensor with in-pixel digital change detection
US11825229B2 (en) Event-based vision sensor using on/off event and grayscale detection ramps
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
US20220224853A1 (en) NMOS Comparator for Image Sensor Pixel
CN217522898U (zh) 一种图像传感器
CN113826379B (zh) 具有像素内数字改变检测的动态视觉传感器
CN114938435A (zh) 一种图像传感器及其使用方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231120