DE202017007535U1

DE202017007535U1 - Dynamische Vision-Sensor-Architektur

Info

Publication number: DE202017007535U1
Application number: DE202017007535.0U
Authority: DE
Original assignee: Sony Advanced Visual Sensing AG
Current assignee: Sony Advanced Visual Sensing AG
Priority date: 2016-12-30
Filing date: 2017-12-29
Publication date: 2022-11-03
Anticipated expiration: 2027-12-30
Also published as: EP3869791A1; KR102541757B1; KR20230087615A; EP3563564B1; WO2018122800A1; JP2022076485A; US11711631B2; JP7074955B2; EP3563563B1; US10715750B2; CN110192387A; US11431937B2; JP2020505801A; US20200221040A1; JP2020503752A; JP7074954B2; KR20190102021A; US20230328406A1; CN110192387B; US11076114B2

Abstract

Ein Sensor, weist auf:
eine Vielzahl von Pixeln, wobei mindestens eines der Vielzahl von Pixeln umfasst:
einen Fotosensor, der einfallendes Licht erfasst, und
eine erste Schaltung, die auf der Grundlage eines Outputs des Fotosensors ein erstes Signal ausgibt, wobei das erste Signal eine Änderung der Menge des einfallenden Lichts anzeigt;
einen Komparator, der das erste Signal selektiv sowohl mit einer ersten Referenzspannung als auch mit einer zweiten Referenzspannung vergleicht, wobei der Komparator umfasst:
einen ersten Knoten, der das erste Signal empfängt, und
einen zweiten Knoten, der die erste Referenzspannung und die zweite Referenzspannung selektiv empfängt; und
eine Reset-Schaltung, die die erste Schaltung auf der Grundlage mindestens eines Outputs des Komparators und eines globalen Reset-Signals zurücksetzt.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht Priorität für die Schweizerische Provisorische Patentanmeldung Nr. CH20160001764 , eingereicht am 30. Dezember 2016, und die Schweizerische Provisorische Patentanmeldung Nr. CH20160001765 , eingereicht am 30. Dezember 2016, die beide durch Bezugnahme in vollem Umfang hierin enthalten sind.
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft Bildsensoren und insbesondere dynamische oder Änderungserkennungssensoren. Diese Sensoren reagieren auf Änderungen der Lichtintensität und überwachen auf diese Weise, wie sich eine Szene verändert.
STAND DER TECHNIK
Die maschinelle Bildverarbeitung basiert heutzutage meist auf herkömmlichen Kameras und den dazugehörigen einzelbildbasierten Bildsensoren. Für einige Aufgaben des maschinellen Sehens, z. B. die Objekterkennung, sind diese konventionellen einzelbildbasierten Kameras gut geeignet. Für andere Aufgaben, z. B. die Verfolgung oder die Positions- und Bewegungsschätzung, haben die herkömmlichen Bildsensoren jedoch Nachteile.
Der größte Nachteil besteht darin, dass herkömmliche Kameras eine beträchtliche Menge an redundanten und unnötigen Daten erzeugen, die erfasst, übertragen und verarbeitet werden müssen. Diese hohe Datenmenge verlangsamt die Reaktionszeit durch eine geringere zeitliche Auflösung, führt zu einem erhöhten Stromverbrauch und erhöht die Größe und die Kosten von Bildverarbeitungssystemen. Darüber hinaus leiden die meisten Bildsensoren unter einem begrenzten Dynamikbereich, schlechter Leistung bei schlechten Lichtverhältnissen und Bewegungsunschärfe.
Diese Nachteile ergeben sich aus der Tatsache, dass die Daten als eine Folge von Standbildern (Frames / Einzelbildern) erfasst werden. In einigen Fällen ist die Kodierung dynamischer Szenen als Standbilder nützlich, um schöne Bilder und Filme zu produzieren, aber nicht optimal für die Datenverarbeitung für die maschinelle Bildverarbeitung.
Herkömmliche Computer-Vision-Systeme, die herkömmliche Kameras verwenden, vergleichen typischerweise Merkmale zwischen aufeinanderfolgenden Bildern zur Objekterkennung. Um die Position und Orientierung eines mobilen Systems abzuschätzen und eine dreidimensionale Karte der Umgebung zu erstellen, werden zwei aufeinanderfolgende Bilder verglichen, die sich teilweise überlappen, aber zu unterschiedlichen Zeiten und aus unterschiedlichen Positionen aufgenommen wurden. Um auf die Bewegung zwischen den beiden Bildern schließen zu können, müssen charakteristische visuelle Orientierungspunkte (Schlüsselpunkte oder andere visuelle Merkmale) in den beiden Bildern miteinander verglichen werden. Die Suche nach diesen Punktpaaren, die in beiden Bildern einander entsprechen, wird als Lösung des „Korrespondenzproblems“ bezeichnet.
Die Lösung des Korrespondenzproblems erfordert eine beträchtliche Menge an Rechenleistung. Um Landmarken zu erkennen, muss jedes Pixel eines Bildes nach charakteristischen Merkmalen (Ecken, Flecken, Kanten usw.) durchsucht werden. Die Pixel und die sie umgebenden Nachbarpixel werden dann gruppiert, um die so genannten Merkmalsdeskriptoren zu charakterisieren, die dann für den Abgleich der Merkmale zwischen den Einzelbildern verwendet werden und so Paare korrespondierender Punkte bilden. Dies ist sehr rechenintensiv. Direkte Ansätze, die die Pixelintensitäten direkt vergleichen, sind rechnerisch noch komplexer.
Andererseits ist der sogenannte Dynamic Vision Sensor (DVS) ein Sensor, der die Einschränkungen der bildbasierten Kodierung überwindet. Siehe US-Patentanmeldung Nr. US 2008/0135731 von Lichtsteiner et al. mit dem Titel „Fotoarray for Detecting Time-Dependent Image Data“ (Fotoarray zur Erkennung von zeitabhängigen Bilddaten), die durch diesen Verweis hier aufgenommen wird. Durch die Verwendung von In-Pixel-Datenkomprimierung wird die Datenredundanz beseitigt und eine hohe zeitliche Auflösung, eine geringe Latenzzeit, ein niedriger Stromverbrauch und ein hoher Dynamikbereich mit geringer Bewegungsunschärfe erreicht. DVS ist daher gut geeignet, insbesondere für solar- oder batteriebetriebene komprimierende Abtastung oder für mobile Bildverarbeitungsanwendungen, bei denen die Position des Systems geschätzt werden muss und die Verarbeitungsleistung aufgrund begrenzter Batteriekapazität begrenzt ist.
Der DVS verarbeitet die visuellen Informationen lokal vor. Anstatt scharfe Bilder zu erzeugen, produziert der DVS intelligente Daten für Computeranwendungen. Während herkömmliche Bildsensoren einen Film als eine Reihe von Standbildern aufnehmen, erkennt und überträgt das DVS nur die Position von Veränderungen in einer Szene. Er kodiert die visuellen Informationen viel effizienter als herkömmliche Kameras, da er eine pixelgenaue Datenkompression durchführt. Dies bedeutet, dass die Verarbeitung der Daten mit weniger Ressourcen, geringerem Stromverbrauch und schnellerer Reaktionszeit des Systems möglich ist. Die hohe zeitliche Auflösung ermöglicht die kontinuierliche Verfolgung visueller Merkmale und damit die Überwindung des Korrespondenzproblems. Darüber hinaus ermöglicht die Architektur von DVS einen hohen Dynamikbereich und eine gute Leistung bei schlechten Lichtverhältnissen.
ZUSAMMENFASSUNG DER ERFINDUNG
Eine typische DVS-Kamera leidet unter mehreren Nachteilen:

1. Pixelschaltungen können sehr groß sein, da sie in einigen Fällen einen Verstärker und zwei Komparatoren enthalten.
2. Asynchrone Ausleseschaltungen sind anfällig für Timing-Jitter. Wenn sich große Bereiche der Szene in kurzer Zeit ändern, nimmt der Jitter zu, und das Auslesen von Daten aus Schwenks des Sensors kann verzögert werden, was zu Bewegungsartefakten führt.
3. Da DVS-Pixelschaltungen dazu neigen, sich selbst zu takten, kann eine Sensorzeitauflösung nicht vorgeschrieben werden, und sehr schnelle Änderungen in einem kleinen Bereich können die Kommunikationsbandbreite sättigen.
4. DVS-Sensoren haben die Eigenschaft, dass die Menge der erzeugten Output-Daten hauptsächlich von der Dynamik der Szene abhängt. Die Datenrate ist daher nicht vorhersehbar, was zu Problemen in der Verarbeitungsphase führt, nämlich zur Überlastung (d. h. die Verarbeitungsphase ist nicht in der Lage, die Datenmenge zu bewältigen).
5. Bei einigen DVS-Sensoren werden die Pixel im Array in jeder Zeile zurückgesetzt, nachdem die Zeile ausgelesen wurde. Dies bedeutet, dass langsame Bewegungen nicht erkannt werden, da kleine Änderungen von Bild zu Bild nicht akkumuliert werden können. Außerdem sind die bestehenden Pixelschaltungen anfällig für Bewegungsartefakte aufgrund des Rolling Shutter.

Die vorliegende Erfindung bezieht sich auf ein DVS-Design (Dynamic Vision Sensor). Verschiedene Ausführungsformen können verwendet werden, um zumindest einige der Nachteile, die mit bestehenden Lösungen verbunden sind, zu mildern, zu beseitigen oder überflüssig zu machen. Beispielsweise ermöglichen Ausführungsformen der vorliegenden Erfindung eine Verringerung der Größe der in Pixelarrays verwendeten Pixel und damit einen kleineren Sensor für die gleiche Auflösung oder eine höhere Auflösung F oder die gleiche Chipgröße. Darüber hinaus können in einigen Ausführungsformen die Pixel eines Pixelarrays synchron betrieben werden (wodurch ein Sensor ermöglicht wird, der synchron arbeitet). Darüber hinaus kann der Zeitpunkt, zu dem Änderungen der Lichtintensität ausgewertet werden, gesteuert werden, so dass die zeitliche Auflösung und die Ereignisrate an die jeweilige Situation und Anwendung angepasst werden können.
Die Pixelschaltung kann synchron und/oder mit einer externen Zeitreferenz arbeiten. Dies hat mehrere Vorteile, die im Folgenden aufgezählt werden:

1. Steuerung der Ereignisrate durch Änderung der Zeitauflösung des Sensors.
2. Das rahmenbasierte Auslesen ermöglicht das Auslesen der Daten aus dem Pixel mit weniger zeitlichem Jitter.
3. Eine getaktete Pixelschaltung erleichtert den Entwurf der digitalen Kommunikationsschaltungen, die die Schnittstelle zum Pixelarray bilden, und ermöglicht die Verwendung von standardmäßigen digitalen Designwerkzeugen. Das Design von asynchronen Schaltungen eines typischen bestehenden DVS ist tendenziell schwieriger, da keine geeigneten kommerziellen Tools verfügbar sind.
4. Das Steuern des Timings durch einen Controller (Steuergerät) ermöglicht eine zeitliche Trennung der Phasen der Änderungserkennung und des Auslesens. Dadurch verringert sich das Risiko der Erzeugung falscher Ereignisse aufgrund parasitärer Kopplung von einem Pixel zum anderen.

Gemäß einem allgemeinen Aspekt weist die Erfindung einen Sensor auf. Der Sensor umfasst typischerweise ein Array von Pixeln. Das Array kann ein ON- oder zweidimensionales Array sein. Es sind aber auch Einzelpixelsensoren möglich.
Jedes der Pixel des Sensors enthält mehrere Elemente. Ein Fotosensor erfasst einfallendes Licht. Ein Fotorezeptorsignal ist eine Funktion der vom Fotosensor empfangenen Lichtmenge. Ferner ist ein Speicherkondensator vorgesehen, wobei eine erste Platte des Kondensators eine Ladung aus dem Fotorezeptorsignal trägt und eine zweite Platte des Kondensators mit einem Komparator-Knoten verbunden ist, dessen Spannung sich mit Änderungen des Fotorezeptorsignals ändert. Dann vergleichen ein oder mehrere Komparatoren die Spannungen des Komparator-Knotens mit einer oder mehreren Referenzspannungen, um Änderungen der Fotorezeptorsignale in Bezug auf einen oder mehrere Schwellenwerte zu bewerten.
Im Allgemeinen weist die Erfindung gemäß einem weiteren Aspekt einen Sensor auf. Dieser Sensor umfasst ein Array von Pixeln oder ein einzelnes Pixel. Jedes dieser Pixel umfasst einen Fotosensor. Das Signal des Fotosensors ist eine Funktion der Lichtmenge, die der Fotosensor empfängt. Außerdem trägt ein Speicherkondensator eine Ladung aus dem Fotorezeptorsignal. In dem Pixel ist nur ein Komparator vorhanden. Er vergleicht die Spannungen des Komparator-Knotens mit einer oder mehreren Referenzspannungen, um Änderungen der Fotorezeptorsignale in Bezug auf einen oder mehrere Schwellenwerte zu bewerten.
Die Verwendung von nur einem einzigen Komparator in den Pixeln hat den Vorteil, dass die Größe des Pixels reduziert wird. Diese Verkleinerung kann genutzt werden, um die Größe des Arrays bei gleicher Fläche des Halbleiterchips zu erhöhen. Andererseits kann dadurch die Gesamtgröße des Sensors verringert werden, was ein kostengünstigeres Gerät ermöglicht.
Generell weist die Erfindung gemäß einem weiteren Aspekt einen Sensor auf. Dieser Sensor umfasst ebenfalls ein Array von Pixeln oder ein einzelnes Pixel. Jedes der Pixel umfasst einen Fotosensor und einen Speicherkondensator. Die Pixel umfassen ferner einen Komparator, der Spannungen aus dem Speicherkondensator mit einer oder mehreren Referenzspannungen vergleicht, um Änderungen der Fotosensorsignale in Bezug auf einen oder mehrere Schwellenwerte zu bewerten. Erfindungsgemäß liefert der Komparator auch eine Resetspannung an den Speicherkondensator.
Die Verwendung des Komparators zur Bereitstellung einer Resetspannung für den Speicherkondensator ist nützlich, weil er den Speicherkondensator auf eine Weise zurücksetzt, die den Offset im Komparator berücksichtigt. Dies ist wichtig, da jeder der Komparatoren in einem Pixelarray aufgrund von Fertigungsschwankungen einen leicht unterschiedlichen Offset aufweisen kann. Erfindungsgemäß wird jeder daraus resultierende Offset beseitigt, indem der Komparator verwendet wird, um eine Resetspannung an den Speicherkondensator zu liefern.
Im Allgemeinen weist die Erfindung gemäß einem weiteren Aspekt einen Sensor auf. Der Sensor umfasst auch ein Array von Pixeln oder ein einzelnes Pixel. Jedes der Pixel umfasst einen Fotosensor und einen Speicherkondensator. Ferner ist in dem Pixel ein Komparator vorgesehen. Dieser vergleicht die Spannungen des Speicherkondensators nacheinander mit zwei Referenzspannungen, um Änderungen der Fotosensorsignale in Bezug auf einen Einschaltschwellenwert (ON-Schwellenwert) oder einen Ausschaltschwellenwert (OFF-Schwellenwert) zu bewerten.
Diese Erfindung hat den Vorteil, dass sie einen einzigen Komparator verwendet, um sowohl ON-Ereignisse (ON) als auch OFF-Ereignisse (OFF) zu bestimmen, indem sie nacheinander Spannungen vom Speicherkondensator mit einem ON-Schwellenwert und einem OFF-Schwellenwert vergleicht.
Gemäß einem weiteren Aspekt weist die Erfindung einen Sensor auf. Der Sensor weist ein Array von Pixeln oder ein einzelnes Pixel auf. Jedes dieser Pixel enthält einen Fotosensor und einen Speicherkondensator. Darüber hinaus verfügen die Pixel über einen oder mehrere Komparatoren, die Spannungen aus dem Speicherkondensator vergleichen, um Änderungen des Fotorezeptorsignals in Bezug auf einen oder mehrere Schwellenwerte zu bewerten. Schließlich sind in den Pixeln Speicherstrukturen vorgesehen, um den Output (Ausgang) des einen oder der mehreren Komparatoren zu speichern.
Die Bereitstellung von Speicherstrukturen in den Pixeln ermöglicht es den Pixeln, die Ergebnisse der Schwellenwertbildung zu speichern. Dies ermöglicht die zeitliche Steuerung des Auslesens dieser Informationen aus den verschiedenen Pixeln in einem Array, zum Beispiel.
Im Allgemeinen weist die Erfindung gemäß einem anderen Aspekt ein Array von Pixeln oder ein einzelnes Pixel auf. Jedes dieser Pixel enthält einen Fotosensor und einen Speicherkondensator. Erfindungsgemäß ist in jedem der Pixel auch ein Schalter vorgesehen, der durch ein Shutter-Schaltungssignal gesteuert wird, das den Fotosensor mit dem Speicherkondensator verbindet. Auf diese Weise kann ein globales Shutter-Signal für alle Pixel in einem Array bereitgestellt werden.
Die Verwendung des Global Shutters hat den Vorteil, dass ein einziges Signal zur Auslösung des gesamten Arrays verwendet werden kann, um Probleme zu vermeiden, die beispielsweise mit einem Rolling Shutter verbunden sind.
Im Allgemeinen weist die Erfindung gemäß einem weiteren Aspekt einen Sensor auf. Der Sensor umfasst ein Array von Pixeln oder ein einzelnes Pixel. Jedes dieser Pixel enthält einen Fotosensor. Ein Fotorezeptorsignal basiert auf dem empfangenen Licht des Fotosensors, der in einem Speicherkondensator eine Ladung des Fotorezeptorsignals trägt. Erfindungsgemäß sind in einer Ausleseschaltung für das Array ein oder mehrere Komparatoren vorgesehen. Diese Komparatoren vergleichen die Spannungen der Speicherkondensatoren des Arrays mit Referenzspannungen, um Änderungen der Fotorezeptorsignale in Bezug auf einen oder mehrere Schwellenwerte zu bewerten.
Bei der vorliegenden Erfindung werden die Komparatoren in die peripheren Schaltungen verlagert, die die Pixelanordnung umgeben. Dadurch kann die Größe der entsprechenden Pixel weiter reduziert werden. Andererseits können einige wenige Komparatoren verwendet werden, um die erforderlichen Schwellenwertfunktionen für die gesamte Anordnung bereitzustellen.
Im Allgemeinen kann die Erfindung gemäß einem anderen Aspekt auch als ein Verfahren charakterisiert werden. Insbesondere umfasst ein Verfahren zum Betrieb eines Sensors Fotosensoren von Pixeln eines Arrays, die ankommendes Licht detektieren, Fotorezeptorsignale erzeugen, die eine Funktion der Menge des von den Fotosensoren empfangenen Lichts sind. Verwendung von Speicherkondensatoren zum Speichern von Ladungen, die dem zuvor von den Fotosensoren detektierten Licht entsprechen, wobei erste Platten der Kondensatoren Ladungen aus den Fotosignalen tragen und zweite Platten der Kondensatoren mit Komparator-Knoten verbunden sind, deren Spannungen mit Änderungen in den Fotosignalen variieren, und Vergleichen von Spannungen der Komparator-Knoten mit einer oder mehreren Referenzspannungen, um Änderungen in den Fotosignalen in Bezug auf einen oder mehrere Schwellenwerte zu bewerten.
Die obigen und andere Merkmale der Erfindung, einschließlich verschiedener neuartiger Konstruktionsdetails und Kombinationen von Teilen, sowie andere Vorteile werden nun unter Bezugnahme auf die beigefügten Zeichnungen genauer beschrieben und in den Ansprüchen angegeben. Es versteht sich, dass das besondere Verfahren und die Vorrichtung, die die Erfindung verkörpern, zur Veranschaulichung und nicht als Einschränkung der Erfindung gezeigt werden. Die Prinzipien und Merkmale dieser Erfindung können in verschiedenen und zahlreichen Ausführungsformen verwendet werden, ohne vom Anwendungsbereich der Erfindung abzuweichen.
Figurenliste
In den beigefügten Zeichnungen beziehen sich die Bezugszeichen auf dieselben Teile in den verschiedenen Ansichten. Die Zeichnungen sind nicht unbedingt maßstabsgetreu; stattdessen wurde der Schwerpunkt auf die Veranschaulichung der Grundsätze der Erfindung gelegt. Von den Zeichnungen:

1 ist ein Schaltplan, der die Komponenten und Verbindungen einer Pixelschaltung für einen DVS- oder Änderungserkennungssensor gemäß den Prinzipien der vorliegenden Erfindung zeigt.
2 ist ein Schaltplan, der eine alternative Ausführungsform einer Pixelschaltung mit einer optionalen Abtastschaltung zeigt.
3 ist ein schematisches Diagramm, das den Aufbau des Sensors mit Pixeln zeigt, die in einem zweidimensionalen Pixelarray aus Zeilen und Spalten angeordnet sind.
In 4A sind die Phasenzeiten für einen Änderungserkennungssensor mit fester Bildrate dargestellt, bei dem jede Phase der Bildverarbeitung eine feste Zeitspanne in Anspruch nimmt.
In 4B sind die Phasenzeiten für einen Änderungserkennungssensor mit variabler Bildrate dargestellt, wobei die Variabilität auf die Zeit zurückzuführen ist, die für die Ereignisauslesephase benötigt wird.
5 ist ein Schaltplan, der die Komponenten der bevorzugten Ausführungsform der Pixelschaltung ohne Abtastung zeigt.
6 zeigt die Zeitlinien der Signale; die horizontale Zeitachse entspricht der Dauer und dem Zeitpunkt des Auftretens von Phasenvorgängen, die oben beschriftet sind.
7 ist ein Schaltplan, der die Komponenten der bevorzugten Ausführungsform der Pixelschaltung mit Abtastung (Sampling) zeigt.
8 ist ein Schaltplan, der die Komponenten einer kleineren und einfacheren Pixelschaltung im Vergleich zu den vorherigen zeigt.
9 zeigt die Zeitlinien von Signalen, die der in 8 dargestellten Ausführungsform der Pixelschaltung entsprechen.
10 ist ein Schaltplan, der die Komponenten einer noch kleineren und einfacheren Pixelausführung zeigt, bei der die Speicherschaltung von der Pixelschaltung zur Ausleseschaltung verlagert wurde.
11 zeigt die Zeitlinien von Signalen, die der in 10 dargestellten Ausführungsform der Pixelschaltung entsprechen.
12 ist ein Schaltplan, der eine andere Pixelausführung mit zwei Komparatoren pro Pixel zeigt, die schneller sein kann als frühere Ausführungsformen.
13 ist ein Schaltplan, der eine noch kleinere Pixelgröße zeigt, wenn die Komparatorfunktion von der Pixelschaltung zur Ausleseschaltung verlagert wird. (Hinweis: Die beiden dargestellten Pixel befinden sich entlang einer Spalte des Pixelarrays).
14 zeigt zwei Pixel in einer ähnlichen Anordnung wie in 13. In der Abbildung enthält die Pixelschaltung eine Verstärkungsschaltung zur Verstärkung der Änderung des Pixel-Outputs.
15 ist ein Schaltplan, der eine Ausführungsform einer Abtastschaltung (Samplingschaltung) SC zeigt.
16 ist ein Schaltplan, der eine Ausführungsform eines zweistufigen Komparators A1 zeigt.
17 ist ein Schaltplan, der eine alternative Komparatorausführung auf der Grundlage eines Transkonduktanzoperationsverstärkers zeigt.
18 ist ein Schaltplan, der eine Ausführungsform einer Reset-Schaltung zeigt.
19 ist ein Schaltplan, der eine alternative Reset-Schaltung zeigt.
20 ist ein Schaltplan, der eine dritte Ausführungsform der Reset-Schaltung zeigt.
21 ist ein Schaltplan, der die erste Ausführungsform der Reset-Schaltung der Pixel-Ausführungsform von 8 zeigt.
22 ist ein Schaltplan, der eine alternative Reset-Schaltung der Pixel-Ausführungsform von 8 zeigt.
23 ist ein Schaltplan, der die dritte Ausführungsform der Reset-Schaltung der Pixel-Ausführungsform von 8 zeigt.
24 ist ein Schaltplan, der die Reset-Schaltung für die in 10 gezeigte Pixel-Variante zeigt.
25 ist ein Schaltplan, der die in 10 gezeigte Ausführungsform der Reset-Schaltung für die Pixel zeigt.
26 ist eine schematische Darstellung einer Fotorezeptorschaltung.
27 ist ein Schaltplan, der die bevorzugte Ausführungsform eines Pixel-Fotorezeptors und einer Schaltung zeigt.
28 ist ein Schaltplan, der eine Ausführungsform eines Fotorezeptors mit zwei NMOS-Rückkopplungstransistoren zeigt.
29 ist ein Schaltplan, der eine Ausführungsform eines Fotorezeptors mit einem PMOS-Rückkopplungstransistor zeigt.
30 ist eine schematische Darstellung einer grundlegenden Ausleseschaltung in einer Pixelanordnung.
31 ist eine schematische Darstellung einer Ausführungsform einer ereignisbasierten Ausleseschaltung.
32 ist ein Schaltplan, der die bevorzugte Ausführungsform einer Spaltenlogikschaltung für die Pixelschaltungen in 5, 7 und 12 zeigt.
33 ist ein Schaltplan, der eine Ausführungsform einer Spaltenlogikschaltung für die Pixelschaltung von 8 zeigt.
34 ist ein Schaltplan, der eine Ausführungsform einer Spaltenlogikschaltung für die Pixelschaltung von 10 zeigt.
35 ist ein Schaltplan, der eine Ausführungsform einer Spaltenlogikschaltung für die Pixelschaltung von 13 zeigt.
36 zeigt Signalzeitlinien für die in 13 gezeigte Pixelschaltung und die Implementierung der Spaltenlogikschaltung von 35.
37 zeigt die Implementierung einer Spaltenlogikschaltung für die in 14 gezeigte Pixelschaltung.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Die Erfindung wird im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen, in denen beispielhafte Ausführungsformen der Erfindung dargestellt sind, ausführlicher beschrieben. Diese Erfindung kann jedoch in vielen verschiedenen Formen verkörpert werden und sollte nicht als auf die hier dargelegten Ausführungsformen beschränkt ausgelegt werden; vielmehr werden diese Ausführungsformen zur Verfügung gestellt, damit diese Offenbarung gründlich und vollständig ist und dem Fachmann den Umfang der Erfindung vollständig vermittelt.
Wie hierin verwendet, schließt der Begriff „und/oder“ alle Kombinationen von einem oder mehreren der aufgeführten Elemente ein. Ferner schließen die Singularformen und die Artikel „ein(e/s)“, „der“, „die“ und „das“ auch die Pluralformen ein, sofern nicht ausdrücklich anders angegeben. Es versteht sich ferner, dass die Begriffe „einschließen“, „aufweisen“, „umfassen“ und/oder „bestehen aus“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein der genannten Merkmale, ganzen Zahlen, Schritte, Operationen, Elemente und/oder Komponenten angeben, jedoch nicht das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen. Wenn ein Element, einschließlich einer Komponente oder eines Teilsystems, als mit einem anderen Element verbunden oder gekoppelt bezeichnet und/oder dargestellt wird, kann es direkt mit dem anderen Element verbunden oder gekoppelt sein, oder es können dazwischen liegende Elemente vorhanden sein.
Es versteht sich von selbst, dass, obwohl Begriffe wie „erstes“ und „zweites“ hier verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen Element zu unterscheiden. So könnte ein Element, auf das im Folgenden eingegangen wird, als zweites Element bezeichnet werden, und in ähnlicher Weise kann ein zweites Element als erstes Element bezeichnet werden, ohne dass dies von der Lehre der vorliegenden Erfindung abweicht.
Sofern nicht anders definiert, haben alle hierin verwendeten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) die gleiche Bedeutung, wie sie von einem Fachmann auf dem Gebiet, zu dem diese Erfindung gehört, gemeinhin verstanden wird. Es versteht sich ferner, dass Begriffe, wie sie in allgemein gebräuchlichen Wörterbüchern definiert sind, so ausgelegt werden sollten, dass sie eine Bedeutung haben, die mit ihrer Bedeutung im Kontext des relevanten Standes der Technik übereinstimmt, und dass sie nicht in einem idealisierten oder übermäßig formalen Sinne ausgelegt werden, es sei denn, sie sind hier ausdrücklich so definiert.
In der Anmeldung wird eine Reihe von Fachbegriffen verwendet. Sie werden im Folgenden der Einfachheit halber und zur genauen Beschreibung der Erfindung definiert.
Geschlossener Schalter: Ein Schalter, der leitend ist, d. h., die beiden Anschlüsse sind elektrisch verbunden.
Elektronische Verbindung: Verbindung zwischen zwei Knotenpunkten in einer Schaltung (Stromkreis), entweder direkt (elektrisch, so dass Strom zwischen den beiden Knotenpunkten fließen kann) oder über einen Puffer.
Ereignis: Zunahme oder Abnahme der Lichtintensität an einem bestimmten Pixel.
Ereignis-Frame: Eine Iteration des Anlegens der Schwellenspannungen, des Betriebs des Speichers, des Auslesens und Resets (Rücksetzens) des Speicherinhalts.
Ereignisrate: Die Anzahl der von der Pixelschaltung erzeugten und übertragenen Ereignisse pro Sekunde. Die Ereignisrate hängt von der Konfiguration der Pixelschaltung (des Pixelschaltkreises), der Schwellenwerteinstellung und der zeitlichen Auflösung sowie von der Bewegung des Sensors und der beobachteten Szene ab.
Bildfrequenz (Framerate): Anzahl des Einlesens jedes Pixels pro Sekunde. Entspricht der Rate, mit der ein vollständiger Ereignis-Frame abgetastet wird. Die Bildrate kann fest sein oder von der Anzahl der erzeugten Ereignisse abhängig gemacht werden.
Bewegungsartefakt: Ein Rolling Shutter kann eine merkliche Verzerrung der vermeintlich vertikalen Linien im Bild aufweisen, wenn sich entweder die Kamera oder das Motiv schnell über das Bild bewegt. Bei schnellen Bewegungen im Bild kann das gesamte Bild verzerrt werden.
OFF-Ereignis: Eine diskrete Abnahme der Lichtintensität für ein bestimmtes Pixel.
ON-Ereignis: Ein diskreter Anstieg der Lichtintensität für ein bestimmtes Pixel.
Offener Schalter: Ein Schalter, der nicht leitend ist, d. h. zwischen den beiden Anschlüssen ist ein offener Stromkreis vorhanden.
Pixel-Adresse: Eine Zahl oder ein Zahlenpaar, das die Position eines Pixels im Array (in der Matrix) beschreibt. In der Regel eine Zeilennummer und eine Spaltennummer.
Stromschiene: Entweder Masse (Vss) oder die Spannungsversorgung (Vdd).
Im Allgemeinen zeigt 1 Komponenten einer Pixelschaltung, die nach den Grundsätzen der vorliegenden Erfindung zusammengesetzt und verbunden sind. Später in diesem Dokument wird Bezug genommen auf zweidimensionale Pixel-Arrays mit Zeilen und Spalten von Pixeln, von denen jeder eine Elektronik hat, wie in dieser Ausführungsform oder alternativen Ausführungsformen dargestellt.
Ein „Pixel“ in der vorliegenden Erfindung bezieht sich auf ein Sensorelement, das die Intensität des darauf auftreffenden Lichts aufzeichnet; „Pixelschaltung“ oder „Pixelelektronik“ bezieht sich auf die elektronischen Komponenten und Schaltungen des Pixels. In diesem Dokument wird der Begriff „Pixelschaltung“ verwendet, um die Diskussion auf die Elektronik des Pixels zu konzentrieren, und der Begriff „Pixel“ wird verwendet, um sich auf das Sensorelement als Ganzes zu beziehen. Typischerweise besteht ein Sensor (siehe 3) aus einem zweidimensionalen Array (Anordnung) von Pixeln 100 und zusätzlichen peripheren Schaltungen. Ein zweidimensionales Array ist jedoch nicht für alle Anwendungen erforderlich. Ein Sensor kann auch ein einzelnes Pixel (Array aus einem Pixel) oder ein eindimensionales Array (Zeilensensor) von Pixeln enthalten.
Im Folgenden werden die wichtigsten Komponenten einer Pixelschaltung 100 aufgezählt.

1. Fotorezeptor-Modul. Wie in der Abbildung dargestellt, enthält die Pixelschaltung eine Fotodiode PD oder einen anderen Fotosensor, um das auftreffende Licht 9 zu messen und die Lichtintensität in einen Strom IFoto umzuwandeln; eine Fotorezeptorschaltung PRC, um ein von der Lichtintensität abhängiges Fotorezeptorsignal Vpr zu erzeugen; und einen Speicherkondensator C1, um das vergangene Fotorezeptorsignal zu speichern. Der Fotosensor PD und die Fotorezeptorschaltung PRC bilden das Fotorezeptormodul PR.
2. Speicherkondensator C1: Empfängt das Fotorezeptorsignal Vpr, so dass die erste Platte des Kondensators eine Ladung trägt, die auf das Fotorezeptorsignal Vpr und damit auf das vom Fotosensor PD empfangene Licht reagiert. Eine zweite Platte des Speicherkondensators C1 ist mit dem Komparator-Knoten (invertierender Input) von A1 verbunden. Die Spannung des Komparator-Knotens, Vdiff., variiert daher mit den Änderungen des Fotorezeptorsignals Vpr.
3. Komparator A1: Dies ist ein Mittel, um die Differenz zwischen dem aktuellen Fotorezeptorsignal Vpr und dem früheren Fotorezeptorsignal mit einem Schwellenwert zu vergleichen. Dieser Komparator A1 kann sich in jedem Pixel befinden oder von einer Teilmenge (z. B. einer Spalte) von Pixeln gemeinsam genutzt werden. In der bevorzugten Ausführungsform ist der Komparator in das Pixel integriert, wobei jedes Pixel einen eigenen Komparator A1 hat.
4. Speicher: Der Speicher 50 speichert den Komparator-Output auf der Grundlage eines Abtastsignals vom Controller 60. Der Speicher kann eine Abtastschaltung (z. B. ein Schalter und ein parasitärer oder expliziter Kondensator) oder eine digitale Speicherschaltung (ein Latch oder ein Flip-Flop) sein. In einer Ausführungsform ist der Speicher eine Abtastschaltung und jedes Pixel hat zwei Speicher.
5. Eine bedingte Reset-Schaltung R1: Die Bedingung für das Zurücksetzen ist eine Kombination aus dem Zustand des gespeicherten Komparator-Outputs und einem von einem Controller angelegten Reset-Signal.
6. Periphere Schaltungskomponenten: Der Komparator A1 und der Speicher 50 können im Pixel oder in peripheren Schaltungen (außerhalb der Pixelschaltungen) untergebracht sein.

Die Peripherieschaltungen enthalten einen Controller 60, der Schwellwertsignale an den Komparator A1 anlegt, Steuersignale an den Speicher 50 sendet und Zeiten auswählt, zu denen die bedingte Reset-Schaltung R1 aktiv wird.
Die Peripherieschaltungen können auch eine Ausleseschaltung (einen Ausleseschaltkreis) RO enthalten, der den Inhalt des Speichers 50 liest, feststellt, ob die Lichtintensität für ein bestimmtes Pixel zu- oder abgenommen hat oder unverändert ist, und der (aus dem aktuellen Speicherwert berechnete) Output an einen Prozessor sendet.
Genauer gesagt: Der Komparator erkennt, ob das Licht zu- oder abgenommen hat. Bei einem OFF-Ereignis: Wenn Vdiff niedriger ist als der Schwellenwert Voff (bei Vb), ist der Komparator-Output hoch (high), und dieser Wert wird im Speicher abgelegt. Dies bedeutet, dass eine Abnahme festgestellt wurde. Wenn Vdiff nicht unter dem Schwellenwert liegt, ist der Output des Komparators niedrig: keine Abnahme festgestellt.
Der einzige Unterschied besteht darin, dass bei einem ON-Ereignis ein niedriger Komparator-Output eine Zunahme bedeutet, während ein hoher Wert keine Änderung bedeutet; bei einem OFF-Ereignis bedeutet ein hoher Komparator-Output eine Abnahme, während ein niedriger Wert keine Änderung bedeutet.
Die Auslesung muss also den Speicherinhalt kennen und wissen, welcher Schwellenwert angelegt wurde. Oder, wie in der bevorzugten Ausführungsform, die später beschrieben wird, gibt es einen Inverter für ON, so dass die Speicherpolarität sowohl für ON (Ein) als auch für OFF (Aus) dieselbe ist.
In einer bevorzugten Ausführungsform der Pixelschaltung 100 der vorliegenden Erfindung enthält jede Pixelschaltung 100 nur einen Komparator, der sequentiell zuerst als Komparator für ON-Ereignisse und dann als Komparator für OFF-Ereignisse (oder umgekehrt) wirkt.
Die Pixelschaltung 100 und der Controller 60 arbeiten wie folgt.
Eine Änderung der vom Fotosensor PD empfangenen Lichtintensität führt zu einer Änderung des Fotorezeptorsignals Vpr. Wenn die Reset-Schaltung R1 nicht leitend ist, spiegeln sich die Änderungen von Vpr auch in der Spannung Vdiff an einem Komparator-Knoten am invertierenden Input (-) des Komparators A1 wider. Dies geschieht, weil die Spannung an dem Speicherkondensator C1 konstant bleibt.
Zu Zeiten, die von der Steuerung 60 ausgewählt werden, vergleicht der Komparator A1 die Spannung am Komparator-Knoten am zweiten Anschluss des Speicherkondensators C1 (Vdiff) mit einer Schwellenspannung Vb (von der Steuerung), die an den nicht-invertierenden Input (+) des Komparators A1 angelegt wird.
Der Controller 60 steuert den Speicher 50, um den Komparator-Output Vcomp zu speichern. Der Speicher 50 ist typischerweise als Teil der Pixelschaltung 100 implementiert, wie dargestellt. In anderen Ausführungsformen ist der Speicher 50 jedoch als Teil einer Spaltenlogikschaltung implementiert (periphere Schaltung, eine für jede Spalte des Pixelarrays).
Wenn der Zustand des gespeicherten Komparator-Outputs im Speicher 50 eine Änderung der Lichtintensität anzeigt UND das globale Reset-Signal GlobalReset vom Controller 60 aktiv ist, ist die bedingte Reset-Schaltung R1 leitend. Hier steht „AND“ für den logischen UND-Operator. Wenn die bedingte Reset-Schaltung R1 leitend ist, wird die Spannung am Komparator-Knoten am invertierenden Input des Komparators A1 (Vdiff) auf einen bekannten Wert zurückgesetzt. Dadurch wird das aktuelle Fotorezeptorsignal Vpr auf dem Speicherkondensator C1 gespeichert.
2 zeigt eine Pixelschaltung 100 gemäß einer anderen Ausführungsform, die eine optionale Abtastschaltung SC zwischen der Fotorezeptorschaltung PRC und dem Speicherkondensator C1 enthält. Die Abtastschaltung SC ermöglicht das selektive elektronische Verbinden oder Trennen des Outputs Vpr der Fotorezeptorschaltung PRC und des Speicherkondensators C1.
Die Abtastschaltung SC wird durch ein Abtastsignal 25 von dem Controller 60 betrieben, um den Fotorezeptorausgang aller Pixel im gleichen Moment global abzutasten, um Bewegungsartefakte zu vermeiden. Typischerweise kann die Abtastschaltung SC einen Abtastschalter 150, einen parasitären oder expliziten Abtastkondensator C2 und einen Pufferverstärker A2 umfassen. (Hinweis: Der Pufferverstärker A2 wird nicht in allen Implementierungen verwendet).
Die Pixelschaltung 100 und der Controller 60 arbeiten wie folgt.
Eine Änderung der Lichtintensität führt zu einer Änderung des Fotorezeptorsignals Vpr, wie in der vorherigen Ausführungsform von 1.
Gleichzeitig betreibt der Controller 60 die Abtastschaltung SC, indem es die Fotorezeptor-Ausgangsspannung Vpr von der Fotorezeptorschaltung PRC mit dem Abtastkondensator C2 elektrisch verbindet. Der Controller 60 steuert ferner die Abtastschaltung SC, indem es anschließend die Fotorezeptor-Ausgangsspannung Vpr vom Kondensator C2 trennt, indem es den Schalter 150 über das Steuersignal 25 öffnet.
Zu von dem Controller 60 festgelegten Zeitpunkten vergleicht der Komparator A1 Vdiff am Komparator-Knoten mit einem Schwellenwert Vb, der an seinem nicht-invertierenden Input anliegt. Gleichzeitig steuert der Controller 60 den Speicher 50, um den Komparator-Output Vcomp zu speichern. Wie zuvor befindet sich der Speicher 50 entweder in der Pixelschaltung 100 oder in der Spaltenlogikschaltung 44 der peripheren RO-Schaltung 42, wie später beschrieben.
Wenn der Zustand des gespeicherten Komparator-Outputs eine Änderung der Lichtintensität anzeigt UND das (vom Controller gesteuerte) globale Reset-Signal GlobalReset aktiv ist, die bedingte Reset-Schaltung R1 leitend ist und Vdiff auf einen bekannten Pegel zurückgesetzt wird, dann wird die Spannung an der Abtastung C2 im Speicher C1 gespeichert.
Wie bereits erwähnt, kann ein Pixel oder ein Pixelarray als Sensor für Bildverarbeitungsanwendungen verwendet werden. Bei Bildverarbeitungsanwendungen wird der Output des Sensors (direkt oder indirekt) an den Datenprozessor weitergeleitet, wo ein Algorithmus die Position und Bewegung des Sensors oder eines vom Sensor analysierten Objekts berechnen kann.
Ein herkömmlicher Sensor gibt Bilder mit Pixelwerten aus, die die auf die Pixel auftreffende Lichtintensität darstellen. Im Gegensatz dazu gibt der Sensor hier die Adressen (wobei die Adresse eines Pixels seiner Zeilen- und Spaltennummer entspricht) derjenigen Pixel aus, bei denen eine Änderung der Lichtintensität festgestellt wurde. Diese Änderung der Lichtintensität an einem bestimmten Pixel wird als Ereignis bezeichnet. Genauer gesagt bedeutet der Begriff „Ereignis“, dass sich das Fotorezeptorsignal, das eine Funktion der Lichtintensität eines Pixels darstellt, um einen Betrag geändert hat, der größer oder gleich einem von dem Controller festgelegten Schwellenwert ist. Zur Übertragung eines Ereignisses wird die Adresse des entsprechenden Pixels zusammen mit einem Bit übertragen, das anzeigt, ob die Änderung der Lichtintensität positiv oder negativ war.
Um Änderungen der Lichtintensität zwischen dem aktuellen und dem vorherigen Zeitpunkt zu erkennen, muss jedes Pixel eine Darstellung der Lichtintensität des vorherigen Zeitpunkts speichern.
Konkret speichert jedes Pixel eine Spannung Vdiff, die die Differenz zwischen dem Fotorezeptorsignal zum Zeitpunkt des letzten an diesem Pixel emittierten Ereignisses und dem aktuellen Fotorezeptorsignal an diesem Pixel darstellt.
Zur Erkennung von Ereignissen in der bevorzugten Ausführungsform wird Vdiff am Komparator-Knoten zunächst mit einem Schwellenwert verglichen, um einen Anstieg der Lichtintensität (ON-Ereignis) zu erkennen, und der Komparator-Output wird an einem (expliziten oder parasitären) Kondensator abgetastet oder in einem Flip-Flop gespeichert. Dann wird Vdiff am Komparator-Knoten mit einem zweiten Schwellenwert verglichen, um eine Abnahme der Lichtintensität (OFF-Ereignis) zu erkennen, und der Komparator-Output (-Ausgang) wird an einem (expliziten oder parasitären) Kondensator abgetastet oder in einem Flip-Flop gespeichert. Ein globales Reset-Signal wird an alle Pixel gesendet, und in jedem Pixel wird dieses globale Reset-Signal mit den abgetasteten Komparator-Outputs logisch UND-verknüpft, um nur diejenigen Pixel zurückzusetzen, bei denen ein Ereignis erkannt wurde. Anschließend werden die abgetasteten Komparator-Output-Spannungen ausgelesen und die entsprechenden Pixeladressen an den Empfänger gesendet.
3 zeigt einen Sensor 8 mit einer zweidimensionalen Anordnung von Pixeln 100-1 bis 100-6. Der dargestellte Sensor zeigt nur zwei Zeilen und nur drei Spalten, um die Darstellung nicht zu überladen. In der Praxis würde der Sensor 8 aus m Zeilen (typischerweise viel größer als 2) und n Spalten (typischerweise viel größer als 3) von Pixeln bestehen. Ein Pixel in einem zweidimensionalen Array kann durch seine Adresse identifiziert werden, die aus der Zeilennummer und der Spaltennummer des Pixels besteht. So hat z. B. das Pixel 103-6 die Zeile 2 (von oben gezählt) und die Spalte 3 (von links gezählt) als Adresse.
Der Controller 60 steuert die Pixel 100 und die anderen Komponenten wie die Zeilenauswahlschaltung 40, die Ausleseschaltung 42 und die Übertragung der Daten vom Array zum Prozessor 46.
Im gezeigten Beispiel ist die Reihenauswahlschaltung 40 als Teil des Controllers 60 dargestellt. Diese Zeilenauswahlschaltung 40 wählt eine oder mehrere Teilmengen von Zeilen aus. Wenn eine Reihe von Pixeln 100 ausgewählt ist, werden die Komparator-Outputs der Pixel in der ausgewählten Zeile (Reihe) an die Ausleseschaltung 42 weitergeleitet.
Die Ausleseschaltung 42 liest die Daten (die gespeicherten Komparator-Outputs) aus dem Pixelarray aus. Häufig kodiert die Ausleseschaltung 42 diese Daten weiter in eine effizientere Darstellung, bevor sie an eine Art von Empfänger (in der Regel eine Art Prozessor) übertragen wird, der sich außerhalb des Sensorchips befinden kann, wie z. B. der Prozessor 46.
Die Ausleseschaltung 42, die in mehrere Spaltenlogikschaltungen 44-1 bis 44-n unterteilt ist, wenn es n Spalten gibt, bestimmt anhand der ausgelesenen Komparator-Outputs, ob die Lichtintensität für das entsprechende Pixel zugenommen, abgenommen oder unverändert geblieben ist.
Der Controller 60 betreibt den Sensor 8 vorzugsweise in mehreren Phasen (4A und 4B), die im Folgenden aufgeführt sind:

1. Integration von Beleuchtungsänderungen: In dieser Ausführungsform wird die Integration der Änderungen während der anderen Phasen fortgesetzt, ohne dass zusätzliche Zeit benötigt wird.
2. Vergleich für die Phase der ON-Ereignisse (218 in 4A und 4B): In jedem Pixel wird der Komparator A1 verwendet, um die integrierte Beleuchtungsänderung mit einer ON-Schwelle zu vergleichen; das Ergebnis wird im Speicher 50 gespeichert.
3. Vergleich für die OFF-Ereignisphase (220 in 4A und 4B): In jedem Pixel wird der Komparator A1 verwendet, um die integrierte Beleuchtungsänderung mit einer OFF-Schwelle zu vergleichen; das Ergebnis wird im Speicher 50 gespeichert.
4. Reset-Phase (222 in 4A und 4B): Jede Pixelschaltung 100, bei der der Zustand des gespeicherten Komparator-Outputs eine Änderung der Lichtintensität anzeigt, wird zurückgesetzt, indem die jeweiligen Reset-Schaltungen R1 leitend gemacht werden.
5. Auslesephase (224 in 4A und 4B): Unter Steuerung der Zeilenauswahlschaltung 40 werden die in den Speichern 50 gespeicherten Vergleichsergebnisse aus dem Pixelarray ausgelesen.

Im Allgemeinen muss die erste Phase (Integration von Beleuchtungsänderungen) keine explizite Zeitdauer haben, da die zeitlich kontinuierliche Integration von Änderungen während der anderen Phasen nicht abfällt. Daher kann für diese Phase auf eine explizites Zeitkontingent verzichtet werden.
Natürlich kann die Reihenfolge des Vergleichs von ON- und OFF-Ereignissen umgekehrt werden. Außerdem kann die Auslesephase je nach Ausführungsform des Pixels vor der Reset-Phase erfolgen.
Der Controller 60 steuert vorzugsweise das relative Timing der Phasen und erzeugt die erforderlichen Signale zur Steuerung der Pixel. Es sind mehrere Pixel-Betriebsarten möglich, wie in den 4A und 4B gezeigt.
Feste Auslesezeit: 4A ist ein Zeitdiagramm, das einen festen Zeitmodus zeigt, bei dem jede der Betriebsphasen eine feste Zeitdauer hat. Die Bildrate ist also fest. Im dargestellten Beispiel ist jeder Evt-Rahmen 100 Mikrosekunden lang.
Die Auslesephase hat also ebenfalls eine feste Dauer, aber die Anzahl der auszulesenden Ereignisse wird sich höchstwahrscheinlich von Ereignis-Frame zu Ereignis-Frame ändern. Um die Dauer der Auslesephase in einem vernünftigen Rahmen zu halten, muss die Anzahl der Ereignisse, die in einem einzigen Ereignisbild ausgelesen werden können 214, begrenzt werden. Wenn die Anzahl der auszulesenden Ereignisse geringer ist als die maximal mögliche, kommt es zu einer Leerlaufphase.
Wenn die Anzahl der Ereignisse größer ist als das, was während der Auslesephase ausgelesen werden kann, gibt es drei Möglichkeiten: 1) den Prozessor 46 benachrichtigen und die zusätzlichen Ereignisse verwerfen; 2) den Prozessor 46 benachrichtigen und die Auslesephase nur für das aktuelle Bild vergrößern (nach dem gestreckten Bild beginnt der Sensor, d.h. die Pixelmatrix, sofort mit dem nächsten Ereignisbild); oder 3) den Prozessor 46 benachrichtigen und die Auslesephase für das aktuelle Bild vergrößern und nach dem gestreckten Bild auf die „offizielle“ Bildstartzeit warten, (nach dem gestreckten Bild beginnt der Sensor, d. h. die Pixelmatrix, sofort mit dem nächsten Ereignisbild); oder 3) der Prozessor 46 wird benachrichtigt und die Auslesephase für das aktuelle Bild erweitert, und nach dem gestreckten Bild wird auf eine „offizielle“ Bildstartzeit gewartet, um mit der vorherigen Ereignisbild-Startzeit synchronisiert zu bleiben.
4A zeigt ein illustratives Beispiel einer Zeitachse für eine beispielhafte Bildrate von 10k Ereignisbildern pro Sekunde oder 100 Mikrosekunden pro Bild.
Genauer gesagt verbraucht in jedem Ereignisrahmen (Ereignisbild) 212. der Vergleich der ON-Ereignisse 218 10 µs und der Vergleich der OFF-Ereignisse 220 ebenfalls 10 µs. Dann werden die Pixel während einer 20 µs-Phase 222 zurückgesetzt. Schließlich werden die Ereignisse in einer Auslesephase 224 aus dem Pixelarray 210 ausgelesen und in der Ausleseschaltung 42 akkumuliert. Die Auslesephase dauert 60 µs. Die Summe der Dauer der Phasen beträgt also im konkreten Beispiel 10 + 10 + 20 + 60 = 100 Mikrosekunden.
Wie bei den aufeinanderfolgenden Ereignisrahmen 212-1, 212-2, 212-3 dargestellt, nimmt die eigentliche Auslesung 214 in Phase 224 unterschiedlich viel Zeit in Anspruch, obwohl dieser Phase 224 60 µs zugewiesen sind. So wird z. B. für die Ereignisauslesung 214-1 in Phase 224-1 für das erste Ereignisbild 212-1 weniger als die Hälfte der für 214-1 vorgesehenen 60 µs verbraucht. Im Gegensatz dazu verbraucht die Auslesung der Ereignisse 214-3 für den dritten Ereignisrahmen 224-3 zwei Drittel der 60 µs, die für 224-3 vorgesehen sind.
Variable Auslesezeit: In dem in 4B dargestellten Modus mit variabler Auslesezeit hängt die Dauer der Auslesephase 224 von der Anzahl der zu übertragenden Ereignisse ab. Infolgedessen sind die Gesamtlänge eines Rahmens und damit die Bildrate variabel und hängen von der Anzahl der Ereignisse pro Rahmen (Bild) ab.
Genauer gesagt, wie im vorherigen Beispiel, ist jeder der Ereignisrahmen 212 in einen Vergleich von ON-Ereignissen 218, der 10 µs verbraucht, und einen Vergleich von OFF-Ereignissen 220, der ebenfalls 10 µs verbraucht, unterteilt. Die Ereignis-Reset-Phase 222 verbraucht 20 µs in jedem Ereignisrahmen 212. Andererseits ist die Ereignisauslesephase 224 für jeden der Ereignisrahmen 212 in ihrer Länge variabel. Die Dauer dieser Phase hängt von der Anzahl der Ereignisse 214 ab, die aus der Pixelmatrix 210 ausgelesen werden müssen.
5 zeigt eine Pixelschaltung 100. der bevorzugten Ausführungsform ohne Abtastung, die nach den Prinzipien der vorliegenden Erfindung aufgebaut ist.
Ein Fotosensor PD, z. B. eine Fotodiode oder ein Fototransistor oder Fotoaktiver Bereich, wird verwendet, um das auftreffende Licht 9 in ein elektrisches Signal (d. h. einen Strom, bezeichnet als IFoto, oder eine Ladung) umzuwandeln. IFoto wird dann von der Fotorezeptorschaltung PRC in eine Spannung Vpr umgewandelt. Die Beziehung zwischen Vpr und der Lichtintensität ist typischerweise logarithmisch, kann aber in dieser und allen anderen Ausführungsformen des Pixels auch linear sein.
Vorzugsweise ist das Fotorezeptormodul PR in jedem der ein oder mehreren Pixel einer der Sensorausführungsformen ein logarithmisches Fotorezeptormodul. Ein logarithmisches Fotorezeptormodul ist ein Fotorezeptor, der so ausgebildet ist, dass er den IFoto-Strom, der proportional zur Intensität des auf die Sensorfläche des Fotosensors PD auftreffenden Lichts ist, in ein Signal umwandelt, das eine logarithmische Funktion des erfassten Lichts ist. Man beachte, dass Vpr zwar logarithmisch in Bezug auf IFoto gewählt wurde, aber auch proportional zu IFoto und einer anderen Funktion hätte gewählt werden können.
Eine logarithmische Umrechnung des von der Fotodiode erzeugten Stroms (IFoto) in die Output-Spannung ist sehr leistungsfähig, da sie die Abbildung eines großen Bereichs von Inputströmen auf einen begrenzten Spannungsbereich ermöglicht. Der Vergleich von Unterschieden im logarithmischen Intensitätsbereich hat auch den Vorteil, dass er mathematisch dem Vergleich normalisierter Unterschiede ähnelt; die meisten Definitionen von Kontrast basieren auf normalisierten Unterschieden (z. B. Leuchtdichteverhältnis, Weber-Kontrast oder Michelson-Kontrast). Der Vergleich von Unterschieden im logarithmischen Intensitätsbereich ermöglicht auch die Beobachtung von Unterschieden im Reflexionsgrad von Objekten unabhängig von der Hintergrundbeleuchtung.
Der Speicherkondensator C1 empfängt das Fotorezeptorsignal Vpr, so dass die erste Platte des Kondensators eine Ladung trägt, die auf das Fotorezeptorsignal Vpr reagiert. Eine zweite Platte des Speicherkondensators C1 ist mit dem Komparator-Knoten A1 verbunden. In der dargestellten Ausführungsform ist die zweite Platte mit dem invertierenden Input des Ereigniskomparators A1 verbunden. Somit ändert sich die Spannung des Komparator-Knotens. Vdiff, mit Änderungen des Fotorezeptorsignals Vpr und damit des vom Fotosensor PD empfangenen Lichts.
Während der Vergleichsphasen (siehe z. B. 4A und 4B) ist der Reset-Schalter RS der Reset-Schaltung R1 nicht leitend, so dass die Spannung Vdiff des Komparator-Knotens floatend ist. Änderungen des Fotorezeptorsignals Vpr ändern somit die Spannung des schwebenden Komparator-Knotens Vdiff, da die Spannung am Speicherkondensator C1 seit dem Zeitpunkt des Zurücksetzens des Pixels 100 konstant bleibt.
Für den Vergleich von ON-Ereignissen wird die Schwellenspannung Vb von der Steuerung 60 auf den Wert Von eingestellt (siehe 6). Der Ereigniskomparator A1 vergleicht also die Schwellenspannung Vb mit Vdiff. Der Controller 60 gibt außerdem den Impuls OnSel (für ON select), der den Schalter S2 zur Abtastung des ON-Ereignisses schließt. Infolgedessen wird der Output des Komparators durch den Inverter I1 invertiert und über eine Kapazität abgetastet. In der dargestellten Ausführungsform ist diese Kapazität eine parasitäre Gate-Kapazität des ON-Ereignis-Output-Transistors NM2 der Output-Schaltung OUT.
Für den Vergleich von OFF-Ereignissen wird die Vorspannung Vb auf den Wert Voff gesetzt (siehe 6). Der Ereigniskomparator A1 vergleicht also die neue Schwellenspannung Vb mit dem Wert Vdiff. Der Controller 60 gibt außerdem den Impuls OffSel, der den Schalter S1 für die Abtastung der OFF-Ereignisse schließt. In der dargestellten Ausführungsform ist diese Kapazität eine parasitäre Gate-Kapazität des OFF-Ereignis-Output-Transistors NM1 der Output-Schaltung OUT.
Während der Reset-Phase wird die Schwellenspannung Vb auf ein Spannungsniveau Vreset (ein Wert zwischen Von und Voff, vorzugsweise in der Mitte zwischen Von und Voff) gesetzt und das GlobalReset-Signal wird vom Controller 60 aktiviert. Infolgedessen schließt die Reset-Schaltung R1 den Reset-Schalter RS, wenn entweder ein ON-Ereignis oder ein OFF-Ereignis erkannt wurde (unter Verwendung des ODER-Gatters) UND GlobalReset aktiv ist.
Es werden also nur die Pixel zurückgesetzt, bei denen ein Ereignis erkannt wurde. Die Reset-Funktion hat den Vorteil, dass langsame Bewegungen erkannt werden können, da kleine Änderungen von Bild zu Bild kumuliert werden können.
Die dargestellte Beispielschaltung kompensiert auch jeden Offset im Ereigniskomparator A1 und trägt so dazu bei, dass die Reaktion der Pixel 100 in der Pixelmatrix S (3) über die gesamte Matrix hinweg konsistent ist. Im Allgemeinen wird in den Pixeln 100 innerhalb der Pixelmatrix 8, in denen ein hoher Spannungspegel entweder am OFF-Ereignis-Output-Transistor NM1 oder am ON-Ereignis-Output-Transistor NM2 gespeichert ist, der Reset-Schalter RS geschlossen. Infolge der sich ergebenden Spannungsfolger-konfiguration pendelt sich Vdiff am zweiten Anschluss des Speicherkondensators C1 auf Vreset zuzüglich eines etwaigen Offsets des Komparators ein. Folglich wird die auf den Schwellenwert angewandte Korrektur nun durch den Offset des Ereigniskomparators A1 kompensiert.
Während der Auslesephase wird die Pixelmatrix zeilenweise ausgelesen. Daher wartet jede Pixel-Schaltung 100 darauf, dass der Controller 60 sein RowSelect-Signal (Zeilenauswahlsignal) Zeile für Zeile aktiviert.
Die Pixelkontrollsignale und ihre Veränderung mit der Zeit (Zeitliniendiagramme) werden als nächstes besprochen.
6 zeigt die Zeitachse der globalen Pixelsteuersignale und der lokalen Pixelsignale. Vb, OnSel, OffSel und GlobalReset sind globale Signale für alle Pixel im Pixelarray, während RowSelect ein zeilenweises (lokales) Signal ist.
Im Einzelnen sind zwei Ereignisrahmen mit ON- und OFF-Vergleichsphase dargestellt. Konkret wird während der Vergleichsphase 218-1 und der OFF-Vergleichsphase 220-1 die Schwellenspannung Vb zwischen den Pegeln Von und Voff geändert. Da das Fotorezeptorsignal Vpr konstant ist, wird kein Ereignis erkannt.
Während der ON-Vergleichsphase 218-2. wird die Schwellenspannung Vb auf den Wert Von geändert. Da das Fotorezeptorsignal Vpr nun einen höheren Pegel hat, was anzeigt, dass die vom Fotosensor PD empfangene Lichtmenge zugenommen hat, steigt die Spannung am zweiten Anschluss des Speicherkondensators C1 (Vdiff) ebenfalls an (über den Pegel von Von, wenn die Änderung ausreichend groß ist). Wenn der Controller 60 auch den Impuls OnSel gibt, schließt sich der Schalter S2 für die Abtastung des ON-Ereignisses, und das ON-Signal wird auf der Kapazität des Output-Transistors NM2 für das ON-Ereignis gespeichert (5). Wenn das RowSelect-Signal aktiv ist, wird die nRxOn-Leitung auf niedrig (low) gezogen.
Da ein Ereignis erkannt wird, wird in der Reset-Phase auch die Spannung an dem Speicherkondensator C1 zurückgesetzt. Insbesondere wird in der Reset-Phase 222-2 die Schwellenspannung Vb auf einen Zwischenpegel Vreset gesetzt. Da PixReset aufgrund der Logik in der Reset-Schaltung R1 hoch ist, wird Vdiff auf Vreset zurückgesetzt und eine neue Spannung am Speicherkondensator C1 gespeichert.
7 zeigt eine weitere Pixelschaltung 100 (5) mit einer Abtastschaltung SC zwischen dem Fotorezeptor PR und dem Speicherkondensator C1.
Dadurch kann das Fotorezeptorsignal Vpr vor dem Vergleich abgetastet werden. Diese Konfiguration stellt sicher, dass derselbe Wert der Fotorezeptorspannung für den Vergleich von ON- und OFF-Ereignissen verwendet wird, wodurch mögliche Bewegungsartefakte aufgrund der Änderung von Vpr zwischen dem Vergleich von ON- und OFF-Ereignissen vermieden werden.
Genauer gesagt ist vor jeder ON-Vergleichsphase 218 die Abtastleitung des Controllers 60 für eine kurze Zeit aktiv, um den Abtastschalter 150 zu schließen. Dadurch wird die Fotorezeptorsignalspannung Vpr auf die Platte des Speicherkondensators C1 übertragen. Dann wird die Abtastsignalleitung des Controllers 60 inaktiv, so dass der Abtastschalter 150 wieder offen ist. Somit ist die Ladung auf der linken Platte des Speicherkondensators C1 statisch und ändert sich nicht bei nachfolgenden Änderungen des Fotorezeptorsignals Vpr. Solche Änderungen ergeben sich typischerweise aus Änderungen der Szene oder Bewegungen zwischen dem Sensor und der Szene.
Dann werden sowohl die ON-Vergleichsphase 218 als auch die OFF-Vergleichsphase 220 durchgeführt. Die jeweiligen Vergleiche mit den verschiedenen Schwellenspannungen Vb erfolgen dann relativ zu derselben Spannung, die aus dem Fotorezeptorsignal Vpr abgetastet wurde.
8 zeigt eine weitere Pixelschaltung 100. Dieses Design führt zu einem kleineren Pixel.
Genauer gesagt hat es nur eine Output-Leitung nRX, die die beiden Output-Leitungen nRXon und nRXoff ersetzt, die in den vorherigen Beispielen verwendet wurden (5 und 7). Diese Änderung ermöglicht außerdem den Wegfall des ODER-Gatters (siehe 5 und 7) in der Reset-Schaltung R1 und den Wegfall von NM2, einem der Output-Transistoren (siehe 5 und 7) in der Output-Schaltung OUT. Für beide Ereignispolaritäten ist das Output-Signal nRx aktiv low. Die Reset-Schaltung R1 verwendet das GlobalReset-Signal und die abgetasteten Komparator-Outputs, um festzustellen, ob sie leitend ist oder nicht.
In dieser Ausführungsform ist es vorteilhaft, eine Reset-Phase für jede Ereignispolarität getrennt zu haben (d. h. eine Reset-Phase für das OFF-Ereignis und eine weitere für das ON-Ereignis).
Ähnlich wie bei den vorherigen Ausführungsformen ändern Änderungen der Fotorezeptor-Ausgangsspannung Vpr die Spannung des floatenden Knotens Vdiff.
Für den Vergleich bei ON-Ereignissen wird die Vorspannung Vb auf einen Spannungspegel Von eingestellt. Der Komparator vergleicht Vb mit Vdiff. Durch Takten von OnSel wird der Komparator-Output an der parasitären Kapazität des Transistors NM1 abgetastet.
Für den Reset aufgrund von ON-Ereignissen wird Vb auf einen Spannungspegel Vreset (in der Mitte zwischen Von und Voff) gesetzt und das GlobalReset-Signal aktiviert. In den Pixeln, in denen ein hoher Spannungspegel am Output-Transistor NM1. gespeichert ist, wird der Reset-Schalter RS geschlossen, so dass sich Vdiff auf Vreset plus den Offset des Komparators einstellt.
Für das zeilenweise Auslesen von ON-Ereignissen wird das RowSelect-Signaljeweils für eine Zeile aktiviert. Wenn die Gate-Kapazität des Output-Transistors NM1 einen hohen Spannungspegel speichert, ist der Output-Transistor NM1 leitend und die entsprechende Anforderungsleitung nRx wird nach unten gezogen. Diese Aktiv-Low-Anforderung wird in der peripheren Ausleseschaltung 42 zwischengespeichert.
Zum Vergleich für OFF-Ereignisse wird die Vorspannung Vb durch den Controller 60 auf einen Pegel Voff eingestellt. Durch Takten von OffSel wird dieser neue Komparator-Output an der parasitären Kapazität des Output-Transistors NM1 abgetastet.
Für die Reset-OFF-Ereignisse wird Vb auf einen Spannungspegel Vreset (in der Mitte zwischen Von und Voff) gesetzt, und das GlobalReset-Signal wird aktiviert. In den Pixeln, in denen ein hoher Spannungspegel am Gate des Output-Transistors NM1 gespeichert ist, wird der Reset-Schalter RS geschlossen, so dass sich Vdiff auf Vreset plus den Offset des Komparators einstellt.
Zum Auslesen von OFF-Ereignissen, das zeilenweise erfolgt, wird das RowSelect-Signal jeweils für eine Zeile aktiviert. Wenn die Gate-Kapazität des Output-Transistors NM1 einen hohen Spannungspegel hält, ist er leitend und die Output-Leitung nRx wird nach unten gezogen. Diese Aktiv-Low-Anforderung wird in der peripheren Ausleseschaltung 42 zwischengespeichert.
9 zeigt die Zeitachse der globalen Pixelsteuersignale und der lokalen Pixelsignale. Vb, OnSel, OffSel und GlobalReset sind globale Signale; RowSelect ist ein zeilenweises (lokales) Signal.
In diesem Beispiel wird die ON-Vergleichsphase mit der Auslesephase 218 kombiniert. Während dieser Phase steigt die Schwellenspannung Vb auf Von, und der RowSelect ist aktiv. Im dargestellten Beispiel wird in der Phase 218-1 jedoch kein ON-Ereignis erkannt. In ähnlicher Weise wird die OFF-Vergleichsphase mit der Auslesephase 220 kombiniert. Während der ON-Reset-Phase 219 und der OFF-Reset-Phase 221 ist das GlobalReset-Signal aktiv.
Vor der ON-Vergleichs- und Auslesephase 218-2 steigt Vpr aufgrund der erhöhten Lichteinstrahlung auf den Fotosensor PD an, und infolgedessen steigt Vdiff auf einen Wert größer als Von. Somit registriert der Ereigniskomparator A1 ein ON-Ereignis, das im Speicher gespeichert wird, wenn OnSel hoch und wieder niedrig wird, und somit PixEvt hoch wird. Wenn das Reihenauswahlsignal RowSelect aktiv ist, wird das ON-Ereignis über die Output-Leitung nRx an die Peripherieschaltung weitergeleitet. Während der ON-Reset-Phase 219-2, während PixEvt und GlobalReset gleichzeitig auf High sind, geht PixReset auf High, so dass das Pixel während der Reset-Phase 219-2 zurückgesetzt wird.
10 zeigt eine weitere Pixelschaltung 100. Dieses Design führt zu einem noch kleineren Pixel, bei dem die Speicherfunktion nicht in der Pixelschaltung 100 untergebracht ist, sondern Teil der Ausleseschaltung 42 ist.
Genauer gesagt verwendet die Reset-Schaltung R1 das RowSelect-Signal und ein Output-Bestätigungssignal ColAck von der Ausleseschaltung 42, um zu bestimmen, ob der Reset-Schalter RS geschlossen und der Speicherkondensator C1 zurückgesetzt werden soll. Die logische UND-Verknüpfung von ColAck und RowSelect wird verwendet, um einen Latch zu setzen, der das PixReset-Signal speichert; ein globales Signal vom Controller (ResetPixReset) wird verwendet, um das Latch während der Reset-Phase zurückzusetzen. Der Grund dafür, dass das UND von ColAck und RowSelect gespeichert und nicht direkt zur Steuerung des Schalters RS verwendet wird, ist, dass alle Pixel im Array gleichzeitig zurückgesetzt werden können. Ohne das Latch müsste das Zurücksetzen während der Auslesephase Zeile für Zeile erfolgen.
Das ColAck-Signal der Ausleseschaltung 42 wird von allen Pixeln einer Spalte gemeinsam genutzt. Daher muss der Pixel-Reset zeilenweise aktiviert werden. Im Betrieb wählt die Zeilenauswahlschaltung eine Pixelzeile aus, indem sie das entsprechende RowSelect-Signal aktiviert, und die entsprechenden Komparator-Outputs werden über den Output-Transistor NM1 an die Ausleseschaltung weitergeleitet. Dann steuert der Controller 60 die Speicher in der Ausleseschaltung 42 an, um die übertragenen Komparator-Outputs zu speichern; die Spaltenlogikschaltungen der Ausleseschaltung 42 bestimmen, ob eine Zunahme oder Abnahme der Lichtintensität stattgefunden hat. In den Spalten, in denen die Spaltenlogikschaltung eine Änderung der Lichtintensität festgestellt hat, wird das Signal ColAck aktiviert. Der Controller legt dann die Reset-Spannung Vreset an die positiven Eingänge der Ereigniskomparatoren A1 des Arrays 210 an. Zusammen mit dem noch aktiven RowSelect-Signal setzt ein aktives ColAck-Signal das entsprechende Pixel zurück.
Darüber hinaus ist in dieser Pixelschaltung die Polarität des Komparator-Outputs zwischen einem ON-Ereignis (zunehmender Lichtpegel) und einem OFF-Ereignis (abnehmender Lichtpegel) unterschiedlich. Daher wird die unterschiedliche Polarität des Komparator-Outputs für ON-Ereignisse und OFF-Ereignisse in der Ausleseschaltung 42 berücksichtigt. Das bedeutet, dass das Output-Signal nRx bei ON-Ereignissen aktiv high und bei OFF-Ereignissen aktiv low ist.
11 zeigt die Zeitachse der globalen Pixelsteuersignale und der lokalen Pixelsignale. Vb, OnSel, OffSel und ResetPixReset sind globale Signale, während RowSelect ein zeilenweises lokales Signal ist und ColAck ein spaltenweises lokales Signal.
In diesem Beispiel wird die ON-Vergleichsphase mit der Auslesephase 218 kombiniert. Während dieser Phase steigt die Schwellenspannung Vb auf Von und der RowSelect ist aktiv. In der dargestellten Beispielphase 218-1 wird jedoch kein ON-Ereignis erkannt. In ähnlicher Weise wird die OFF-Vergleichsphase mit der Auslesephase 220 kombiniert. Nach den beiden Vergleichs- und Auslesephasen gibt es eine Reset-Phase 224.
Vor der ON-Vergleichs- und Auslesephase 218-2 erhöht sich Vpr aufgrund der erhöhten Lichteinstrahlung auf den Fotosensor PD, und infolgedessen steigt Vdiff auf einen Wert, der größer ist als Von. Somit registriert der Ereigniskomparator A1 ein ON-Ereignis, das der Peripherieschaltung über die Output-Leitung nRx mitgeteilt wird, wenn das Zeilenauswahlsignal ROwSelect aktiv ist. Da die entsprechende Spaltenlogikschaltung ein Ereignis registriert, wird sie das ColAck-Signal aktivieren. In allen Pixeln, in denen ColAck und RowSelect gleichzeitig aktiv sind, geht das PixReset-Signal auf High und schließt den Input und den Output des Komparators kurz. Während der Reset-Phase 224-2 legt der Controller Vreset an Vb an, und da PixReset immer noch High ist, wird das Pixel zurückgesetzt. Dann setzt der Controller ResetPixReset für einige Zeit auf High, um alle PixReset-Signale wieder auf einen niedrigen Wert zu setzen.
12 zeigt eine weitere Pixelschaltung 100. Dieses Design ermöglicht einen schnelleren Betrieb. Sie enthält zwei Ereigniskomparatoren pro Pixel, was den gleichzeitigen Vergleich von ON- und OFF-Ereignissen ermöglicht. Außerdem befindet sich der Speicher in der Pixelschaltung und wird durch zwei Abtastschaltungen am entsprechenden Komparator-Output realisiert. Wie in 5 ist der Speicher die Kombination aus einem Schalter mit parasitärer Kapazität, hier S4 und der parasitären Gate-Kapazität von NM2, bzw. S5 und der parasitären Gate-Kapazität von NM1. Die Komparator-Outputs werden abgetastet und auf der parasitären Gate-Kapazität der beiden Output-Transistoren NM1 und NM2 gespeichert.
Im Einzelnen erhält der OFF-Ereigniskomparator A1 eine Voff-Schwellenspannung, die dem gesamten Pixelarray 210 zugeführt wird. In ähnlicher Weise empfängt der Komparator A2 für das ON-Ereignis eine Von-Schwellenspannung, die der gesamten Pixelmatrix 210 zugeführt wird.
Wenn das Abtastvergleichssignal SampleComp von dem Controller 60 aktiv ist, werden die Outputs der Komparatoren A1, A2 an die Gate-Kapazitäten des OFF-Ereignis-Output-Transistors NM1 bzw. des ON-Ereignis-Output-Transistors NM2 übertragen. Ihr Zustand wird dann über die Output-Leitungen nRXon und nRXoff gelesen, wenn RowSelect aktiv ist (d.h. NM3 ist leitend).
Als Reaktion auf ein ON- oder OFF-Ereignis setzt die Reset-Schaltung die Spannung am zweiten Anschluss des Speicherkondensators C1 (Vdiff) zurück, die dem invertierenden Input des OFF-Ereigniskomparators A1 und dem nichtinvertierenden Input des ON-Ereigniskomparators A2 zugeführt wird. In diesem Fall wird Vdiff auf die gemeinsame Spannung am Array 210 zurückgesetzt.
13 zeigt zwei repräsentative Pixel 100 entlang einer Spalte des Arrays 210. Die Ellipsen (Punkte) entlang der ResetLevel-, ColAck- und Vsf-Linien zeigen das Vorhandensein anderer Pixel entlang der Spalte an. Sie werden in der Abbildung weggelassen, um Unübersichtlichkeit zu vermeiden. Die in dieser Abbildung dargestellte Pixelschaltung ergibt ein noch kleineres Pixel. Der Grund dafür ist, dass sich die Komparatorfunktion nicht in der Pixelschaltung 100 befindet, sondern Teil der Ausleseschaltung 42 ist (unten in der Abbildung dargestellt).
Diese Pixelschaltung 100 enthält einen Abtastschalter 150 zwischen der Fotorezeptorschaltung PRC, deren Output Vpr ist, wie für andere Ausführungsformen erörtert, und dem Speicherkondensator C1. Dies ermöglicht die selektive elektronische Verbindung des Outputs der Fotorezeptorschaltung PRC und des Speicherkondensators C1. Der Abtastschalter 150 wird durch ein Abtastsignal Sample auf der Leitung 25 vom Controller 60 betätigt. Das Abtastsignal wird von dem Controller 60 aktiviert, um den Fotorezeptorausgang aller Pixel 100 im Array 210 zum gleichen Zeitpunkt abzutasten. Dadurch werden Bewegungsartefakte vermieden.
Konkret wird das Fotorezeptorsignal Vpr als Vprs an den Speicherkondensator C1 übertragen. Ein Puffer 27 hält dann die Spannung am zweiten Anschluss des Speicherkondensators C1 (Vdiff). Im Allgemeinen leitet der Puffer 27 die Spannung (Vdiff) des zweiten Anschlusses des Speicherkondensators C1 an periphere Schaltungen weiter. Der Puffer wird durch ein RowSelect-Signal aktiviert, das von der Reihenauswahlschaltung 60 kommt.
Die Pixelschaltung 100 verwendet einen Source-Folger als Puffer 27. Dieser überträgt die Spannung am zweiten Anschluss des Speicherkondensators C1 an die Ausleseschaltung 42 für die Spalte des Pixels im Array 210. Die Spannung Vdiff wird auf der Leitung Vout zur Ausleseschaltung an den Anschluss Vsf der Ausleseschaltung 42 geliefert. Dort vergleicht eine Ereigniskomparatorschaltung A1 Vdiff sowohl mit dem Von-Pegel als auch mit dem Voff-Pegel. Dieser Spaltenkomparator A1 befindet sich in der Ausleseschaltung 42.
Im Puffer 27 fungiert der Transistor M1 als Source-Follower-Input-Transistor mit Einheitsverstärkung (die Stromquelle des Source-Followers ist Teil der Ausleseschaltung 42), während M2 ein Schalter zur Aktivierung des Source-Followers ist. Die Ausleseschaltung 42 ist so implementiert, dass es für jede Pixelspalte ein eigenes ColAck-Signal gibt. Das ColAck-Signal ist nur in den Spalten aktiv, in denen ein Ereignis erkannt wurde (37 zeigt eine solche Ausleseschaltung 42).
Der Reset-Transistor N1 wird durch das RowSelect-Signal gesteuert. Der Reset-Transistor N2 wird durch das Output-Bestätigungssignal ColAck gesteuert. Wenn also beide Signale aktiv sind, sind die Reset-Transistoren N1 und N2 leitend, und die Spannung am zweiten Anschluss des Speicherkondensators C1 (Vdiff) wird auf eine Reset-Spannung zurückgesetzt, die der Pixelspalte 210 über die Reset-Leitungen ResetLevel von der Ausleseschaltung 42 zugeführt wird. Die Reihenschaltung der Transistoren N1 und N2 bildet somit eine logische UND-Funktion für die Signale RowSelect und ColAck.
Es versteht sich, dass diese Ausführungsform auch ohne den Abtast-Schalter 150 zwischen der Fotorezeptorschaltung PRC und dem Speicherkondensator C1 realisiert werden kann.
14 zeigt zwei repräsentative Pixel 100 entlang einer Spalte des Arrays 210. Wie in 13 zeigen die Ellipsen (Punkte) entlang der ResetLevel-, ColAck- und Vsf-Linien das Vorhandensein anderer Pixel an, die weggelassen wurden, um die Abbildung nicht zu überfrachten. Auch bei diesem Entwurf liegt der Schwerpunkt auf einer kleinen Pixelfläche. Wie bei der vorherigen Ausführungsform befindet sich die Komparatorfunktion nicht in der Pixelschaltung 100, sondern ist stattdessen Teil der Ausleseschaltung 42. Im Gegensatz zur Ausführungsform von 13 wird bei dieser Ausführungsform jedoch ein kapazitiver Verstärker im Puffer 27 verwendet, um die Spannung Vdiff am zweiten Anschluss des Speicherkondensators C1 und insbesondere die Spannungsänderung seit dem letzten Zurücksetzen (Reset) des Pixels zu verstärken.
Vdiff, vor der Verstärkung, wird wie zuvor aus Vprs gewonnen (13). Die Verstärkung der Änderungen von Vdiff erleichtert die Erfassung kleiner Änderungen des Fotorezeptorsignals Vpr. Die Verstärkung des Puffers 27 ist durch das Verhältnis der Kapazitäten von C1 geteilt durch C2 gegeben. Es ist zu beachten, dass der Kondensator C2 explizit oder parasitär sein kann. Abgesehen von dieser Multiplikation mit dem Verhältnis der Kapazitäten ist die Ausführungsform und Funktionsweise des in 14 dargestellten Pixels identisch mit der von 13.
Im Puffer 27 ist der Transistor M1 ein PFET-Input-Transistor und somit der Puffer ein Verstärker, während M2 ein Schalter zur Aktivierung des Verstärkers ist. Die Ausleseschaltung 42 ist so implementiert, dass es für jede Pixelspalte ein separates ColAck-Signal gibt. Das ColAck-Signal ist nur in den Spalten aktiv, in denen ein Ereignis erkannt wurde. 37 zeigt eine solche Ausleseschaltung 42.
Das Zurücksetzen des Knotens Vdiff wird durch einen Zeilenauswahlschalter RS, der durch das RowSelect-Signal gesteuert wird, und einen Spalten-Reset-Schalter CS, der durch das Output-Bestätigungssignal ColAck gesteuert wird, gesteuert.
In 13 (zusammen mit 35) wird der Reset-Level durch den Source-Folger und A1 in der Ausleseschaltung bestimmt. Der tatsächliche Reset-Level enthält den Offset des Source-Folgers und den Offset von A1, so dass diese beiden Offsets kompensiert werden.
In 14 (wie auch in 37) ist A1 durch zwei Komparatoren implementiert (einer für ON/EIN, einer für OFF/AUS), so dass es nicht möglich ist, beide in den Reset-Level einzubeziehen. Da aber der Puffer in 14 eine Verstärkung hat, die viel größer als Eins ist, spielt der Offset der Komparatoren eigentlich keine große Rolle und kann daher unkompensiert bleiben.
Wie in 13 könnte 14 auch ohne den Abtastschalter 150 zwischen der Fotorezeptorschaltung PRC und dem Speicherkondensator C1 realisiert werden.
Die Diskussion wird sich nun auf mögliche Beispielimplementierungen von Aspekten/Teilen der oben beschriebenen Ausführungsformen von Pixelschaltungen erstrecken. Es sollte verstanden werden, dass, für den größten Teil, jede der oben beschriebenen Schaltungen kann eine oder mehrere der folgenden beschriebenen Eigenschaften haben.
15 zeigt eine kompakte Ausführungsform der Abtastschaltung SC, wie sie in den Pixel-Ausführungsformen (2, 7, 13 und 14) verwendet werden könnte. Die Abtastschaltung SC verwendet einen nFET-Transistor T10 als Schalter und einen Source-Folger, der durch die beiden pFET-Transistoren T11 und T12 realisiert wird, wobei T11 die Stromquelle des Source-Folgers ist, während T12 der Input-Transistor des Source-Folgers ist. Die Gate-Kapazität des pFET-Transistors T12 bildet den Abtastkondensator.
Die und zeigen verschiedene Ausführungsformen von Komparatoren A1, die zur Erkennung kleiner Beleuchtungsänderungen verwendet werden. Es ist notwendig, kleine Spannungsänderungen in der Größenordnung von einigen Millivolt zu erkennen. Das bedeutet, dass der Komparator, der in den Schaltungen der 1-3, 5, 7, 8, 10, 12-14 gezeigt wird, eine beträchtliche Verstärkung benötigt (vorzugsweise mehr als 10 dB oder 20 dB und idealerweise etwa 40 dB oder mehr).
16 zeigt einen zweistufigen Komparator, der die erforderliche Verstärkung liefert. Ebenfalls dargestellt ist der Reset-Schalter RS, der in dieser Ausführungsform nicht den Input und den Output des Komparators verbindet, sondern den Input mit dem Output der ersten Stufe des Komparators.
17 zeigt eine weitere Implementierung des Komparators A1 auf der Basis eines Transkonduktanzoperationsverstärkers. Er verwendet fünf Transistoren mit einer Zwei-Transistor-Ausgangsstufe als Komparator. Sie hat den Vorteil, dass die Geschwindigkeit des Komparators nicht von der Referenzspannung abhängt und somit mehr Freiheit im Bereich der Schwellenwerte besteht. Auch die Offsetkompensation ist wahrscheinlich besser als bei den vorherigen Beispielen mit einem zweistufigen Komparator mit zwei Transistoren.
Reset-Schalter und Reset-Schaltungen sind in allen Ausführungsformen Teil der Pixelschaltung. Ihre Ausführungsformen folgen.
Der Reset-Schalter kann als NMOS-Transistor, PMOS-Transistor oder als komplettes Transmissionsgatter mit einem NMOS- und einem PMOS-Transistor ausgeführt werden. Je nach Art des verwendeten Schalters ist die Polarität des Reset-Signal bei einem NMOS-Transistor aktiv hoch, bei einem PMOS-Transistor aktiv niedrig und bei einem Transmissionsgatter sowohl hoch als auch niedrig gepolt. Wenn das Reset-Signal PixReset heißt, gilt es als aktiv hoch/high, wenn es nPixReset heißt, gilt es als aktiv niedrig/low.
18 zeigt eine Implementierung der Reset-Schaltung für die Pixelschaltungen in 5, 7 und 12. Die UND-ODER-Verknüpfung für die Erzeugung des Reset-Signals wird in den Schaltungen der 5, 7 und 12 verwendet. Die in 18 gezeigte UND-ODER-Kombination kann für einen NMOS-Transistor implementiert werden, der als Reset-Schalter dient. ON und OFF sind die abgetasteten Komparator-Outputs. Wenn z. B. ON ein hoher Spannungspegel ist, ist der Schalter S1 leitend, während S3 nicht leitend ist. Die Spannung an PixReset folgt also in diesem Fall der Spannung von GlobalReset. Setzt der Controller GlobalReset auf einen hohen Spannungspegel, wird der Reset-NMOS-Transistor leitend und der Komparator zurückgesetzt.
Wenn sowohl ON als auch OFF niedrig sind, ist weder S1 noch S2 leitend, sondern S3 und S4. PixReset ist also an Masse gebunden und der Reset-Transistor ist nicht leitend.
19 zeigt eine alternative Implementierung des Resets mit einem PMOS-Reset-Transistor. Wenn z.B. der Spannungspegel ON hoch ist, ist NM1 leitend. Wenn der Controller 60 GlobalReset auf einen hohen Spannungspegel setzt, ist NM3 ebenfalls leitend, und die Spannung an nPixReset wird auf Masse gezogen, und somit ist der PMOS-Reset-Transistor leitend. Wenn der Controller 60 GlobalReset auf einen niedrigen Spannungspegel setzt, gibt es keinen Strompfad mehr zwischen nPixReset und Masse. Dann wird der Vorspannungsstrom (gesteuert durch die Vorspannung am Gate von PM1) in PM1 nPixReset langsam an die Stromversorgung ziehen. Wenn weder ON noch OFF hohe Spannungspegel sind, hält der Vorspannungsstrom in PM1 nPixReset an der Stromversorgung und der Reset-Transistor ist somit nicht leitend.
20 zeigt noch eine weitere Ausführung der Reset-Schaltung. Bei dieser Version ist die Logikfunktion in den eigentlichen Reset-Schalter integriert. Dies ermöglicht eine kompaktere Implementierung. Der Pfad zwischen dem Komparator-Input ist leitend, wenn entweder ON oder OFF ein hoher Spannungspegel ist und GlobalReset (gesteuert durch den Controller 60) hoch ist.
21 zeigt die Implementierung einer Reset-Schaltung für die Pixel-Ausführung von 8. Hier fungiert ein NMOS-Transistor als Reset-Schalter. PixEvt ist der abgetastete Komparator-Output. Wenn PixEvt einen hohen Spannungspegel aufweist, ist der Schalter S1 leitend, während S2 nicht leitend ist. Die Spannung an PixReset folgt also in diesem Fall der Spannung von GlobalReset. Setzt der Controller GlobalReset auf einen hohen Spannungspegel, ist der Reset-NMOS-Transistor leitend und der Komparator wird zurückgesetzt.
Wenn PixEvt niedrig ist, ist S1 nicht leitend, S2 aber schon. PixReset ist also an Masse gebunden und der Reset-Transistor ist nicht leitend.
22 zeigt die Implementierung einer Reset-Schaltung. Diese Schaltung verwendet einen PMOS-Reset-Transistor. Wenn der Spannungspegel PixEvt hoch ist, ist NM1 leitend. Wenn der Controller GlobalReset auf einen hohen Spannungspegel setzt, ist NM2 ebenfalls leitend und die Spannung an nPixReset wird auf Masse gezogen, so dass der PMOS-Reset-Transistor leitend ist. Wenn der Controller GlobalReset auf einen niedrigen Spannungspegel setzt, gibt es keinen Strompfad mehr zwischen nPixReset und Masse. Dann wird der Vorspannungsstrom (gesteuert durch die Vorspannung am Gate von PM1) in PM1 nPixReset langsam an die Stromversorgung ziehen. Wenn PixEvt einen niedrigen Spannungspegel hat, hält der Vorspannungsstrom in PM1 nPixReset an der Stromversorgung, so dass der Reset-Transistor nicht leitend ist.
23 zeigt eine Reset-Schaltung, bei der die Logikfunktion in den eigentlichen Reset-Schalter integriert ist. Dies ermöglicht eine kompaktere Implementierung. Der Pfad zwischen dem Komparator-Input und dem mittleren Output ist leitend, wenn PixEvt einen hohen Spannungspegel aufweist und GlobalReset (gesteuert durch den Controller) hoch ist.
24 zeigt eine weitere Implementierung der Reset-Schaltung, die mit der in 10 gezeigten Pixelschaltung kompatibel ist.
Wenn hier sowohl RowSelect als auch ColAck (ColAck ist das Signal von der Spaltenlogikschaltung zum Pixel in 10) hoch sind, wird der Knoten nPixReset auf Masse gezogen, und dieser niedrige Spannungspegel wird auf dem (expliziten oder parasitären) Kondensator CR gespeichert, so dass der Schalter, der Input und Output des Komparators verbindet, leitend ist. Nachdem das Auslesen des gesamten Arrays abgeschlossen ist, liegt bei allen Pixeln, die ein Ereignis ausgelöst haben, nPixReset an Masse und wird somit zurückgesetzt. Dann setzt der Controller das Signal ResetPixReset auf einen niedrigen Spannungspegel und MP1 ist leitend, wodurch nPixReset an die Stromversorgung gezogen wird. Durch die Steuerung des Pegels von ResetPixReset während der Reset-Phase kann die ansteigende Flanke von PixReset gesteuert werden.
In der in 24 gezeigten Ausführungsform wird das Latch für das PixReset-Signal mit einem Kondensator realisiert (der Knoten wird nicht ständig angesteuert). Alternativ können zwei kreuzgekoppelte Inverter als Latch verwendet werden, wie in 25 gezeigt.
In der bevorzugten Ausführungsform verwendet das Pixel ein logarithmisches Front-End, um einen hohen Dynamikbereich und eine hohe Empfindlichkeit gegenüber dem zeitlichen Kontrast anstelle der zeitlichen Differenz zu ermöglichen. Wenn eine negative Rückkopplungsschaltung verwendet wird, kann eine schnelle Reaktion auf Beleuchtungsänderungen erreicht werden.
26 zeigt einen einfachen logarithmischen Fotorezeptor PR mit Rückkopplung. Er verwendet eine Fotodiode PD als Lichtsensor. Die Fotorezeptorschaltung PRC enthält einen invertierenden Verstärker und ein Schaltungselement M1 mit logarithmischem Strom-SpannungsVerhältnis, das zwischen dem Input und dem Output des invertierenden Verstärkers angeschlossen ist. Der invertierende Verstärker sorgt dafür, dass die Spannung über der Fotodiode PD fast konstant bleibt.
27 zeigt eine bevorzugte Ausführungsform des Fotorezeptors PR. Ein NMOS-Transistor wird als Rückkopplungselement und ein Verstärker mit gemeinsamer Quelle als invertierender Verstärker verwendet. Zwischen dem logarithmischen Fotorezeptor und dem Kondensator kann ein Source-Folger eingesetzt werden, um das Front-End von Spannungstransienten während des Pixel-Resets zu isolieren. Ein Source-Folger ermöglicht auch eine Tiefpassfilterung des Input-Signals und damit eine Verringerung des integrierten Rauschens.
Die 28 und 29 zeigen zwei weitere Optionen, die zwei NMOS-Rückkopplungstransistoren (28) oder einen PMOS-Rückkopplungstransistor (29) verwenden.
In der Pixelausleseschaltung RO, die in den und dargestellt ist, werden die Spaltenanforderungsleitungen nRxOn und nRxOff von allen Pixeln in derselben Spalte gemeinsam genutzt. Wenn RowSelect aktiv ist und auf dem parasitären Kondensator von NM2 eine hohe Spannung gespeichert ist, wird nRxOn auf low gezogen, um der Datenausleseschaltung ein ON-Ereignis zu signalisieren. Wenn eine niedrige Spannung auf NM2 gespeichert ist, ist NM2 nicht leitend und somit bleibt nRxOn hoch.
Bei den in den 8 und 10 gezeigten Pixelschaltungen wird die Spaltenanforderungsleitung nRx der Ausleseschaltung RO von allen Pixeln derselben Spalte gemeinsam genutzt. Wenn der ROwSelect aktiv ist und auf dem parasitären Kondensator von NM1 eine hohe Spannung gespeichert ist, wird nRx auf low gezogen, um der Datenausleseschaltung ein Ereignis zu signalisieren. Wird an NM1 eine niedrige Spannung gespeichert, so ist NM1 nicht leitend und nRx bleibt somit auf high (hoch).
Der Controller 60 erzeugt die erforderlichen Wellenformen der Steuersignale für die Pixel und steuert die Spannung Vb am Input der Komparatoren und erzeugt die erforderlichen Wellenformen zur Steuerung der Spaltenlogikschaltungen. In vielen Fällen synchronisiert der Controller 60 diese Wellenformen auch mit einer externen Zeitreferenz.
Der Controller 60 kann in denselben integrierten Schaltkreis (IC) des Sensors wie der Pixelschaltkreis oder in einen separaten IC integriert werden, z. B. mit einem Mikrocontroller oder einem FPGA (Field Programmable Gate Array). Der Controller kann durch einen endlichen Zustandsautomaten oder durch einen Mikrocontrollerkern implementiert werden.
Teil des Controllers 60 ist eine Zeilenauswahlschaltung. Die Zeilenauswahlschaltung wählt und aktiviert OUT in jedem Pixel in einer Zeile mit Hilfe einer Reihe von RowSelect-Signalen. Die Zeilenauswahlschaltung verfügt über einen Takteingang, der den Übergang von einer Zeile zur nächsten ermöglicht. Der Output der Reihenauswahlschaltung ist eine Reihe von RowSelect-Signalen, eines für jede Pixelreihe. Die Auswahl einer Reihe bedeutet, dass das RowSelect-Signal für diese Reihe aktiv ist (hoher Spannungspegel), während die RowSelect-Signale für alle anderen Reihen inaktiv sind (niedriger Spannungspegel). Ein aktives RowSelect-Signal ermöglicht es denjenigen Pixeln, bei denen ein „hoher“ Komparator-Output abgetastet wurde, eine Spaltenanforderung zu erzeugen, indem sie den Zustand einer Signalleitung ändern, die von allen Pixeln in einer Spalte gemeinsam genutzt wird.
Die Zeilenauswahlschaltung enthält eine Schaltung, die die Adresse der aktuell ausgewählten Zeile kodiert und diese Adresse an die Datenausleseschaltung ausgibt.
Die Zeilenauswahlschaltung kann so ausgebildet werden, dass beim Scannen Zeilen übersprungen werden. Diese Funktion wird verwendet, um eine sogenannte Region-of-Interest-Auslesung (ROI) zu realisieren.
Der Controller 60 ist mit Software oder Hardware wie eine endliche Zustandsmaschine implementiert, die zunächst Vb (den ersten Komparator-Input) auf die erste Schwellenspannung (Von) setzt und dann nach einer kurzen Verzögerung das Signal OnSel auf logisch hoch setzt, um den invertierten Komparator-Output elektrisch mit dem ON-Knoten zu verbinden. Nach einer weiteren Verzögerung setzt die Steuerung (Hardware oder Software) OnSel auf logisch niedrig, um den invertierten Komparator-Output vom ON-Knoten zu trennen. Dann setzt er Vb auf die zweite Schwellenspannung (Voff). Nach einer kurzen Pause setzt die Software das Signal OffSel auf logisch hoch, um den Komparator-Output elektrisch mit dem OFF-Knoten zu verbinden. Wiederum nach einer kurzen Verzögerung setzt er OffSel auf logisch niedrig, um den Komparator-Output vom OFF-Knoten zu trennen. Dann setzt er Vb auf die Reset-Spannung Vreset. Nach einer Verzögerung setzt er das Signal GlobalReset auf logisch hoch, um den zweiten Anschluss des Kondensators elektrisch mit dem Reset-Pegel zu verbinden. Nach einer weiteren Verzögerung setzt die Software das Signal GlobalReset auf logisch niedrig, um den zweiten Anschluss des Kondensators vom Reset-Level zu trennen.
Dann setzt der Controller die erste RowSelect-Leitung auf logisch hoch, um die gespeicherten Komparator-Outputs der Pixel in der ersten Reihe mit der Ausleseschaltung zu verbinden, und sendet ein Signal an die Ausleseschaltung, um mit der Übertragung der Ereignisse aus dieser ersten Reihe zu beginnen. Wenn die Ausleseschaltung fertig ist, setzt der Controller die erste RowSelect-Leitung auf logisch niedrig und die zweite RowSelect-Leitung auf logisch hoch.
Alle Zeilen werden abgearbeitet, bis sie erschöpft sind, d. h., der Controller hat die gespeicherten Komparator-Outputs für alle Zeilen gelesen.
Wenn der Controller alle gespeicherten Komparator-Outputs ausgelesen hat, kann er nach einer kurzen Verzögerung die Sequenz neu starten, indem er Vb wieder auf die erste Schwellenspannung setzt. Dieser Vorgang wird für die Dauer der Datenerfassung durch das DVS wiederholt.
Alternativ dazu kann der Controller, anstatt die Sequenz direkt neu zu starten, auf ein externes Zeitreferenzsignal warten. Dieses externe Zeitreferenzsignal kann vom Prozessor kommen.
Die Ausleseschaltungen werden im Folgenden beschrieben.
In seiner einfachsten Form liest die Auslese-Schaltung die Komparator-Outputs für alle Pixel 100 im Array 210 und sendet ein ternäres Bild (Zunahme, Abnahme oder keine Änderung) für jedes Bild an den Empfänger.
30 zeigt eine Ausleseschaltung für ein Pixelarray 210.
Um die Komparator-Outputs für das gesamte Pixelarray 210 zu lesen, wird das Array 210 Zeile für Zeile abgetastet. Das bedeutet, dass die Zeilenauswahlschaltung 40 (Teil des Controllers 60) eine Reihe von Pixeln auswählt, was bedeutet, dass die Outputs der Komparatoren (oder die gespeicherten Outputs der Komparatoren, je nach Ausführungsform der Pixel) in diesen Pixeln mit Spaltenleitungen verbunden werden, die zu den entsprechenden Spaltenlogikschaltungen 44 der Ausleseschaltung 42 führen. Die Spaltenlogikschaltungen 44 stellen fest, ob eine Änderung in den entsprechenden Pixeln stattgefunden hat, und dann werden die jeweiligen Outputs der Spaltenlogikschaltung 44 mit einer Spaltenabtastschaltung 48 abgetastet. Die Spaltenabtastschaltung 48 verbindet die Outputs der Spaltenlogikschaltungen nacheinander mit den Output-Datenleitungen, die an den Prozessor 46 gehen.
Die ereignisgesteuerte Auslesung wird im Folgenden beschrieben.
Um ein effizienteres Auslesen und Verarbeiten im Prozessor 46 zu ermöglichen, kann die Datenausleseschaltung die Daten auf effizientere Weise kodieren. Bei dieser Art von Pixelschaltung wird erwartet, dass die Daten spärlich sind, was bedeutet, dass nur ein kleiner Prozentsatz der Pixel pro Ereignisbild eine Änderung registriert hat.
Spärliche digitale Signale können leicht weiter komprimiert werden. Eine beliebte Methode zur Komprimierung mehrdimensionaler digitaler Daten besteht darin, die Koordinaten/Adressen der digitalen Signale in diesen Daten zu kodieren. Diese Kodierung von digitalen Ereignissen wird auch als ereignisbasiertes Auslesen bezeichnet. Ein beliebtes Kodierungsschema in ereignisbasierten Bildsensoren ist die Kodierung digitaler Signale als Tupel von Zeilen- und Spaltenkoordinaten des Pixels im Array und eines Zeitstempels, was zur Kodierung des Ortes und des Zeitpunkts des Auftretens eines digitalen Ereignisses führt. Dies bedeutet, dass in einer Ausführungsform nur die Adressen derjenigen Pixel übertragen werden, bei denen eine Änderung der Lichtintensität festgestellt wurde (ein Ereignis eingetreten ist).
31 zeigt eine Ausleseschaltung, die das Auslesen der Adressen derjenigen Pixel ermöglicht, bei denen ein Ereignis eingetreten ist. Dazu wird Zeile für Zeile die Adresse der entsprechenden Zeile ausgegeben, sowie die Adressen aller Spalten, in denen ein Ereignis durch eine Spaltenlogikschaltung erkannt wurde.
Bei der Implementierung wird ein Schieberegister 70 verwendet. Jede Spalte von Pixeln hat eine entsprechende Schieberegisterstufe 72-1, 72-2, 72-3.
Jede Schieberegisterstufe 72-1, 72-2, 72-3 kann überbrückt werden. Die Umgehung wird durch den EventDetect-Output der jeweiligen Spaltenlogikschaltung 44-1, 44-2, 44-3 gesteuert. Wenn der EventDetect-Output niedrig ist, wird die entsprechende Schieberegisterstufe 72-1, 72-2, 72-3 umgangen. Wenn der EventDetect-Output hoch ist, wird die Schieberegisterstufe 72-1, 72-2, 72-3 nicht umgangen.
Der Controller 60 beginnt mit dem Auslesen der Ereignisse, indem er startPulse auf hoch setzt und den Takt pulsiert. Dieser wird an einem Input-Multiplexer 74-1 der ersten Stufe 72-1 empfangen. Der Input-Multiplexer liefert den Input d an einen D-Latch 78-1. Der Output Q des D-Latch 78-1 wird einem Output-Multiplexer 76-1 zugeführt. Der Takteingang wird am Takteingang des D-Latch 78-1 empfangen.
Dann setzt der Controller startPulse wieder auf low. Die erste Schieberegisterstufe, die NICHT überbrückt wird (z. B. wenn der entsprechende EventDetect High ist), hat an ihrem Output einen hohen Spannungspegel gespeichert. Dadurch wird die Adresse + EventPolarity der entsprechenden Spaltenlogikschaltung mit dem Kommunikationsbus verbunden. Der Empfänger kann nun diese Adresse lesen. Beim nächsten Taktimpuls wandert der High-Pegel zur nächsten Schieberegisterstufe 72, die nicht überbrückt wird, und die entsprechende Adresse + EventPolarity wird mit dem Kommunikationsbus verbunden. Dies setzt sich fort, bis der High-Pegel zur letzten Schieberegisterstufe 72 wandert, die nicht überbrückt wird. Der Output dieser Stufe teilt dem Controller 60 über die Leitung SO mit, dass das Auslesen für diese Zeile beendet ist. Der Controller 60 aktiviert daraufhin das RowSelect-Signal für die nächste Zeile, verbindet den Zeilenadressenkodierer 40 mit dem Kommunikationsbus und startet das Schieberegister neu.
Nachfolgend werden die Spaltenlogikschaltungen beschrieben.
Unter Bezugnahme auf 32 bestimmt die Spaltenlogikschaltung 44 für die Pixel-Outputs nRxOn und nRxOff (siehe 5 oder 7 oder 12) oder nur nRx (siehe 10), je nach Ausführungsform der Pixelschaltung, ob sich die Lichtintensität am entsprechenden Pixel nicht geändert, erhöht oder verringert hat, indem sie prüft, ob der Zustand (logisch niedrig oder logisch hoch) des Pixelausgangs einem Wert entspricht, der eine Erhöhung oder Verringerung darstellt. Wenn die Spaltenlogikschaltung 44 eine Zunahme oder Abnahme feststellt, wird die Datenausleseschaltung benachrichtigt.
Die Outputs der Spaltenlogikschaltung sind ein Signal, das aktiv ist, wenn ein Ereignis erkannt wurde (EventDetect), ein Signal, das der Polarität des Ereignisses entspricht, und eine Zahl, die die Spaltenadresse der entsprechenden Spalte codiert. (Eine hohe EventPolarity bedeutet eine Zunahme der Lichtintensität). Da die Spaltenadresse nur eine feste Zahl für jede Spalte ist, wird die Implementierung in den Abbildungen nicht gezeigt.
Teil der Spaltenlogikschaltungen sind Vorspannungstransistoren (92, 94 in 32) für jede Anforderungsleitung. Diese Vorspannungstransistoren halten die Anforderungsleitungen (nRxOn und nRxOff) auf logisch hohem Niveau, solange kein Pixel an ihnen zieht.
Das Auftreten eines Ereignisses wird signalisiert, wenn eine der beiden Anforderungsleitungen (nRxOffoder nRxOn) auf Niederspannung liegt. Die Spaltenlogikschaltung speichert die NAND der beiden Anforderungsleitungen in Flip-Flop 96 und den Zustand von nRxOff in Flip-Flop 98 zu einem Zeitpunkt, der durch das Latch-Taktsignal vom Controller 60 vorgegeben ist.
Die Implementierung der Spaltenlogikschaltung für die Pixelschaltung von 8 ist in 33 dargestellt.
Hier wird ein Ereignis erkannt, wenn die Anforderungsleitung nRx niedrig ist, entweder wenn Von an den Pixelkomparator angelegt wird, oder wenn die Anforderungsleitung niedrig ist, wenn Voff an den Pixelkomparator angelegt wird. Der invertierte Zustand der Anforderungsleitung wird auf Befehl des Controllers in einem Flip-Flop gespeichert. EventDetect ist die logische ODER-Verknüpfung der Flip-Flop-Outputs.
Die Implementierung einer Spaltenlogikschaltung für die Pixelschaltung aus 10 ist in 34 dargestellt.
Zusätzlich zu den Output-Signalen EventDetect und EventPolarity muss die Spaltenlogikschaltung für die Pixelausführungsform von 10 ein Signal erzeugen, das an das Pixel geht und in Verbindung mit dem RowSelect-Signal das Pixel nach Erkennung eines Ereignisses zurücksetzt. In der vorgeschlagenen Implementierung ist dieses ColAck-Signal gleichwertig mit dem EventDetect-Signal.
Ein Ereignis wird erkannt, wenn die Anforderungsleitung nRx hoch ist, wenn Von an den Pixelkomparator angelegt wird, oder wenn die Anforderungsleitung niedrig ist, wenn Voff an den Pixelkomparator angelegt wird.
Da die in 10 dargestellte Pixelschaltung keine Speichereinheit im Pixel enthält, enthält die Spaltenlogikschaltung eine Speichereinheit.
Die Implementierung der Spaltenlogikschaltung für das Pixel der in 13 gezeigten Schaltung ist in 35 dargestellt.
Hier enthält die Spaltenlogikschaltung einen Komparator A1. Das Pixel gibt ein Signal aus, das Vdiff. darstellt, und der Vergleich zur Erkennung von Ereignissen wird in der Spaltenlogikschaltung 44 durchgeführt.
Der Pixel-Reset erfolgt über den Komparator/Verstärker Compl. Wenn ein Pixel zurückgesetzt werden soll, ist das EventDetect-Signal in der entsprechenden Spalte high. Der Controller 60 setzt Vb auf Vreset und setzt DoReset auf high, wodurch ColAck high wird. In der Zeile, in der RowSelect_m high ist, wird die Spannung Vdiff dann mit Vcomp kurzgeschlossen, da beide Transistoren in der entsprechenden R1 leitend sind. Der durch den Verstärker Compl (A1) und den Source-Follower gebildete Rückkopplungskreis sorgt dann dafür, dass sich Vdiff auf eine Spannung einstellt, die Vsf gleich Vreset macht.
36 zeigt Signalzeitlinien für die in 13 gezeigte Pixelschaltung und die Implementierung der Spaltenlogikschaltung von 35.
Die Implementierung der Spaltenlogikschaltung für die Pixelschaltung von 14 ist in 37 dargestellt.
Die Spaltenlogikschaltung enthält zwei Komparatoren A1-1 und A1-2. Die beiden Komparatoren ermöglichen den gleichzeitigen Vergleich von Vout mit beiden Schwellenwerten. Bei einem vom Controller 60 gesteuerten Signal-Auffangregisterwerden die Komparator-Outputs in FlipFlops 112, 114 gespeichert. Die logische ODER-Verknüpfung der Komparator-Outputs zusammen mit einem Signal DoReset des Controllers 60 bestimmt, ob das Pixel mit dem Signal ColAck zurückgesetzt wird oder nicht.
Bezugszeichenliste

1: Sample - Signal
2: Globaler Reset
3: Sample
4: Fotosensor
5: Zeilenadresse
6: Zeitstempel
7: Start der Zeilenübertragung
8: Sensor mit zweidimensionaler Anordnung
9: Licht
10: Zeile fertig
11: Zeilenauswahl 0
12: Zeilenauswahl 1
13: Phase
14: Aktion
15: Vergleichsphase (10 µs)
16: Ereignis-Reset-Phase (20 µs)
17: Ereignis-Reset-Phase (60 µs)
18: Ereignisauslese-Phase (variabel)
19: Vergleich für ON-Ereignisse
20: Vergleich für OFF-Ereignisse
21: Pixel-Reset
22: Auslesen von n1 Ereignissen
23: Auslesen von n2 Ereignissen
24: Auslesen von n3 Ereignissen
25: Abtastsignal
26: Leerlauf
27: Puffer
28: Oder
29: OffSel (Off select)
30: OnSel (On select)
31: RowSelect (Zeilenauswahl)
32: ON Vergleichs-Phase
33: OFF Vergleichsphase
34: Reset-Phase
35: Auslese-Phase
36: Da ein ON-Ereignis erkannt wurde, wird Vdiff aus Vreset zurückgesetzt
37: Vb (analoge Spannung, global)
38: Vcomp (lokal, digital)
39: OnSel (global, digital)
40: Zeilenauswahlschaltungen
41: OffSel (global, digital)
42: Ausleseschaltung
43: ON (lokal, digital)
44: Spaltenlogikschaltung
44-1: Spaltenlogikschaltungen
44-2: Spaltenlogikschaltungen
44-3: Spaltenlogikschaltungen
45: OFF (lokal, digital)
46: Prozessor
47: RowSelect (zeilenweisen, digital)
48: Spalten Scanner
49: nRxOff (spaltenwiese, digital)
50: Speicher
51: Globaler Reset (lokal, digital)
52: PixReset (lokal, digital)
53: Eine Erhöhung von Vpr lässt auch Vdiff ansteigen
54: Vpr (analoge Spannung, lokal)
55: Niedrige Vcomp während der ON-Vergleichs-Phase bedeutet, dass ein ON-Ereignis erkannt wird
56: Erhöhung der Lichtintensität führt zu einem Anstieg von Vpr
57: Da Pix Reset high ist, sind Input und Output des Komparators kurzgeschlossen und folgen Vb
58: Ein hoher Vcomp während der ON-Vergleichs-Phase und ein niedriger während der OFF-Vergleichs-Phase bedeutet dass kein Ereignis erkannt wurde
59: PixEvt (lokal, digital)
60: Controller
61: Vdiff (analoge Spannung, global)
62: ON Vergleichs und Auslese Phase
63: ON Reset-Phase
64: OFF Vergleichs- und Auslese Phase
65: OFF Reset-Phase
66: Diese beiden Zeilen werden von allen Pixeln in einer Spalte gemeinsam genutzt
67: Reset Pix Reset
68: Reset circuit
69: Latch
70: Vcomp (lokal, analog)
71: nRx (spaltenweise, digital)
72: colAck (spaltenweise, digital)
73: Reset Pix Reset (global, digital)
74: Spalten Scanner Takt
75: Sample Comp
76: Und
77: Reset-Schaltung
78: ResetLevel
79: RowSelect_0
80: RowSelect_n
81: Vout
82: Bias
82-1: Bias1
82-2: Bias2
82-3: Bias3
83: output
84: Vprs
85: Vpr input
86: Komparator-Input
87: Vbias
88: Reset
89: Zum Komparator-Input
90: Zum Komparator-Output
91: nPixReset
92: Vorspannungstransistoren
93: Off
94: Vorspannungstransistoren
95: nResetPixReset
96: Flip-Flop
97: On
98: Flip-Flop
99: nRxOn (spaltenweise, digital)
100: Pixel
100-1: Pixel
100-2: Pixel
100-3: Pixel
100-4: Pixel
100-5: Pixel
100-6: Pixel
101: ColSel0
101-1: ColSel1
101-2: ColSeI2
103: Ereigniserkennung OUT
105: Ereigniserkennung Polarität OUT
106: PixEvt
107: Ereigniserkennung 0
107-1: Ereigniserkennung 1
107-2: Ereigniserkennung 2
108: Ereignis Polarität 0
108-1: Ereignis Polarität 1
108-2: Ereignis Polarität 2
109: Ereignis Detect_0
109-1: Ereignis Detect_1
109-2: Ereignis Detect_n
110: Adresse + Ereignispolarität
111: Kommunikationsbus
112: Takt
113: fertig
114: start pulse
115: Latch on
116: Latch off
117: Reset Latch
118: Zu allen Spaltenlogikschaltungen
119: DoReset
120: Comp 1
121: Sample (global, digital)
122: Vsf (analoge Spannung, spaltenweise)
123: Vprs (analoge Spannung, lokal)
124: Abtasten mach Vprs gleich Vpr
125: Da ein ON-Ereignis erkannt wurde, wird Vdiff zurückgesetzt, so dass Vsf auf Vreset zurückgesetzt wird
126: Vergleich Auslesen und Zurücksetzen für andere Zeilen
127: Da Reset hoch ist, ist die Reset-Schaltung aktiv und der Komparator-Output folgt Vb
128: Threson
129: Tresoff
150: Abtastschalter
210: Pixelarray

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CH 20160001764 [0001]
CH 20160001765 [0001]
US 20080135731 [0008]

Claims

Ein Sensor, weist auf: eine Vielzahl von Pixeln, wobei mindestens eines der Vielzahl von Pixeln umfasst: einen Fotosensor, der einfallendes Licht erfasst, und eine erste Schaltung, die auf der Grundlage eines Outputs des Fotosensors ein erstes Signal ausgibt, wobei das erste Signal eine Änderung der Menge des einfallenden Lichts anzeigt; einen Komparator, der das erste Signal selektiv sowohl mit einer ersten Referenzspannung als auch mit einer zweiten Referenzspannung vergleicht, wobei der Komparator umfasst: einen ersten Knoten, der das erste Signal empfängt, und einen zweiten Knoten, der die erste Referenzspannung und die zweite Referenzspannung selektiv empfängt; und eine Reset-Schaltung, die die erste Schaltung auf der Grundlage mindestens eines Outputs des Komparators und eines globalen Reset-Signals zurücksetzt.
Der Sensor nach Anspruch 1, wobei die erste Schaltung eine Logarithmusschaltung und einen invertierenden Verstärker umfasst.
Der Sensor nach Anspruch 2, wobei die erste Schaltung einen Kondensator umfasst.
Der Sensor nach einem der Ansprüche 1 bis 3, wobei der Komparator von mindestens zwei Fotosensoren gemeinsam genutzt wird.
Der Sensor nach einem der Ansprüche 1 bis 4, wobei das mindestens eine Pixel ferner einen zweiten Fotosensor und eine zweite Schaltung umfasst, die ein zweites Signal auf der Grundlage eines Outputs des zweiten Fotosensors ausgibt, wobei das zweite Signal eine Änderung der Menge des einfallenden Lichts anzeigt.
Der Sensor nach Anspruch 5, wobei die zweite Schaltung mit dem Komparator gekoppelt ist.
Der Sensor nach einem der Ansprüche 1 bis 6, wobei der Komparator in dem mindestens einen Pixel enthalten ist.
Der Sensor nach einem der Ansprüche 1 bis 7, wobei eine Reset-Schaltung die erste Schaltung auf der Grundlage eines Outputs des Komparators und eines globalen Reset-Signal zurücksetzt.
Ein Sensor, weist auf: eine Vielzahl von Pixeln, wobei mindestens eines der Vielzahl von Pixeln umfasst: einen Fotosensor, der einfallendes Licht erfasst, und eine erste Schaltung, die ein erstes Signal auf der Grundlage eines Outputs des Fotosensors ausgibt, wobei das erste Signal eine Änderung der Menge des einfallenden Lichts anzeigt; und einen Komparator, der das erste Signal selektiv sowohl mit einer ersten Referenzspannung als auch mit einer zweiten Referenzspannung vergleicht, wobei der Komparator umfasst: einen ersten Knoten, der das erste Signal empfängt, und einen zweiten Knoten, der selektiv eine erste Referenzspannung und eine zweite Referenzspannung empfängt; und eine Reset-Schaltung mit einer UND-Logikschaltung mit einem ersten Inputknoten, der ein globales Reset-Signal empfängt.
Der Sensor nach Anspruch 9, wobei die erste Schaltung eine Logarithmusschaltung und einen invertierenden Verstärker enthält.
Der Sensor nach Anspruch 10, wobei die erste Schaltung einen Kondensator enthält.
Der Sensor nach Anspruch 9, wobei der Komparator von mindestens zwei Fotosensoren gemeinsam genutzt wird.
Der Sensor nach Anspruch 9, wobei das mindestens eine Pixel ferner einen zweiten Fotosensor und eine zweite Schaltung umfasst, die ein zweites Signal auf der Grundlage eines Outputs des zweiten Fotosensors ausgibt, wobei das zweite Signal eine Änderung der Menge des einfallenden Lichts anzeigt.
Der Sensor nach Anspruch 13, wobei die zweite Schaltung mit dem Komparator gekoppelt ist.
Der Sensor nach Anspruch 9, wobei der Komparator in dem mindestens einen Pixel enthalten ist.