DE112020006100T5

DE112020006100T5 - Verfahren zum umschalten des sensormodus in einem ereignisbasierten sensor und einer bildgebungskamera für eine anwendung mit geringem stromverbrauch

Info

Publication number: DE112020006100T5
Application number: DE112020006100.0T
Authority: DE
Inventors: Sa Xiao; Kevin Chan; Ping Wah Wong
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-12-13
Filing date: 2020-12-07
Publication date: 2022-11-24
Also published as: US20210185265A1; WO2021117675A1; US20230007207A1; CN114788262A

Abstract

Ein Bildsensor weist eine Vielzahl von Pixeln auf. Pixel können eine Änderung eines Betrags einer Lichtintensität detektieren, und Pixel können einen Betrag der Lichtintensität detektieren. In einem ersten Modus gibt der Sensor Daten von dem ersten ein oder mehr der Pixel aus. In einem zweiten Modus gibt der Sensor Daten von dem zweiten ein oder mehr der Pixel aus. Zumindest einer des ersten Modus und des zweiten Modus wird von einem Prozessor basierend auf zumindest einem eines Ergebnisses der Verarbeitung von im ersten Modus ausgegebenen Daten und eines Ergebnisses der Verarbeitung von im zweiten Modus ausgegebenen Daten ausgewählt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf Kameras mit ereignisbasierten Sensor- und Bildsensorfähigkeiten und auf ein dynamisches Umschalten zwischen ereignisbasierten Sensoren und RGB-Sensoren für eine Anwendung mit geringer Leistungsaufnahme bzw. geringem Stromverbrauch.
HINTERGRUND
In der verwandten Technik werden RGB-Sensoren verwendet, um Bilddaten zu erzeugen, um Details einer Szene zu erfassen. RGB-Sensoren liefern Bilder, die in einer Anzahl von Anwendungen vom Sicherheitsbereich bis zu Sportereignissen verwendet werden können. RGB-Sensoren können jedoch hohe Raten der Leistungsaufnahme erfordern, was die Verwendung von RGB-Sensoren in vielen Anwendungen undurchführbar oder unerwünscht macht. Beispielsweise kann in einigen Anwendungen eine Kamera erwünscht sein, um Video- und/oder Standbilddaten in Bezug auf ein Ereignis aufzuzeichnen. Falls das Ereignis selten eintritt oder der Zeitpunkt des Ereignisses unbekannt ist oder nicht einfach vorhergesagt wird, muss die RGB-Kamera möglicherweise ständig mit einer hohen Bild- bzw. Frame-Rate in Betrieb gehalten werden, was die Nutzung einer RGB-Kamera oder eines RGB-Sensors aufgrund der hohen Stromverbrauchsrate unpraktisch machen kann. Infolgedessen würde die Aufzeichnung von Bilddaten solch eines Ereignisses unter Verwendung herkömmlicher Verfahren sehr viel Strom bzw. Leistung erfordern.
Benötigt wird ein Bildaufnahmesystem, das imstande ist, Bilddaten in Bezug auf ein Ereignis zu erfassen, ohne einen übermäßigen Stromverbrauch zu erfordern.
ZUSAMMENFASSUNG
TECHNISCHES PROBLEM
Eine Kamera mit einer Kombination von ereignisbasierten Sensor- („EBS“) und einer RGB-Sensorik- bzw. -Erfassungsfähigkeiten, worin der Betrieb der Bildgebungs- oder RGB-Funktionen als Reaktion auf die Detektion eines Ereignisses ausgelöst wird, kann einige der Beschränkungen überwinden, die bei der Verwendung allein einer normalen Bildgebungsvorrichtung oder eines RGB-Sensors bestehen, um Ereignisse zuverlässig zu detektieren, während für einen effizienter Betrieb gesorgt wird. Indem man in einem EBS-Betriebsmodus gesammelte EBS-Daten intelligent nutzt, um das Eintreten eines Ereignisses zu detektieren oder ein Szenario zu detektieren, in dem Bildgebungsdaten erwünscht sind, kann der RGB-Modus mit hoher Leistungsaufnahme nur bei Bedarf aktiviert oder deaktiviert werden.
EBS-Sensoren bieten den Vorteil eines Betriebs mit geringer Leistungsaufnahme bzw. geringem Stromverbrauch. EBS-Sensoren sind imstande, eine Ereignisdetektion mit hoher Geschwindigkeit zu liefern, während sie bei geringer Leistungsaufnahme betrieben werden. RGB-Sensoren liefern ein Farbbild und/oder Video mit hoher Genauigkeit, während sie im Vergleich zu EBS-Sensoren bei verhältnismäßig hoher Leistungsaufnahme arbeiten. Wie hierin offenbart wird, kann, wenn basierend auf von einem EBS-Sensor empfangenen Informationen ein Auslöseereignis registriert wird, ein RGB-Sensor aktiviert werden. Auf einen RGB-Modus kann umgeschaltet werden, wenn eine Anzahl an Ereignissen in einem EBS-Modus eine vordefinierte räumlich-zeitliche Dichte überschreitet oder wenn eine Anzahl an Ereignissen unter eine vordefinierte räumlich-zeitliche Dichte fällt.
In einigen Ausführungsformen kann ein Auslöseereignis eine Detektion einer hohen Ereignisdichte von einem EBS-Sensor umfassen. In einigen Ausführungsformen kann ein Auslöseereignis eine Detektion einer niedrigen Ereignisdichte vom EBS-Sensor umfassen. Beispielsweise kann der RGB-Modus ausgelöst werden, wenn die Ereignisdichte im EBS eine Schwelle im gesamten Frame oder in einem vordefinierten Bereich des Frames überschreitet oder darunter fällt.
In einigen Ausführungsformen kann ein Auslöseereignis auf Daten vom EBS-Sensor basieren, die mittels eines neuronalen Netzwerks analysiert werden. In einigen Ausführungsformen kann ein Auslöseereignis auf einer EBS-Ereignisverfolgung mittels eines rekurrierenden neuronalen Netzwerks basieren. Beispielsweise können die EBS-Daten in ein neuronales Netzwerk eingespeist werden und können einen RGB-Modus auslösen, wenn ein Satz erwünschter Objektkategorien erkannt und/oder detektiert wird oder wenn ein Satz bedeutsamer bzw. aussagekräftiger Ereignisse detektiert wird.
In einigen Ausführungsformen kann ein Auslöseereignis eine EBS-Bewegungsrichtung sein. Beispielsweise kann nach einer Detektion einer Ereignissequenz und einer Detektion eines sich mit einer bestimmten Geschwindigkeit oder in einer bestimmten Richtung bewegenden Objekts auf den RGB umgeschaltet werden.
Daher stellt die vorliegende Offenbarung Kameras, Sensorsysteme, Vorrichtungen und Verfahren bereit, die imstande sind, sowohl Abbildungs- bzw. Bildgebungs- als auch Ereignisdetektionsfunktionen mit verbesserter Bildsensoreffizienz und - effektivität im Vergleich zu anderen Konfigurationen bereitzustellen.
LÖSUNG FÜR DAS PROBLEM
Gemäß Ausführungsformen und Aspekten der vorliegenden Offenbarung wird eine Kamera oder ein Sensorsystem mit Fähigkeiten oder Funktionen eines EBS und Bildsensors (z. B. roter, grüner, blauer („RGB“-)Bildsensor) bereitgestellt. Die EBS- und Bildsensorfähigkeiten können durch separate EBS- und Bildgebungssensorvorrichtungen bereitgestellt werden. Die EBS- und Bilderfassungsfähigkeiten können auch durch eine Sensorvorrichtung mit kombinierten EBS- und Bilderfassungsfähigkeiten verwirklicht werden. Eine Sensorvorrichtung mit kombinierten EBS- und Bilderfassungsfähigkeiten kann eine Sensorvorrichtung mit einem Array von Pixeln enthalten, das sowohl EBS- als auch Bilderfassungspixel enthält. Außerdem kann ein kombinierter EBS- und Bildsensor fotoelektrische Umwandlungsgebiete enthalten, die als Teil von Pixeln vorgesehen sind, die sowohl EBSals auch Bilderfassungsfunktionen ausführen. Der einfachen Beschreibung halber wird sich die Diskussion hierin auf EBS- und Bildsensorfunktionen beziehen, wie sie von separaten EBS- und Bildsensoren bereitgestellt werden; sofern nicht konkret anders angegeben, sollte es sich jedoch verstehen, dass die EBS- und Bildsensoren in eine einzige Sensorvorrichtung integriert werden können, die sowohl die EBS- als auch Bilderfassungsfunktionen bereitstellt.
Wie hierin offenbart ist, kann ein von einem EBS-Sensor oder von EBS-tauglichen Pixeln detektiertes Ereignis eine Aktivierung eines Bildsensors oder von Pixeln, die zur Bilderfassung tauglich sind, wie etwa RGB-Pixeln auslösen. Außerdem umfasst gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung eine Aktivierung eines Bildsensors ein Aktivieren des Bildsensors mit einer bestimmten Bildfrequenz bzw. Frame-Rate. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann ein Ereignis eine Bewegung oder ein Ausbleiben einer Bewegung umfassen oder kann ein Ereignis Intensitätsänderungen oder ein Ausbleiben von Intensitätsänderungen umfassen oder kann eine Ereignisdetektion ein Detektieren eines bestimmten Objekts oder eines sich in einer bestimmten Richtung bewegenden Objekts umfassen.
Gemäß zumindest einigen Ausführungsformen und Aspekten der vorliegenden Offenbarung kann eine Ereignisdetektion von einem Prozessor in Verbindung mit einem EBS-Sensor oder einem EBS-tauglichen Sensor durchgeführt werden. Der Prozessor kann ein neuronales Netzwerk oder eine andere Art eines Analysealgorithmus ausführen. Beispielweise kann der Prozessor imstande sein, EBS-Sensordaten zu analysieren und ein Ereignis entsprechend einem Objekt zu detektieren, das sich in Bezug auf den EBS-Sensor bewegt, und kann als Reaktion imstande sein, einen RGB-Sensor oder RGB-Fähigkeiten bestimmter Pixel zu aktivieren oder zu deaktivieren. Gemäß weiteren Ausführungsformen und Aspekten der vorliegenden Offenbarung kann eine Detektion eines Objekts, das sich verhältnismäßig schnell bewegt, die Aktivierung eines Bildsensors mit einer verhältnismäßig hohen Frame-Rate zur Folge haben. Die Frame-Rate des aktivierten Bildsensors kann basierend auf Charakteristiken des Objekts variiert werden, das durch den EBS-Sensordaten analysierenden Prozessor detektiert wird. Beispielsweise kann der Bildsensor mit einer verhältnismäßig niedrigen Frame-Rate betrieben werden, wenn sich ein detektiertes Objekt langsam bewegt. Der Bildsensor kann mit einer verhältnismäßig hohen Frame-Rate betrieben werden, wenn sich ein detektiertes Objekt schnell bewegt.
Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können die Charakteristiken eines durch den EBS-Sensor detektierten Objekts in Verbindung mit einer Bestimmung von Betriebsparametern des Bildsensors analysiert werden. Beispielsweise kann ein neuronales Netzwerk oder eine andere Einrichtung zur Entscheidungsfindung bestimmen, ob ein detektiertes Ereignis durch ein Objekt innerhalb einer gewünschten Objektkategorie ausgelöst wurde. Falls eine gewünschte Objektkategorie detektiert wurde, kann die Frame-Rate des Bildsensors basierend auf Charakteristiken des Objekts eingestellt werden. Die Zeitspanne, für die der Bildsensor aktiviert wird, kann auch von detektierten Charakteristiken eines detektierten Objekts abhängen. Beispielsweise können Daten vom EBS-Sensor zum Beispiel mittels eines neuronalen Netzwerks oder einer anderen Einrichtung zur Entscheidungsfindung analysiert werden, um eine Objekterkennung, einer Objektklassifizierung, eine Objektdetektion, eine Gestenerkennung oder dergleichen durchzuführen.
Im Allgemeinen ist es erwünscht, einen Betrieb des Bildsensors zu unterbrechen bzw. einzustellen, nachdem eine gewünschte Bedingung eingetreten ist, und zum EBS-Sensorbetrieb zurückzukehren, um Leistung zu sparen. Ausführungsformen und Aspekte der vorliegenden Offenbarung können einen Betrieb des Bildsensors einstellen und das System zu einem EBS-Modus zurückführen, wenn bestimmte Bedingungen erfüllt sind. Diese können einschließen, dass, nachdem eine Bestimmung vorgenommen ist, sich nichts Interessantes ereignet. Beispielsweise kann eine Abbildung bzw. Bildgebung eines Objekts eingestellt werden und kann der Bildsensor zu einem Schlafmodus zurückgeführt werden, nachdem ein Objekt, das sich vorher bewegte, gestoppt hat. Ein Bildsensorbetrieb kann auch eingestellt werden, nachdem ein Objekt identifiziert worden ist und bestimmt wird, dass eine fortgesetzte Abbildung des identifizierten Objekts nicht erforderlich oder erwünscht ist. Als ein weiteres Beispiel kann ein Bildsensorbetrieb eingestellt werden, nachdem sich ein Objekt aus der abgebildeten Szene herausbewegt hat. Als noch ein weiteres Beispiel kann ein Bildsensorbetrieb eingestellt werden, nachdem eine vorbestimmte Zeitspanne verstrichen ist. Gemäß Ausführungsformen der vorliegenden Offenbarung kann ein EBS-Sensorbetrieb ständig aktiv bleiben, unabhängig davon, ob der Bildsensorbetrieb aktiv ist oder nicht.
Die vorliegende Offenbarung kann Kameras, Systeme oder Vorrichtungen mit ereignisbasierten Erfassungs- und Bildgebungsfähigkeiten bereitstellen, die eine Leistungs-aufnahme, eine Datenübertragung und Datenverarbeitungseffizienzen verbessern können.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[2] 2 ist eine Ansicht, die ein Beispiel einer Laminierungsstruktur eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[3] 3 ist ein Blockdiagramm, das ein Funktionskonfigurationsbeispiel eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[4] 4 veranschaulicht ein Array-Beispiel von Einheitspixeln gemäß Ausführungsformen der vorliegenden Offenbarung im Fall der Verwendung eines Bayer-Arrays in einem Farbfilter-Array.
[5A] 5A veranschaulicht Aspekte eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung.
[5B] 5B veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5C] 5C veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5D] 5D veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5E] 5E veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5F] 5F veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[6A] 6A ist ein Schaltungsdiagramm, das ein spezifisches Konfigurationsbeispiel eines Einheitspixels mit kombinierten Ereignisdetektions- und Bildsensorfunktionen gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[6B] 6B ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel einer Gruppe von Bilderfassungspixeln gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[6C] 6C ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Ereignisdetektionspixels gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[7] 7 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel einer Adressereignis-Detektionseinheit gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[8] 8 ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Subtrahierers und eines Quantisierers gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[9] 9 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Spalten-ADC gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[10A] 10A ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[10B] 10B ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[11] 11 ist ein Flussdiagramm, das ein Beispiel des Betriebs einer Bildgebungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[12] 12 ist ein Blockdiagramm einer Schaltung zum Umschalten gemäß Ausführungsformen der vorliegenden Offenbarung.
[13A] 13A zeigt einen beispielhaften EBS-Frame, der mittels einer Bildgebungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung analysiert werden kann.
[13B] 13B zeigt einen beispielhaften Frame, der mittels einer Bildgebungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung analysiert werden kann.
[13C] 13C zeigt einen beispielhaften Frame, der mittels einer Bildgebungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung analysiert werden kann.
[14A] 14A zeigt ein faltendes neuronales Netzwerk gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[14B] 14B zeigt ein rekurrierendes neuronales Netzwerk gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[15A] 15A ist eine Veranschaulichung von RGB-Daten gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[15B] 15B ist eine Veranschaulichung von EBS-Daten gemäß anderen Ausführungsformen der vorliegenden Offenbarung.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Auf der Basis der beiliegenden Zeichnungen werden hierin im Folgenden Ausführungsformen der vorliegenden Offenbarung im Detail beschrieben. Darüber hinaus wird in den folgenden Ausführungsformen die gleiche Bezugsziffer für den gleichen oder äquivalenten Teilbereich oder das gleiche oder äquivalente Element vergeben und wird dessen redundante Beschreibung unterlassen.
Ein typischer ereignisbasierter Sensor (EBS) nutzt ein sogenanntes ereignisgetriebenes Ansteuerverfahren, bei welchem das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung (engl.: address event ignition) für jedes Einheitspixel detektiert wird und ein Pixelsignal aus einem Einheitspixel, in dem die Adressereignis-Zündung und eine Information über eine Zündzeit detektiert werden, ausgelesen wird.
Überdies repräsentiert das Einheitspixel in dieser Beschreibung eine minimale Einheit eines Pixels oder ein Einheitspixel, das ein fotoelektrisches Umwandlungselement (worauf auch als „lichtempfangendes Element“ verwiesen wird) enthält, und kann als Beispiel jedem Punkt in Bilddaten entsprechen, die aus einem Bildsensor ausgelesen werden. Außerdem repräsentiert das Adressereignis ein Ereignis, das für jede Adresse eintritt, die jedem einer Vielzahl der Einheitspixel zugeordnet werden kann, welche in Form eines zweidimensionalen Gitters angeordnet sind. Ein Ereignisdetektionssensor reagiert auf eine Änderung der Intensität, ohne auf die Begrenzung der Integrationszeit innerhalb von Frames eines herkömmlichen Bildsensors eingeschränkt zu sein. Die Intensitätsänderung ist mit einer Änderung des Fotostroms korreliert, und, falls diese Änderung einen konstanten Schwellenwert überschreitet, könnte sie als Ereignis detektiert werden.
1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 1 veranschaulicht ist, enthält beispielsweise eine Bildgebungsvorrichtung 100 eine Bildgebungs- bzw. Abbildungslinse 110, eine Festkörper-Bildgebungsvorrichtung oder einen Bildsensor 200, eine Aufzeichnungseinheit 120, eine Kommunikationsschnittstelle 124 und ein Prozessorsystem oder Steuerungssystem 130. Die verschiedenen Komponenten der Bildgebungsvorrichtung 100 können durch einen Kommunikationsbus 128 oder Signalleitungen miteinander verbunden sein. Als Beispiele kann die Bildgebungsvorrichtung 100 als Kamera, die in einem Industrieroboter montiert ist, in einem Fahrzeug montierte Kamera oder als Teil davon oder als ein Teil von oder in Verbindung mit anderen Vorrichtungen oder Instrumenten vorgesehen sein.
Die Abbildungslinse 110 kann ein optisches System umfassen, das Licht von innerhalb eines Sichtfeldes 114 sammelt. Das gesammelte oder einfallende Licht wird auf eine lichtempfangende Oberfläche des Bildsensors 200 gerichtet (z. B. gebündelt). Insbesondere kann die Abbildungslinse 110 Licht von innerhalb eines ausgewählten Bereichs einer Szene sammeln, indem das Sichtfeld 114 so ausgerichtet wird, dass es diesen Teilbereich der Szene umfasst. Die lichtempfangende Oberfläche ist eine Oberfläche eines Substrats, auf dem fotoelektrische Umwandlungselemente von Pixeln 310, die im Bildsensor 200 enthalten sind, angeordnet sind. Der Bildsensor 200 wandelt das einfallende Licht fotoelektrisch um, um Bilddaten zu erzeugen. Wie hierin diskutiert kann der Bildsensor 200 verschiedene Sätze fotoelektrischer Umwandlungselemente enthalten, die auf den gleichen oder verschiedenen Substraten angeordnet sind. Außerdem kann der Bildsensor 200 fotoelektrische Umwandlungselemente enthalten, die eine einzige oder mehrere Funktionen ausführen. Diese Funktionen können Ereignisdetektions- und Abbildungs- bzw. Bildgebungsfunktionen umfassen. Außerdem kann der Bildsensor 200 eine vorbestimmte Signalverarbeitung wie etwa eine Rauschentfernung und eine Einstellung eines Weißabgleichs in Bezug auf die erzeugten Bilddaten ausführen. Ein Ergebnis, das durch die Signalverarbeitung erhalten wird, und ein Detektionssignal, das das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung und eine Zündzeitpunktinformation angibt, können vom Bildsensor 200 an das Prozessorsystem 130 ausgegeben werden. Ein Verfahren zum Erzeugen des Detektionssignals, das das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angibt, wird später beschrieben.
Das Aufzeichnungssystem 120 wird zum Beispiel von einem Flash-Speicher, einem dynamischen Direktzugriffsspeicher (DRAM), einem statischen Direktzugriffsspeicher (SRAM) oder dergleichen gebildet und zeichnet vom Bildsensor 200 bereitgestellte Daten auf.
Das Prozessorsystem 130 wird zum Beispiel von einer zentralen Verarbeitungseinheit (CPU) und dergleichen gebildet. Beispielsweise kann das Prozessorsystem 130 einen oder mehrere Mehrzweck-Prozessoren, Controller, feldprogrammierbare Gate-Arrays (FPGAs), Grafikverarbeitungseinheiten (GPUs), anwendungsspezifische integrierte Schaltungen (ASIC) oder Kombinationen davon enthalten. Außerdem kann das Prozessorsystem 130 eine Anwendungsprogrammierung oder Routinen ausführen, die als Software oder Firmware in einem Speicher oder einem Datenspeicher gespeichert sind, der im Prozessorsystem 130 enthalten oder damit verbunden ist, um verschiedene Funktionen und Verfahren wie darin beschrieben auszuführen. Beispielsweise kann das Prozessorsystem 130 vom Bildsensor 200 ausgegebene Daten verarbeiten. Wie hierin beschrieben ist, kann beispielsweise das Prozessorsystem 130 Ereignisdetektionssignale verarbeiten, die durch die EBS-Sensorfunktion oder einen Teilbereich des Bildsensors 200 abgegeben werden, und kann die Bildgebungssensorfunktion oder einen Teilbereich der Festkörper-Bildgebungsvorrichtung zumindest teilweise als Reaktion auf die Ereignisdetektionssignale steuern. Das Prozessorsystem 130 kann zusätzlich zum Bildsensor 200 auch Komponenten der Bildgebungsvorrichtung 100 wie etwa den Betrieb der Aufzeichnungseinheit 120, der Kommunikationsschnittstelle 124, Fokussier- und Blendenoperationen, die durch die Abbildungslinse 110 unterstützt werden könnten, und dergleichen steuern. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann das Prozessorsystem 130 fortgeschrittene Verarbeitungsfähigkeiten einschließlich, nicht aber darauf beschränkt, eines neuronalen Netzwerks und Fähigkeiten und Funktionen künstlicher Intelligenz wie hierin beschrieben verwirklichen.
Als Nächstes wird mit Verweis auf die beiliegenden Zeichnungen ein Konfigurationsbeispiel des Bildsensors 200 beschrieben.
2 ist eine Ansicht, die ein Beispiel einer Laminierungsstruktur eines Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 2 veranschaulicht ist, kann der Bildsensor 200 eine Struktur aufweisen, in der ein lichtempfangender Chip 201 und ein Logik-Chip 202 vertikal laminiert sind. Eine dem Logik-Chip 202 entgegengesetzte Seite des lichtempfangenden Chips 201 ist eine lichtempfangende Oberfläche 204. Beim Verbinden des lichtempfangenden Chips 201 und des Logik-Chips 202 kann beispielsweise ein sogenanntes direktes Verbinden genutzt werden, bei dem die Verbindungsoberflächen der Chips planarisiert werden und die Chips mit der Kraft zwischen Elektronen laminiert werden. Jedoch besteht keine diesbezügliche Beschränkung und können beispielsweise ein sogenanntes Cu-Cu-Verbinden, bei dem auf Verbindungsoberflächen ausgebildete Elektroden-Pads aus Kupfer (Cu) gebondet werden, Kontakthöcker-Bonden und dergleichen ebenfalls genutzt werden.
Außerdem sind der lichtempfangende Chip 201 und der Logik-Chip 202 beispielsweise durch einen Verbindungsteilbereich wie etwa eine Silizium-Durchkontaktierung (TSV) (engl.: through-silicon via), die durch ein Halbleitersubstrat hindurchgeht, elektrisch miteinander verbunden. Bei der Verbindung unter Verwendung der TSV können beispielsweise ein sogenanntes Zwillings-TSV-Verfahren, bei dem zwei TSVs, die eine TSV, die im lichtempfangenden Chip 201 ausgebildet ist, und eine TSV, die vom lichtempfangenden Chip 201 zum Logik-Chip 202 ausgebildet ist, umfassen, auf äußeren Oberflächen des Chips miteinander verbunden werden, ein sogenanntes Verfahren mit gemeinsam genutzter TSV, bei dem der lichtempfangende Chip 201 und der Logik-Chip 202 mit einer TSV verbunden sind, die durch die beiden Chips hindurchgeht, und dergleichen verwendet werden.
Falls die Cu-Cu-Verbindung oder die Kontakthöcker-Verbindung beim Verbinden des lichtempfangenden Chips 201 und des Logik-Chips 202 genutzt wird, sind jedoch sowohl der lichtempfangende Chip 201 als auch der Logik-Chip 202 durch eine Cu-Cu-Verbindungsstelle oder eine Kontakthöcker-Verbindungsstelle elektrisch miteinander verbunden.
Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, kann eine Bildgebungsvorrichtung 200, die als verbundene Chips für den Lichtempfang 201 und die Logik 202 verwirklicht ist, Komponenten des Bildsensors 200 enthalten, die als Teil des lichtempfangenden Chips 201 angeordnet sind, wobei ein gewisser Teil der oder alle Komponenten des Prozessorsystems 130 als Teil des Logik-Chips 202 angeordnet ist oder sind. Andere Komponenten wie etwa die Aufzeichnungseinheit 120 und Komponenten der Kommunikationsschnittstelle können auf einen der oder beide Chips 201 und 202 verteilt sein. Gemäß noch anderen Ausführungsformen kann ein Datenspeicher oder ein anderer Chip mit dem lichtempfangenden Chip 201 laminiert und dem Logik-Chip 202 elektrisch verbunden sein. Außerdem kann der lichtempfangende Chip mehrere Substrate umfassen, die mit jeweiligen Logik-Chips oder mit einem gemeinsamen Logik-Chip 202 verbunden sind, wenn der Bildsensor 200 beispielsweise mehrere Sensorvorrichtungen enthält.
3 ist ein Blockdiagramm, das ein Funktionskonfigurationsbeispiel des Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 3 veranschaulicht ist, kann der Bildsensor 200 eine Ansteuerungsschaltung 211, einen Signalprozessor 212, einen Vermittler bzw. Arbiter 213, einen Spalten-ADC 220 und ein Pixel-Array 300 enthalten. Einige der oder alle Komponenten können ganz oder teilweise in das Prozessorsystem 130 integriert oder durch dieses verwirklicht sein.
Eine Vielzahl von Einheitszellen oder -pixeln 310, auf die hierin auch einfach als Pixel 310 verwiesen wird, ist im Pixel-Array 300 angeordnet. Details der Einheitspixel 310 werden später beschrieben. Beispielsweise enthält jedes der Einheitspixel 310 ein fotoelektrisches Umwandlungselement wie etwa eine Fotodiode und eine Schaltung, die ein Pixelsignal mit einem Spannungswert erzeugt, der der Ladungsmenge entspricht, die im fotoelektrischen Umwandlungselement erzeugt wird, worauf hier im Folgenden als Pixel-Schaltung verwiesen wird. Außerdem kann, wie an anderer Stelle hierin detaillierter beschrieben wird, die Pixel-Schaltung eine oder beide einer ersten oder Bildgebungssignal-Erzeugungsschaltung und einer zweiten oder Adressereignis-Detektions-Erzeugungsschaltung enthalten. Jedes fotoelektrische Umwandlungselement kann mit einer jeweiligen Pixel-Schaltung verbunden sein oder mehrere fotoelektrische Umwandlungselemente können mit einer gemeinsamen Pixel-Schaltung verbunden sein.
In diesem Beispiel ist die Vielzahl von Einheitspixeln 310 im Pixel-Array 300 in Form eines zweidimensionalen Gitters angeordnet. Die Vielzahl von Einheitspixeln 310 kann in eine Vielzahl von Pixel-Blöcken oder -Gruppen gruppiert sein, die jeweils eine vorbestimmte Anzahl an Einheitspixeln enthalten. Im Folgenden wird hierin auf eine Anordnung von Einheitspixeln, die in einer horizontalen Richtung angeordnet sind, als „Reihe“ verwiesen und wird auf eine Anordnung von Einheitspixeln, die in einer zur Reihe orthogonalen Richtung angeordnet sind, als „Spalte“ verwiesen.
Jedes der Einheitspixel 310 erzeugt Ladungen entsprechend einer Lichtmenge, die am jeweiligen fotoelektrischen Umwandlungselement empfangen wird. Außerdem können zumindest einige der Einheitspixel 310 betrieben werden, um das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung darauf basierend zu detektieren, ob ein Wert eines Stroms (worauf hier im Folgenden als Fotostrom verwiesen wird), der durch im fotoelektrischen Umwandlungselement erzeugte Ladungen erzeugt wird, oder dessen Variationsbetrag einen vorbestimmten Schwellenwert übersteigt oder nicht. Wenn das Adressereignis gezündet wird, wird ein Signal an den Arbiter 213 abgegeben.
Der Arbiter 213 entscheidet über Anfragen, die von den Einheitspixeln 310 empfangen werden, die die Ereignisdetektionsfunktion ausführen, und sendet eine vorbestimmte Antwort an das Einheitspixel 310, das die Anfrage stellt, auf der Basis des Entscheidungsergebnisses. Das Einheitspixel 310, das die Antwort empfängt, stellt der Ansteuerungsschaltung 211 und dem Signalprozessor 212 ein das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angebendes Detektionssignal (worauf hier im Folgenden einfach als „Adressereignis-Detektionssignal“ verwiesen wird) bereit.
Die Ansteuerungsschaltung 211 steuert jedes der Einheitspixel 310 an und ermöglicht jedem der Einheitspixel 310, ein Pixelsignal an den Spalten-ADC 220 abzugeben.
Für jede Spalte von Einheitspixeln 310 wandelt der Spalten-ADC 220 ein analoges Pixelsignal von der Spalte in ein digitales Signal um. Außerdem stellt der Spalten-ADC 220 dem Signalprozessor 212 ein durch die Umwandlung erzeugtes digitales Signal bereit.
Der Signalprozessor 212 führt eine vorbestimmte Signalverarbeitung wie eine Verarbeitung einer korrelierten Doppelabtastung (CDS) (Rauschentfernung) und eine Einstellung eines Weißabgleichs in Bezug auf das vom Spalten-ADC 220 übertragene digitale Signal aus. Außerdem stellt der Signalprozessor 212 über die Signalleitung 209 der Aufzeichnungseinheit 120 ein Signalverarbeitungsergebnis und ein Adressereignis-Detektionssignal bereit.
Die Einheitspixel 310 innerhalb der Pixel-Arrayeinheit 300 können in Pixel-Gruppen 314 angeordnet sein. In der in 3 veranschaulichten Konfiguration wird beispielsweise die Pixel-Arrayeinheit 300 von Pixel-Gruppen 314 gebildet, die eine Anordnung von Einheitspixeln 310 enthalten, die Wellenlängenkomponenten empfangen, die notwendig sind, um eine Farbinformation aus einer Szene zu rekonstruieren. Falls beispielsweise eine Farbe auf der Basis der drei Primärfarben RGB rekonstruiert wird, können in der Pixel-Arrayeinheit 300 optische Farbfiltermaterialien auf die Pixel entsprechend einem vorbestimmten Farbfilter-Array abgeschieden sein, um zu steuern, dass Licht gewünschter Wellenlängen eine Pixel-Oberfläche erreicht. Konkret sind ein Einheitspixel 310, das Licht roter (R) Farbe empfängt, ein Einheitspixel 310, das Licht grüner (G) Farbe empfängt und ein Einheitspixel 310, das Licht blauer (B) Farbe empfängt, in Gruppen 314a gemäß dem vorbestimmten Farbfilter-Array angeordnet.
Beispiele der Konfigurationen eines Farbfilter-Arrays umfassen verschiedene Arrays oder Pixel-Gruppen wie etwa ein Bayer-Array aus 2 × 2 Pixeln, ein Farbfilter-Array aus 3 × 3 Pixeln, das in einem X-Trans (eingetragenes Warenzeichen) CMOS-Sensor verwendet wird (worauf hier im Folgenden auch als „Array vom X-Trans-(eingetragenes Warenzeichen)Typ“ verwiesen wird), ein Quad-Bayer-Array aus 4 × 4 Pixeln (worauf auch als „Quadra-Array“ verwiesen wird) und ein Farbfilter-Array aus 4 × 4 Pixeln, worin ein Weiß-RGB-Farbfilter zum Bayer-Array kombiniert ist (worauf hier im Folgenden auch als „Weiß-RGB-Array“ verwiesen wird). Außerdem können, und wie an anderer Stelle hierin später diskutiert wird, Ereignisdetektionspixel innerhalb des Pixel-Arrays 300 eingestreut oder enthalten sein. Wie hier in anderer Stelle ebenfalls detaillierter diskutiert wird, können die Ereignisdetektionspixel als dedizierte Ereignisdetektionspixel, die nur eine Ereignisdetektionsfunktion ausführen, oder als kombinierte Ereignisdetektions- und Bilderfassungspixel, die sowohl Ereignisdetektions- als auch Bildsensorfunktionen ausführen, bereitgestellt werden.
4 ist eine schematische Ansicht, die ein Array-Beispiel von Einheitspixeln 310 im Fall der Verwendung von Pixel-Gruppen 314 mit einer Anordnung von Einheitspixeln 310 und zugehörigen Farbfiltern im Farbfilter-Array veranschaulicht, das so konfiguriert ist, dass es eine Vielzahl von Bayer-Arrays 310A bildet. Wie in 4 veranschaulicht ist, ist im Fall der Verwendung des Bayer-Arrays als die Konfiguration eines Farbfilter-Arrays im Pixel-Array 300 ein Grundmuster 310A, das insgesamt vier Einheitspixel 310 von 2 × 2 Pixeln enthält, wiederholt in einer Spaltenrichtung und Reihenrichtung angeordnet. Beispielsweise wird das Grundmuster 310A von einem Einheitspixel 310R, das einen Farbfilter 401 roter (R) Farbe enthält, einem Einheitspixel 310Gr, das einen Farbfilter 401 grüner (Gr) Farbe enthält, einem Einheitspixel 310Gb, das einen Farbfilter 401 grüner (Gb) Farbe enthält, und einem Einheitspixel 310B gebildet, das einen Farbfilter 401 blauer (B) Farbe enthält.
5A - 5D stellen verschiedene Konfigurationsbeispiele einer Bildgebungsvorrichtung 100 und insbesondere Anordnungen von Pixeln einer Festkörper-Bildgebungsvorrichtung oder eines Bildsensors 200 gemäß Ausführungsformen der vorliegenden Offenbarung dar. Insbesondere stellt 5A einen Bildsensor 200 dar, der einen ersten oder EBS-Sensor 530, der ein Array 300 von Pixeln 310 in der Form von Adressereignis-Detektionspixeln 503 enthält, die auf einem ersten lichtempfangenden Chip oder Substrat 201a angeordnet sind, und einen zweiten oder Bildgebungssensor 540 aufweist, der ein Array 300 von Pixeln 310 in der Form von Bilderfassungspixeln 502 enthält, die auf einem zweiten lichtempfangenden Chip oder Substrat 201b angeordnet sind. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, kann eine Bildgebungsvorrichtung 100, die separate EBS-Sensoren 530 und Bildgebungssensoren 540 enthält, mit separaten Linsenanordnungen 110 konfiguriert sein, die Licht von innerhalb der gleichen oder ähnlicher Sichtfelder sammeln, oder kann mit einer gemeinsam genutzten Linsenanordnung 110 konfiguriert sein, die Licht über einen Strahlteiler zu den Sensoren 530 und 540 lenkt. Gemäß Ausführungsformen der vorliegenden Offenbarung kann die Anzahl an im EBS-Sensor 530 enthaltenen Adressereignis-Detektionspixeln 503 gleich der Anzahl an im Bildgebungssensor 540 enthaltenen Bilderfassungspixeln 502 sein. Außerdem kann die Fläche bzw. der Bereich jedes Adressereignis-Detektionspixels 503 der gleiche wie der Bereich jedes Bilderfassungspixels 502 sein. Alternativ dazu können der EBS-Sensor 530 und der Bildgebungssensor 540 eine unterschiedliche Anzahl an Pixeln 310 aufweisen. Beispielsweise kann der Bildsensor 200 einen EBS-Sensor 530, der eine verhältnismäßig geringe Anzahl an Adressereignis-Detektionspixeln 503 aufweist, wodurch eine verhältnismäßig geringe Auflösung bereitgestellt wird, und einen Bildgebungssensor 540 enthalten, der eine verhältnismäßig hohe Anzahl an Bilderfassungspixeln 502 aufweist, wodurch eine verhältnismäßig hohe Auflösung bereitgestellt wird. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5B stellt einen Bildsensor 200 mit Pixeln 310 dar, die als kombinierte oder gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 konfiguriert sind, die auf einem einzigen lichtempfangenden Chip oder Substrat 201 angeordnet sind. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 selektiv in Ereignisdetektions- oder Bilderfassungsmodi betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden, wobei einige Pixel im Ereignisdetektionsmodus arbeiten und einige Pixel im Bilderfassungsmodus arbeiten.
5C stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das eine Vielzahl von Ereignisdetektionspixeln 503 und eine Vielzahl von Bilderfassungspixeln 502 enthält, die auf dem gleichen lichtempfangenden Chip oder Substrat 201 ausgebildet sind. In dem veranschaulichten Beispiel liegt die Mehrheit der Einheitspixel in der Form von Bilderfassungspixeln 502 vor, wobei eine geringere Anzahl an Ereignisdetektionspixeln 503 unter den Bilderfassungspixeln 502 angeordnet ist. Jedoch kann ein Bildsensor 200 mit sowohl Ereignisdetektionspixeln 503 als auch Bilderfassungspixeln 502, die auf demselben lichtempfangenden Chip oder Substrat 201 angeordnet sind, die gleiche Anzahl an Pixeln 502 und 503 enthalten oder kann mehr Ereignisdetektionspixel 503 als Bilderfassungspixel 502 aufweisen. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5D stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 und Gruppen von Bilderfassungspixeln 502 enthält, die auf demselben lichtempfangenden Chip oder Substrat 201 ausgebildet sind. Die einzelnen Gruppen können als Bayer-Arrays konfiguriert sein, die sich zwischen Bayer-Array-Gruppen der gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 und Bayer-Array-Gruppen der Bilderfassungspixel 502 abwechseln. Dementsprechend ist 5D ein Beispiel eines Bildsensors 200, in dem unterschiedliche, gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 auf Licht innerhalb unterschiedlicher Wellenlängenbereiche reagieren können. Beispielsweise können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 mit Farbfiltern verbunden sein. Alternativ dazu können die gemeinsam genutzten Pixel 501 alle Licht innerhalb des gleichen Wellenlängenbereichs empfangen. Obgleich eine gleiche Anzahl an Gruppen, die eine gleiche Anzahl jeweiliger Pixel 310 enthalten, dargestellt ist, sind andere Konfigurationen möglich. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 in Ereignisdetektions- oder Bilderfassungsmodi selektiv betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5E stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 und Gruppen von Ereignisdetektionspixeln 503 enthält, die auf demselben lichtempfangenden Chip oder Substrat 201 ausgebildet sind. Die einzelnen Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel können als Bayer-Arrays konfiguriert sein, die sich mit Gruppen von Ereignisdetektionspixeln 503 abwechseln. Obgleich eine gleiche Anzahl an Gruppen, die eine gleiche Anzahl jeweiliger Pixel 310 enthalten, in der Figur dargestellt ist, sind andere Konfigurationen möglich. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 in Ereignisdetektions- oder Bilderfassungsmodi selektiv betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5F stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501, Gruppen von Bilderfassungspixeln 502 und Gruppen von Ereignisdetektionspixeln 503 enthält, die alle auf demselben lichtempfangenden Chip oder Substrat 201 ausgebildet sind. Einige der oder alle individuellen Gruppen von Pixeln können als Bayer-Arrays konfiguriert sein. Beispielsweise können in zumindest einer beispielhaften Konfiguration Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 und Gruppen von Bilderfassungspixeln als Bayer-Arrays konfiguriert sein, während jedes der Ereignisdetektionspixel 503 dafür konfiguriert sein kann, Licht aus demselben Wellenlängenbereich zu empfangen. Beispielsweise können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 und die Bilderfassungspixel mit Farbfiltern verbunden sein und können die Ereignisdetektionspixel 503 ohne Farbfilter vorliegen. Obwohl eine Anordnung, in der 1/2 der Pixel 310 gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 sind, 1/4 der Pixel 310 Bilderfassungspixel 502 sind und 1/4 der Pixel 310 Ereignisdetektionspixel 503 sind, sind andere Konfigurationen möglich. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 selektiv in Ereignisdetektions- oder Bilderfassungsmodi betrieben werden. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können außerdem Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
Als Nächstes wird ein Konfigurationsbeispiel eines Einheitspixels 310 beschrieben. 6A ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel des Einheitspixels 310 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung und insbesondere gemäß Ausführungsformen veranschaulicht, die Pixel 310 enthalten, die als kombinierte oder gemeinsam genutzte Ereignisdetektions-(EBS-) und Bildsensor-(IS-)Pixel 501 konfiguriert sind, die sowohl Ereignisdetektions- als Bildsensorfunktionen ausführen. Wie in 6A veranschaulicht ist, enthält das Einheitspixel 310 beispielsweise eine Pixelbildgebungssignal-Erzeugungseinheit (oder Ausleseschaltung) 320, eine lichtempfangende Einheit 330 und eine Adressereignis-Detektionseinheit (oder Ausleseschaltung) 400. Gemäß zumindest einer beispielhaften Ausführungsform kann die Ereignisdetektions-Ausleseschaltung 400 einen Betrieb der Bildsignalerzeugungs-Ausleseschaltung 320 basierend auf einer durch ein fotoelektrisches Umwandlungselement (oder fotoelektrisches Umwandlungsgebiet) 333 erzeugten Ladung und basierend auf einem Betrieb der Logik-Schaltung 210 auslösen. Die Logik-Schaltung 210 in 6A ist eine Logik-Schaltung, die zum Beispiel die Ansteuerungsschaltung 211, den Signalprozessor 212 und den Arbiter 213 in 3 enthält. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann die Logik-Schaltung im Prozessorsystem 130 implementiert sein. Wie hierin an anderer Stelle detaillierter beschrieben wird, kann die Logik-Schaltung 210 basierend auf der Ausgabe der Ereignisdetektions-Ausleseschaltung 400 oder Ausgabe anderer Ereignisdetektions-Ausleseschaltungen 400 Bestimmungen diesbezüglich vornehmen, ob ein Betrieb der Bildsignalerzeugungs-Ausleseschaltung 320 oder der Betrieb der Bildsignal-Erzeugungsschaltungen 320, die mit anderen Einheitspixeln 310 verbunden sind, ausgelöst werden soll.
Beispielsweise enthält die lichtempfangende Einheit 330 einen ersten oder Bildgebungs-Übertragungstransistor oder - Gate (erster Transistor) 331, einen zweiten oder Adressereignis-Detektions-Übertragungstransistor oder -Gate (zweiter Transistor) 332 und ein fotoelektrisches Umwandlungselement 333. Ein erstes Übertragungs- oder Steuerungssignal TG1, das von der Ansteuerungsschaltung 211 übertragen wird, wird einem Gate des Übertragungstransistors 331 der lichtempfangenden Einheit 330 selektiv bereitgestellt, und ein zweites Übertragungs- oder Steuerungssignal TG2, das von der Ansteuerungsschaltung 211 übertragen wird, wird einem Gate des zweiten Übertragungstransistors 332 selektiv bereitgestellt. Ein Ausgang durch den ersten Übertragungstransistor 331 der lichtempfangenden Einheit 330 ist mit der Pixelbildgebungssignal-Erzeugungseinheit 320 verbunden, und ein Ausgang durch den zweiten Übertragungstransistor 332 ist mit der Adressereignis-Detektionseinheit 400 verbunden.
Die Pixelbildgebungssignal-Erzeugungseinheit 320 kann einen Rücksetztransistor (dritter Transistor) 321, einen Verstärkungstransistor (vierter Transistor) 332, einen Auswahltransistor (fünfter Transistor) 323 und eine Floating-Diffusionsschicht (FD) 324 enthalten.
Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung werden der erste Übertragungstransistor 331 und der zweite Übertragungstransistor 332 der lichtempfangenden Einheit 330 beispielsweise unter Verwendung eines MetallOxid-Halbleiter-(MOS-)Transistors vom N-Typ (worauf hier im Folgenden einfach als „NMOS-Transistor“ verwiesen wird) gebildet. Ähnlich werden der Rücksetztransistor 321, der Verstärkungstransistor 322 und der Auswahltransistor 323 der Pixelbildgebungssignal-Erzeugungseinheit 320 jeweils beispielsweise unter Verwendung des NMOS-Transistors gebildet.
Die Adressereignis-Detektionseinheit 400 kann eine Strom-Spannung-Umwandlungseinheit 410 und einen Subtrahierer 430 enthalten. Die Adressereignis-Detektionseinheit 400 kann ferner mit einem Puffer, einem Quantisierer und einer Übertragungseinheit versehen sein. Details der Adressereignis-Detektionseinheit 400 werden in der folgenden Beschreibung in Verbindung mit 7 beschrieben.
In der veranschaulichten Konfiguration wandelt das fotoelektrische Umwandlungselement 333 der lichtempfangenden Einheit 330 einfallendes Licht fotoelektrisch um, um Ladung zu erzeugen. Der erste Übertragungstransistor 331 überträgt eine im fotoelektrischen Umwandlungselement 333 erzeugte Ladung gemäß dem ersten Steuerungssignal TG1 zur Floating-Diffusionsschicht 324 der Bildsignalerzeugungs-Ausleseschaltung 320. Der zweite Übertragungstransistor 332 stellt der Adressereignis-Detektionseinheit 400 ein elektrisches Signal (Fotostrom) basierend auf der im fotoelektrischen Umwandlungselement 333 erzeugten Ladung gemäß dem zweiten Steuerungssignal TG2 bereit.
Wenn eine Anweisung für eine Bilderfassung durch das Prozessorsystem 130 gegeben wird, gibt die Ansteuerungsschaltung 211 in der Logik-Schaltung 210 das Steuerungssignal TG1 ab, um den ersten Übertragungstransistor 331 der lichtempfangenden Einheit 330 ausgewählter Einheitspixel 310 im Pixel-Array 300 in einen EIN-Zustand zu versetzen. Mit dieser Anordnung wird ein im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugter Fotostrom über den ersten Übertragungstransistor 331 der Erzeugungs-/Ausleseschaltung 320 für Pixel-Bildgebungssignale bereitgestellt. Insbesondere akkumuliert die Floating-Diffusionsschicht 324 vom fotoelektrischen Umwandlungselement 333 über den ersten Übertragungstransistor 331 übertragene Ladungen. Der Rücksetztransistor 321 entlädt (initialisiert) gemäß einem von der Ansteuerungsschaltung 211 übertragenen Rücksetzsignal die in der Floating-Diffusionsschicht 324 akkumulierten Ladungen. Der Verstärkungstransistor 322 ermöglicht, dass ein Pixelsignal mit einem Spannungswert, der einer in der Floating-Diffusionsschicht 324 akkumulierten Ladungsmenge entspricht, in einer vertikalen Signalleitung VSL erscheint. Der Auswahltransistor 323 schaltet eine Verbindung zwischen dem Verstärkungstransistor 322 und der vertikalen Signalleitung VSL gemäß einem von der Ansteuerungsschaltung 211 übertragenen Auswahlsignal SEL um. Darüber hinaus wird das analoge Pixelsignal, das in der vertikalen Signalleitung VSL erscheint, durch den Spalten-ADC 220 ausgelesen und in ein digitales Pixelsignal umgewandelt.
Wenn eine Anweisung für den Beginn bzw. die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, gibt die Ansteuerungsschaltung 211 in der Logik-Schaltung 210 das Steuerungssignal ab, um den zweiten Übertragungstransistor 332 der lichtempfangenden Einheit 330 in der Pixel-Arrayeinheit 300 in einen EIN-Zustand zu versetzen. Mit dieser Anordnung wird ein im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugter Fotostrom über den zweiten Übertragungstransistor 332 der Adressereignis-Detektionseinheit 400 jedes Einheitspixels 310 bereitgestellt.
Wenn eine Adressereignis-Zündung auf der Basis des Fotostroms von der lichtempfangenden Einheit 330 detektiert wird, gibt die Adressereignis-Detektionseinheit 400 jedes Einheitspixels 310 eine Anfrage an den Arbiter 213 aus. Der Arbiter 213 entscheidet diesbezüglich über die von jedem der Einheitspixel 310 übertragene Anfrage und sendet eine vorbestimmte Antwort basierend auf dem Entscheidungsergebnis an das Einheitspixel 310, das die Anfrage stellt. Das Einheitspixel 310, das die Antwort empfängt, stellt der Ansteuerungsschaltung 211 und dem Signalprozessor 212 in der Logik-Schaltung 210 ein das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angebendes Detektionssignal (worauf hier im Folgenden als „Adressereignis-Detektionssignal“ verwiesen wird) bereit.
Die Ansteuerungsschaltung 211 kann auch den zweiten Übertragungstransistor 332 im Einheitspixel 310, das eine Quelle des Adressereignis-Detektionssignals ist, in einen AUS-Zustand versetzen. Mit dieser Anordnung wird eine Zufuhr des Fotostroms von der lichtempfangenden Einheit 330 zur Adressereignis-Detektionseinheit 400 im Einheitspixel 310 gestoppt.
Als Nächstes versetzt die Ansteuerungsschaltung 211 den ersten Übertragungstransistor 331 in der lichtempfangenden Einheit 330 des Einheitspixels 310 durch das Übertragungssignal TG1 in einen EIN-Zustand. Mit dieser Anordnung wird eine im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugte Ladung über den ersten Übertragungstransistor 331 zur Floating-Diffusionsschicht 324 übertragen. Außerdem erscheint ein Pixelsignal mit einem Spannungswert, der einer Ladungsmenge von in der Floating-Diffusionsschicht 324 akkumulierten Ladungen entspricht, in der vertikalen Signalleitung VSL, die mit dem Auswahltransistor 323 der Pixelbildgebungssignal-Erzeugungseinheit 320 verbunden ist.
Wie oben beschrieben wurde, wird im Bildsensor 200 ein Pixelsignal SIG von dem Einheitspixel 310, in dem die Adressereignis-Zündung detektiert wird, an den Spalten-ADC 220 abgegeben. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung wird von den Einheitspixeln 310 mit einer Gruppe oder einem Teil-Array von Einheitspixeln 310, die mit der Adresse des Einheitspixels 310 verbunden sind, von dem ein Adressereignis-Detektionssignal bereitgestellt wurde, ein Pixelsignal abgegeben.
Darüber hinaus sind beispielsweise die lichtempfangende Einheit 330, die Pixelbildgebungssignal-Erzeugungseinheit 320 und zwei Log-(LG-)Transistoren (sechste und siebte Transistoren) 411 und 414 und zwei Verstärkungstransistoren (achte und neunte Transistoren) 412 und 413 in der Strom-Spannung-Umwandlungseinheit 410 der Adressereignis-Detektionseinheit 400 beispielsweise in dem in 2 veranschaulichten lichtempfangenden Chip 201 angeordnet und können andere Komponenten beispielsweise im Logik-Chip 202 angeordnet sein, der durch die Cu-Cu-Verbindung mit dem lichtempfangenden Chip 201 verbunden ist. Daher wird in der folgenden Beschreibung im Einheitspixel 310 auf Konfigurationen, die im lichtempfangenden Chip 201 angeordnet sind, als „Schaltung der oberen Schicht“ verwiesen.
Ein Konfigurationsbeispiel einer Gruppe von Einheitspixeln 310, die als Bildgebungspixel 502 mit einer gemeinsam genutzten Erzeugungs-/Ausleseschaltung 320 für Pixelbildgebungssignale gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung konfiguriert sind, ist in 6B dargestellt. In diesem Beispiel ist jedes fotoelektrische Umwandlungselement 333 über ein jeweiliges Übertragungs- bzw. Transfer-Gate 331 selektiv mit der Floating-Diffusionsschicht 324 verbunden. Außerdem werden die Komponenten der Pixelbildgebungssignal-Ausleseschaltung 320 von den fotoelektrischen Umwandlungseinheiten 333 gemeinsam genutzt. In diesem Beispiel sind vier fotoelektrische Umwandlungseinheiten 333a - 333d und vier entsprechende Transfer-Gates 331a - 331d dargestellt. Jedoch kann jede beliebige Anzahl an fotoelektrischen Umwandlungseinheiten 333 und jeweiligen Transfer-Gates 331 in Verbindung mit einer gemeinsam genutzten Pixelbildgebungssignal-Ausleseschaltung 320 enthalten sein.
In 6C sind ein Konfigurationsbeispiel eines Einheitspixels 310, das als ein Pixel 503 mit der einzigen Funktion einer Adressereignis-Detektion konfiguriert ist, und zugeordnete Elemente einer Adressereignis-Detektions-Ausleseschaltung 400 dargestellt. Wie dargestellt ist, enthält dieses Beispiel ein einziges fotoelektrisches Umwandlungselement 333, das über ein Transfer-Gate 332 selektiv mit Komponenten einer Adressereignis-Detektions-Ausleseschaltung 400 verbunden ist. Ein Steuerungsblock 415 für Ereignis-Scans steuert den Betrieb der Adressereignis-Detektions-Ausleseschaltung 400.
7 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel der Adressereignis-Detektionseinheit 400 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 7 veranschaulicht ist, enthält die Adressereignis-Detektionseinheit 400 eine Strom-Spannung-Umwandlungseinheit 410, einen Puffer 420, einen Subtrahierer 430, einen Quantisierer 440 und eine Übertragungseinheit 450. Die Strom-Spannung-Umwandlungseinheit 410 wandelt den Fotostrom von der lichtempfangenden Einheit 330 in ein Spannungssignal um und stellt das durch die Umwandlung erzeugte Spannungssignal dem Puffer 420 bereit. Der Puffer 420 korrigiert das von der Strom-Spannung-Umwandlungseinheit 410 übertragene Spannungssignal und gibt das Spannungssignal nach der Korrektur an den Subtrahierer 430 ab. Der Subtrahierer 430 verringert einen Spannungspegel des vom Puffer 420 übertragenen Spannungssignals gemäß einem von der Ansteuerungsschaltung 211 übertragenen Reihen-Adresssignal und stellt das verringerte Spannungssignal dem Quantisierer 440 bereit. Der Quantisierer 440 quantisiert das vom Subtrahierer 430 übertragene Spannungssignal in ein digitales Signal und gibt das durch die Quantisierung erzeugte digitale Signal an die Übertragungseinheit 450 als Detektionssignal ab. Die Übertragungseinheit 450 überträgt das vom Quantisierer 440 übertragene Detektionssignal zum Signalprozessor 212 und dergleichen. Wenn beispielsweise eine Adressereignis-Zündung detektiert wird, stellt die Übertragungseinheit 450 eine Anfrage für eine Übertragung eines Adressereignis-Detektionssignals von der Übertragungseinheit 450 zu der Ansteuerungsschaltung 211 und dem Signalprozessor 212 an den Arbiter 213. Wenn außerdem eine Antwort in Bezug auf die Anfrage vom Arbiter 213 empfangen wird, stellt die Übertragungseinheit 450 der Ansteuerungsschaltung 211 und dem Signalprozessor 212 das Detektionssignal bereit.
Die Strom-Spannung-Umwandlungseinheit 410 in der in 7 veranschaulichten Konfiguration kann zwei LG-Transistoren 411 und 414, zwei Verstärkungstransistoren 412 und 413 und eine Konstantstromschaltung 415 wie in 6A veranschaulicht enthalten. Beispielsweise sind eine Source des LG-Transistors 411 und ein Gate des Verstärkungstransistors 413 mit einem Drain des zweiten Übertragungstransistors 332 der lichtempfangenden Einheit 330 verbunden. Außerdem ist zum Beispiel ein Drain des LG-Transistors 411 mit einer Source des LG-Transistors 414 und einem Gate des Verstärkungstransistors 412 verbunden. Ein Drain des LG-Transistors 414 ist beispielsweise mit einem Stromversorgungsanschluss VDD verbunden.
Außerdem ist beispielsweise eine Source des Verstärkungstransistors 413 geerdet und ist dessen Drain mit einem Gate des LG-Transistors 411 und einer Source des Verstärkungstransistors 412 verbunden. Ein Drain des Verstärkungstransistors 412 ist beispielsweise mit einem Stromversorgungsanschluss VDD über die Konstantstromschaltung 415 verbunden. Die Konstantstromschaltung 415 wird beispielsweise von einem Last-MOS-Transistor wie etwa einem MOS-Transistor vom p-Typ gebildet. In dieser Verbindungsbeziehung ist eine schleifenförmige Source-Folger-Schaltung aufgebaut. Mit dieser Anordnung wird ein Fotostrom von der lichtempfangenden Einheit 330 in ein Spannungssignal mit einem logarithmischen Wert entsprechend seiner Ladungsmenge umgewandelt. Darüber hinaus können die LG-Transistoren 411 und 414 und die Verstärkungstransistoren 412 und 413 jeweils beispielsweise von einem NMOS-Transistor gebildet werden.
8 ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel des Subtrahierers 430 und des Quantisierers 440 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 8 veranschaulicht ist, enthält der Subtrahierer 430 Kondensatoren 431 und 433, einen Inverter 432 und einen Schalter 434. Außerdem enthält der Quantisierer 440 einen Komparator 441. Ein Ende des Kondensators 431 ist mit einem Ausgangsanschluss des Puffers 420 verbunden, und das andere Ende ist mit einem Eingangsanschluss des Inverters 432 verbunden. Der Kondensator 433 ist mit dem Inverter 432 parallel verbunden. Der Schalter 434 öffnet oder schließt eine Strecke bzw. Route, die beide Enden des Kondensators 433 verbindet, gemäß einem Reihen-Ansteuerungssignal. Der Inverter 432 invertiert ein Spannungssignal, das über den Kondensator 431 eingespeist wird. Der Inverter 432 gibt ein invertiertes Signal an einen nicht-invertierenden Eingangsanschluss (+) des Komparators 441 ab. Wenn der Schalter 434 eingeschaltet ist, wird ein Spannungssignal Vinit in den Kondensator 431 auf der Seite des Puffers 420 eingespeist. Außerdem wird die entgegengesetzte Seite ein virtueller Erdungsanschluss. Ein Potential des virtuellen Erdungsanschlusses wird der Zweckmäßigkeit halber auf Null gesetzt. Wenn zu dieser Zeit eine Kapazität des Kondensators 431 als C1 festgelegt wird, wird ein Potential Qinit, das im Kondensator 431 akkumuliert wird, durch den folgenden Ausdruck (1) ausgedrückt. Auf der anderen Seite sind beide Enden des Kondensators 433 kurzgeschlossen, und somit wird dessen akkumulierte Ladung Null.
$Qinit = C1 \times Vinit$
Wenn als Nächstes ein Fall betrachtet wird, in dem der Schalter 434 ausgeschaltet ist und eine Spannung des Kondensators 431 auf der Seite des Puffers 420 variiert und Vafter erreicht, wird die im Kondensator 431 akkumulierte Ladung Qafter durch den folgenden Ausdruck (2) ausgedrückt.
$Qafter = C1 \times Vafter$
Wenn auf der anderen Seite eine Ausgangsspannung als Vout festgelegt wird, wird die im Kondensator 433 akkumulierte Ladung Q2 durch den folgenden Ausdruck (3) ausgedrückt.
$Q2 = - C2 \times Vout$
Zu dieser Zeit variiert die Gesamtladungsmenge der Kondensatoren 431 und 433 nicht und wird folglich der folgende Ausdruck (4) eingerichtet.
$Qinit = Qafter + Q2$
Wenn Ausdruck (1) bis Ausdruck (3) in den Ausdruck (4) substituiert werden, wird der folgende Ausdruck (5) erhalten.
$Vout = - (C1 / C2) \times (Vafter - Vinit)$
Der Ausdruck (5) repräsentiert eine Subtraktionsoperation eines Spannungssignals, und eine Verstärkung des Subtraktionsergebnisses wird C1/C2. Typischerweise ist erwünscht, die Verstärkung zu maximieren (oder alternativ zu verbessern), und folglich ist es vorzuziehen, einen Entwurf so zu erstellen, dass C1 groß wird und C2 klein wird. Wenn auf der anderen Seite C2 übermäßig klein ist, nimmt kTC-Rauschen zu, und folglich bestehen Bedenken, dass sich Rauschcharakteristiken verschlechtern. Dementsprechend ist eine Reduzierung der Kapazität C2 auf einen Bereich beschränkt, in dem man Rauschen zulassen kann. Da außerdem die den Subtrahierer 430 enthaltende Adressereignis-Detektionseinheit 400 für jedes Einheitspixel 310 montiert ist, besteht eine Flächenbeschränkung in den Kapazitäten C1 und C2. Die Werte der Kapazitäten C1 und C2 werden unter Berücksichtigung dieser Beschränkung bestimmt.
Der Komparator 441 vergleicht ein vom Subtrahierer 430 übertragenes Spannungssignal und eine vorbestimmte Schwellenspannung Vth, die an einen invertierenden Eingangsanschluss (-) angelegt wird. Der Komparator 441 gibt ein das Vergleichsergebnis angebendes Signal an die Übertragungseinheit 450 als Detektionssignal ab. Wenn außerdem eine Umwandlungsverstärkung durch die Strom-Spannung-Umwandlungseinheit 410 als CG_log festgelegt wird und eine Verstärkung des Puffers 420 auf „1“ gesetzt wird, wird eine Gesamtverstärkung A der Adressereignis-Detektionseinheit 400 durch den folgenden Ausdruck (6) ausgedrückt.
[Math. 1] $A = \frac{C G_{log} \cdot C 1}{C 2} \sum_{n = 1}^{N} i_{p h o t}_n$
Im Ausdruck (6) repräsentiert i_{photo_n} einen Fotostrom eines n-ten Einheitspixels 310, und dessen Einheit ist beispielsweise Ampere (A). N repräsentiert die Anzahl der Einheitspixel 310 in einem Pixel-Block und ist in dieser Ausführungsform „1“.
9 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel des Spalten-ADC gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Der Spalten-ADC 220 enthält eine Vielzahl von ADCs 230, die für jede Spalte der Einheitspixel 310 vorgesehen sind. Jeder der ADCs 230 wandelt ein analoges Pixelsignal, das in der vertikalen Signalleitung VSL erscheint, in ein digitales Signal um. Beispielsweise wird das Pixelsignal in ein digitales Signal umgewandelt, in dem eine Bitlänge größer als jene eines Detektionssignals ist. Wenn beispielsweise das Detektionssignal auf zwei Bits festgelegt ist, wird das Pixelsignal in ein digitales Signal mit drei oder mehr Bits (16 Bits und dergleichen) umgewandelt. Der ADC 230 stellt dem Signalprozessor 212 das erzeugte digitale Signal bereit.
Als Nächstes wird ein Betrieb des Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung mit Verweis auf die beiliegenden Zeichnungen im Detail beschrieben.
Zunächst wird ein Beispiel des Betriebs des Bildsensors 200 unter Verwendung eines Zeitablaufdiagramms beschrieben. 10A ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
Wie in 10A veranschaulicht ist, erhöht zu einem Zeitpunkt T0, zu dem eine Anweisung für die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, die Ansteuerungsschaltung 211 das Steuerungssignal TG, das an das Gate des zweiten Übertragungstransistors 332 all der lichtempfangenden Einheiten 330 in der Pixel-Arrayeinheit 300 angelegt wird, auf einen hohen Pegel. Bei dieser Anordnung treten die zweiten Übertragungstransistoren 332 all der lichtempfangenden Einheiten 330 in einen EIN-Zustand ein und wird ein Fotostrom, der auf einer im fotoelektrischen Umwandlungselement 333 von jeder der lichtempfangenden Einheiten 330 erzeugten Ladung basiert, von jeder der lichtempfangenden Einheiten 330 jeder einer Vielzahl von Adressereignis-Detektionseinheiten 400 bereitgestellt.
Außerdem werden in einer Periode, in der das Steuerungssignal TG2 bei einem hohen Pegel liegt, all die Übertragungssignale TG1, die an das Gate des ersten Übertragungstransistors 331 in jeder der lichtempfangenden Einheiten 330 angelegt werden, bei einem niedrigen Pegel gehalten. Demensprechend ist in dieser Periode eine Vielzahl der Übertragungstransistoren 331 in all den lichtempfangenden Einheiten 330 in einem AUS-Zustand.
Als Nächstes wird ein Fall angenommen, in dem die Adressereignis-Detektionseinheit 400 eines beliebigen Einheitspixels 310, die dafür konfiguriert ist, eine Ereignisdetektion durchzuführen, eine Adressereignis-Zündung in einer Periode detektiert, in der das Steuerungssignal TG2 auf einem hohen Pegel liegt. In diesem Fall sendet die Adressereignis-Detektionseinheit 400, die die Adressereignis-Zündung detektiert, eine Anfrage an den Arbiter 213. Der Arbiter 213 entscheidet diesbezüglich über die Anfrage und gibt eine Antwort auf die Anfrage an die Adressereignis-Detektionseinheit 400, die die Anfrage stellt, zurück.
Die Adressereignis-Detektionseinheit 400, die die Antwort empfängt, erhöht ein Detektionssignal, das in die Ansteuerungsschaltung 211 und den Signalprozessor 212 eingespeist wird, auf einen hohen Pegel beispielsweise in einer Periode von einem Zeitpunkt T1 bis zu einem Zeitpunkt T2. Darüber hinaus wird in dieser Beschreibung unterstellt, dass das Detektionssignal ein Ein-Bit-Signal ist.
Die Ansteuerungsschaltung 211, in die zum Zeitpunkt T1ein Detektionssignal mit hohem Pegel von der Adressereignis-Detektionseinheit 400 eingespeist wird, verringert alle Steuerungssignale TG2 zu einem nachfolgenden Zeitpunkt T2 auf einen niedrigen Pegel. Mit dieser Anordnung wird die Zufuhr eines Fotostroms von all den lichtempfangenden Einheiten 330 der Pixel-Arrayeinheit 300 zur Adressereignis-Detektionseinheit 400 gestoppt.
Gemäß Ausführungsformen der vorliegenden Offenbarung erhöht, wenn durch das Prozessorsystem 130 bestimmt wird, dass eine Pixelbildgebungssignal-Erzeugungsschaltung 320 freigegeben werden sollte, zum Zeitpunkt T2 die Ansteuerungsschaltung 211 ein Auswahlsignal SEL, das an ein Gate des Auswahltransistors 323 in der Pixelbildgebungssignal-Erzeugungseinheit 320 des Einheitspixels 310 angelegt wird, worin die Adressereignis-Zündung detektiert wird (worauf hier im Folgenden als „Ausleseziel-Einheit-spixel“ verwiesen wird), auf einen hohen Pegel und hebt ein Rücksetzsignal RST, das an ein Gate des Rücksetztransistors 321 der gleichen Pixelbildgebungssignal-Erzeugungseinheit 320 angelegt wird, für eine konstante Impulsperiode auf einen hohen Pegel an, wodurch in der Floating-Diffusionsschicht 324 der Pixelbildgebungssignal-Erzeugungseinheit 320 akkumulierte Ladungen entladen (initialisiert) werden. Auf diese Weise wird eine Spannung, die in einer vertikalen Signalleitung VSL in einem Zustand erscheint, in dem die Floating-Diffusionsschicht 324 initialisiert ist, durch den mit der vertikalen Signalleitung VSL verbundenen ADC 230 im Spalten-ADC 220 als Rücksetzpegel-Pixelsignal (worauf hier im Folgenden einfach als „Rücksetzpegel“ verwiesen wird) ausgelesen und in ein digitales Signal umgewandelt.
Als Nächstes legt zu einem Zeitpunkt T3 nach einem Auslesen des Rücksetzpegels die Ansteuerungsschaltung 211 ein Übertragungssignal TRG einer konstanten Impulsperiode an das Gate des ersten Übertragungstransistors 331 der lichtempfangenden Einheit 330 im Ausleseziel-Einheitspixel 310 an. Bei dieser Anordnung wird eine im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugte Ladung zur Floating-Diffusionsschicht 324 in der Pixelbildgebungssignal-Erzeugungseinheit 320 übertragen und erscheint eine Spannung, die in der Floating-Diffusionsschicht 324 akkumulierten Ladungen entspricht, in der vertikalen Signalleitung VSL. Auf diese Weise wird die Spannung, die in der vertikalen Signalleitung VSL erscheint, durch den mit der vertikalen Signalleitung VSL verbundenen ADC 230 im Spalten-ADC 220 als Signalpegel-Pixelsignal der lichtempfangenden Einheit 330 (worauf hier im Folgenden einfach als „Signalpegel“ verwiesen wird) ausgelesen und in einen digitalen Wert umgewandelt.
Der Signalprozessor 212 führt eine CDS-Verarbeitung aus, bei der eine Differenz zwischen dem Rücksetzpegel und dem Signalpegel, die wie oben beschrieben ausgelesen werden, als Netto-Pixelsignal entsprechend einer Lichtempfangsmenge des fotoelektrischen Umwandlungselements 333 erhalten wird.
Als Nächstes verringert zu einem Zeitpunkt T4 die Ansteuerungsschaltung 211 das Auswahlsignal SEL, das an das Gate des Auswahltransistors 323 in der Pixelbildgebungssignal-Erzeugungsschaltung 320 des Ausleseziel-Einheitspixels 310 angelegt wird, auf einen niedrigen Pegel und hebt das Steuerungssignal TG2, das an das Gate des zweiten Übertragungstransistors 332 all der lichtempfangenden Einheiten 330 in der Pixel-Arrayeinheit 300 angelegt wird, auf einen hohen Pegel an. Mit dieser Anordnung wird eine Detektion einer Adressereignis-Zündung in all den lichtempfangenden Einheiten 330 in der Pixel-Arrayeinheit 300 neu gestartet.
10B ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wenn zu einem Zeitpunkt T0 eine Anweisung für die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, hebt die Ansteuerungsschaltung 211 das Steuerungssignal TG2 an, das an das Gate des Übertragungstransistors 332 angelegt wird, der mit fotoelektrischen Umwandlungseinheiten 333 selektiv aktivierter Adressereignis-Detektionseinheiten 400 verbunden ist. Insbesondere können einige der oder alle Adressereignis-Detektionseinheiten 400 aktiviert werden.
Außerdem wird das an die Gates der ersten Übertragungstransistoren 331 angelegte Übertragungssignal TG1 auf einem niedrigen Pegel gehalten. Dementsprechend sind die zugehörigen Übertragungstransistoren 331 in einem AUS-Zustand.
In diesem Beispiel detektiert eine beliebige Adressereignis-Detektionseinheit 400 eine Adressereignis-Zündung zu einer Zeit T1, während der das Steuerungssignal TG2 bei einem hohen Pegel liegt und der dazugehörige Übertragungstransistor 332 in einem EIN-Zustand ist. Als Reaktion auf den Ereignisauslöser beginnt eine Aufnahme von Bild-Frames. Die Aufnahme von Bild-Frames kann eine Bildaufnahme von Full-Frame-Bildern (engl.: full frame image) sein, die all die im Pixel-Array 300 enthaltenen Bilderfassungspixel 502 einbezieht. Alternativ dazu kann eine Ereignisdetektion durch eine bestimmte Ereignis-Detektionseinheit 400 als Auslöser für eine Bildaufnahme durch einen Satz von Bilderfassungspixeln 502 in der Nähe der Ereignis-Detektionseinheit 400, oder die in anderer Weise mit der Ereignis-Detektionseinheit 400 verbunden sind, fungieren. Ein Auslesen von durch die Bilderfassungspixel erhaltenen Signalen kann dann durchgeführt werden. Wie hierin an anderer Stelle diskutiert wird, kann außerdem das Prozessorsystem 130 so arbeiten, dass es die Frame-Rate der freigegebenen Bilderfassungspixel 502 oder Schaltungen 320 steuert.
11 veranschaulicht Aspekte des Betriebs einer Bildgebungsvorrichtung 100 gemäß Ausführungsformen der vorliegenden Offenbarung entsprechend zumindest einigen Ausführungsformen der vorliegenden Offenbarung. Zu Anfang kann die Bildgebungsvorrichtung 100 eine Szene (Schritt 1100) in einem EBS-Modus überwachen. In zumindest einigen Betriebsszenarien schließt ein Überwachen einer Szene in einem EBS-Modus ein oder mehr Pixel ein, die EBS-Daten an einen Prozessor in Verbindung mit der Bildgebungsvorrichtung ausgeben.
Während die Bildgebungsvorrichtung 100 die Szene überwacht, können die von den Pixeln ausgegebenen EBS-Daten durch einen Prozessor analysiert werden (Schritt 1104). Der Prozessor kann so konfiguriert sein, dass er EBS-Daten analysieren kann, um Änderungen der Lichtintensität innerhalb der Szene zu detektieren. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung versteht, können gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 oder Adressereignis-Detektionspixel 503 so betrieben werden, dass Ereignisse in der Form von Änderungen der Lichtintensität innerhalb der Szene detektiert werden. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann außerdem die Bildgebungsvorrichtung 100 betrieben werden, um Ereignisse kontinuierlich zu detektieren.
Der Detektionsbetrieb kann durch die Ansteuerungsschaltung 211 und/oder durch Ausführung einer Anwendungsprogrammierung durch das Prozessorsystem 130 durchgeführt werden. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, werden Ereignisse im Allgemeinen mittels von einem oder mehr Ereignisdetektionspixeln 501, 503 innerhalb des Pixel-Arrays 300 abgegebener Signale angegeben.
Beim Analysieren der EBS-Daten kann der Prozessor ein Auslöseereignis detektieren. Ein Auslöseereignis kann durch den Prozessor detektiert werden, indem eines oder mehrere einer Vielzahl möglicher Muster oder anderweitig ereignisbezogene Informationen in EBS-Daten identifiziert werden. Beispielsweise kann ein Auslöseereignis detektiert werden, indem eine Ereignisdichte in EBS-Daten überwacht und bestimmt wird, dass die Ereignisdichte eine Schwelle in der gesamten Szene oder einem vordefinierten Bereich der Szene überschreitet oder darunter fällt. In einigen Ausführungsformen können EBS-Daten als Eingabe in ein neuronales Netzwerk genutzt werden, das eine Entscheidung darüber ausgeben kann, ob ein Auslöseereignis eingetreten ist. Beispielsweise kann ein neuronales Netzwerk darauf trainiert sein, einen Satz erwünschter Objektkategorien in eingegebenen EBS-Daten zu erkennen oder zu detektieren oder einen Satz aussagekräftiger Ereignisse in eingegebenen EBS-Daten zu detektieren. In einigen Ausführungsformen können EBS-Daten von einem Prozessor analysiert werden, der basierend auf einer Bewegungsrichtung in den EBS-Daten eine Auslöseereignis identifizieren kann.
Falls bei Schritt 1108 ein Auslöseereignis detektiert wird, kann der Prozessor ein Signal erzeugen, um den Schalter in einen RGB-Modus in Schritt 1112 zu schalten. Falls kein Auslöseereignis bei Schritt 1108 detektiert wird, kann das Verfahren zu Schritt 1104 zurückkehren, in dem EBS-Daten analysiert werden.
Nachdem bei Schritt 1108 ein Auslöseereignis detektiert ist, kann der RGB-Modus in Schritt 1112 aktiviert werden. In einigen Ausführungsformen kann, nachdem das Auslöseereignis detektiert wurde, eine Bestimmung in Bezug auf Parameter vorgenommen werden, die beim Sammeln von Bilddaten im RGB-Modus angewendet werden sollen. Beispielsweise kann das Bildgebungssystem 100 betrieben werden, um Bilddaten mit einer bestimmten Frame-Rate zu sammeln.
Danach kann eine Bestimmung diesbezüglich vorgenommen werden, ob Vorgänge zur Bilderfassung eingestellt werden sollen (Schritt 1116). Gemäß Ausführungsformen der vorliegenden Offenbarung kann die Erfassung von Bildinformationen für eine vorbestimmte Zeitspanne, oder bis eine vorbestimmte Anzahl an Frames von Bilddaten erfasst worden ist, andauern. Dementsprechend kann die Erfassung von Bildinformationen eingestellt werden, nachdem ein Anfangsbild oder ein Satz von Bildern erfasst worden ist. Gemäß noch anderen Ausführungsformen der vorliegenden Offenbarung können Bildinformationen so lange weiter erfasst werden, wie ein detektiertes Objekt innerhalb des Sichtfeldes 114 des Bildgebungssystems 100 verbleibt. Die Erfassung von Bildinformationen in Bezug auf ein Objekt kann eingestellt werden, nachdem bestimmt wird, dass das Objekt das Sichtfeld der Bildgebungsvorrichtung 100 verlassen hat. Als noch eine andere Alternative kann die Erfassung von Bildinformationen in Bezug auf ein Objekt fortgesetzt werden, bis ausreichende Bildinformationen erfasst worden sind, um eine Anwendungsprogrammierung zu ermöglichen, die vom Prozessorsystem 130 des Bildgebungssystems 104 eines zugeordneten Systems ausgeführt wird, um eine Objekterkennung durchzuführen und zu bestimmen, dass mit diesem Objekt verbundene Bilderfassungsvorgänge eingestellt werden können.
Nach einer Bestimmung, dass Bilderfassungsvorgänge eingestellt werden können, kann als Nächstes eine Bestimmung diesbezüglich vorgenommen werden, ob ein Betrieb des Bildsensorsystems 100 eingestellt werden soll (Schritt 1120). Falls der Betrieb fortzusetzen ist, kann der Prozess ein Umschalten vom RGB-Modus zurück zum EBS-Modus in Schritt 1124 einschließen, bevor er zu Schritt 1104 zurückkehrt. Andernfalls kann der Betrieb bei Schritt 1128 enden.
12 zeigt ein Blockdiagramm, die ein System zum Umschalten zwischen EBS-Pixelsignalen und RGB-Pixelsignalen veranschaulicht. Wie oben in Bezug auf 5A-5D diskutiert wurde, können verschiedene Konfigurationen einer Bildgebungsvorrichtung 100 in verschiedenen Ausführungsformen verwirklicht werden. Wie beispielsweise in 5A veranschaulicht ist, kann ein Bildsensor 200 einen ersten oder EBS-Sensor 530 und einen zweiten oder Bildgebungssensor 540 aufweisen. Wie in 5B veranschaulicht ist, kann ein Bildsensor 200 Pixel 310 aufweisen, die als kombinierte oder gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 konfiguriert sind, die in Ereignisdetektions- oder Bilderfassungsmodi selektiv betrieben werden können. Wie in 5C veranschaulicht ist, kann ein Bildsensor 200 ein Array von Einheitspixeln 310 aufweisen, die eine Vielzahl von Ereignisdetektionspixeln 503 und eine Vielzahl von Bilderfassungspixeln 502 umfassen. Unabhängig davon, welcher Typ eines Bildsensors 200 verwendet wird, kann das Umschalten zwischen einem Ereignisdetektions- oder EBS-Modus und einem Bilderfassungs- oder RGB-Modus mit einem Schaltsystem wie in 12 veranschaulicht verwirklicht werden.
Wie man in 12 erkennen kann, können EBS-Pixeldaten 1200 und RGB-Pixeldaten 1204 von einem Bildsensor 200 wie oben in Bezug auf 5A - 5F beschrieben ausgegeben werden. Die EBS-Pixeldaten 1200 und RGB-Pixeldaten 1204 können je nach Implementierung gleichzeitig oder separat ausgegeben werden. EBS-Pixeldaten können in ein EBS-Ereignis-Analysesystem 1212 wie etwa einen Prozessor in Verbindung mit dem Bildsensor 200 eingegeben werden. Das EBS-Ereignis-Analysesystem 1212 kann ein neuronales Netzwerk oder irgendeine andere Art eines Analysealgorithmus realisieren. Das EBS-Ereignis-Analysesystem 1212 kann einen Schalter 1208 steuern. Der Schalter 1208 kann beispielsweise ein Transistor sein. Der Schalter 1208 kann einen Fluss von Daten von den EBS-Pixeln und den RGB-Pixeln zu einer Ausgabeschaltung 1216 steuern. Auf diese Weise kann das EBS-Ereignis-Analysesystem 1212 imstande sein, Daten aus den EBS-Pixeldaten 1200 zu analysieren und basierend auf einer Analyse der EBS-Pixeldaten 1200 zu steuern, ob EBS-Pixeldaten 1200 oder RGB-Pixeldaten 1204 von der Bildgebungsvorrichtung 100 ausgegeben werden.
Eine Schaltlogik kann genutzt werden, um einen Sensor von einem EBS-Datenmodus auf einen RGB-Datenmodus und umgekehrt zu schalten. In einigen Ausführungsformen kann eine Schaltlogik genutzt werden, um nur den RGB-Datenmodus ein- und auszuschalten. In einigen Ausführungsformen können EBS-Daten mittels eines Computersystems analysiert werden, das einen Schalter steuern kann, um den umschaltbaren EBSRGB-Sensor zwischen dem EBS- und RGB-Modus umzuschalten. Eine Analyse kann über ein neuronales Netzwerk oder ein anderes Verfahren der Datenanalyse durchgeführt werden. Je nach Entscheidungslogik kann eine Ausgabeschaltung entweder EBS- oder RGB-Daten vom Sensor ausgeben.
Beispielsweise kann ein Prozessor dafür konfiguriert sein, eine Ausgabe von einem in einem EBS-Modus arbeitenden Sensor und/oder einem in einem RGB-Modus arbeitenden Sensor zu verarbeiten. Der Prozessor kann dafür konfiguriert sein, ein auf EBS-Daten basierendes Ereignissignal abzugeben und/oder ein auf RGB-Daten basierendes Bildsignal abzugeben. Ferner kann der Prozessor dafür konfiguriert sein, basierend auf einer Verarbeitung von EBS- und/oder RGB-Daten zwischen dem EBS-Modus und dem RGB-Modus auszuwählen.
Ob ein Ereignis ein Umschalten von EBS auf RGB rechtfertigt, hängt von der Anwendung ab. Viele Verfahren zum Umschalten, welche ein Design mit geringer Leistungsaufnahme unterstützen, können verwendet werden, und bestimmte Ausführungsformen können wie hierin beschrieben sein.
Beispielsweise können je nach Anwendung ein oder mehrere der folgenden Verfahren verwendet werden, um zu bestimmen, wann und ob von einem EBS- auf einen RGB-Modus umgeschaltet werden soll: eine Detektion einer hohen EBS-Ereignisdichte, eine Detektion einer niedrigen EBS-Ereignisdichte, eine Analyse von EBS-Daten durch ein neuronales Netzwerk, eine Analyse von EBS-Daten durch ein rekurrierendes neuronales Netzwerk, eine Detektion einer EBS-Bewegung in einer bestimmten Richtung. Es sollte besonders erwähnt werden, dass solche Verfahren nicht als die einzig möglichen Verfahren zum Bestimmen, wann und ob von einem EBS-Modus auf einen RGB-Modus umgeschaltet werden soll, betrachtet werden sollen.
Über den EBS-Modus gesammelte Daten können auch genutzt werden, um die Geschwindigkeit eines Objekts zu bestimmen, und können genutzt werden, um zu einer höheren Frame-Rate umzuschalten.
In einer Ausführungsform kann ein Sensor vom EBS-Modus auf den RGB-Modus umgeschaltet werden, wenn die EBS-Ereignisdichte einen Schwellenbetrag in der gesamten Szene oder einem vordefinierten Bereich der Szene überschreitet. Solch eine Ausführungsform kann zum Erfassen einer Bewegung nützlich sein. Beispielsweise kann ein Sensor, der dafür eingerichtet ist, basierend auf einer einen Schwellenwert überschreitenden EBS-Ereignisdichte vom EBS-Modus auf den RGB-Modus umzuschalten, genutzt werden, um ein in eine Szene einfahrendes Fahrzeug zu erkennen oder eine einen Raum betretende Person zu erkennen etc.
In einigen Ausführungsformen kann das Prozessorsystem 130 Ereignisdetektionsdaten nutzen, um eine Frame-Rate zur Anwendung auf den RGB-Modus zu bestimmen. Die vorbestimmte Frame-Rate für den RGB-Modus kann auf der Identität des Objekts, wie sie aus den Ereignisdetektionsdaten, der relativen Geschwindigkeit des Objekts oder einem Grad an Interesse an einem identifizierten Objekt bestimmt wird, basieren. Beispielsweise könnte eine relative hohe Frame-Rate für ein Automobil verwendet werden, kann eine moderate Frame-Rate für einen Fahrradfahrer verwendet werden und kann eine verhältnismäßig niedrige Frame-Rate für einen Fußgänger verwendet werden. Eine höhere Frame-Rate kann für ein Objekt verwendet werden, das sich mit einer höheren scheinbaren Geschwindigkeit als ein Objekt bewegt, das stationär ist oder sich mit einer niedrigeren scheinbaren Geschwindigkeit bewegt.
Die verschiedenen Operationen bzw. Vorgänge, die vom Verarbeitungssystem 130 an den Ereignisdetektionsdaten und/oder den Bilddaten durchgeführt werden, können die Anwendung eines oder mehrerer neuronaler Netzwerke, um die gesammelten Informationen zu analysieren, einschließen.
Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionspixel 502, 503 weiter betreiben, während Bilderfassungspixel 501, 502 in Betrieb sind. Wie an anderer Stelle hierin erwähnt wurde, arbeiten Ereignisdetektionspixel 502, 503 im Allgemeinen asynchron. Indem man die Ereignisdetektionspixel 502, 503 weiter betreibt, können Ereignisdetektionsfunktionen ohne Verlust oder Verringerung der zeitlichen Ereignisdetektionsleistung der Bildgebungsvorrichtung 100 kontinuierlich durchgeführt werden.
Dementsprechend stellen Ausführungsformen der vorliegenden Offenbarung Bildgebungsvorrichtungen 100 mit einem oder mehr Pixel-Arrays 300 bereit, die imstande sind, sowohl Ereignisdetektions- als auch Bildgebungsoperationen durchzuführen. Außerdem können die Ereignisdetektionspixel kontinuierlich betrieben werden und können die Bilderfassungspixel selektiv betrieben werden. Darüber hinaus kann eine für einen Betrieb der Bilderfassungspixel verwendete Frame-Rate basierend auf Charakteristiken oder einer Identifizierung des detektierten Ereignisses oder der detektierten Ereignisse ausgewählt werden. Nach einer ausgewählten Zeitspanne, nachdem ein abgebildetes Ereignis nicht länger vorliegt oder nachdem irgendein anderes Kriterium erfüllt wurde, kann ein Betrieb der Bilderfassungspixel eingestellt werden, während der Betrieb der Ereignisdetektionspixel andauert. Dementsprechend wird eine kontinuierliche Überwachung im Hinblick auf Ereignisse in Kombination mit ausgewählten Abbildungs- bzw. Bildgebungsvorgängen vorgesehen, wodurch relevante Bilddaten bereitgestellt werden können, während Leistungs-, Datenübertragungs- und Datenverarbeitungsressourcen gespart werden.
EBS-Sensoren oder Sensoren mit EBS-Pixeln können Frames von Daten erzeugen, die Änderungen der Lichtintensität angeben. Beispielsweise kann eine positive Änderung der Lichtintensität in einem Frame durch ein Pixel mit einem Wert wie etwa +1 oder einer bestimmten Farbe wie etwa Rot widergespiegelt werden. Eine negative Änderung der Lichtintensität kann ähnlich in einem Frame durch ein Pixel mit einem bestimmten Wert wie etwa - 1 oder einer anderen Farbe wie etwa Blau widergespiegelt werden. Falls ein EBS-Pixel keine Änderung der Lichtintensität detektiert, kann ein Null-Wert oder eine Farbe wie etwa Weiß verwendet werden.
In einigen Ausführungsformen kann ein EBS-Sensor oder ein Sensor mit EBS-Pixeln imstande sein, einen Betrag einer Änderung der Lichtintensität anzugeben. Beispielsweise kann eine verhältnismäßig große Änderung der Lichtintensität durch ein Pixel mit einem Wert von +1,00 widergespiegelt werden, während eine verhältnismäßig geringe, aber positive Änderung der Lichtintensität beispielsweise durch einen Wert +0,01 widergespiegelt werden kann. Die Werte +1,00 und +0,01 können durch einen 8-Bit-Digitalwert 255 bzw. 1 repräsentiert werden. Ähnlich kann ein Bereich von Farben genutzt werden, um Änderungsbeträge anzugeben.
EBS-Kameras liefern jedoch nur Änderungsinformationen und Zeitinformationen. Beispielsweise können Daten von EBS-Sensoren entsprechend einem Ereignis für ein Pixel drei Zuständen entsprechen: -1 steht für eine negative Änderung, +1 steht für eine positive Änderung und 0 steht für keine Änderung. Informationen über den Zeitpunkt der Änderung können ebenfalls bereitgestellt werden. EBS-Kameras allein stellen Farbinformationen oder Graustufen nicht direkt bereit. Aus diesem Grund sind EBS-Kameras keine Universal-Kameras zur Erfassung von Bild- oder Videoinformationen. Die obigen Verweise darauf, dass EBS-Pixel mit Farbpixeln assoziiert sind, sollten nicht dahingehend interpretiert werden, dass EBS-Pixel mit Farben aus einer Szene assoziiert sind, sondern stattdessen Farben nur zur Visualisierung von Änderungen der Lichtintensität verwendet werden.
Frames von Daten, die von EBS-Sensoren oder Sensoren mit EBS-Pixeln erzeugt werden, können durch die Diagramme 1300, 1304, 1308 der 13A - 13C veranschaulicht werden. In den Diagrammen 1300, 1304, 1308 der 13A - 13C sind Pixel mit Werten ungleich Null durch einfache Punkte dargestellt. Die dunkler gefärbten Punkte repräsentieren Pixel mit Daten positiver Polarität, und die heller gefärbten Punkte repräsentieren Pixel mit Daten negativer Polarität. Die dunkler und heller gefärbten Punkte wurden zu Veranschaulichungszwecken gewählt, und es sollte sich verstehen, dass von den EBS-Pixeln erzeugte Pixelwerte durch jede beliebige Art von Anzeige repräsentiert werden können. Darüber hinaus können jedem Pixel Werte zugeordnet werden, die in einem Register oder einer anderen Art von Speicherplatz gespeichert werden können.
Wenn er im EBS-Modus betrieben wird, kann ein umschaltbarer EBSRGB-Sensor in einem Zustand mit verhältnismäßig geringerer Leistungsaufnahme arbeiten. Wenn er im RGB-Modus betrieben wird, kann der umschaltbare EBSRGB-Sensor in einem Zustand mit verhältnismäßig höherer Leistungsaufnahme arbeiten. Aus diesem Grund kann der EBS-Modus für geringerer Leistungsaufnahme genutzt werden und kann der RGB-Modus nur bei Bedarf aktiviert oder auf ihn umgeschaltet werden.
Eine Schaltlogik kann auch genutzt werden, um einen Sensor von einem EBS-Datenmodus auf einen RGB-Modus und umgekehrt umzuschalten. In einigen Ausführungsformen kann eine Schaltlogik dafür genutzt werden, nur die RGB-Daten ein- und auszuschalten. In einigen Ausführungsformen können EBS-Daten durch ein Computersystem analysiert werden, das imstande ist, einen Schalter zu steuern, um den umschaltbaren EBSRGB-Sensor zwischen dem EBS- und RGB-Modus umzuschalten. Eine Analyse kann über ein neuronales Netzwerk oder ein anderes Verfahren zur Datenanalyse durchgeführt werden. Je nach Entscheidungslogik kann eine Ausgabeschaltung entweder EBS- oder RGB-Daten vom Sensor ausgeben.
Beispielsweise kann ein Sensor dafür konfiguriert sein, eine Ausgabe von einem in einem EBS-Modus arbeitenden Sensor und/oder einem in einem RGB-Modus arbeitenden Sensor zu verarbeiten. Der Prozessor kann dafür konfiguriert sein, ein auf EBS-Daten basierendes Ereignissignal abzugeben und/oder ein auf RGB-Daten basierendes Bildsignal abzugeben. Ferner kann der Prozessor dafür konfiguriert sein, basierend auf einer Verarbeitung von EBS- und/oder RGB-Daten zwischen dem EBS-Modus und dem RGB-Modus auszuwählen.
Ob ein Ereignis ein Umschalten von EBS auf RGB rechtfertigt, hängt von der Anwendung ab. Viele Verfahren zum Umschalten, welche ein Design mit geringer Leistungsaufnahme unterstützen, können verwendet werden, und bestimmte Ausführungsformen können hierin beschrieben werden.
Beispielsweise können je nach Anwendung ein oder mehrere der folgenden Verfahren genutzt werden, um zu bestimmen, wann und ob vom EBS- auf den RGB-Modus umgeschaltet werden soll: eine Detektion einer hohen EBS-Ereignisdichte, eine Detektion einer niedrigen EBS-Ereignisdichte, eine Analyse von EBS-Daten mittels eines neuronalen Netzwerks, eine Analyse von EBS-Daten mittels eines rekurrierenden neuronalen Netzwerks, eine Detektion einer EBS-Bewegung in einer bestimmten Richtung. Es sollte besonders erwähnt werden, dass solche Verfahren nicht als die allein möglichen Verfahren zum Bestimmen, wann und ob vom EBS-Modus auf den RGB-Modus umgeschaltet werden soll, betrachtet werden sollen.
In einigen Ausführungsformen kann ein Sensor vom EBS-Modus auf den RGB-Modus umgeschaltet werden, wenn eine EBS-Ereignisdichte einen Schwellenbetrag in der gesamten Szene oder einem vordefinierten Bereich der Szene überschreitet. Solch eine Ausführungsform kann nützlich sein, um sich bewegende Objekte zu erfassen. Beispielsweise kann ein Sensor, der so eingestellt ist, dass er basierend auf einer einen Schwellenbetrag überschreitenden EBS-Ereignisdichte vom EBS-Modus auf den RGB-Modus umschaltet, genutzt werden, um ein in eine Szene einfahrendes Fahrzeug zu erkennen oder eine einen Raum betretende Person zu erkennen etc.
Das Auslösen einer Umschaltung vom EBS-Modus auf den RGB-Modus basierend auf einer eine Schwelle überschreitenden EBS-Ereignisdichte kann ein Umschalten auf den RGB-Modus umfassen, wenn eine Anzahl an Ereignissen eine vordefinierte räumlich-zeitliche Dichte überschreitet. Wenn eine hohe Ereignisdichte im EBS-Modus detektiert wird, kann der RGB-Modus ausgelöst werden. Wenn über den EBS-Modus spärliche bzw. wenige Ereignisse detektiert werden, kann der RGB-Modus nicht ausgelöst werden. EBS-Frames können über eine festgelegte bzw. eingestellte Integrationszeit, zum Beispiel 1 Millisekunde, hinweg analysiert werden.
Wie beispielsweise mittels des EBS-Frames 1300 in 13A veranschaulicht ist, kann eine Anzahl an Ereignissen eine vordefinierte räumlich-zeitliche Dichte überschreiten, wenn eine verhältnismäßig hohe Anzahl an EBS-Pixeln innerhalb eines bestimmten Bereichs eine Änderung der Lichtintensität innerhalb einer kurzen Zeitspanne detektiert. Solch ein Szenario kann wie mittels des EBS-Frames 1300 in 13A veranschaulicht vorliegen, worin ein Cluster von Pixeln, die Daten registrieren, im Frame 1300 erscheint.
Alternativ dazu oder zusätzlich kann, wie mittels des EBS-Frames 1304 in 13B veranschaulicht ist, eine Anzahl an Ereignissen eine vordefinierte räumlich-zeitliche Dichte überschreiten, wenn eine verhältnismäßig hohe Anzahl an EBS-Pixeln innerhalb eines gesamten Frames eine Änderung der Lichtintensität detektiert. Solch ein Szenario kann wie mittels des EBS-Frames 1304 in 13B veranschaulicht vorliegen, wenn viele Pixel mit registrierten Daten im gesamten Frame 1304 erscheinen.
In einer anderen Ausführungsform kann ein Sensor vom EBS-Modus auf den RGB-Modus umgeschaltet werden, wenn eine EBS-Ereignisdichte unter einen Schwellenbetrag fällt. Solch eine Ausführungsform kann nützlich sein, um statische Szenen zu erfassen, wenn eine Bewegung gestoppt hat oder nicht erwünscht ist. Beispielsweise kann ein Sensor, der so eingestellt ist, dass er basierend auf einer unter einen Schwellenbetrag fallenden EBS-Ereignisdichte vom EBS-Modus auf den RGB-Modus umschaltet, verwendet werden, um eine Maschine oder eine Fertigungslinie zu erkennen, die den Betrieb gestoppt hat, um zu ermöglichen, dass eine Fehlerbehebung oder eine andere geeignete Maßnahme ergriffen wird.
Solch ein Szenario kann wie mittels des EBS-Frames 1308 in 13C veranschaulicht vorliegen. Eine Anzahl an Ereig-nissen kann unter einen Schwellenbetrag fallen, wenn eine verhältnismäßig geringe Anzahl an EBS-Pixeln in einem ganzen Frame eine Änderung der Lichtintensität detektiert. Solch ein Szenario kann wie mittels des EBS-Frames 1308 in 13C veranschaulicht vorliegen, worin ein Cluster von Pixeln im Frame 1308 erscheint.
Das Auslösen einer Umschaltung vom EBS-Modus auf den RGB-Modus basierend auf einer unter eine Schwelle fallenden EBS-Ereignisdichte kann ein Umschalten auf den RGB-Modus umfassen, wenn eine Anzahl an Ereignissen unter eine vordefinierte räumlich-zeitliche Dichte fällt. Wenn im EBS-Modus eine geringe Ereignisdichte detektiert wird, kann der RGB-Modus ausgelöst werden. Wenn über den EBS-Modus eine hohe Ereignisdichte detektiert wird, kann der RGB-Modus nicht ausgelöst werden. EBS-Frames können über eine eingestellte Integrationszeit, zum Beispiel 1 Millisekunde, hinweg analysiert werden.
In einigen Ausführungsformen kann ein Umschalten bzw. ein Wechsel zwischen einem EBS- und RGB-Modus auf der Basis einer Verarbeitung von EBS-Frames mit einem faltenden neuronalen Netzwerk („CNN“) ausgelöst werden. In solch einer Ausführungsform können EBS-Frames in ein CNN wie etwa ein LeNet, VGG16, YOLO etc. eingespeist werden. Falls ein spezifisches Objekt wie etwa eine Person oder ein Fahrzeug mit hoher Wahrscheinlichkeit erkannt oder auf andere Weise detektiert wird, kann der RGB-Modus ausgelöst werden, um ein Farbbild des Objekts zur weiteren Analyse aufzunehmen.
Falls das neuronale Netzwerk entscheidet, dass die Wahrscheinlichkeit einer bestimmten Kategorie eines Objekts wie etwa einer Person oder eines Wagens eine vordefinierte Schwelle überschreitet, kann der RGB-Modus ausgelöst werden.
Beispielsweise können, wie in 14A veranschaulicht ist, ein oder mehr EBS-Frames als Eingabe 1400 in ein CNN 1404 genutzt werden, das eine Auslöseentscheidung 1408 ausgeben kann. In einigen Ausführungsformen kann ein einziger EBS-Frame als Eingabe genutzt werden, um eine Auslöseentscheidung zu erzeugen. Ein einziger EBS-Frame kann eine Sammlung von EBS-Signalen sein, die über einen bestimmten Zeitraum wie etwa 1 Millisekunde gesammelt wurden. In einigen Ausführungsformen kann eine Anzahl von EBS-Frames als Eingabe genutzt werden. Beispielsweise kann eine Reihe von EBS-Frames genutzt werden, die über eine gegebene Zeitspanne, zum Beispiel 1 Sekunde, hinweg aufgenommen wurden.
Ein CNN 1404 kann eine Anzahl von Schichten aufweisen und kann darauf trainiert sein, eine oder mehr Arten von EBSbezogenen Ereignissen zu detektieren. Beispielsweise kann ein CNN 1404 eine Anzahl von Faltungsschichten (z.B. conv1, conv2, conv3, conv4, conv5 etc.) und eine oder mehr Max-Pooling-Schichten aufweisen. Ein CNN 1404 kann über einen Prozess trainiert werden, bei dem bekannte Ereignisse darstellende EBS-Frames eingegeben werden. In einigen Ausführungsformen kann ein CNN 1404 darauf trainiert sein, eine Auslöseentscheidung 1408 in dem Fall auszugeben, in dem EBS-Daten detektiert werden, die das Eintreten eines bestimmten Ereignisses zeigen. Eine Auslöseentscheidung 1408 kann so einfach wie +1 für Ja und 0 für Nein sein. In einigen Ausführungsformen kann eine Auslöseentscheidung 1408 komplexer, beispielsweise eine Identifizierung eines Ereignistyps für ein detektiertes Ereignis, sein. Beispielsweise kann das CNN 1404 eine Eingabe mit EBS-Daten detektieren, die eine hohe Anzahl an Ereignissen zeigen, die eine vordefinierte räumlich-zeitliche Dichte überschreitet, oder kann das CNN 1404 eine Eingabe mit EBS-Daten detektieren, die vom CNN 1404 als das Vorhandensein eines bestimmten Objekts wie etwa einer Person oder eines Fahrzeugs anzeigend erkannt wird. Die Auslöseentscheidung 1408 kann Informationen über das Objekt enthalten, wie es vom CNN 1404 detektiert und/oder erkannt wird.
Solch eine Ausführungsform kann in einer Reihe von Anwendungen, beispielsweise in einer Fabrikautomatisierung, um ein falsches Objekt oder falsche Objekte in einer Produktionslinie zu detektieren, zur Detektion von Eindringlingen, indem eine sich bewegende Person in einem gesperrten Bereich detektiert wird, zur Verkehrssicherheit, indem ein Auto in einer Fahrradspur detektiert wird etc., nützlich sein.
In einigen Ausführungsformen kann ein Umschalten zwischen dem EBS- und dem RGB-Modus basierend auf einer Verarbeitung von EBS-Frames mit einem rekurrierenden neuronalen Netzwerk („RNN“) ausgelöst werden. In solch einer Ausführungsform können EBS-Frames in ein RNN eingespeist werden, und, falls eine aussagekräftige Ereignissequenz mit hoher Wahrscheinlichkeit detektiert wird, kann der RGB-Modus ausgelöst werden. Die EBS-Frames können zusammen mit Zeitstempel-Daten und/oder Polaritätsdaten in das RNN eingespeist werden. Das RNN kann imstande sein, eine Auslöseentscheidung auszugeben, die genutzt werden kann, um zu bestimmen, ob und wann der Sensor vom EBS-Modus auf den RGB-Modus umgeschaltet werden sollte.
Wie beispielsweise in 14B veranschaulicht ist, können ein oder mehr EBS-Frames als Eingabe 1412 in ein RNN 1416 genutzt werden, das eine Auslöseentscheidung 1420 ausgeben kann. In einigen Ausführungsformen kann ein einzelner EBS-Frame als Eingabe genutzt werden, um eine Auslöseentscheidung zu erzeugen. Ein einzelner EBS-Frame kann eine Sammlung von EBS-Signalen sein, die über einen bestimmten Zeitrahmen wie etwa 1 Millisekunde hinweg gesammelt wurden. In einigen Ausführungsformen kann eine Anzahl an EBS-Frames als Eingabe genutzt werden. Beispielsweise kann eine Reihe von über eine vorgegebene Zeitspanne, zum Beispiel 1 Sekunde, aufgenommenen EBS-Frames verwendet werden.
Ein RNN kann als eine Art von neuronalem Netzwerk beschrieben werden, in dem Verbindungen zwischen Knoten einen gerichteten Graphen entlang einer zeitlichen Sequenz bilden. In einigen Ausführungsformen kann ein RNN vom Typ mit finiter Impulsantwort oder infiniter Impulsantwort sein. Sowohl rekurrierende Netzwerke mit finiter Impulsantwort als auch solche mit infiniter Impulsantwort können zusätzliche gespeicherte Zustände aufweisen, und eine Speicherung kann unter direkter Kontrolle bzw. Steuerung durch das RNN erfolgen. Auf solche gesteuerten Zustände kann als tor- bzw. gate-gesteuerter Zustand (engl.: gated state) oder gate-gesteuerter Speicher verwiesen werden, und sie können Teil eines oder mehrerer Netzwerke mit langem Kurzzeitgedächtnis (LSTMs) und gategesteuerter rekurrierender Einheiten sein. Dies wird auch als neuronales Netzwerk mit Rückkopplung bezeichnet.
Ein RNN 1416 kann eine Anzahl an Schichten aufweisen und kann dafür trainiert werden, einen oder mehr Typen von EBSbezogenen Ereignissen zu detektieren. Beispielsweise kann ein RNN 1416 eine Eingabeschicht, eine oder mehr verborgene Schichten und eine Ausgabeschicht umfassen. Ein RNN 1416 kann durch einen Prozess trainiert werden, bei dem EBS-Frames eingespeist werden, die bekannte Ereignisse zeigen.
Die Eingabeschicht des RNN 1416 kann mit den eingegebenen EBS-Daten verbundene Daten aufweisen. In einigen Ausführungsformen können EBS-Daten-Frames zusammen mit anderen Informationen wie etwa einem Zeitstempel, einer Polarität etc. eingegeben werden. Verborgene Schichten des RNN 1416 können eine oder mehr dazwischen liegende Schichten sein, in denen eine Berechnung vom RNN 1416 durchgeführt wird. Bei der Ausgabeschicht des RNN 1416 kann es sich um Daten handeln, von denen die Auslöseentscheidung 1420 direkt abgeleitet wird. Das RNN 1416 kann einen oder mehr Kontextknoten aufweisen, die mit Knoten in der einen oder mehr verborgenen Schichten verbunden sein können.
In einigen Ausführungsformen kann ein RNN 1416 dafür trainiert werden, eine Auslöseentscheidung 1420 in dem Fall auszugeben, in dem EBS-Daten detektiert werden, die das Auftreten eines bestimmten Ereignisses zeigen. Eine Auslöseentscheidung 1420 kann so einfach sein wie +1 für Ja und 0 für Nein. In einigen Ausführungsformen kann eine Auslöseentscheidung 1420 komplexer, zum Beispiel eine Identifizierung eines Ereignistyps für ein detektiertes Ereignis, sein. Beispielsweise kann das RNN 1416 eine Eingabe mit EBS-Daten detektieren, die eine hohe Anzahl an Ereignissen zeigen, die eine vordefinierte räumlich-zeitliche Dichte überschreitet, oder kann das RNN 1416 eine Eingabe mit EBS-Daten detektieren, die vom RNN 1416 als ein Vorhandensein eines bestimmten Objekts wie etwa einer Person oder eines Fahrzeugs anzeigend erkannt werden. Die Auslöseentscheidung 1420 kann Informationen über das Objekt es vom RNN 1416 detektiert und/oder erkannt enthalten.
Solch eine Ausführungsform kann in einer Anzahl von Anwendungen, beispielsweise um sich bewegende Objekte wie etwa Autos und Flugzeuge zu verfolgen, oder beim Verfolgen von Sportereignissen wie etwa beim Detektieren, wenn ein Ball auf einen Schläger trifft oder wenn sich ein sich bewegender Ball nahe einem Tor bewegt etc., nützlich sein. Wenn solch ein Ereignis detektiert wird, kann der Sensor vom EBS-Modus auf den RGB-Modus umgeschaltet werden.
In einigen Ausführungsformen kann ein Umschalten von EBS auf RGB auf Basis einer detektierten Bewegungsrichtung in EBS-Daten ausgelöst werden. Beispielsweise kann ein vordefiniertes Objekt, das mittels eines faltenden neuronalen Netzwerks oder eines anderen Verfahrens zum Detektieren von Objekten erkannt wurde, überwacht werden, um eine Bewegungsrichtung des Objekts zu detektieren. Je nach detektierter Bewegungsrichtung des Objekts kann der Schalter zum RGB-Modus oder zu einem RGB-Modus mit hohen Frames pro Sekunde („FPS“) geschaltet werden.
Die Bewegung von Objekten kann in sowohl RGB- als auch EBS-Frames detektiert werden. Wie beispielsweise in 15A und 15B veranschaulicht ist, kann ein einzelner Frame eine Bewegung in einer bestimmten Richtung anzeigen. 15A zeigt ein RGB-Bild eines Balls 1500. Die hierin beschriebenen Analyseverfahren können imstande sein, einen oder mehr RGB-Frames zu überprüfen und eine Richtung der Bewegung und/oder eine Geschwindigkeit eines Balls 1500 oder irgendeines anderen Typs eines detektierten Objekts zu bestimmen. Wie in 15B veranschaulicht ist, können ähnlich ein oder mehr Frames von EBS-Daten 1504 genutzt werden, um eine Richtung und/oder eine Geschwindigkeit eines detektierten Objekts zu identifizieren. Da positive EBS-Daten eine positive Änderung der Lichtintensität anzeigen und negative EBS-Daten eine negative Änderung der Lichtintensität anzeigen, kann jedes beliebige der Systeme und Verfahren zum Analysieren von EBS-Daten, die hierin beschrieben wurden, einen EBS-Frame überprüfen und eine Richtung und/oder eine Geschwindigkeit eines Objekts identifizieren.
Solch eine Ausführungsform kann in einer Reihe von Anwendungen nützlich sein. Beispielsweise kann eine Kamera befestigt werden, um ein Fußballtor zu beobachten. Ein Modus mit hohem FPS kann jedes Mal ausgelöst werden, wenn detektiert wird, dass von einem nahegelegenen Bereich sich ein Fußball auf das Tor zu bewegt. Solch eine Ausführungsform kann auch zur Kollisionswarnung verwendet werden. Beispielsweise kann eine Kamera auf einen Modus mit hohem FPS umgeschaltet werden, wenn detektiert wird, dass sich ein erstes Objekt einem zweiten Objekt bis auf einen bestimmten Abstand nähert. Solch eine Anwendung kann zusätzliche Verfahren zur Datensammlung wie etwa Abstandsmessungen basierend auf Stereobildern, Laufzeit, strukturiertem Licht etc. erfordern.
Das Umschalten eines Sensors vom EBS-Modus auf den RGB-Modus kann für eine vorbestimmte Zeitspanne erfolgen. Beispielsweise kann nach einem Umschalten auf den RGB-Modus der Sensor nach einer bestimmten Anzahl an Sekunden zum EBS-Modus zurückgeschaltet werden. In einigen Ausführungsformen kann der RGB-Modus analysiert werden, um zu bestimmen, wann ein Ereignis beendet ist, woraufhin dann der Sensor zum EBS-Modus zurückgeschaltet werden kann.
Ausführungsformen der vorliegenden Offenbarung wurden hierin zuvor beschrieben; aber der technische Umfang der vorliegenden Offenbarung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können in einem Bereich vorgenommen werden, der nicht vom Kern der vorliegenden Offenbarung abweicht. Außerdem können Bestandteilelemente in anderen Ausführungsformen und Modifikationsbeispielen geeignet kombiniert werden.
Hierin offenbart ist eine Kombination einer EBS- und RGB-Kamera, die imstande ist, Vorteile sowohl des EBS- als auch RGB-Modus zu nutzen. Ein Sensor wie hierin beschrieben arbeitet normalerweise in einem EBS-Modus und schaltet auf den RGB-Modus um, wenn ein Ereignis die Umschaltung rechtfertigt. Wie hierin verwendet kann sich RGB auf Daten in Bezug auf einen Betrag der Lichtintensität beziehen. Ein RGB-Sensor oder ein in einem RGB-Modus arbeitender Sensor kann einen Betrag der Lichtintensität detektieren oder dafür konfiguriert sein.
Wie hierin beschrieben kann ein umschaltbarer EBSRGB-Sensor in einer Vielzahl von Formen vorliegen. Beispielsweise können in einigen Ausführungsformen separate EBS- und RGB-Sensoren verwendet werden. In solch einer Ausführungsform können die separaten EBS- und RGB-Sensoren jeweils eine Vielzahl von Pixeln aufweisen. Die separaten EBS- und RGB-Sensoren können physisch verbunden sein und sich eine einzige Linse teilen.
In einigen Ausführungsformen kann ein einziger Sensor mit einem Mosaik aus RGB- und EBS-Pixeln genutzt werden. Beispielsweise kann ein einziger Sensor ein Gitter aus Pixeln aufweisen. Bei dem Gitter aus Pixeln kann es sich um eine Vielzahl nicht umschaltbarer RGB-Pixel und EBS-Pixel handeln. Das Muster aus Pixeln kann zufällig ausgelegt sein oder kann ein bestimmtes Muster sein. In einigen Ausführungsformen können die EBS-Pixel in einer kleinen Sektion des Gitters aus Pixeln liegen oder können gleichmäßig über das Gitter verteilt sein.
In einigen Ausführungsformen kann ein einziger Sensor mit umschaltbaren RGB- und EBS-Pixeln verwendet werden. Beispielsweise kann ein Sensor ein Gitter aus Pixeln aufweisen. Jedes Pixel kann imstande sein, sowohl EBS als auch eine Farbe zu detektieren. Beispielsweise kann ein erstes Pixel zwischen einem Sammeln von EBS-Daten und Daten roter Farbe umschaltbar sein, während ein zweites Pixel zwischen einem Sammeln von EBS-Daten und Daten grüner Farbe umschaltbar sein kann und ein drittes Pixel zwischen einem Sammeln von EBS-Daten und Daten blauer Farbe umschaltbar sein kann.
Zusätzliche Ausführungsformen können andere Kombinationen umschaltbarer und nicht umschaltbarer Pixel und/oder andere Farbmosaikmuster einschließen.
Wie hierin beschrieben kann ein umschaltbarer EBSRGB-Sensor in einem oder beiden eines EBS-Modus und eines RGB-Modus genutzt werden. EBS-Sensoren sind insofern vorteilhaft, als EBS-Sensoren imstande sind, Ereignisdaten mit hohen Raten zu erfassen. EBS-Sensoren verbrauchen auch verhältnismäßig weniger Leistung als RGB-Sensoren.
Außerdem sind die Effekte in den Ausführungsformen, die in dieser Beschreibung beschrieben wurden, nur veranschaulichend und kann ein anderer Effekt ohne Einschränkung vorliegen.
Darüber hinaus kann die vorliegende Technologie die folgenden Konfigurationen aufweisend:

(1) Ein System, aufweisend:
- einen ersten Sensor, der dafür konfiguriert ist, eine Änderung eines Betrags einer Lichtintensität zu detektieren;
- einen zweiten Sensor, der dafür konfiguriert ist, einen Betrag der Lichtintensität zu detektieren; und
- einen Prozessor, der dafür konfiguriert ist:
  - eine Ausgabe vom ersten Sensor zu verarbeiten und ein Ereignissignal in einem ersten Modus abzugeben,
  - eine Ausgabe vom zweiten Sensor zu verarbeiten und ein Bildsignal in einem zweiten Modus abzugeben und
  - zumindest einen des ersten Modus und des zweiten Modus basierend auf zumindest einem eines Ergebnisses einer Verarbeitung im ersten Modus und eines Ergebnisses einer Verarbeitung im zweiten Modus auszuwählen.
(2) Das System nach (1), wobei eine Verarbeitung der Ausgabe vom ersten Sensor ein Analysieren von vom ersten Sensor ausgegebenen Daten mit einem neuronalen Netzwerk umfasst.
(3) Das System nach (2), wobei das neuronale Netzwerk dafür trainiert ist, ein Objekt zu detektieren.
(4) Das System nach (3), wobei der zweite Modus ausgewählt wird, wenn das neuronale Netzwerk das Objekt in den vom ersten Sensor ausgegebenen Daten detektiert.
(5) Das System nach (4), wobei der erste Sensor ein EBS-Sensor ist und der zweite Sensor ein RGB-Sensor ist.
(6) Das System nach (1), wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus eine Schwelle überschreitet, ausgewählt wird.
(7) Das System nach (1), wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus unter eine Schwelle fällt, ausgewählt wird.
(8) Das System nach (1), wobei eine Frame-Rate basierend auf dem Ergebnis einer Verarbeitung im ersten Modus eingestellt wird.
(9) Ein Bildgebungssystem, aufweisend:
- einen ersten Sensor, der dafür konfiguriert ist, eine Änderung eines Betrags einer Lichtintensität zu detektieren; und
- einen zweiten Sensor, der dafür konfiguriert ist, einen Betrag der Lichtintensität zu detektieren, wobei
- eine Ausgabe vom ersten Sensor von einem Prozessor in einem ersten Modus verarbeitet wird,
- eine Ausgabe vom zweiten Sensor vom Prozessor in einem zweiten Modus verarbeitet wird und
- zumindest einer des ersten Modus und des zweiten Modus vom Prozessor basierend auf zumindest einem eines Ergebnisses einer Verarbeitung im ersten Modus und eines Ergebnisses einer Verarbeitung im zweiten Modus ausgewählt wird.
(10) Das Bildgebungssystem nach (9), wobei eine Verarbeitung der Ausgabe vom ersten Sensor ein Analysieren von vom ersten Sensor ausgegebenen Daten mit einem neuronalen Netzwerk umfasst.
(11) Das Bildgebungssystem nach (10), wobei das neuronale Netzwerk dafür trainiert ist, ein Objekt zu detektieren.
(12) Das Bildgebungssystem nach (11), wobei der zweite Modus ausgewählt wird, wenn das neuronale Netzwerk das Objekt in den vom ersten Sensor ausgegebenen Daten detektiert.
(13) Das Bildgebungssystem nach (12), wobei der erste Sensor ein EBS-Sensor ist und der zweite Sensor ein RGB-Sensor ist.
(14) Das Bildgebungssystem nach (9), wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus eine Schwelle überschreitet, ausgewählt wird.
(15) Das Bildgebungssystem nach (9), wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus unter eine Schwelle fällt, ausgewählt wird.
(16) Das Bildgebungssystem nach (9), wobei eine Frame-Rate basierend auf dem Ergebnis einer Verarbeitung im ersten Modus eingestellt wird.
(17) Ein Bildsensor, aufweisend eine Vielzahl von Pixeln, wobei
- ein erstes ein oder mehr der Pixel imstande sind, eine Änderung eines Betrags einer Lichtintensität zu detektieren,
- ein zweites ein oder mehr der Pixel imstande sind, einen Betrag der Lichtintensität zu detektieren,
- in einem ersten Modus der Sensor Daten von den ersten ein oder mehr der Pixel ausgibt,
- in einem zweiten Modus der Sensor Daten von den zweiten ein oder mehr der Pixel ausgibt und
- zumindest einer des ersten Modus und des zweiten Modus von einem Prozessor basierend auf zumindest einem eines Ergebnisses einer Verarbeitung von im ersten Modus ausgegebenen Daten und eines Ergebnisses einer Verarbeitung von im zweiten Modus ausgegebenen Daten ausgewählt wird.
(18) Der Bildsensor nach (17), wobei zumindest ein Pixel der Vielzahl von Pixeln in den ersten ein oder mehr der Pixel und den zweiten ein oder mehr der Pixel vorhanden ist.
(19) Der Bildsensor nach (17), wobei ein oder mehr der Vielzahl von Pixeln umschaltbare EBS-/RGB-Pixel sind.
(20) Der Bildsensor nach (17), wobei jedes der ersten ein oder mehr der Pixel von jedem der zweiten ein oder mehr der Pixel verschieden ist.

Claims

System, aufweisend: einen ersten Sensor, der dafür konfiguriert ist, eine Änderung eines Betrags einer Lichtintensität zu detektieren; einen zweiten Sensor, der dafür konfiguriert ist, einen Betrag der Lichtintensität zu detektieren; und einen Prozessor, der dafür konfiguriert ist: eine Ausgabe vom ersten Sensor zu verarbeiten und ein Ereignissignal in einem ersten Modus abzugeben, eine Ausgabe vom zweiten Sensor zu verarbeiten und ein Bildsignal in einem zweiten Modus abzugeben und zumindest einen des ersten Modus und des zweiten Modus basierend auf zumindest einem eines Ergebnisses einer Verarbeitung im ersten Modus und eines Ergebnisses einer Verarbeitung im zweiten Modus auszuwählen.
System nach Anspruch 1, wobei eine Verarbeitung der Ausgabe vom ersten Sensor ein Analysieren von vom ersten Sensor ausgegebenen Daten mit einem neuronalen Netzwerk umfasst.
System nach Anspruch 2, wobei das neuronale Netzwerk dafür trainiert ist, ein Objekt zu detektieren.
System nach Anspruch 3, wobei der zweite Modus ausgewählt wird, wenn das neuronale Netzwerk das Objekt in den vom ersten Sensor ausgegebenen Daten detektiert.
System nach Anspruch 4, wobei der erste Sensor ein EBS-Sensor ist und der zweite Sensor ein RGB-Sensor ist.
System nach Anspruch 1, wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus eine Schwelle überschreitet, ausgewählt wird.
System nach Anspruch 6, wobei die Ereignisdichte in einem vordefinierten Bereich einer Szene vom ersten Sensor ausgegeben wird.
System nach Anspruch 1, wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus unter eine Schwelle fällt, ausgewählt wird.
System nach Anspruch 1, wobei eine Frame-Rate basierend auf dem Ergebnis einer Verarbeitung im ersten Modus eingestellt wird.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, eine Zeitinformation mit dem Ereignissignal im ersten Modus auszugeben.
Bildgebungssystem, aufweisend: einen ersten Sensor, der dafür konfiguriert ist, eine Änderung eines Betrags einer Lichtintensität zu detektieren; und einen zweiten Sensor, der dafür konfiguriert ist, einen Betrag der Lichtintensität zu detektieren, wobei eine Ausgabe vom ersten Sensor von einem Prozessor in einem ersten Modus verarbeitet wird, eine Ausgabe vom zweiten Sensor vom Prozessor in einem zweiten Modus verarbeitet wird und zumindest einer des ersten Modus und des zweiten Modus vom Prozessor basierend auf zumindest einem eines Ergebnisses einer Verarbeitung im ersten Modus und eines Ergebnisses einer Verarbeitung im zweiten Modus ausgewählt wird.
Bildgebungssystem nach Anspruch 11, wobei eine Verarbeitung der Ausgabe vom ersten Sensor ein Analysieren von vom ersten Sensor ausgegebenen Daten mit einem neuronalen Netzwerk umfasst.
Bildgebungssystem nach Anspruch 12, wobei das neuronale Netzwerk dafür trainiert ist, zumindest ein Objekt zu detektieren.
Bildgebungssystem nach Anspruch 13, wobei der zweite Modus ausgewählt wird, wenn das neuronale Netzwerk das Objekt in den vom ersten Sensor ausgegebenen Daten detektiert.
Bildgebungssystem nach Anspruch 14, wobei der erste Sensor ein EBS-Sensor ist und der zweite Sensor ein RGB-Sensor ist.
Bildgebungssystem nach Anspruch 11, wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus eine Schwelle überschreitet, ausgewählt wird.
Bildgebungssystem nach Anspruch 11, wobei der zweite Modus basierend auf einer Detektion, dass eine Ereignisdichte in vom ersten Sensor ausgegebenen Daten im ersten Modus unter eine Schwelle fällt, ausgewählt wird.
Bildgebungssystem nach Anspruch 11, wobei eine Frame-Rate basierend auf dem Ergebnis einer Verarbeitung im ersten Modus eingestellt wird.
Bildsensor, aufweisend eine Vielzahl von Pixeln, wobei ein erstes ein oder mehr der Pixel imstande sind, eine Änderung eines Betrags einer Lichtintensität zu detektieren, ein zweites ein oder mehr der Pixel imstande sind, einen Betrag der Lichtintensität zu detektieren, in einem ersten Modus der Sensor Daten von den ersten ein oder mehr der Pixel ausgibt, in einem zweiten Modus der Sensor Daten von den zweiten ein oder mehr der Pixel ausgibt und zumindest einer des ersten Modus und des zweiten Modus von einem Prozessor basierend auf zumindest einem eines Ergebnisses einer Verarbeitung von im ersten Modus ausgegebenen Daten und eines Ergebnisses einer Verarbeitung von im zweiten Modus ausgegebenen Daten ausgewählt wird.
Bildsensor nach Anspruch 19, wobei zumindest ein Pixel der Vielzahl von Pixeln in den ersten ein oder mehr der Pixel und den zweiten ein oder mehr der Pixel vorhanden ist.