DE112020006101T5

DE112020006101T5 - Dynamikbereich von interesse und frame-rate für ereignisbasierten sensor und bildgebungskamera

Info

Publication number: DE112020006101T5
Application number: DE112020006101.9T
Authority: DE
Inventors: Ping Wah Wong; Sa Xiao; Kevin Chan
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-12-13
Filing date: 2020-12-07
Publication date: 2022-11-24
Also published as: US20230012744A1; CN114762317A; WO2021117676A1; US20210185264A1; US11895413B2; KR20220113380A; US11394905B2

Abstract

Eine Bildgebungsvorrichtung mit einer Vielzahl von Bilderfassungspixeln und einer Vielzahl von Ereignisdetektionspixeln wird bereitgestellt. Die Bilderfassungs- und Ereignisdetektionspixel können als Teil verschiedener Arrays von Pixeln bereitgestellt werden oder können innerhalb eines gemeinsamen Arrays von Pixeln enthalten sein. Die Ereignisdetektionspixel werden kontinuierlich betrieben, um das Eintreten von Ereignissen angebende Signale bereitzustellen. Als Reaktion auf eine Detektion eines Ereignisses werden Bilderfassungspixel selektiv betrieben. Der selektive Betrieb der Bilderfassungspixel kann eine Aktivierung von Bilderfassungspixeln innerhalb einer oder mehrerer Regionen von Interesse einschließen, während in einer Region von Interesse nicht enthaltene Bilderfassungspixel ausgeschaltet bleiben. Der selektive Betrieb der Bilderfassungspixel kann die Auswahl einer über ein Array von Bilderfassungspixeln oder innerhalb vorbestimmter Regionen von Interesse verwendeten Frame-Rate einschließen.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Bildgebungsvorrichtung mit sowohl Dynamik-Vision-Sensor- als auch Bildgebungsfähigkeiten.
Hintergrund
In der verwandten Technik wurde eine Festkörper-Bildgebungsvorrichtung vom Synchronisationstyp, die Bilddaten synchron mit einem Synchronisationssignal wie etwa einem vertikalen Synchronisationssignal erfasst, in einer Bildgebungsvorrichtung und dergleichen verwendet. In der typischen Festkörper-Bildgebungsvorrichtung vom Synchronisationstyp ist es notwendig, mit einer hohen Bild- bzw. Frame-Rate zu arbeiten, um Objekte, die sich mit einer hohen Geschwindigkeit bewegen, genau zu erfassen. Die Zeit, die erforderlich ist, um alle Bildgebungselemente aus der Bildgebungsvorrichtung auszulesen, begrenzt jedoch die höchste Frame-Rate, mit der die Bildgebungsvorrichtung arbeiten kann. Dies wiederum begrenzt die Fähigkeit der Bildgebungsvorrichtung, sich schnell bewegende Objekte aufzunehmen bzw. zu erfassen. Somit ist es schwierig, mit Fällen, in denen eine Verarbeitung mit verhältnismäßig hoher Geschwindigkeit gefordert wird, wie etwa auf Gebieten, die eine Verarbeitung mit hoher Geschwindigkeit (z. B. in Echtzeit) erfordern, wie etwa bei autonomen Fahrzeugen, der Robotik und dergleichen zurechtzukommen. In diesem Zusammenhang wird eine Festkörper-Bildgebungsvorrichtung vom Nicht-Synchronisationstyp vorgeschlagen, bei der eine Detektionsschaltung für jedes Pixel vorgesehen ist, um eine Situation, in der eine Änderung eines Lichtempfangsbetrags einen Schwellenwert übersteigt, als ein Adressereignis in Echtzeit zu detektieren. Auf die Festkörper-Bildgebungsvorrichtung vom Nicht-Synchronisationstyp, die das Adressereignis für jedes Pixel detektiert, wird auch als ereignisbasierter Sensor (EBS) verwiesen.
Eine Kamera, die einen EBS und eine reguläre Framebasierte Bildgebung kombiniert, kann bereitgestellt werden. In solch einem System kann die Detektion eines Ereignisses unter Ausnutzung der EBS-Fähigkeiten der Kamera als Auslöser, um den Betrieb der Abbildungs- bzw. Bildgebungsfunktionen der Kamera eizuleiten bzw. zu initiieren, genutzt werden. Solche Systeme haben jedoch zu einer ineffizienten und unzureichenden Datenübertragung und Objektverfolgung mittels der Kamera geführt.
Zusammenfassung
Technisches Problem
Eine Kamera mit einer Kombination aus einem EBS und einer regulären Frame-basierten Bildgebung, worin der Betrieb der Bildgebungsfunktionen als Reaktion auf die Detektion eines Ereignisses ausgelöst wird, kann einige der Beschränkungen bei der Verwendung einer Vorrichtung mit allein regulärer Bildgebung überwinden, um Ereignisse zuverlässig zu detektieren, während ein effizienter Betrieb geliefert wird. Solche Systeme leiden jedoch weiterhin an verschiedenen Mängeln, insbesondere in bestimmten Betriebsszenarien. Beispielsweise kann ein Aktivieren der gesamten Fläche bzw. des gesamten Bereichs eines Bildgebungssensors als Reaktion auf die Detektion eines Ereignisses durch einen EBS-Sensor eine Ineffizienz bei der Datenübertragung herbeiführen, wenn der Bereich des Ereignisses einem Teilbereich oder einer Region des Bild-Frames entspricht. Außerdem kann eine Aktivierung des gesamten Bereichs des Bildgebungssensors einen ineffizienten Leistungsverbrauch zur Folge haben. Als weiteres Beispiel kann ein einfaches Aktivieren eines Bildgebungssensors mit einer standartmäßigen Frame-Rate als Reaktion auf die Detektion eines Objekts zu einer schlechten Abbildung bzw. Bildgebung eines sich schnell bewegenden Objekts führen, wenn die standardmäßige Frame-Rate zu niedrig ist, um das Objekt klar zu erfassen. Wenn umgekehrt die standardmäßige Frame-Rate des Bildgebungssensors höher als ansonsten erforderlich ist, um ein detektiertes Objekt klar abzubilden, wird der Leistungsverbrauch des Bildgebungssensors unnötig hoch.
Die vorliegende Offenbarung stellt daher Kameras, Sensorsysteme, Vorrichtungen und Verfahren bereit, die im Vergleich mit anderen Konfigurationen imstande sind, sowohl Bildgebungs- als auch Ereignisdetektionsfunktionen mit einer verbesserten Bildsensoreffizienz und -effektivität bereitzustellen.
Lösung für das Problem
Gemäß Ausführungsformen und Aspekten der vorliegenden Offenbarung wird eine Kamera oder ein Sensorsystem mit Fähigkeiten oder Funktionen eines EBS und Bildsensors (z. B. roter, grüner, blauer Bildsensor) bereitgestellt. Die EBS- und Bildsensorfähigkeiten können durch separate EBS- und Bildgebungssensorvorrichtungen bereitgestellt werden. Die EBS- und Bilderfassungsfähigkeiten können auch mittels einer Sensorvorrichtung mit kombinierten EBS- und Bildgebungssensorfähigkeiten verwirklicht werden. Eine Sensorvorrichtung mit kombinierten EBS- und Bildgebungssensorfähigkeiten kann eine Sensorvorrichtung mit einem Array von Pixeln enthalten, das sowohl EBS- als auch Bilderfassungspixel enthält. Außerdem kann ein kombinierter EBS- und Bildsensor fotoelektrische Umwandlungsgebiete enthalten, die als Teil von Pixeln vorgesehen sind, die sowohl EBS- als auch Bilderfassungsfunktionen ausführen. Der einfachen Beschreibung halber wird sich die Diskussion hierin auf EBS- und Bildsensorfunktionen beziehen, wie sie von separaten EBS- und Bildsensoren bereitgestellt werden; sofern nicht konkret anders angegeben, sollte es sich jedoch verstehen, dass die EBS- und Bildsensoren in eine einzige Sensorvorrichtung integriert werden können, die die EBS- und Bildsensorfunktionen bereitstellt.
Im Betrieb hat ein durch den EBS-Sensor detektiertes Ereignis eine Aktivierung des Bildsensors zur Folge. Gemäß Ausführungsformen der vorliegenden Offenbarung schließt die Aktivierung des Bildsensors außerdem eine Aktivierung eines ausgewählten Satzes von Pixeln, die in dem Bildsensor oder einem Teilbereich des Bildgebungssensors eines kombinierten EBS- und Bildsensors enthalten sind, statt des gesamten Bereichs des Bildsensors ein. Der ausgewählte Satz von Pixeln kann den Bereich der Szene umfassen, die durch den EBS-Sensor überwacht wird, worin das Ereignis oder die Änderung der Lichtintensität detektiert wurde. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann der Bereich des Bildsensors, der als Reaktion auf die Detektion eines gegebenen Ereignisses aktiviert wird, eine vorbestimmte Größe aufweisen und kann weniger als all die Pixel innerhalb des Bildsensors umfassen. Mehrere Bereiche können während der Erfassung eines Frames von Bilddaten gleichzeitig oder sequentiell aktiviert werden.
Gemäß zumindest einigen Ausführungsformen und Aspekten der vorliegenden Offenbarung kann der Bereich des Bildsensors, der als Reaktion auf die Detektion eines Ereignisses durch den EBS-Sensor aktiviert wird, variieren. Beispielsweise kann ein Ereignis, das einem Objekt entspricht, das als sich in Bezug auf den EBS-Sensor bewegend bestimmt wird, die Aktivierung eines größeren Bereichs des Bildsensors als bei einer Aktivierung, wenn ein Ereignis mit einem sich langsam bewegenden Objekt verbunden ist, zur Folge haben. Gemäß weiteren Ausführungsformen und Aspekten der vorliegenden Offenbarung führt ein die Detektion eines Ereignisses hervorrufendes Objekt, das sich verhältnismäßig schnell bewegt, zur Aktivierung eines größeren Bereichs des Bildsensors als ein Objekt, das sich verhältnismäßig langsam bewegt. Die Form des aktivierten Bereichs kann basierend auf Charakteristiken des durch den EBS-Sensor detektierten Objekts ebenfalls variiert werden. Beispielsweise kann ein aktivierter Bereich entlang einer Richtung, in die sich ein Objekt nachweislich oder voraussichtlich bewegt, langgestreckt sein.
Gemäß noch weiteren Ausführungsformen und Aspekten der vorliegenden Offenbarung kann eine Frame-Rate des Bildsensors basierend auf Charakteristiken eines durch den EBS-Sensor detektierten Objekts variiert werden. Diese Charakteristiken können eine bestimmte Änderungsrate des Objekts einschließen. Beispielsweise kann der Bildsensor mit einer verhältnismäßigen niedrigen Frame-Rate betrieben werden, wenn sich ein detektiertes Objekt langsam bewegt. Der Bildsensor kann mit einer verhältnismäßig hohen Frame-Rate betrieben werden, wenn sich ein detektiertes Objekt schnell bewegt.
Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können die Charakteristiken eines durch den EBS-Sensor detektierten Objekts in Verbindung mit einer Bestimmung der Betriebsparameter des Bildsensors analysiert werden. Beispielsweise kann ein neuronales Netzwerk oder eine andere Einrichtung zur Entscheidungsfindung bestimmen, ob ein detektiertes Ereignis durch ein Objekt innerhalb einer gewünschten Objektkategorie ausgelöst wurde. Falls eine gewünschte Objektkategorie detektiert wurde, kann die Region von Interesse, die vom gewünschten Objekt eingenommen wird oder es umgibt, auf dem Bildsensor abgebildet werden und kann dieser Bereich des Bildsensors aktiviert werden. Weitere Maßnahmen können dann ergriffen werden. Zum Beispiel können Daten vom aktivierten Bereich des Bildsensors, der der Region von Interesse entspricht, beispielsweise durch ein neuronales Netzwerk oder eine andere Einrichtung zur Entscheidungsfindung analysiert werden, um eine Objekterkennung, eine Objektklassifizierung, eine Gestenerkennung oder dergleichen durchzuführen.
Im Allgemeinen ist es wünschenswert, einen Betrieb des Bildsensors zu unterbrechen bzw. einzustellen und nur zum EBS-Sensorbetrieb zurückzukehren, um Leistung zu sparen. Ausführungsformen und Aspekte der vorliegenden Offenbarung können einen Betrieb des Bildsensors einstellen und das System zu einem EBS-Modus zurückführen, wenn bestimmte Bedingungen erfüllt sind. Diese können einschließen, dass, nachdem eine Bestimmung vorgenommen wurde, sich nichts Interessantes ereignet. Beispielsweise kann eine Abbildung bzw. Bildgebung eines Objekts eingestellt werden und kann der Bildsensor in einen Schlafmodus zurückgeführt werden, nachdem ein Objekt, das sich vorher bewegte, gestoppt hat. Ein Bildsensorbetrieb kann auch eingestellt werden, nachdem ein Objekt identifiziert worden ist und bestimmt wird, dass eine fortgesetzte Abbildung des identifizierten Objekts nicht erforderlich oder erwünscht ist. Als ein weiteres Beispiel kann ein Bildsensorbetrieb eingestellt werden, nachdem sich ein Objekt aus der abgebildeten Szene herausbewegt hat. Als noch ein weiteres Beispiel kann ein Bildsensorbetrieb eingestellt werden, nachdem eine vorbestimmte Zeitspanne verstrichen ist. Gemäß Ausführungsformen der vorliegenden Offenbarung kann ein EBS-Sensorbetrieb durchgehend aktiv bleiben, unabhängig davon, ob der Bildsensorbetrieb aktiv ist oder nicht.
Die vorliegende Offenbarung kann Kameras, Systeme oder Vorrichtungen mit ereignisbasierten Erfassungs- und Bildgebungsfähigkeiten bereitstellen, die einen Leistungsverbrauch, eine Datenübertragung und die Datenverarbeitungseffizienz verbessern können.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[2] 2 ist eine Ansicht, die ein Beispiel einer Laminierungsstruktur eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[3] 3 ist ein Blockdiagramm, das ein Funktionskonfigurationsbeispiel eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[4] 4 veranschaulicht ein Array-Beispiel von Einheitspixeln gemäß Ausführungsformen der vorliegenden Offenbarung im Fall der Verwendung eines Bayer-Arrays in einem Farbfilter-Array.
[5A] 5A veranschaulicht Aspekte eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung.
[5B] 5B veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5C] 5C veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5D] 5D veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5E] 5E veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[5F] 5F veranschaulicht Aspekte eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
[6A] 6A ist ein Schaltungsdiagramm, das ein spezifisches Konfigurationsbeispiel eines Einheitspixels mit kombinierten Ereignisdetektions- und Bildsensorfunktionen gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[6B] 6B ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel einer Gruppe von Bilderfassungspixeln gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[6C] 6C ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Ereignisdetektionspixels gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[7] 7 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel einer Adressereignis-Detektionseinheit gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[8] 8 ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Subtrahierers und eines Quantisierers gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[9] 9 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Spalten-ADC gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[10A] 10A ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[10B] 10B ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[11] 11 ist ein Flussdiagramm, das ein Beispiel des Betriebs einer Bildgebungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
[12A] 12A ist eine Draufsicht eines Teilbereichs eines Pixel-Arrays und stellt Aspekte des Betriebs eines Bildgebungssystems gemäß Ausführungsformen der vorliegenden Offenbarung dar.
[12B] 12B ist eine Draufsicht eines Teilbereichs eines Pixel-Arrays und stellt andere Aspekte des Betriebs eines Bildgebungssystems gemäß Ausführungsformen der vorliegenden Offenbarung dar.
[12C] 12C ist eine Draufsicht eines Teilbereichs eines Pixel-Arrays und stellt andere Aspekte des Betriebs eines Bildgebungssystems gemäß Ausführungsformen der vorliegenden Offenbarung dar.
[12D] 12D ist eine Draufsicht eines Teilbereichs eines Pixel-Arrays und stellt andere Aspekte des Betriebs eines Bildgebungssystems gemäß Ausführungsformen der vorliegenden Offenbarung dar.
[12E] 12E ist eine Draufsicht eines Teilbereichs eines Pixel-Arrays und stellt andere Aspekte des Betriebs eines Bildgebungssystems gemäß Ausführungsformen der vorliegenden Offenbarung dar.
[13] 13 stellt Operationen dar, die von einer Bildgebungsvorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung durchgeführt werden können.
[14] 14 stellt Operationen dar, die von einer Bildgebungsvorrichtung gemäß anderen Ausführungsformen der vorliegenden Offenbarung durchgeführt werden können.
[15] 15 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuerungssystems veranschaulicht.
[16] 16 ist eine Ansicht, die ein Beispiel einer Installationsposition einer Einheit zur Detektion von Informationen von außerhalb des Fahrzeugs und einer Bildgebungseinheit veranschaulicht.

Beschreibung von Ausführungsformen
Auf der Basis der beiliegenden Zeichnungen werden hierin im Folgenden Ausführungsformen der vorliegenden Offenbarung in Detail beschrieben. Darüber hinaus wird in den folgenden Ausführungsformen die gleiche Bezugsziffer für den gleichen oder äquivalenten Teilbereich oder das gleiche oder äquivalente Element vergeben und wird eine redundante Beschreibung davon unterlassen.
Ein typischer ereignisbasierter Sensor (EBS) wendet ein sogenanntes ereignisgetriebenes Ansteuerverfahren, bei dem das Vorhandensein einer Adressereignis-Zündung (engl.: address event ignition) für jedes beliebige Einheitspixel detektiert wird und ein Pixelsignal von einem Einheitspixel ausgelesen wird, in dem die Information einer Adressereignis-Zündung und Zündungszeit detektiert wird. Ein EBS- oder Ereignisdetektionssensor reagiert asynchron auf eine Änderung der Intensität. Die Intensitätsänderung ist mit einer Änderung des Fotostroms korreliert, und, falls diese Änderung einen konstanten Schwellenwert übersteigt, kann sie als Ereignis detektiert werden.
Ein Bildsensor arbeitet bzw. dient dazu, eine Ansicht oder ein Bild einer Szene aufzunehmen bzw. zu erfassen. Pixel innerhalb eines Arrays von Pixeln liefern Informationen in Bezug auf die Intensität des Lichts, das von einem Bereich einer Szene von einer Abbildungslinse oder Linsenanordnung empfangen wird, die zusammen mit dem Array von Pixeln ein Sichtfeld des Sensors definiert. In einer typischen Implementierung sind Pixel innerhalb des Arrays empfindlich für Licht verschiedener Wellenlängen, was ermöglicht, dass Farbinformationen erfasst werden. Beispielsweise können die Pixel in Vierergruppen angeordnet sein, wobei eines der Pixel für rotes Licht empfindlich ist, zwei der Pixel für grünes Licht empfindlich sind und ein Pixel für blaues Licht empfindlich ist. Dementsprechend sind solche Sensoren als RGB-Sensoren allgemein bekannt. Andere Farbempfindlichkeitsanordnungen wie etwa Cyan, Magenta und Gelb (CMY) können ebenfalls verwendet werden. Die unterschiedlichen Wellenlängenempfindlichkeiten können auf verschiedene Weisen wie etwa unter Verwendung von Farbfiltern oder durch Konfigurieren von Pixeln als gestapelte Bildsensorpixel erreicht werden.
Wie hierin verwendet repräsentiert ein Einheitspixel eine minimale Einheit eines Pixels oder ein Einheitspixel, das ein fotoelektrisches Umwandlungselement (worauf auch als „lichtempfangendes Element“ verwiesen wird) enthält, und kann als ein Beispiel jedem Punkt in Bilddaten entsprechen, die aus einem Bildsensor ausgelesen werden. Außerdem repräsentiert das Adressereignis ein Ereignis, das für jede Adresse eintritt, die jedem einer Vielzahl der Einheitspixel zugeordnet werden kann, die in Form eines zweidimensionalen Gitters angeordnet sind.
1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 1 veranschaulicht ist, enthält beispielsweise eine Bildgebungsvorrichtung 100 eine Bildgebungs- bzw. Abbildungslinse 110, eine Festkörper-Bildgebungsvorrichtung oder einen Bildsensor 200, eine Aufzeichnungseinheit 120, eine Kommunikationsschnittstelle 124 und ein Prozessorsystem oder Steuerungssystem 130. Die verschiedenen Komponenten der Bildgebungsvorrichtung 100 können durch einen Kommunikationsbus 128 oder Signalleitungen miteinander verbunden sein. Als Beispiele kann die Bildgebungsvorrichtung 100 als Kamera, die in einem Industrieroboter montiert ist, in einem Fahrzeug montierte Kamera oder als Teil davon oder als ein Teil von oder in Verbindung mit anderen Vorrichtungen oder Instrumenten vorgesehen sein.
Die Abbildungslinse 110 kann ein optisches System umfassen, das Licht von innerhalb eines Sichtfeldes 114 sammelt. Das gesammelte oder einfallende Licht wird auf eine lichtempfangende Oberfläche des Bildsensors 200 gerichtet (z. B. gebündelt). Insbesondere kann die Abbildungslinse 110 Licht von innerhalb eines ausgewählten Bereichs einer Szene sammeln, indem das Sichtfeld 114 so ausgerichtet wird, dass es diesen Teilbereich der Szene umfasst. Die lichtempfangende Oberfläche ist eine Oberfläche eines Substrats, auf dem fotoelektrische Umwandlungselemente von Pixeln 310, die im Bildsensor 200 enthalten sind, angeordnet sind. Der Bildsensor 200 wandelt das einfallende Licht fotoelektrisch um, um Bilddaten zu erzeugen. Wie hierin diskutiert kann der Bildsensor 200 verschiedene Sätze fotoelektrischer Umwandlungselemente enthalten, die auf den gleichen oder verschiedenen Substraten angeordnet sind. Außerdem kann der Bildsensor 200 fotoelektrische Umwandlungselemente enthalten, die eine einzige oder mehrere Funktionen ausführen. Diese Funktionen können Ereignisdetektions- und Abbildungs- bzw. Bildgebungsfunktionen umfassen. Außerdem kann der Bildsensor 200 eine vorbestimmte Signalverarbeitung wie etwa eine Rauschentfernung und eine Einstellung eines Weißabgleichs in Bezug auf die erzeugten Bilddaten ausführen. Ein Ergebnis, das durch die Signalverarbeitung erhalten wird, und ein Detektionssignal, das das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung und eine Zündzeitpunktinformation angibt, können vom Bildsensor 200 an das Prozessorsystem 130 ausgegeben werden. Ein Verfahren zum Erzeugen des Detektionssignals, das das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angibt, wird später beschrieben.
Das Aufzeichnungssystem 120 wird zum Beispiel von einem Flash-Speicher, einem dynamischen Direktzugriffsspeicher (DRAM), einem statischen Direktzugriffsspeicher (SRAM) oder dergleichen gebildet und zeichnet vom Bildsensor 200 bereitgestellte Daten auf.
Das Prozessorsystem 130 wird zum Beispiel von einer zentralen Verarbeitungseinheit (CPU) und dergleichen gebildet. Beispielsweise kann das Prozessorsystem 130 einen oder mehrere Mehrzweck-Prozessoren, Controller, feldprogrammierbare Gate-Arrays (FPGAs), Grafikverarbeitungseinheiten (GPUs), anwendungsspezifische integrierte Schaltungen (ASIC) oder Kombinationen davon enthalten. Außerdem kann das Prozessorsystem 130 eine Anwendungsprogrammierung oder Routinen ausführen, die als Software oder Firmware in einem Speicher oder einem Datenspeicher gespeichert sind, der im Prozessorsystem 130 enthalten oder damit verbunden ist, um verschiedene Funktionen und Verfahren wie darin beschrieben auszuführen. Beispielsweise kann das Prozessorsystem 130 vom Bildsensor 200 ausgegebene Daten verarbeiten. Wie hierin beschrieben ist, kann beispielsweise das Prozessorsystem 130 Ereignisdetektionssignale verarbeiten, die durch die EBS-Sensorfunktion oder einen Teilbereich des Bildsensors 200 abgegeben werden, und kann die Bildgebungssensorfunktion oder einen Teilbereich der Festkörper-Bildgebungsvorrichtung zumindest teilweise als Reaktion auf die Ereignisdetektionssignale steuern. Das Prozessorsystem 130 kann zusätzlich zum Bildsensor 200 auch Komponenten der Bildgebungsvorrichtung 100 wie etwa den Betrieb der Aufzeichnungseinheit 120, der Kommunikationsschnittstelle 124, Fokussier- und Blendenoperationen, die durch die Abbildungslinse 110 unterstützt werden könnten, und dergleichen steuern. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann das Prozessorsystem 130 fortgeschrittene Verarbeitungsfähigkeiten einschließlich, nicht aber darauf beschränkt, eines neuronalen Netzwerks und Fähigkeiten und Funktionen künstlicher Intelligenz wie hierin beschrieben verwirklichen.
Als Nächstes wird mit Verweis auf die beiliegenden Zeichnungen ein Konfigurationsbeispiel des Bildsensors 200 beschrieben.
2 ist eine Ansicht, die ein Beispiel einer Laminierungsstruktur eines Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 2 veranschaulicht ist, kann der Bildsensor 200 eine Struktur aufweisen, in der ein lichtempfangender Chip 201 und ein Logik-Chip 202 vertikal laminiert sind. Eine dem Logik-Chip 202 entgegengesetzte Seite des lichtempfangenden Chips 201 ist eine lichtempfangende Oberfläche 204. Beim Verbinden des lichtempfangenden Chips 201 und des Logik-Chips 202 kann beispielsweise ein sogenanntes direktes Verbinden genutzt werden, bei dem die Verbindungsoberflächen der Chips planarisiert werden und die Chips mit der Kraft zwischen Elektronen laminiert werden. Jedoch besteht keine diesbezügliche Beschränkung und können beispielsweise ein sogenanntes Cu-Cu-Verbinden, bei dem auf Verbindungsoberflächen ausgebildete Elektroden-Pads aus Kupfer (Cu) gebondet werden, Kontakthöcker-Bonden und dergleichen ebenfalls genutzt werden.
Außerdem sind der lichtempfangende Chip 201 und der Logik-Chip 202 beispielsweise durch einen Verbindungsteilbereich wie etwa eine Silizium-Durchkontaktierung (TSV) (engl.: through-silicon via), die durch ein Halbleitersubstrat hindurchgeht, elektrisch miteinander verbunden. Bei der Verbindung unter Verwendung der TSV können beispielsweise ein sogenanntes Zwillings-TSV-Verfahren, bei dem zwei TSVs, die eine TSV, die im lichtempfangenden Chip 201 ausgebildet ist, und eine TSV, die vom lichtempfangenden Chip 201 zum Logik-Chip 202 ausgebildet ist, umfassen, auf äußeren Oberflächen des Chips miteinander verbunden werden, ein sogenanntes Verfahren mit gemeinsam genutzter TSV, bei dem der lichtempfangende Chip 201 und der Logik-Chip 202 mit einer TSV verbunden sind, die durch die beiden Chips hindurchgeht, und dergleichen verwendet werden.
Falls die Cu-Cu-Verbindung oder die Kontakthöcker-Verbindung beim Verbinden des lichtempfangenden Chips 201 und des Logik-Chips 202 genutzt wird, sind jedoch sowohl der lichtempfangende Chip 201 als auch der Logik-Chip 202 durch eine Cu-Cu-Verbindungsstelle oder eine Kontakthöcker-Verbindungsstelle elektrisch miteinander verbunden.
Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, kann eine Bildgebungsvorrichtung 200, die als verbundene Chips für den Lichtempfang 201 und die Logik 202 verwirklicht ist, Komponenten des Bildsensors 200 enthalten, die als Teil des lichtempfangenden Chips 201 angeordnet sind, wobei ein gewisser Teil der oder alle Komponenten des Prozessorsystems 130 als Teil des Logik-Chips 202 angeordnet ist oder sind. Andere Komponenten wie etwa die Aufzeichnungseinheit 120 und Komponenten der Kommunikationsschnittstelle können auf einen der oder beide Chips 201 und 202 verteilt sein. Gemäß noch anderen Ausführungsformen kann ein Datenspeicher oder ein anderer Chip mit dem lichtempfangenden Chip 201 laminiert und dem Logik-Chip 202 elektrisch verbunden sein. Außerdem kann der lichtempfangende Chip mehrere Substrate umfassen, die mit jeweiligen Logik-Chips oder mit einem gemeinsamen Logik-Chip 202 verbunden sind, wenn der Bildsensor 200 beispielsweise mehrere Sensorvorrichtungen enthält.
3 ist ein Blockdiagramm, das ein Funktionskonfigurationsbeispiel des Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 3 veranschaulicht ist, kann der Bildsensor 200 eine Ansteuerungsschaltung 211, einen Signalprozessor 212, einen Arbiter 213, einen Spalten-ADC 220 und ein Pixel-Array 300 enthalten. Einige der oder alle Komponenten können ganz oder teilweise in das Prozessorsystem 130 integriert oder durch dieses verwirklicht sein.
Eine Vielzahl von Einheitszellen oder -pixeln 310, auf die hierin auch einfach als Pixel 310 verwiesen wird, ist im Pixel-Array 300 angeordnet. Details der Einheitspixel 310 werden später beschrieben. Beispielsweise enthält jedes der Einheitspixel 310 ein fotoelektrisches Umwandlungselement wie etwa eine Fotodiode und eine Schaltung, die ein Pixelsignal mit einem Spannungswert erzeugt, der der Ladungsmenge entspricht, die im fotoelektrischen Umwandlungselement erzeugt wird, worauf hier im Folgenden als Pixel-Schaltung verwiesen wird. Außerdem kann, wie an anderer Stelle hierin detaillierter beschrieben wird, die Pixel-Schaltung eine oder beide einer ersten oder Bildgebungssignal-Erzeugungsschaltung und einer zweiten oder Adressereignis-Detektions-Erzeugungsschaltung enthalten. Jedes fotoelektrische Umwandlungselement kann mit einer jeweiligen Pixel-Schaltung verbunden sein oder mehrere fotoelektrische Umwandlungselemente können mit einer gemeinsamen Pixel-Schaltung verbunden sein.
In diesem Beispiel ist die Vielzahl von Einheitspixeln 310 im Pixel-Array 300 in Form eines zweidimensionalen Gitters angeordnet. Die Vielzahl von Einheitspixeln 310 kann in eine Vielzahl von Pixel-Blöcken oder -Gruppen gruppiert sein, die jeweils eine vorbestimmte Anzahl an Einheitspixeln enthalten. Im Folgenden wird hierin auf eine Anordnung von Einheitspixeln, die in einer horizontalen Richtung angeordnet sind, als „Reihe“ verwiesen und wird auf eine Anordnung von Einheitspixeln, die in einer zur Reihe orthogonalen Richtung angeordnet sind, als „Spalte“ verwiesen.
Jedes der Einheitspixel 310 erzeugt Ladungen entsprechend einer Lichtmenge, die am jeweiligen fotoelektrischen Umwandlungselement empfangen wird. Außerdem können zumindest einige der Einheitspixel 310 betrieben werden, um das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung darauf basierend zu detektieren, ob ein Wert eines Stroms (worauf hier im Folgenden als Fotostrom verwiesen wird), der durch im fotoelektrischen Umwandlungselement erzeugte Ladungen erzeugt wird, oder dessen Variationsbetrag einen vorbestimmten Schwellenwert übersteigt oder nicht. Wenn das Adressereignis gezündet wird, wird ein Signal an den Arbiter 213 abgegeben.
Der Arbiter 213 entscheidet über Anfragen, die von den Einheitspixeln 310 empfangen werden, die die Ereignisdetektionsfunktion ausführen, und sendet eine vorbestimmte Antwort an das Einheitspixel 310, das die Anfrage stellt, auf der Basis des Entscheidungsergebnisses. Das Einheitspixel 310, das die Antwort empfängt, stellt der Ansteuerungsschaltung 211 und dem Signalprozessor 212 ein das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angebendes Detektionssignal (worauf hier im Folgenden einfach als „Adressereignis-Detektionssignal“ verwiesen wird) bereit.
Die Ansteuerungsschaltung 211 steuert jedes der Einheitspixel 310 an und ermöglicht jedem der Einheitspixel 310, ein Pixelsignal an den Spalten-ADC 220 abzugeben.
Für jede Spalte von Einheitspixeln 310 wandelt der Spalten-ADC 220 ein analoges Pixelsignal von der Spalte in ein digitales Signal um. Außerdem stellt der Spalten-ADC 220 dem Signalprozessor 212 ein durch die Umwandlung erzeugtes digitales Signal bereit.
Der Signalprozessor 212 führt eine vorbestimmte Signalverarbeitung wie eine Verarbeitung einer korrelierten Doppelabtastung (CDS) (Rauschentfernung) und eine Einstellung eines Weißabgleichs in Bezug auf das vom Spalten-ADC 220 übertragene digitale Signal aus. Außerdem stellt der Signalprozessor 212 über die Signalleitung 209 der Aufzeichnungseinheit 120 ein Signalverarbeitungsergebnis und ein Adressereignis-Detektionssignal bereit.
Die Einheitspixel 310 innerhalb der Pixel-Arrayeinheit 300 können in Pixel-Gruppen 314 angeordnet sein. In der in 3 veranschaulichten Konfiguration wird beispielsweise die Pixel-Arrayeinheit 300 von Pixel-Gruppen 314 gebildet, die eine Anordnung von Einheitspixeln 310 enthalten, die Wellenlängenkomponenten empfangen, die notwendig sind, um eine Farbinformation aus einer Szene zu rekonstruieren. Falls beispielsweise eine Farbe auf der Basis der drei Primärfarben RGB rekonstruiert wird, können in der Pixel-Arrayeinheit 300 optische Farbfiltermaterialien auf die Pixel entsprechend einem vorbestimmten Farbfilter-Array abgeschieden sein, um zu steuern, dass Licht gewünschter Wellenlängen eine Pixel-Oberfläche erreicht. Konkret sind ein Einheitspixel 310, das Licht roter (R) Farbe empfängt, ein Einheitspixel 310, das Licht grüner (G) Farbe empfängt und ein Einheitspixel 310, das Licht blauer (B) Farbe empfängt, in Gruppen 314a gemäß dem vorbestimmten Farbfilter-Array angeordnet.
Beispiele der Konfigurationen eines Farbfilter-Arrays umfassen verschiedene Arrays oder Pixel-Gruppen wie etwa ein Bayer-Array aus 2 x 2 Pixeln, ein Farbfilter-Array aus 3 x 3 Pixeln, das in einem X-Trans (eingetragenes Warenzeichen) CMOS-Sensor verwendet wird (worauf hier im Folgenden auch als „Array vom X-Trans-(eingetragenes Warenzeichen)Typ“ verwiesen wird), ein Quad-Bayer-Array aus 4 x 4 Pixeln (worauf auch als „Quadra-Array“ verwiesen wird) und ein Farbfilter-Array aus 4 x 4 Pixeln, worin ein Weiß-RGB-Farbfilter zum Bayer-Array kombiniert ist (worauf hier im Folgenden auch als „Weiß-RGB-Array“ verwiesen wird). Außerdem können, und wie an anderer Stelle hierin später diskutiert wird, Ereignisdetektionspixel innerhalb des Pixel-Arrays 300 eingestreut oder enthalten sein. Wie hier in anderer Stelle ebenfalls detaillierter diskutiert wird, können die Ereignisdetektionspixel als dedizierte Ereignisdetektionspixel, die nur eine Ereignisdetektionsfunktion ausführen, oder als kombinierte Ereignisdetektions- und Bilderfassungspixel, die sowohl Ereignisdetektions- als auch Bildsensorfunktionen ausführen, bereitgestellt werden.
4 ist eine schematische Ansicht, die ein Array-Beispiel von Einheitspixeln 310 im Fall der Verwendung von Pixel-Gruppen 314 mit einer Anordnung von Einheitspixeln 310 und zugehörigen Farbfiltern im Farbfilter-Array veranschaulicht, das so konfiguriert ist, dass es eine Vielzahl von Bayer-Arrays 310A bildet. Wie in 4 veranschaulicht ist, ist im Fall der Verwendung des Bayer-Arrays als die Konfiguration eines Farbfilter-Arrays im Pixel-Array 300 ein Grundmuster 310A, das insgesamt vier Einheitspixel 310 von 2 x 2 Pixeln enthält, wiederholt in einer Spaltenrichtung und Reihenrichtung angeordnet. Beispielsweise wird das Grundmuster 310A von einem Einheitspixel 310R, das einen Farbfilter 401 roter (R) Farbe enthält, einem Einheitspixel 310Gr, das einen Farbfilter 401 grüner (Gr) Farbe enthält, einem Einheitspixel 310Gb, das einen Farbfilter 401 grüner (Gb) Farbe enthält, und einem Einheitspixel 310B gebildet, das einen Farbfilter 401 blauer (B) Farbe enthält.
5A - 5D stellen verschiedene Konfigurationsbeispiele einer Bildgebungsvorrichtung 100 und insbesondere Anordnungen von Pixeln einer Festkörper-Bildgebungsvorrichtung oder eines Bildsensors 200 gemäß Ausführungsformen der vorliegenden Offenbarung dar. Insbesondere stellt 5A einen Bildsensor 200 dar, der einen ersten oder EBS-Sensor 530, der ein Array 300 von Pixeln 310 in der Form von Adressereignis-Detektionspixeln 503 enthält, die auf einem ersten lichtempfangenden Chip oder Substrat 201a angeordnet sind, und einen zweiten oder Bildgebungssensor 540 aufweist, der ein Array 300 von Pixeln 310 in der Form von Bilderfassungspixeln 502 enthält, die auf einem zweiten lichtempfangenden Chip oder Substrat 201b angeordnet sind. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, kann eine Bildgebungsvorrichtung 100, die separate EBS-Sensoren 530 und Bildgebungssensoren 540 enthält, mit separaten Linsenanordnungen 110 konfiguriert sein, die Licht von innerhalb der gleichen oder ähnlicher Sichtfelder sammeln, oder kann mit einer gemeinsam genutzten Linsenanordnung 110 konfiguriert sein, die Licht über einen Strahlteiler zu den Sensoren 530 und 540 lenkt. Gemäß Ausführungsformen der vorliegenden Offenbarung kann die Anzahl an im EBS-Sensor 530 enthaltenen Adressereignis-Detektionspixeln 503 gleich der Anzahl an im Bildgebungssensor 540 enthaltenen Bilderfassungspixeln 502 sein. Außerdem kann die Fläche bzw. der Bereich jedes Adressereignis-Detektionspixels 503 der gleiche wie der Bereich jedes Bilderfassungspixels 502 sein. Alternativ dazu können der EBS-Sensor 530 und der Bildgebungssensor 540 eine unterschiedliche Anzahl an Pixeln 310 aufweisen. Beispielsweise kann der Bildsensor 200 einen EBS-Sensor 530, der eine verhältnismäßig geringe Anzahl an Adressereignis-Detektionspixeln 503 aufweist, wodurch eine verhältnismäßig geringe Auflösung bereitgestellt wird, und einen Bildgebungssensor 540 enthalten, der eine verhältnismäßig hohe Anzahl an Bilderfassungspixeln 502 aufweist, wodurch eine verhältnismäßig hohe Auflösung bereitgestellt wird. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5B stellt einen Bildsensor 200 mit Pixeln 310 dar, die als kombinierte oder gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 konfiguriert sind, die auf einem einzigen lichtempfangenden Chip oder Substrat 201 angeordnet sind. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 selektiv in Ereignisdetektions- oder Bilderfassungsmodi betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden, wobei einige Pixel im Ereignisdetektionsmodus arbeiten und einige Pixel im Bilderfassungsmodus arbeiten.
5C stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das eine Vielzahl von Ereignisdetektionspixeln 503 und eine Vielzahl von Bilderfassungspixeln 502 enthält, die auf dem gleichen lichtempfangenden Chip oder Substrat 201 ausgebildet sind. In dem veranschaulichten Beispiel liegt die Mehrheit der Einheitspixel in der Form von Bilderfassungspixeln 502 vor, wobei eine geringere Anzahl an Ereignisdetektionspixeln 503 unter den Bilderfassungspixeln 502 angeordnet ist. Jedoch kann ein Bildsensor 200 mit sowohl Ereignisdetektionspixeln 503 als auch Bilderfassungspixeln 502, die auf demselben lichtempfangenden Chip oder Substrat 201 angeordnet sind, die gleiche Anzahl an Pixeln 502 und 503 enthalten oder kann mehr Ereignisdetektionspixel 503 als Bilderfassungspixel 502 aufweisen. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5D stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 und Gruppen von Bilderfassungspixeln 502 enthält, die auf demselben lichtempfangenden Chip oder Substrat 201 ausgebildet sind. Die einzelnen Gruppen können als Bayer-Arrays konfiguriert sein, die sich zwischen Bayer-Array-Gruppen der gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 und Bayer-Array-Gruppen der Bilderfassungspixel 502 abwechseln. Dementsprechend ist 5D ein Beispiel eines Bildsensors 200, in dem unterschiedliche, gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 auf Licht innerhalb unterschiedlicher Wellenlängenbereiche reagieren können. Beispielsweise können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 mit Farbfiltern verbunden sein. Alternativ dazu können die gemeinsam genutzten Pixel 501 alle Licht innerhalb des gleichen Wellenlängenbereichs empfangen. Obgleich eine gleiche Anzahl an Gruppen, die eine gleiche Anzahl jeweiliger Pixel 310 enthalten, dargestellt ist, sind andere Konfigurationen möglich. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 in Ereignisdetektions- oder Bilderfassungsmodi selektiv betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5E stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 und Gruppen von Ereignisdetektionspixeln 503 enthält, die auf demselben lichtempfangenden Chip oder Substrat 201 ausgebildet sind. Die einzelnen Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel können als Bayer-Arrays konfiguriert sein, die sich mit Gruppen von Ereignisdetektionspixeln 503 abwechsein. Obgleich eine gleiche Anzahl an Gruppen, die eine gleiche Anzahl jeweiliger Pixel 310 enthalten, in der Figur dargestellt ist, sind andere Konfigurationen möglich. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 in Ereignisdetektions- oder Bilderfassungsmodi selektiv betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
5F stellt einen Bildsensor 200 mit einem Array von Einheitspixeln 310 dar, das Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501, Gruppen von Bilderfassungspixeln 502 und Gruppen von Ereignisdetektionspixeln 503 enthält, die alle auf demselben lichtempfangenden Chip oder Substrat 201 ausgebildet sind. Einige der oder alle individuellen Gruppen von Pixeln können als Bayer-Arrays konfiguriert sein. Beispielsweise können in zumindest einer beispielhaften Konfiguration Gruppen gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 und Gruppen von Bilderfassungspixeln als Bayer-Arrays konfiguriert sein, während jedes der Ereignisdetektionspixel 503 dafür konfiguriert sein kann, Licht aus demselebn Wellenlängenbereich zu empfangen. Beispielsweise können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 und die Bilderfassungspixel mit Farbfiltern verbunden sein und können die Ereignisdetektionspixel 503 ohne Farbfilter vorliegen. Obwohl eine Anordnung, in der 1/2 der Pixel 310 gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 501 sind, 1/4 der Pixel 310 Bilderfassungspixel 502 sind und 1/4 der Pixel 310 Ereignisdetektionspixel 503 sind, sind andere Konfigurationen möglich. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 selektiv in Ereignisdetektions- oder Bilderfassungsmodi betrieben werden. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können außerdem Ereignisdetektions- und Bilderfassungsoperationen gleichzeitig durchgeführt werden.
Als Nächstes wird ein Konfigurationsbeispiel eines Einheitspixels 310 beschrieben. 6A ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel des Einheitspixels 310 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung und insbesondere gemäß Ausführungsformen veranschaulicht, die Pixel 310 enthalten, die als kombinierte oder gemeinsam genutzte Ereignisdetektions-(EBS-) und Bildsensor-(IS-)Pixel 501 konfiguriert sind, die sowohl Ereignisdetektions- als Bildsensorfunktionen ausführen. Wie in 6A veranschaulicht ist, enthält das Einheitspixel 310 beispielsweise eine Pixelbildgebungssignal-Erzeugungseinheit (oder Ausleseschaltung) 320, eine lichtempfangende Einheit 330 und eine Adressereignis-Detektionseinheit (oder Ausleseschaltung) 400. Gemäß zumindest einer beispielhaften Ausführungsform kann die Ereignisdetektions-Ausleseschaltung 400 einen Betrieb der Bildsignalerzeugungs-Ausleseschaltung 320 basierend auf einer durch ein fotoelektrische Umwandlungselement (oder fotoelektrisches Umwandlungsgebiet) 333 erzeugten Ladung und basierend auf einem Betrieb der Logik-Schaltung 210 auslösen. Die Logik-Schaltung 210 in 6A ist eine Logik-Schaltung, die zum Beispiel die Ansteuerungsschaltung 211, den Signalprozessor 212 und den Arbiter 213 in 3 enthält. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann die Logik-Schaltung im Prozessorsystem 130 implementiert sein. Wie hierin an anderer Stelle detaillierter beschrieben wird, kann die Logik-Schaltung 210 basierend auf der Ausgabe der Ereignisdetektions-Ausleseschaltung 400 oder Ausgabe anderer Ereignisdetektions-Ausleseschaltungen 400 Bestimmungen diesbezüglich vornehmen, ob ein Betrieb der Bildsignalerzeugungs-Ausleseschaltung 320 oder der Betrieb der Bildsignal-Erzeugungsschaltungen 320, die mit anderen Einheitspixeln 310 verbunden sind, ausgelöst werden soll.
Beispielsweise enthält die lichtempfangende Einheit 330 einen ersten oder Bildgebungs-Übertragungstransistor oder - Gate (erster Transistor) 331, einen zweiten oder Adressereignis-Detektions-Übertragungstransistor oder -Gate (zweiter Transistor) 332 und ein fotoelektrisches Umwandlungselement 333. Ein erstes Übertragungs- oder Steuerungssignal TG1, das von der Ansteuerungsschaltung 211 übertragen wird, wird einem Gate des Übertragungstransistors 331 der lichtempfangenden Einheit 330 selektiv bereitgestellt, und ein zweites Übertragungs- oder Steuerungssignal TG2, das von der Ansteuerungsschaltung 211 übertragen wird, wird einem Gate des zweiten Übertragungstransistors 332 selektiv bereitgestellt. Ein Ausgang durch den ersten Übertragungstransistor 331 der lichtempfangenden Einheit 330 ist mit der Pixelbildgebungssignal-Erzeugungseinheit 320 verbunden, und ein Ausgang durch den zweiten Übertragungstransistor 332 ist mit der Adressereignis-Detektionseinheit 400 verbunden.
Die Pixelbildgebungssignal-Erzeugungseinheit 320 kann einen Rücksetztransistor (dritter Transistor) 321, einen Verstärkungstransistor (vierter Transistor) 332, einen Auswahltransistor (fünfter Transistor) 323 und eine Floating-Diffusionsschicht (FD) 324 enthalten.
Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung werden der erste Übertragungstransistor 331 und der zweite Übertragungstransistor 332 der lichtempfangenden Einheit 330 beispielsweise unter Verwendung eines MetallOxid-Halbleiter-(MOS-)Transistors vom N-Typ (worauf hier im Folgenden einfach als „NMOS-Transistor“ verwiesen wird) gebildet. Ähnlich werden der Rücksetztransistor 321, der Verstärkungstransistor 322 und der Auswahltransistor 323 der Pixelbildgebungssignal-Erzeugungseinheit 320 jeweils beispielsweise unter Verwendung des NMOS-Transistors gebildet.
Die Adressereignis-Detektionseinheit 400 kann eine Strom-Spannung-Umwandlungseinheit 410 und einen Subtrahierer 430 enthalten. Die Adressereignis-Detektionseinheit 400 kann ferner mit einem Puffer, einem Quantisierer und einer Übertragungseinheit versehen sein. Details der Adressereignis-Detektionseinheit 400 werden in der folgenden Beschreibung in Verbindung mit 7 beschrieben.
In der veranschaulichten Konfiguration wandelt das fotoelektrische Umwandlungselement 333 der lichtempfangenden Einheit 330 einfallendes Licht fotoelektrisch um, um Ladung zu erzeugen. Der erste Übertragungstransistor 331 überträgt eine im fotoelektrischen Umwandlungselement 333 erzeugte Ladung gemäß dem ersten Steuerungssignal TG1 zur Floating-Diffusionsschicht 324 der Bildsignalerzeugungs-Ausleseschaltung 320. Der zweite Übertragungstransistor 332 stellt der Adressereignis-Detektionseinheit 400 ein elektrisches Signal (Fotostrom) basierend auf der im fotoelektrischen Umwandlungselement 333 erzeugten Ladung gemäß dem zweiten Steuerungssignal TG2 bereit.
Wenn eine Anweisung für eine Bilderfassung durch das Prozessorsystem 130 gegeben wird, gibt die Ansteuerungsschaltung 211 in der Logik-Schaltung 210 das Steuerungssignal TG1 ab, um den ersten Übertragungstransistor 331 der lichtempfangenden Einheit 330 ausgewählter Einheitspixel 310 im Pixel-Array 300 in einen EIN-Zustand zu versetzen. Mit dieser Anordnung wird ein im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugter Fotostrom über den ersten Übertragungstransistor 331 der Erzeugungs-/Ausleseschaltung 320 für Pixel-Bildgebungssignale bereitgestellt. Insbesondere akkumuliert die Floating-Diffusionsschicht 324 vom fotoelektrischen Umwandlungselement 333 über den ersten Übertragungstransistor 331 übertragene Ladungen. Der Rücksetztransistor 321 entlädt (initialisiert) gemäß einem von der Ansteuerungsschaltung 211 übertragenen Rücksetzsignal die in der Floating-Diffusionsschicht 324 akkumulierten Ladungen. Der Verstärkungstransistor 322 ermöglicht, dass ein Pixelsignal mit einem Spannungswert, der einer in der Floating-Diffusionsschicht 324 akkumulierten Ladungsmenge entspricht, in einer vertikalen Signalleitung VSL erscheint. Der Auswahltransistor 323 schaltet eine Verbindung zwischen dem Verstärkungstransistor 322 und der vertikalen Signalleitung VSL gemäß einem von der Ansteuerungsschaltung 211 übertragenen Auswahlsignal SEL um. Darüber hinaus wird das analoge Pixelsignal, das in der vertikalen Signalleitung VSL erscheint, durch den Spalten-ADC 220 ausgelesen und in ein digitales Pixelsignal umgewandelt.
Wenn eine Anweisung für den Beginn bzw. die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, gibt die Ansteuerungsschaltung 211 in der Logik-Schaltung 210 das Steuerungssignal ab, um den zweiten Übertragungstransistor 332 der lichtempfangenden Einheit 330 in der Pixel-Arrayeinheit 300 in einen EIN-Zustand zu versetzen. Mit dieser Anordnung wird ein im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugter Fotostrom über den zweiten Übertragungstransistor 332 der Adressereignis-Detektionseinheit 400 jedes Einheitspixels 310 bereitgestellt.
Wenn eine Adressereignis-Zündung auf der Basis des Fotostroms von der lichtempfangenden Einheit 330 detektiert wird, gibt die Adressereignis-Detektionseinheit 400 jedes Einheitspixels 310 eine Anfrage an den Arbiter 213 aus. Der Arbiter 213 entscheidet diesbezüglich über die von jedem der Einheitspixel 310 übertragene Anfrage und sendet eine vorbestimmte Antwort basierend auf dem Entscheidungsergebnis an das Einheitspixel 310, das die Anfrage stellt. Das Einheitspixel 310, das die Antwort empfängt, stellt der Ansteuerungsschaltung 211 und dem Signalprozessor 212 in der Logik-Schaltung 210 ein das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angebendes Detektionssignal (worauf hier im Folgenden als „Adressereignis-Detektionssignal“ verwiesen wird) bereit.
Die Ansteuerungsschaltung 211 kann auch den zweiten Übertragungstransistor 332 im Einheitspixel 310, das eine Quelle des Adressereignis-Detektionssignals ist, in einen AUS-Zustand versetzen. Mit dieser Anordnung wird eine Zufuhr des Fotostroms von der lichtempfangenden Einheit 330 zur Adressereignis-Detektionseinheit 400 im Einheitspixel 310 gestoppt.
Als Nächstes versetzt die Ansteuerungsschaltung 211 den ersten Übertragungstransistor 331 in der lichtempfangenden Einheit 330 des Einheitspixels 310 durch das Übertragungssignal TG1 in einen EIN-Zustand. Mit dieser Anordnung wird eine im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugte Ladung über den ersten Übertragungstransistor 331 zur Floating-Diffusionsschicht 324 übertragen. Außerdem erscheint ein Pixelsignal mit einem Spannungswert, der einer Ladungsmenge von in der Floating-Diffusionsschicht 324 akkumulierten Ladungen entspricht, in der vertikalen Signalleitung VSL, die mit dem Auswahltransistor 323 der Pixelbildgebungssignal-Erzeugungseinheit 320 verbunden ist.
Wie oben beschrieben wurde, wird im Bildsensor 200 ein Pixelsignal SIG von dem Einheitspixel 310, in dem die Adressereignis-Zündung detektiert wird, an den Spalten-ADC 220 abgegeben. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung wird von den Einheitspixeln 310 mit einer Gruppe oder einem Teil-Array von Einheitspixeln 310, die mit der Adresse des Einheitspixels 310 verbunden sind, von dem ein Adressereignis-Detektionssignal bereitgestellt wurde, ein Pixelsignal abgegeben.
Darüber hinaus sind beispielsweise die lichtempfangende Einheit 330, die Pixelbildgebungssignal-Erzeugungseinheit 320 und zwei Log-(LG-)Transistoren (sechste und siebte Transistoren) 411 und 414 und zwei Verstärkungstransistoren (achte und neunte Transistoren) 412 und 413 in der Strom-Spannung-Umwandlungseinheit 410 der Adressereignis-Detektionseinheit 400 beispielsweise in dem in 2 veranschaulichten lichtempfangenden Chip 201 angeordnet und können andere Komponenten beispielsweise im Logik-Chip 202 angeordnet sein, der durch die Cu-Cu-Verbindung mit dem lichtempfangenden Chip 201 verbunden ist. Daher wird in der folgenden Beschreibung im Einheitspixel 310 auf Konfigurationen, die im lichtempfangenden Chip 201 angeordnet sind, als „Schaltung der oberen Schicht“ verwiesen.
Ein Konfigurationsbeispiel einer Gruppe von Einheitspixeln 310, die als Bildgebungspixel 502 mit einer gemeinsam genutzten Erzeugungs-/Ausleseschaltung 320 für Pixelbildgebungssignale gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung konfiguriert sind, ist in 6B dargestellt. In diesem Beispiel ist jedes fotoelektrische Umwandlungselement 333 über ein jeweiliges Übertragungs- bzw. Transfer-Gate 331 selektiv mit der Floating-Diffusionsschicht 324 verbunden. Außerdem werden die Komponenten der Pixelbildgebungssignal-Ausleseschaltung 320 von den fotoelektrischen Umwandlungseinheiten 333 gemeinsam genutzt. In diesem Beispiel sind vier fotoelektrische Umwandlungseinheiten 333a - 333d und vier entsprechende Transfer-Gates 331a - 331d dargestellt. Jedoch kann jede beliebige Anzahl an fotoelektrischen Umwandlungseinheiten 333 und jeweiligen Transfer-Gates 331 in Verbindung mit einer gemeinsam genutzten Pixelbildgebungssignal-Ausleseschaltung 320 enthalten sein.
In 6C sind ein Konfigurationsbeispiel eines Einheitspixels 310, das als ein Pixel 503 mit der einzigen Funktion einer Adressereignis-Detektion konfiguriert ist, und zugeordnete Elemente einer Adressereignis-Detektions-Ausleseschaltung 400 dargestellt. Wie dargestellt ist, enthält dieses Beispiel ein einziges fotoelektrisches Umwandlungselement 333, das über ein Transfer-Gate 332 selektiv mit Komponenten einer Adressereignis-Detektions-Ausleseschaltung 400 verbunden ist. Ein Steuerungsblock 415 für Ereignis-Scans steuert den Betrieb der Adressereignis-Detektions-Ausleseschaltung 400.
7 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel der Adressereignis-Detektionseinheit 400 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 7 veranschaulicht ist, enthält die Adressereignis-Detektionseinheit 400 eine Strom-Spannung-Umwandlungseinheit 410, einen Puffer 420, einen Subtrahierer 430, einen Quantisierer 440 und eine Übertragungseinheit 450. Die Strom-Spannung-Umwandlungseinheit 410 wandelt den Fotostrom von der lichtempfangenden Einheit 330 in ein Spannungssignal um und stellt das durch die Umwandlung erzeugte Spannungssignal dem Puffer 420 bereit. Der Puffer 420 korrigiert das von der Strom-Spannung-Umwandlungseinheit 410 übertragene Spannungssignal und gibt das Spannungssignal nach der Korrektur an den Subtrahierer 430 ab. Der Subtrahierer 430 verringert einen Spannungspegel des vom Puffer 420 übertragenen Spannungssignals gemäß einem von der Ansteuerungsschaltung 211 übertragenen Reihen-Adresssignal und stellt das verringerte Spannungssignal dem Quantisierer 440 bereit. Der Quantisierer 440 quantisiert das vom Subtrahierer 430 übertragene Spannungssignal in ein digitales Signal und gibt das durch die Quantisierung erzeugte digitale Signal an die Übertragungseinheit 450 als Detektionssignal ab. Die Übertragungseinheit 450 überträgt das vom Quantisierer 440 übertragene Detektionssignal zum Signalprozessor 212 und dergleichen. Wenn beispielsweise eine Adressereignis-Zündung detektiert wird, stellt die Übertragungseinheit 450 eine Anfrage für eine Übertragung eines Adressereignis-Detektionssignals von der Übertragungseinheit 450 zu der Ansteuerungsschaltung 211 und dem Signalprozessor 212 an den Arbiter 213. Wenn außerdem eine Antwort in Bezug auf die Anfrage vom Arbiter 213 empfangen wird, stellt die Übertragungseinheit 450 der Ansteuerungsschaltung 211 und dem Signalprozessor 212 das Detektionssignal bereit.
Die Strom-Spannung-Umwandlungseinheit 410 in der in 7 veranschaulichten Konfiguration kann zwei LG-Transistoren 411 und 414, zwei Verstärkungstransistoren 412 und 413 und eine Konstantstromschaltung 415 wie in 6A veranschaulicht enthalten. Beispielsweise sind eine Source des LG-Transistors 411 und ein Gate des Verstärkungstransistors 413 mit einem Drain des zweiten Übertragungstransistors 332 der lichtempfangenden Einheit 330 verbunden. Außerdem ist zum Beispiel ein Drain des LG-Transistors 411 mit einer Source des LG-Transistors 414 und einem Gate des Verstärkungstransistors 412 verbunden. Ein Drain des LG-Transistors 414 ist beispielsweise mit einem Stromversorgungsanschluss VDD verbunden. Außerdem ist beispielsweise eine Source des Verstärkungstransistors 413 geerdet und ist dessen Drain mit einem Gate des LG-Transistors 411 und einer Source des Verstärkungstransistors 412 verbunden. Ein Drain des Verstärkungstransistors 412 ist beispielsweise mit einem Stromversorgungsanschluss VDD über die Konstantstromschaltung 415 verbunden. Die Konstantstromschaltung 415 wird beispielsweise von einem Last-MOS-Transistor wie etwa einem MOS-Transistor vom p-Typ gebildet. In dieser Verbindungsbeziehung ist eine schleifenförmige Source-Folger-Schaltung aufgebaut. Mit dieser Anordnung wird ein Fotostrom von der lichtempfangenden Einheit 330 in ein Spannungssignal mit einem logarithmischen Wert entsprechend seiner Ladungsmenge umgewandelt. Darüber hinaus können die LG-Transistoren 411 und 414 und die Verstärkungstransistoren 412 und 413 jeweils beispielsweise von einem NMOS-Transistor gebildet werden.
8 ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel des Subtrahierers 430 und des Quantisierers 440 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 8 veranschaulicht ist, enthält der Subtrahierer 430 Kondensatoren 431 und 433, einen Inverter 432 und einen Schalter 434. Außerdem enthält der Quantisierer 440 einen Komparator 441. Ein Ende des Kondensators 431 ist mit einem Ausgangsanschluss des Puffers 420 verbunden, und das andere Ende ist mit einem Eingangsanschluss des Inverters 432 verbunden. Der Kondensator 433 ist mit dem Inverter 432 parallel verbunden. Der Schalter 434 öffnet oder schließt eine Strecke bzw. Route, die beide Enden des Kondensators 433 verbindet, gemäß einem Reihen-Ansteuerungssignal. Der Inverter 432 invertiert ein Spannungssignal, das über den Kondensator 431 eingespeist wird. Der Inverter 432 gibt ein invertiertes Signal an einen nicht-invertierenden Eingangsanschluss (+) des Komparators 441 ab. Wenn der Schalter 434 eingeschaltet ist, wird ein Spannungssignal Vinit in den Kondensator 431 auf der Seite des Puffers 420 eingespeist. Außerdem wird die entgegengesetzte Seite ein virtueller Erdungsanschluss. Ein Potential des virtuellen Erdungsanschlusses wird der Zweckmäßigkeit halber auf Null gesetzt. Wenn zu dieser Zeit eine Kapazität des Kondensators 431 als C1 festgelegt wird, wird ein Potential Qinit, das im Kondensator 431 akkumuliert wird, durch den folgenden Ausdruck (1) ausgedrückt. Auf der anderen Seite sind beide Enden des Kondensators 433 kurzgeschlossen, und somit wird dessen akkumulierte Ladung Null.
$Qinit = C 1 \times Vinit$
Wenn als Nächstes ein Fall betrachtet wird, in dem der Schalter 434 ausgeschaltet ist und eine Spannung des Kondensators 431 auf der Seite des Puffers 420 variiert und Vafter erreicht, wird die im Kondensator 431 akkumulierte Ladung Qafter durch den folgenden Ausdruck (2) ausgedrückt.
$Qafter = C 1 \times Vafter$
Wenn auf der anderen Seite eine Ausgangsspannung als Vout festgelegt wird, wird die im Kondensator 433 akkumulierte Ladung Q2 durch den folgenden Ausdruck (3) ausgedrückt.
$Q2 = - C2 \times Vout$
Zu dieser Zeit variiert die Gesamtladungsmenge der Kondensatoren 431 und 433 nicht und wird folglich der folgende Ausdruck (4) eingerichtet.
$Qinit = Qafter + Q2$
Wenn Ausdruck (1) bis Ausdruck (3) in den Ausdruck (4) substituiert werden, wird der folgende Ausdruck (5) erhalten.
$Vout = - (C 1 / C 2) \times (Vafter - Vinit)$
Der Ausdruck (5) repräsentiert eine Subtraktionsoperation eines Spannungssignals, und eine Verstärkung des Subtraktionsergebnisses wird C1/C2. Typischerweise ist erwünscht, die Verstärkung zu maximieren (oder alternativ zu verbessern), und folglich ist es vorzuziehen, einen Entwurf so zu erstellen, dass C1 groß wird und C2 klein wird. Wenn auf der anderen Seite C2 übermäßig klein ist, nimmt kTC-Rauschen zu, und folglich bestehen Bedenken, dass sich Rauschcharakteristiken verschlechtern. Dementsprechend ist eine Reduzierung der Kapazität C2 auf einen Bereich beschränkt, in dem man Rauschen zulassen kann. Da außerdem die den Subtrahierer 430 enthaltende Adressereignis-Detektionseinheit 400 für jedes Einheitspixel 310 montiert ist, besteht eine Flächenbeschränkung in den Kapazitäten C1 und C2. Die Werte der Kapazitäten C1 und C2 werden unter Berücksichtigung dieser Beschränkung bestimmt.
Der Komparator 441 vergleicht ein vom Subtrahierer 430 übertragenes Spannungssignal und eine vorbestimmte Schwellenspannung Vth, die an einen invertierenden Eingangsanschluss (-) angelegt wird. Der Komparator 441 gibt ein das Vergleichsergebnis angebendes Signal an die Übertragungseinheit 450 als Detektionssignal ab. Wenn außerdem eine Umwandlungsverstärkung durch die Strom-Spannung-Umwandlungseinheit 410 als CG_log festgelegt wird und eine Verstärkung des Puffers 420 auf „1“ gesetzt wird, wird eine Gesamtverstärkung A der Adressereignis-Detektionseinheit 400 durch den folgenden Ausdruck (6) ausgedrückt.
[Math. 1] $A = \frac{C G_{log} \cdot C 1}{C 2} \sum_{n}^{N} i_{p h o t o_n}$
Im Ausdruck (6) repräsentiert i_{photo_}n einen Fotostrom eines n-ten Einheitspixels 310, und dessen Einheit ist beispielsweise Ampere (A). N repräsentiert die Anzahl der Einheitspixel 310 in einem Pixel-Block und ist in dieser Ausführungsform „1“.
9 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel des Spalten-ADC gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Der Spalten-ADC 220 enthält eine Vielzahl von ADCs 230, die für jede Spalte der Einheitspixel 310 vorgesehen sind. Jeder der ADCs 230 wandelt ein analoges Pixelsignal, das in der vertikalen Signalleitung VSL erscheint, in ein digitales Signal um. Beispielsweise wird das Pixelsignal in ein digitales Signal umgewandelt, in dem eine Bitlänge größer als jene eines Detektionssignals ist. Wenn beispielsweise das Detektionssignal auf zwei Bits festgelegt ist, wird das Pixelsignal in ein digitales Signal mit drei oder mehr Bits (16 Bits und dergleichen) umgewandelt. Der ADC 230 stellt dem Signalprozessor 212 das erzeugte digitale Signal bereit.
Als Nächstes wird ein Betrieb des Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung mit Verweis auf die beiliegenden Zeichnungen im Detail beschrieben.
Zunächst wird ein Beispiel des Betriebs des Bildsensors 200 unter Verwendung eines Zeitablaufdiagramms beschrieben. 10A ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
Wie in 10A veranschaulicht ist, erhöht zu einem Zeitpunkt T0, zu dem eine Anweisung für die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, die Ansteuerungsschaltung 211 das Steuerungssignal TG, das an das Gate des zweiten Übertragungstransistors 332 all der lichtempfangenden Einheiten 330 in der Pixel-Arrayeinheit 300 angelegt wird, auf einen hohen Pegel. Bei dieser Anordnung treten die zweiten Übertragungstransistoren 332 all der lichtempfangenden Einheiten 330 in einen EIN-Zustand ein und wird ein Fotostrom, der auf einer im fotoelektrischen Umwandlungselement 333 von jeder der lichtempfangenden Einheiten 330 erzeugten Ladung basiert, von jeder der lichtempfangenden Einheiten 330 jeder einer Vielzahl von Adressereignis-Detektionseinheiten 400 bereitgestellt.
Außerdem werden in einer Periode, in der das Steuerungssignal TG2 bei einem hohen Pegel liegt, all die Übertragungssignale TG1, die an das Gate des ersten Übertragungstransistors 331 in jeder der lichtempfangenden Einheiten 330 angelegt werden, bei einem niedrigen Pegel gehalten. Demensprechend ist in dieser Periode eine Vielzahl der Übertragungstransistoren 331 in all den lichtempfangenden Einheiten 330 in einem AUS-Zustand.
Als Nächstes wird ein Fall angenommen, in dem die Adressereignis-Detektionseinheit 400 eines beliebigen Einheitspixels 310, die dafür konfiguriert ist, eine Ereignisdetektion durchzuführen, eine Adressereignis-Zündung in einer Periode detektiert, in der das Steuerungssignal TG2 auf einem hohen Pegel liegt. In diesem Fall sendet die Adressereignis-Detektionseinheit 400, die die Adressereignis-Zündung detektiert, eine Anfrage an den Arbiter 213. Der Arbiter 213 entscheidet diesbezüglich über die Anfrage und gibt eine Antwort auf die Anfrage an die Adressereignis-Detektionseinheit 400, die die Anfrage stellt, zurück.
Die Adressereignis-Detektionseinheit 400, die die Antwort empfängt, erhöht ein Detektionssignal, das in die Ansteuerungsschaltung 211 und den Signalprozessor 212 eingespeist wird, auf einen hohen Pegel beispielsweise in einer Periode von einem Zeitpunkt T1 bis zu einem Zeitpunkt T2. Darüber hinaus wird in dieser Beschreibung unterstellt, dass das Detektionssignal ein Ein-Bit-Signal ist.
Die Ansteuerungsschaltung 211, in die zum Zeitpunkt T1ein Detektionssignal mit hohem Pegel von der Adressereignis-Detektionseinheit 400 eingespeist wird, verringert alle Steuerungssignale TG2 zu einem nachfolgenden Zeitpunkt T2 auf einen niedrigen Pegel. Mit dieser Anordnung wird die Zufuhr eines Fotostroms von all den lichtempfangenden Einheiten 330 der Pixel-Arrayeinheit 300 zur Adressereignis-Detektionseinheit 400 gestoppt.
Gemäß Ausführungsformen der vorliegenden Offenbarung erhöht, wenn durch das Prozessorsystem 130 bestimmt wird, dass eine Pixelbildgebungssignal-Erzeugungsschaltung 320 freigegeben werden sollte, zum Zeitpunkt T2 die Ansteuerungsschaltung 211 ein Auswahlsignal SEL, das an ein Gate des Auswahltransistors 323 in der Pixelbildgebungssignal-Erzeugungseinheit 320 des Einheitspixels 310 angelegt wird, worin die Adressereignis-Zündung detektiert wird (worauf hier im Folgenden als „Ausleseziel-Einheitspixel“ verwiesen wird), auf einen hohen Pegel und hebt ein Rücksetzsignal RST, das an ein Gate des Rücksetztransistors 321 der gleichen Pixelbildgebungssignal-Erzeugungseinheit 320 angelegt wird, für eine konstante Impulsperiode auf einen hohen Pegel an, wodurch in der Floating-Diffusionsschicht 324 der Pixelbildgebungssignal-Erzeugungseinheit 320 akkumulierte Ladungen entladen (initialisiert) werden. Auf diese Weise wird eine Spannung, die in einer vertikalen Signalleitung VSL in einem Zustand erscheint, in dem die Floating-Diffusionsschicht 324 initialisiert ist, durch den mit der vertikalen Signalleitung VSL verbundenen ADC 230 im Spalten-ADC 220 als Rücksetzpegel-Pixelsignal (worauf hier im Folgenden einfach als „Rücksetzpegel“ verwiesen wird) ausgelesen und in ein digitales Signal umgewandelt.
Als Nächstes legt zu einem Zeitpunkt T3 nach einem Auslesen des Rücksetzpegels die Ansteuerungsschaltung 211 ein Übertragungssignal TRG einer konstanten Impulsperiode an das Gate des ersten Übertragungstransistors 331 der lichtempfangenden Einheit 330 im Ausleseziel-Einheitspixel 310 an. Bei dieser Anordnung wird eine im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugte Ladung zur Floating-Diffusionsschicht 324 in der Pixelbildgebungssignal-Erzeugungseinheit 320 übertragen und erscheint eine Spannung, die in der Floating-Diffusionsschicht 324 akkumulierten Ladungen entspricht, in der vertikalen Signalleitung VSL. Auf diese Weise wird die Spannung, die in der vertikalen Signalleitung VSL erscheint, durch den mit der vertikalen Signalleitung VSL verbundenen ADC 230 im Spalten-ADC 220 als Signalpegel-Pixelsignal der lichtempfangenden Einheit 330 (worauf hier im Folgenden einfach als „Signalpegel“ verwiesen wird) ausgelesen und in einen digitalen Wert umgewandelt.
Der Signalprozessor 212 führt eine CDS-Verarbeitung aus, bei der eine Differenz zwischen dem Rücksetzpegel und dem Signalpegel, die wie oben beschrieben ausgelesen werden, als Netto-Pixelsignal entsprechend einer Lichtempfangsmenge des fotoelektrischen Umwandlungselements 333 erhalten wird.
Als Nächstes verringert zu einem Zeitpunkt T4 die Ansteuerungsschaltung 211 das Auswahlsignal SEL, das an das Gate des Auswahltransistors 323 in der Pixelbildgebungssignal-Erzeugungsschaltung 320 des Ausleseziel-Einheitspixels 310 angelegt wird, auf einen niedrigen Pegel und hebt das Steuerungssignal TG2, das an das Gate des zweiten Übertragungstransistors 332 all der lichtempfangenden Einheiten 330 in der Pixel-Arrayeinheit 300 angelegt wird, auf einen hohen Pegel an. Mit dieser Anordnung wird eine Detektion einer Adressereignis-Zündung in all den lichtempfangenden Einheiten 330 in der Pixel-Arrayeinheit 300 neu gestartet.
10B ist ein Zeitablaufdiagramm, das ein Beispiel eines Betriebs eines Bildsensors gemäß anderen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wenn zu einem Zeitpunkt T0 eine Anweisung für die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, hebt die Ansteuerungsschaltung 211 das Steuerungssignal TG2 an, das an das Gate des Übertragungstransistors 332 angelegt wird, der mit fotoelektrischen Umwandlungseinheiten 333 selektiv aktivierter Adressereignis-Detektionseinheiten 400 verbunden ist. Insbesondere können einige der oder alle Adressereignis-Detektionseinheiten 400 aktiviert werden.
Außerdem wird das an die Gates der ersten Übertragungstransistoren 331 angelegte Übertragungssignal TG1 auf einem niedrigen Pegel gehalten. Dementsprechend sind die zugehörigen Übertragungstransistoren 331 in einem AUS-Zustand.
In diesem Beispiel detektiert eine beliebige Adressereignis-Detektionseinheit 400 eine Adressereignis-Zündung zu einer Zeit T1, während der das Steuerungssignal TG2 bei einem hohen Pegel liegt und der dazugehörige Übertragungstransistor 332 in einem EIN-Zustand ist. Als Reaktion auf den Ereignisauslöser beginnt eine Aufnahme von Bild-Frames. Die Aufnahme von Bild-Frames kann eine Bildaufnahme von Full-Frame-Bildern (engl.: full frame image) sein, die all die im Pixel-Array 300 enthaltenen Bilderfassungspixel 502 einbezieht. Alternativ dazu kann eine Ereignisdetektion durch eine bestimmte Ereignis-Detektionseinheit 400 als Auslöser für eine Bildaufnahme durch einen Satz von Bilderfassungspixeln 502 in der Nähe der Ereignis-Detektionseinheit 400, oder die in anderer Weise mit der Ereignis-Detektionseinheit 400 verbunden sind, fungieren. Ein Auslesen von durch die Bilderfassungspixel erhaltenen Signalen kann dann durchgeführt werden. Gemäß Ausführungsformen der vorliegenden Offenbarung kann außerdem das Prozessorsystem 130 so arbeiten, dass es Bereiche oder Regionen der Pixel-Arrayeinheit 300 steuert, in denen Bilderfassungspixel 502 oder Schaltungen 320 freigegeben und betrieben werden, um Bildinformationen zu erfassen. Wie hierin an anderer Stelle diskutiert wird, kann außerdem das Prozessorsystem 130 so arbeiten, dass es die Frame-Rate der freigegebenen Bilderfassungspixel 502 oder Schaltungen 320 steuert.
11 veranschaulicht Aspekte des Betriebs einer Bildgebungsvorrichtung 100 gemäß Ausführungsformen der vorliegenden Offenbarung gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung. Zu Anfang wird eine Bestimmung diesbezüglich vorgenommen, ob die Bildgebungsvorrichtung 100 betrieben werden soll, um eine Szene zu überwachen (Schritt 1104). In zumindest einigen Betriebsszenarien umfasst ein Überwachen einer Szene ein Detektieren des Auftretens eines oder mehrerer Ereignisse unter Ausnutzung von Ereignisdetektionsfähigkeiten des Bildgebungssystems 100 und ein selektives Aktivieren der Fähigkeiten zur Bildgebungserfassung des Bildgebungssystems 100 als Reaktion auf die Detektion eines oder mehrerer Ereignisse. Falls eine Bestimmung, eine Szene zu überwachen, nicht empfangen wird, kann der Prozess in Schritt 1104 abgebrochen werden.
Nach einer Bestimmung, dass eine Szene überwacht werden soll, werden die Bildgebungsvorrichtung 100 oder deren Komponenten so angewiesen, dass das Sichtfeld 114 der Bildgebungslinse 110 die Szene oder Teilbereiche einer Szene, die überwacht werden soll, umfasst, und werden die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 oder Adressereignis-Detektionspixel 503 des Bildsensors 200 betrieben, um das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung zu detektieren (Schritt 1108). Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, können die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 oder Adressereignis-Detektionspixel 503 so betrieben werden, dass Ereignisse in der Form von Änderungen der Lichtintensität innerhalb der Szene asynchron detektiert werden. Außerdem wird gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung die Bildgebungsvorrichtung 100 betrieben, um Ereignisse kontinuierlich zu erfassen.
Bei Schritt 1112 wird eine Bestimmung diesbezüglich vorgenommen, ob ein Ereignis detektiert wurde. Insbesondere können Ausführungsformen der vorliegenden Offenbarung bestimmen, ob eine Adressereignis-Zündung detektiert wurde oder nicht. Die Detektionsoperation kann durch die Ansteuerungsschaltung 211 und/oder durch Ausführung einer Anwendungsprogrammierung durch das Prozessorsystem 130 ausgeführt werden. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, und mit Verweis auf 12A, werden Ereignisse 1204 im Allgemeinen mittels von einem oder mehreren Ereignis-Detektionspixeln 501, 503 innerhalb des Pixel-Arrays 300 abgegebener Signale angegeben. Außerdem entspricht der Ort eines Ereignisses 1204 innerhalb des Pixel-Arrays 300 im Allgemeinen einem Ort innerhalb der vom Bildgebungssystem 100 überwachten Szene. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann ein Ereignis Signale umfassen, die von einem oder mehreren Ereignis-Detektionspixeln 501, 503 innerhalb einer ausgewählten Zeitspanne abgegeben werden. Falls kein Ereignis detektiert wird, kann der Prozess zu Schritt 1108 zurückkehren und werden die gemeinsam genutzten Ereignisdetektions- und Bilderfassungspixel 501 oder Adressereignis-Detektionspixel 503 des Bildsensors 200 weiter betrieben, um das Vorhandensein einer Adressereignis-Zündung zu detektieren. Falls ein Ereignis oder ein Satz von Ereignissen detektiert wird, kann dieses Ereignis oder dieser Satz von Ereignissen ausgewertet werden (Schritt 1116).
Die Auswertung eines Ereignisses kann ein Registrieren der Zeit des Auftretens eines Ereignisses und des Orts des Ereignisses innerhalb des Pixel-Arrays 300 umfassen. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, entsprechen Zeit und Ort eines Ereignisses innerhalb des Pixel-Arrays 300 einem Bereich der überwachten Szene, wovon die Änderung der Lichtintensität, die die Detektion des Ereignisses zur Folge hat, empfangen wurde. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann die Auswertung eines Ereignisses, das mehrere Ereignisauslöser umfasst, ein Bestimmen der Anzahl an Ereignisauslösern, die zu einem bestimmten Zeitpunkt oder innerhalb eines ausgewählten Zeitrahmens empfangen werden, beinhalten. Dementsprechend kann die Auswertung eines Ereignisses eine räumliche, zeitliche oder räumlich-zeitliche Analyse umfassen. Bei einer räumlichen Analyse kann eine Bestimmung diesbezüglich vorgenommen werden, ob ein Ereignis oder ein Satz von Ereignissen innerhalb bestimmter räumlicher Orte innerhalb des Frames vorhanden ist. Bei einer zeitlichen Analyse kann eine Bestimmung diesbezüglich vorgenommen werden, ob ein Ereignis oder ein Satz von Ereignissen mit einem Objekt verbunden ist, das sich innerhalb der überwachten Szene über einen bestimmten Zeitraum bewegt. Außerdem kann die Geschwindigkeit des Objekts bestimmt werden. Gemäß noch anderen Ausführungsformen der vorliegenden Offenbarung kann eine Auswertung eines Ereignisses eine Bestimmung beinhalten, ob mehrere Ereignisse in benachbarten oder nahegelegenen Ereignis-Detektionspixeln 501, 503 auftreten oder voneinander beabstandet sind. Dementsprechend kann die Auswertung eines Ereignisses ferner ein Auswerten eines Bereichs oder einer Region der Ereignis-Detektionspixel 501, 503 zu einer ausgewählten Zeit oder innerhalb eines ausgewählten Zeitraums umfassen. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können die Signale, die von einer Region von Ereignis-Detektionspixeln 501, 503 zu einer ausgewählten Zeit oder innerhalb eines ausgewählten Zeitraums empfangen werden, ausgewertet werden, um zu bestimmen, ob empfangene Ereignisdetektionssignale einem erkannten Objekt entsprechen. Darüber hinaus kann ein erkanntes Objekt klassifiziert werden. Erkennungs- und Klassifizierungsoperationen können in Verbindung mit der Ausführung einer Anwendungsprogrammierung durch das Prozessorsystem 130 durchgeführt werden. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann die durch das Prozessorsystem 130 ausgeführte Anwendungsprogrammierung ein neuronales Netzwerk realisieren, das genutzt wird, um basierend auf Ereignis-Detektionsdaten Operationen zur Objekterkennung durchzuführen.
Nachdem das Ereignis oder der Satz von Ereignissen ausgewertet wurde, kann eine Bestimmung diesbezüglich, ob Bilddaten gesammelt werden sollen, und, falls ja, der Parameter, die beim Sammeln der Bilddaten verwendet werden sollen, vorgenommen werden (Schritt 1120). Beispielsweise kann das Bildgebungssystem 100 betrieben werden, um Bilddaten von einer Region gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 501 oder Bilderfassungspixel 502 zu sammeln, die einem Bereich oder einer Region der überwachten Szene entsprechen, in der ein Ereignis oder ein Satz von Ereignissen detektiert wurde. Beispielsweise kann eine Region 1208 von Pixeln 310, die den Ort des Pixels 310 umgibt, bei dem das Ereignis 1204 detektiert wurde, aktiviert werden. Der ausgewählte Bereich kann eine Region 1208 von Bilderfassungspixeln 501, 502 umfassen, die den Ort des Ereignisses 1204 umgibt und die eine vorbestimmte Größe hat (siehe 12B). Gemäß Ausführungsformen der vorliegenden Offenbarung kann das Prozessorsystem 130 eine Anwendungsprogrammierung ausführen, die die Größe, die Konturen oder andere Parameter der ein detektiertes Ereignis 1204 umgebenden Region 1208 auswählt, worin Bilderfassungspixel 501, 502 aktiviert sind.
Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann der Bereich der Region 1208 basierend auf den Charakteristiken des detektierten Ereignisses oder der detektierten Ereignisse 1204 ausgewählt werden. Wenn beispielsweise ein Ereignis 1204 mittels mehrerer benachbarter Ereignis-Detektionspixel 501, 503 detektiert wird, kann der ausgewählte Bereich der Region 1208b, worin die mehreren benachbarten Bilderfassungspixel 501, 502 aktiviert werden, größer sein als die Region 1208a von aktivierten Bilderfassungspixeln, die als Reaktion auf ein Ereignisdetektionssignal ausgewählt wird, das von einem einzigen Ereignisdetektionspixel 501, 503 bereitgestellt wird (siehe 12C). Außerdem kann der Bereich der Region 1208b, worin Bilderfassungspixel 501, 502 aktiviert werden, der Anzahl benachbarter oder in der Nähe gelegener Ereignis-Detektionspixel 501, 503, die ein Ereignisdetektionssignal bereitstellen, proportional sein.
Wie in 12D dargestellt ist, kann eine Region 1208c, in der Bilderfassungspixel 501, 502 aktiviert werden, auch mehrere Pixel 310 umfassen, die ein Ereignisdetektionssignal abgeben, selbst wenn jene Pixel 310 einander nicht unmittelbar benachbart sind. Außerdem kann die Region 1208c aktivierter Bilderfassungspixel 501, 503 einen Umfang aufweisen, der den Konturen des kombinierten Bereichs der mehreren benachbarten Ereignisdetektionspixel 501, 503 entspricht.
Der Bereich der Region 1208, worin Bilderfassungspixel 501, 502 aktiviert werden, kann auch basierend auf einer vorbestimmten Geschwindigkeit eines Ereignisses relativ zur Pixel-Arrayeinheit 300 variieren. Insbesondere, und wie vorher erwähnt wurde, kann die Ereignisdetektionsfunktion einer Pixel-Arrayeinheit, die Adressereignis-Detektionspixel 503 oder gemeinsam genutzte Adressereignis-Detektions- und Bilderfassungspixel 501 enthält, asynchron arbeiten. Wenn ein Ereignis über eine Sequenz von Ereignisdetektionspixeln 501, 503 im Laufe der Zeit erkannt wird, kann eine Bewegung angegeben werden. Dementsprechend ist eine Sequenz von Ausgangssignalen von einer Anzahl verschiedener Ereignisdetektionspixel 501, 503 über eine fortlaufende Zeitdauer eine Angabe, dass sich ein mit der Sequenz von Ereignissen verbundenes Objekt bewegt. Außerdem geben der relative Ort und die Zeit der Ereignisdetektionssignale die Geschwindigkeit des zugehörigen Objekts oder der zugehörigen Objekte an. Dementsprechend kann im Vergleich mit dem Bereich einer Region 1208a, der um ein Ereignis aktiviert wird, das mit einem Objekt verbunden ist, das sich mit einer verhältnismäßig langsamen Geschwindigkeit bewegt oder stationär ist, ein größerer Bereich oder eine größere Region 1208e von Bilderfassungspixeln 501, 502 um ein detektiertes Ereignis 1204d aktiviert werden, das mit einem Objekt verbunden ist, von dem bestimmt wird, dass es sich mit einer hohen Geschwindigkeit bewegt, (siehe 12E).
Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann die Frame-Rate der Bilderfassungspixel 501, 502 basierend auf bestimmten Charakteristiken des mit einem Ereignis oder einer Gruppe von Ereignissen verbunden Objekts ausgewählt werden. Wenn beispielsweise eine Sequenz von Ausgaben von Ereignisdetektionspixeln 502, 503 angibt, dass sich ein Objekt mit einer hohen Geschwindigkeit bewegt, kann eine verhältnismäßig hohe Frame-Rate für die Bilderfassungspixel 502, 503 ausgewählt werden. Falls umgekehrt bestimmt wird, dass sich das mit einer Reihe von Ausgaben von Ereignisdetektionspixeln 502, 503 verbundene Objekt mit einer verhältnismäßig langsamen Geschwindigkeit bewegt, oder bestimmt wird, dass es stationär ist, kann die ausgewählte Frame-Rate der Bilderfassungspixel 502, 503 verhältnismäßig niedrig sein. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann die Sammlung bzw. Erfassung von Bilddaten von einer Region 1208, die ein stationäres Objekt enthält, nach der Erfassung eines einzelnen Frames oder von Bilddaten eingestellt werden.
Gemäß noch weiteren Ausführungsformen der vorliegenden Offenbarung können die Größe einer Region, die Frame-Rate der Bilderfassungspixel 501, 502 oder beide basierend auf einer Analyse der Ausgabe eines Satzes von Ereignisdetektionspixeln 501, 503 bestimmt werden. Beispielsweise kann durch das Prozessorsystem 130 ein Objekterkennungsprozess durchgeführt werden. Die Kategorie, die Art, die relative Geschwindigkeit, das bestimmte Objekt oder eine andere Charakteristik, die aus der Ausgabe der Ereignisdetektionspixel 502, 503 bestimmt wird, die einem bestimmten Objekt zugeordnet sind, kann dann verwendet werden, um den Betriebsparameter der Bilderfassungspixel 501, 502 zu bestimmen. Wenn beispielsweise ein Objekt erkannt und als von hohem Interesse bestimmt wird, kann eine verhältnismäßig große Region von Bilderfassungspixeln 501, 502 aktiviert werden, um das erkannte Objekt umfassende Bildinformationen zu erhalten. Alternativ dazu oder zusätzlich kann die Frame-Rate, mit der ausgewählte Bilderfassungspixel 501, 502 betrieben werden, für ein Objekt von verhältnismäßig hohem Interesse im Vergleich mit einem Objekt von verhältnismäßig geringem Interesse erhöht werden.
In Schritt 1124 werden die Bilderfassungspixel 501, 502 für die ausgewählte Region oder ausgewählten Regionen 1208 und mit einer ausgewählten Frame-Rate betrieben. Dementsprechend sehen Ausführungsformen der vorliegenden Erfindung Regionen oder Teilmengen von Bilderfassungspixeln 501, 502 vor und betreiben diese selektiv, die Bildinformationen von einem Bereich oder Bereichen innerhalb einer Szene erfassen, innerhalb der ein Ereignis detektiert wurde. Bilderfassungspixel 501, 502, die nicht aktiviert werden, können im Schlafmodus verbleiben, wodurch Energie gespart wird. Indem man weniger als all die Bilderfassungspixel 501, 502 innerhalb eines Pixel-Arrays 300 betreibt, kann außerdem die Übertragungs- und Verarbeitungsbandbreite des Bilderfassungssystems 100 eingespart werden. Dementsprechend kann ein Datenkompressionseffekt erreicht werden. Außerdem können Ausführungsformen der vorliegenden Offenbarung die Auswahl einer Frame-Rate einbeziehen, die während der Erfassung von Bildinformationen verwendet wird. Für ein sich schnell bewegendes Objekt kann die Anwendung einer verhältnismäßig hohen Frame-Rate eine verbesserte Bildauflösung oder Schärfe des Objekts liefern. Umgekehrt kann für ein stationäres oder sich verhältnismäßig langsam bewegendes Objekt eine verhältnismäßig niedrige Frame-Rate eine adäquate Auflösung oder Schärfe liefern, während im Vergleich mit einer höheren Frame-Rate Energie eingespart wird. Gemäß noch anderer Ausführungsformen der vorliegenden Offenbarung können/kann für ein Ereignis oder einen Satz von Ereignissen, die als mit einem Objekt von geringem Interesse oder geringer Bedeutung verbunden bestimmt werden, eine kleine Region und/oder eine niedrige Frame-Rate verwendet werden. Gemäß noch anderen Ausführungsformen der vorliegenden Offenbarung können die Bilderfassungspixel, die einen Bereich der Szene abdecken, der ein Objekt von geringem oder keinem Interesse enthält, in einem Schlafmodus verbleiben, wodurch Energie, Übertragungsbandbreite und Verarbeitungsbandbreite eingespart werden.
Dann kann eine Bestimmung diesbezüglich vorgenommen werden, ob Bilderfassungsoperationen eingestellt werden sollen (Schritt 1128). Gemäß Ausführungsformen der vorliegenden Offenbarung kann die Erfassung von Bildinformationen für eine vorbestimmte Zeitspanne, oder bis eine vorbestimmte Anzahl an Frames von Bilddaten von einer einem Objekt zugeordneten Region 1208 erfasst worden ist, andauern. Dementsprechend kann die Erfassung von Bildinformationen in Bezug auf ein Objekt eingestellt werden, nachdem ein Anfangsbild oder ein anfänglicher Satz von Bildern erfasst wurde. Gemäß noch anderen Ausführungsformen der vorliegenden Offenbarung können Bildinformationen weiter erfasst werden, solange ein detektiertes Objekt innerhalb des Sichtfeldes 114 des Bildgebungssystems 100 bleibt. Die Erfassung von Bildinformationen in Bezug auf ein Objekt kann eingestellt werden, nachdem bestimmt wird, dass das Objekt das Sichtfeld der Bildgebungsvorrichtung 100 verlassen hat. Als noch eine andere Alternative kann die Erfassung von Bildinformationen in Bezug auf ein Objekt fortgesetzt werden, bis ausreichend Bildinformationen erfasst wurden, um zu ermöglichen, dass eine durch das Prozessorsystem 130 des Bildgebungssystems 104 eines zugeordneten Systems ausgeführte Anwendungsprogrammierung eine Objekterkennung durchführt und bestimmt, dass mit dem Objekt verbundene Bilderfassungsoperationen eingestellt werden können.
Gemäß Ausführungsformen der vorliegenden Offenbarung können Funktionen zur Ereignisdetektion des Bildgebungssystems 100 in Betrieb bzw. aktiv bleiben, selbst wenn Bilderfassungsoperationen gerade durchgeführt werden. Dementsprechend können Ausführungsformen der vorliegenden Offenbarung Regionen der Bilderfassungspixel 501, 502 des Bildgebungssystems 100 dynamisch aktivieren oder deaktivieren.
Nach einer Bestimmung, dass Bilderfassungsoperationen eingestellt werden können, kann als Nächstes bestimmt werden, ob ein Betrieb des Bildsensorsystems 100 eingestellt werden soll (Schritt 1132). Falls der Betrieb fortzusetzen ist, kann der Prozess zu Schritt 1108 zurückkehren. Andernfalls kann der Betrieb enden.
13 stellt Operationen dar, die von einer Bildgebungsvorrichtung 100 gemäß Ausführungsformen der vorliegenden Offenbarung durchgeführt werden können. In diesem Beispiel ist die Bildgebungsvorrichtung 100 an einem Fahrzeug angeordnet, und das Sichtfeld 114 der Bildgebungsvorrichtung 100 umfasst einen Teilbereich einer Szene in der Umgebung des Fahrzeugs. Im Block 1304 werden durch Ereignisdetektionspixel 501, 503 eines Bildsensors 200 erfasste Ereignisdetektionsdaten dargestellt. Die Ereignisdetektionsdaten können durch die Ereignisdetektionspixel 501, 503 zur gleichen Zeit oder innerhalb desselben Zeitraums erfasste Daten umfassen. Die Ereignisdetektionsdaten werden dem Prozessorsystem 130 bereitgestellt, das Regionen von Interesse innerhalb dieser Daten identifiziert. Wie im Beispiel dargestellt ist, gibt es beispielsweise drei verschiedene Gruppierungen von Ereignissen in den Ereignisdetektionsdaten, die jeweils einem unterschiedlichen Objekttyp entsprechen: eine erste Ereignisgruppe 1204.1, die einem Automobil 1308 entspricht; eine zweite Ereignisgruppe 1204.2, die einem Radfahrer 1312 entspricht; und eine dritte Ereignisgruppe 1204.3, die einem Fußgänger 1316 entspricht. Die durch das Prozessorsystem 130 durchgeführte Verarbeitung kann Erkennungsfunktionen durchführen, die die Objekte aus den Ereignisdetektionsdaten klassifizieren oder die Gruppierungen von Ereignissen 1204 als solche einfach erkennen können.
Nach Erkennung der Ereignisgruppen 1204.1 bis 1204.3 bestimmt das Prozessorsystem 130 zu aktivierende Regionen von Bilderfassungspixeln 501, 502. Dies ist im Block 1320 veranschaulicht, der einen Full-Frame von Bilddaten darstellt, die innerhalb desselben oder eines ähnlichen Sichtfeldes 114 erfasst werden, aus dem die in Block 1304 dargestellten Ereignisdetektionsdaten erfasst wurden, und ferner eine erste Region 1208.1, die für das Automobil 1308 eingerichtet wird, eine zweite Region 1208.2, die für den Radfahrer 1312 eingerichtet wird, und eine dritte Region 1208.3 zeigt, die für den Fußgänger 1316 eingerichtet wird. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennt, wird die Bildgebungsvorrichtung 100 typischerweise nicht betrieben, um Full-Frames von Bilddaten zu erhalten. Stattdessen werden nur jene Bilderfassungspixel 501, 502 innerhalb der durch das Prozessorsystem 130 bestimmten Regionen 1208 aktiviert. Dementsprechend sparen Ausführungsformen der vorliegenden Offenbarung Leistung ein, indem die Bilderfassungspixel 501, 502 nur selektiv betrieben werden. Außerdem wird mit der Datenübertragungs- und Verarbeitungsbandbreite sparsam umgegangen, indem nur Bilddaten von Bilderfassungspixeln 501, 502 innerhalb ausgewählter Regionen 1208 statt von all den verfügbaren Bilderfassungspixeln 501, 502 bereitgestellt werden.
Obwohl in der Figur nicht dargestellt, kann das Prozessorsystem 130 auch die Ereignisdetektionsdaten nutzen, um eine Frame-Rate zur Anwendung auf ausgewählte Regionen 1208 zu bestimmen. Die bestimmte Frame-Rate für eine bestimmte Region kann auf die Identität des Objekts, wie sie aus den Ereignisdetektionsdaten bestimmt wird, die relative Geschwindigkeit des Objekts oder einen Grad von Interesse an einem identifizierten Objekt gestützt werden. Beispielsweise könnte eine verhältnismäßig hohe Frame-Rate verwendet werden, falls ein Automobil 1308 das Objekt von Interesse ist, kann eine moderate Frame-Rate verwendet werden, falls ein Radfahrer 1312 das Objekt von Interesse ist, und kann eine verhältnismäßig niedrige Frame-Rate verwendet werden, falls ein Fußgänger 1316 das Objekt von Interesse ist. Eine höhere Frame-Rate kann auf ein Objekt angewendet werden, das sich mit einer schnelleren scheinbaren Geschwindigkeit als ein Objekt bewegt, das stationär ist oder sich mit einer geringeren scheinbaren Geschwindigkeit bewegt.
Daten aus den Regionen 1208, in denen Bilderfassungspixel 501, 502 aktiviert sind, können an das Verarbeitungssystem 130 übermittelt werden, das weitere Operationen an den gesammelten Bilddaten durchführen kann. Beispielsweise kann eine auf den Bilddaten basierende Objekterkennung zusätzlich zu oder anstelle einer auf den Ereignisdetektionsdaten basierenden Objekterkennung durchgeführt werden. Alternativ dazu oder zusätzlich können Operationen durchgeführt werden, die unter Verwendung der Ereignisdetektionsdaten schwierig oder unmöglich durchzuführen sind. Beispielsweise können Operationen zur Gesichtserkennung unter Verwendung der Bilddaten durchgeführt werden.
Die verschiedenen, vom Verarbeitungssystem 130 an den Ereignisdetektionsdaten und/oder den Bilddaten durchgeführten Operationen können die Anwendung eines oder mehrerer neuronaler Netzwerke einschließen, um die gesammelten Informationen zu analysieren.
14 stellt Operationen dar, die von einer Bildgebungsvorrichtung 100 gemäß anderen Ausführungsformen der vorliegenden Offenbarung durchgeführt werden können, die für die Durchführung einer Gestenerkennung konfiguriert ist. In diesem Beispiel ist die Bildgebungsvorrichtung 100 eine Kamera, die genutzt wird, um Ereignisdetektionsdaten 1404 aus einer Szene zu erfassen, in der eine Person einen Vortrag hält oder spricht. Die Ereignisdetektionsdaten 1404 werden dem Verarbeitungssystem 130 bereitgestellt, das eine Region von Bilderfassungspixeln 501, 502 zur Aktivierung bestimmt, um ein Bild eines in den Ereignisdetektionsdaten 1404 detektierten Objekts 1408 zu erhalten. Das Objekt 1408 ist hier die Hand der Person, und die Region 1208 der Bilderfassungspixel 501, 502 umfasst die Hand der Person, nicht aber das Gesicht der Person, wie in dem dargestellten Full-Frame der Bilddaten 1412 dargestellt ist. Die Bilddaten von der Region werden dann beispielsweise von einem neuronalen Netzwerk, das durch das Prozessorsystem 130 realisiert ist, zum Zweck der Gestenerkennung verarbeitet. Die Ausgabe vom neuronalen Netzwerk kann eine Textidentifizierung der abgebildeten Geste sein.
Ausführungsformen der vorliegenden Offenbarung stellen Bildgebungsvorrichtungen 100 bereit, die imstande sind, eine ausgewählte Szene oder einen ausgewählten Bereich einer Szene unter Verwendung eines oder mehrerer Pixel-Arrays 300 kontinuierlich zu überwachen, die eine Vielzahl von Ereignisdetektionspixeln 501, 503 und eine Vielzahl von Bilderfassungspixeln 501, 502 enthalten. Als Reaktion auf die Detektion eines Ereignisses durch ein oder mehrere Ereignisdetektionspixel 501, 503 wird eine ausgewählte Region 1208 von Bilderfassungspixeln 501, 502 aktiviert. Um jedes detektierte Ereignis 1204 herum kann eine Region 1208 eingerichtet werden. Die Größe einer beliebigen Region 1208 kann von einer ausgewählten Größe, einer Anzahl von Ereignissen 1204, die innerhalb des Bereichs zu einer beliebigen Zeit oder innerhalb eines Zeitraums erfasst werden, der Geschwindigkeit eines mit einer Reihe von Ereignissen 1204 verbundenen Objekts oder dergleichen abhängen. Außerdem können mehrere Regionen, die einander überlappen, eingerichtet werden. Alternativ dazu oder zusätzlich kann eine Frame-Rate, mit der die Bildgebungspixel 501, 502 innerhalb einer bestimmten Region betrieben werden, basierend auf Charakteristiken des Ereignisses oder der Ereignisse 1204 innerhalb der Region oder eines mit den Ereignissen 1204 verbundenen Objekts bestimmt werden. Bilderfassungspixel 501, 502, die in einer Region 1208 nicht enthalten sind, können in einem Schlafmodus bleiben, wodurch Energie eingespart wird.
Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionspixel 502, 503 weiter betreiben, während Bilderfassungspixel 501, 502 in Betrieb sind. Wie an anderer Stelle hierin bemerkt wurde, arbeiten Ereignisdetektionspixel 502, 503 im Allgemeinen asynchron. Indem man die Ereignisdetektionspixel 502, 503 weiter betreibt, können Ereignisdetektionsfunktionen ohne Verlust oder Verringerung der zeitlichen Ereignisdetektionsleistung der Bildgebungsvorrichtung 100 kontinuierlich durchgeführt werden.
Dementsprechend stellen Ausführungsformen der vorliegenden Offenbarung Bildgebungsvorrichtungen 100 mit einem oder mehr Pixel-Arrays 300 bereit, die imstande sind, sowohl Ereignisdetektions- als auch Bildgebungsoperationen durchzuführen. Außerdem können die Ereignisdetektionspixel kontinuierlich betrieben werden und können die Bilderfassungspixel selektiv betrieben werden. Der selektive Betrieb der Ereignisdetektionspixel kann den Betrieb ausgewählter Teilmengen oder Gruppen von Ereignisdetektionspixeln in einer Region oder Regionen einschließen, die eine Region oder Regionen umfassen, in denen ein oder mehr Ereignisse durch die Ereignisdetektionspixel detektiert wurden. Außerdem kann eine für einen Betrieb der Bilderfassungspixel in der einen oder den mehreren Regionen verwendete Frame-Rate basierend auf Charakteristiken oder einer Identifizierung des detektierten Ereignisses oder der detektierten Ereignisse ausgewählt werden. Nach einer ausgewählten Zeitspanne, nachdem ein abzubildendes Ereignis nicht mehr vorhanden ist bzw. vorliegt oder nachdem ein anderes Kriterium erfüllt wurde, wird der Betrieb der Bilderfassungspixel eingestellt, während ein Betrieb der Ereignisdetektionspixel andauert. Dementsprechend wird in Kombination mit ausgewählten Bildgebungsoperationen eine kontinuierliche Überwachung von Ereignissen ermöglicht, wodurch relevante Bilddaten bereitgestellt werden, während Energie, Datenübertragungs- und Datenverarbeitungsressourcen eingespart werden.
15 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuerungssystems veranschaulicht, das ein Beispiel eines Systems zur Steuerung eines sich bewegenden Körpers ist, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann.
Ein Fahrzeugsteuerungssystem 12000 umfasst eine Vielzahl elektronischer Steuerungseinheiten oder Prozessorsysteme, die über ein Kommunikationsnetzwerk 12001 miteinander verbunden sind. In dem in 15 veranschaulichten Beispiel umfasst das Fahrzeugsteuerungssystem 12000 eine Antriebssystem-Steuerungseinheit 12010, eine Karosseriesystem-Steuerungseinheit 12020, eine Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs, eine Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs und eine integrierte Steuerungseinheit 12050. Außerdem sind als funktionale Konfiguration der integrierten Steuerungseinheit 12050 ein Mikrocomputer 12051, eine Sprach- und Bild-Ausgabeeinheit 12052 und eine Schnittstelle (I/F) 12053 des bordeigenen Netzwerks in der Zeichnung veranschaulicht.
Die Antriebssystem-Steuerungseinheit 12010 steuert gemäß verschiedenen Programmen einen Betrieb einer Vorrichtung in Bezug auf ein Antriebssystem eines Fahrzeugs. Beispielsweise fungiert die Antriebssystem-Steuerungseinheit 12010 als Steuerungsvorrichtung einer Antriebskraft-Erzeugungsvorrichtung wie etwa eines Verbrennungsmotors und eines Antriebsmotors, der eine Antriebskraft des Fahrzeugs erzeugt, eines Antriebskraft-Übertragungsmechanismus, der die Antriebskraft auf Räder überträgt, eines Lenkmechanismus, der einen Lenkwinkel des Fahrzeugs einstellt, und einer Bremsvorrichtung, der eine Bremskraft des Fahrzeugs erzeugt, und dergleichen.
Die Karosseriesystem-Steuerungseinheit 12020 steuert einen Betrieb verschiedener Vorrichtungen, die an einer Fahrzeugkarosserie montiert sind, gemäß verschiedenen Programmen. Beispielsweise fungiert die Karosseriesystem-Steuerungseinheit 12020 als Steuerungsvorrichtung eines schlüssellosen Zugangssystems, eines Systems für intelligente Schlüssel, einer automatischen Fenstervorrichtung und verschiedener Leuchten wie etwa eines Frontscheinwerfers, eines Heckscheinwerfers, einer Bremsleuchte, eines Fahrtrichtungsanzeigers und einer Nebelleuchte. In diesem Fall kann eine elektrische Welle, die von einer tragbaren Vorrichtung, die einen Schlüssel ersetzt, übertragen wird, oder können Signale verschiedener Schalter in die die Karosseriesystem-Steuerungseinheit 12020 eingespeist werden. Die Karosseriesystem-Steuerungseinheit 12020 empfängt eine Einspeisung dieser elektrischen Wellen oder der Signale und steuert eine Türverriegelungsvorrichtung, eine automatische Fenstervorrichtung, die Leuchte und dergleichen des Fahrzeugs.
Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert Informationen bezüglich der Außenseite bzw. äußeren Umgebung des Fahrzeugs, an dem das Fahrzeugsteuerungssystem 12000 montiert ist. Beispielsweise ist eine Bildgebungseinheit 12031 mit der Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs verbunden. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs veranlasst die Bildgebungseinheit 12031, ein Bild der äußeren Umgebung des Fahrzeugs aufzunehmen, und empfängt das aufgenommene Bild. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs kann auf der Basis des Bildes, das empfangen wird, eine Objektdetektionsverarbeitung einer Person, eines Fahrzeugs, eines Hindernisses, eines Verkehrsschilds, eines Zeichens auf einer Straße oder dergleichen oder eine Abstandsdetektionsverarbeitung durchführen.
Die Bildgebungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein einem Lichtempfangsbetrag entsprechendes elektrisches Signal abgibt. Die Bildgebungseinheit 12031 kann das elektrische Signal als Bild abgeben oder als Information einer Abstandsmessung abgeben. Außerdem kann das mittels der Bildgebungseinheit 12031 empfangene Licht sichtbares Licht sein oder kann unsichtbares Licht wie etwa Infrarotstrahlen sein. Darüber hinaus kann die Bildgebungseinheit 12031 einen Bildsensor 200 enthalten, der eine Pixel-Arrayeinheit 310 mit den Einheitspixeln 300 enthält, die gemäß Ausführungsformen der vorliegenden Offenbarung konfiguriert und von anderen Einheitspixeln 310 innerhalb der Pixel-Arrayeinheit isoliert sind.
Die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs detektiert Information im Innern des Fahrzeugs. Mit der Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs ist zum Beispiel eine Einheit 12041 zur Detektion des Fahrerzustands verbunden, die einen Zustand des Fahrers detektiert. Die Einheit 12041 zur Detektion des Fahrerzustands umfasst zum Beispiel eine Kamera, die den Fahrer aufnimmt bzw. abbildet, und auf der Basis der Detektionsinformation, die von der Einheit 12041 zur Detektion des Fahrerzustands eingegeben wird, kann die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs den Ermüdungsgrad oder den Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eindöst.
Auf der Basis der Information aus dem Innern und der der äußeren Umgebung, die durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs erfasst wird, berechnet der Mikrocomputer 12051 einen Steuerungszielwert der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung und kann einen Steuerungsbefehl an die Antriebssystem-Steuerungseinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung, um eine Funktion eines fortgeschrittenen Fahrerassistenzsystems (ADAS) zu realisieren, ausführen, die eine Kollisionsvermeidung oder Aufprallabschwächung des Fahrzeugs, eine Nachfolgefahrt basierend auf dem Abstand zwischen Fahrzeugen, eine Fahrt mit konstanter Geschwindigkeit des Fahrzeugs, eine Warnung vor einer Fahrzeugkollision, eine Warnung vor einem Verlassen der Spur des Fahrzeugs und dergleichen einschließt.
Ferner kann der Mikrocomputer 12051 eine kooperative Steuerung für automatisches Fahren und dergleichen durchführen, bei der das Fahrzeug unabhängig von einer Bedienung durch den Fahrer autonom fährt, indem die Antriebskraft-Erzeugungsvorrichtung, der Lenkmechanismus, die Bremsvorrichtung und dergleichen auf der Basis einer Information über die Umgebung des Fahrzeugs gesteuert wird, die mittels der Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs oder der Einheit 12040 zur Detektion von Information von innerhalb des Fahrzeugs erfasst bzw. erlangt wird.
Der Mikrocomputer 12051 kann einen Steuerungsbefehl an die Karosseriesystem-Steuerungseinheit 12020 auf der Basis der Information von außerhalb des Fahrzeugs ausgeben, die mittels der Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs erlangt wird. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung, um eine Blendung zu verhindern, durchführen, wie etwa ein Umschalten von Fernlicht auf Abblendlicht, indem der Frontscheinwerfer entsprechend einer Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs, das durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert wird, gesteuert wird.
Die Sprach- und Bild-Ausgabeeinheit 12052 überträgt Ausgangssignal, darunter Sprache und ein Bild, zu einer Ausgabevorrichtung, die einem Insassen in einem Fahrzeug oder der äu-ßeren Umgebung des Fahrzeugs eine Information optisch oder akustisch mitteilen kann. Im Beispiel in 15 sind als die Ausgabevorrichtung ein Lautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 beispielhaft veranschaulicht. Die Anzeigeeinheit 12062 kann beispielsweise zumindest eine einer bordeigenen Anzeige oder eines Head-Up-Displays umfassen.
16 ist eine Ansicht, die ein Beispiel einer Installationsposition der Bildgebungseinheit 12031 veranschaulicht.
In 16 sind als die Bildgebungseinheit 12031 Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 vorgesehen.
Die Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 sind beispielsweise an Positionen wie etwa einer Frontpartie, einem Seitenspiegel, einer hinteren Stoßstange, einer Hecktür und einer Oberseite einer Windschutzscheibe im Fahrzeuginnenraum des Fahrzeugs 12100 vorgesehen. Die an der Frontpartie vorgesehene Bildgebungseinheit 12101 und die Bildgebungseinheit 12105, die an der Oberseite der Windschutzscheibe im Innern des Fahrzeugs vorgesehen ist, nehmen vorwiegend Bilder der Seite vor dem Fahrzeug 12100 auf. Die Bildgebungseinheiten 12102 und 12103, die an den Seitenspiegeln vorgesehen sind, nehmen vorwiegend Bilder von den Seiten des Fahrzeugs 12100 auf. Die Bildgebungseinheit 12104, die an der hinteren Stoßstange oder der Hecktür vorgesehen ist, nimmt vorwiegend Bilder an der Seite hinter dem Fahrzeug 12100 auf. Die Bildgebungseinheit 12105, die am oberen Teil der Windschutzscheibe im Fahrzeuginnern vorgesehen ist, kann vorwiegend genutzt, um ein vorausfahrendes Fahrzeug, einen Fußgänger, ein Hindernis, eine Verkehrsampel, ein Verkehrszeichen, eine Fahrspur und dergleichen zu detektieren.
Darüber hinaus veranschaulicht 16 ein Beispiel eines Bildaufnahmebereichs der Bildgebungseinheiten 12101 bis 12104. Ein Bildaufnahmebereich 12111 repräsentiert einen Bildaufnahmebereich der Bildgebungseinheit 12101, die an der Frontpartie vorgesehene ist, Bildaufnahmebereiche 12112 und 12113 repräsentieren Bildaufnahmebereiche der Bildgebungseinheiten 12102 bzw. 12103, die an den Seitenspiegeln vorgesehen sind, ein Bildaufnahmebereich 12114 repräsentiert einen Bildaufnahmebereich der Bildgebungseinheit 12104, die an der hinteren Stoßstange oder der Hecktür vorgesehen ist. Beispielsweise ist es möglich, wenn eine Vielzahl Stücke von durch die Bildgebungseinheiten 12101 bis 12104 aufgenommenen Bilddaten einander überlagert werden, ein Bild aus der Vogelperspektive, wenn das Fahrzeug 12100 von oben gesehen wird, zu erhalten.
Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion, um eine Abstandsinformation zu erlangen, aufweisen. Beispielsweise kann zumindest eine der Bildgebungseinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Bildgebungselementen enthält, oder ein Bildgebungselement, das Pixel für eine Detektion von Phasendifferenzen enthält, sein.
Beispielsweise kann der Mikrocomputer 12051 ein dreidimensionales Objekt, das insbesondere auf einem Fahrweg des Fahrzeugs 12100 ein am nächsten befindliches Objekt ist und in annähernd dieselbe Richtung wie jene des Fahrzeugs 12100 fährt, das mit einer vorbestimmten Geschwindigkeit (zum Beispiel 0 km/h oder höher) fährt, als vorausfahrendes Fahrzeug extrahiert werden, indem Abstände zu jeweiligen dreidimensionalen Objekten in den Bildaufnahmebereichen 12111 bis 12114 und eine Variation der Abstände im Verlauf der Zeit (relative Geschwindigkeit zum Fahrzeug 12100) auf der Basis der von den Bildgebungseinheiten 12100 bis 12104 erhalten werden. Außerdem kann der Mikrocomputer 12051 einen zwischen Fahrzeugen sicherzustellenden Abstand vor dem vorausfahrenden Fahrzeug vorher festlegen, um eine automatische Bremssteuerung (einschließlich einer Nachfolge-Stopp-Steuerung), eine automatische Beschleunigungssteuerung (einschließlich einer Nachfolge-Start-Steuerung) und dergleichen durchzuführen. Wie oben beschrieben wurde, ist es möglich, eine kooperative Steuerung für automatisches Fahrens, bei dem ein Fahrzeug autonom fährt, ohne von einem Eingriff des Fahrers abhängig zu sein, und dergleichen durchzuführen.
Beispielsweise kann der Mikrocomputer 12051 auf der Basis der von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Abstandsinformation dreidimensionale Objektdaten in Bezug auf ein dreidimensionales Objekt extrahieren, indem eine Vielzahl von Stücken dreidimensionaler Objektdaten in Daten eines zweirädrigen Fahrzeugs, Daten eines typischen Fahrzeugs, Daten eines großen Fahrzeugs, Daten eines Fußgängers und Daten anderer dreidimensionaler Objekte wie etwa eines Strommasten klassifiziert werden, und kann die dreidimensionalen Objektdaten zum automatischen Vermeiden bzw. Umgehen von Hindernissen nutzen. Beispielsweise unterscheidet der Mikrocomputer 12051 Hindernisse in der Peripherie des Fahrzeugs 12100 in ein Hindernis, das von einem Fahrer des Fahrzeugs 12100 erkannt werden kann, und ein Hindernis, das für den Fahrer optisch schwer zu erkennen ist. Außerdem bestimmt der Mikrocomputer 12051 ein Kollisionsrisiko, das ein Maß einer Kollisionsgefahr mit jedem der Hindernisse angibt. In einer Situation, in der das Kollisionsrisiko gleich einem bestimmten festgelegten Wert oder größer ist und eine Kollision stattfinden kann, kann der Mikrocomputer 12051 ein Fahren zur Kollisionsvermeidung unterstützen, indem über den Lautsprecher 12061 oder die Anzeigeeinheit 12062 eine Warnung an den Fahrer ausgegeben wird oder indem über die Antriebssystem-Steuerungseinheit 12010 eine erzwungene Abbremsung oder Ausweichlenkbewegung durchgeführt wird.
Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Beispielsweise kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem bestimmt wird, ob in von den Bildgebungseinheiten 12101 bis 12104 aufgenommenen Bildern der Fußgänger vorhanden ist oder nicht. Die Fußgängererkennung ausgeführt beispielsweise mittels einer Prozedur zum Extrahieren eines spezifischen Punkts in den von den Bildgebungseinheiten 12101 bis 12104 als Infrarotkamera aufgenommenen Bildern und einer Prozedur zum Durchführen einer Verarbeitung für einen Musterabgleich für einer Reihe spezifischer Punkte, die die Konturlinie eines Objekts angeben, um zu bestimmen, ob das Objekt ein Fußgänger ist oder nicht. Wenn der Mikrocomputer 12051 bestimmt, dass ein Fußgänger in den von den Bildgebungseinheiten 12101 bis 12104 aufgenommenen Bildern vorhanden ist, und den Fußgänger erkennt, steuert die Sprach- und Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062, um eine viereckige Konturlinie zur Hervorhebung auf dem Fußgänger, er erkannt ist, zu überlagern und anzuzeigen. Die Sprach- und Bild-Ausgabeeinheit 12052 kann darüber hinaus die Anzeigeeinheit 12062 steuern, um ein den Fußgänger angebendes Symbol oder dergleichen an einer gewünschten Position anzuzeigen.
Hierin wurde vorher ein Beispiel des Fahrzeugsteuerungssystems beschrieben, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann. Die Technologie gemäß der vorliegenden Offenbarung ist für die Bildgebungseinheit 12031, die Einheit 12041 zur Detektion eines Fahrerzustands und dergleichen unter den oben beschriebenen Konfigurationen verwendbar.
Vorher wurden hierin Ausführungsformen der vorliegenden Offenbarung beschrieben; aber der technische Umfang der vorliegenden Offenbarung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können in einem vom Kern der vorliegenden Offenbarung nicht abweichenden Bereich vorgenommen werden. Außerdem können einzelne Elemente in anderen Ausführungsformen und Modifikationsbeispielen geeignet kombiniert werden.
Darüber hinaus sind die Effekte in den Ausführungsformen, die in dieser Beschreibung dargelegt wurden, nur veranschaulichend und kann ein anderer Effekt ohne Beschränkung vorliegen.
Überdies kann die vorliegende Technologie die vorliegenden Konfigurationen umfassen.

(1) Ein System, aufweisend:
- eine erste Pixel-Gruppe, die eine Änderung der Lichtintensität detektiert;
- eine zweite Pixel-Gruppe, die einen Betrag der Lichtintensität detektiert;
- einen Prozessor, um eine Ausgabe von der ersten Pixel-Gruppe zu verarbeiten, um zumindest ein Ereignissignal abzugeben, und einen Betriebsmodus der zweiten Pixel-Gruppe basierend auf dem zumindest einen Ereignissignal zu bestimmen, wobei es sich bei dem Betriebsmodus um eine Region von Interesse oder eine Frame-Rate der zweiten Pixel-Gruppe oder beide handelt.
(2) Das System nach (1), wobei der Prozessor dafür konfiguriert ist, die Frame-Rate der zweiten Pixel-Gruppe auszuwählen.
(3) Das System nach (1) oder (2), wobei der Prozessor dafür konfiguriert ist, die Region von Interesse auszuwählen.
(4) Das System nach einem von (1) bis (3), wobei ein Pixel in der ersten Pixel-Gruppe in der zweiten Pixel-Gruppe enthalten ist.
(5) Das System nach (4), wobei das Pixel ein fotoelektrisches Umwandlungsgebiet enthält, das mit einer Bildgebungsschaltung gekoppelt ist, die das Bildgebungssignal erzeugt, und mit einer Ereignisdetektionsschaltung gekoppelt ist, die das Ereignissignal erzeugt.
(6) Das System nach einem von (1) bis (5), wobei die erste Pixel-Gruppe asynchron arbeitende Ereignisdetektionspixel enthält.
(7) Das System nach einem (1) bis (6) wobei die erste Pixel-Gruppe zur gleichen Zeit, zu der die zweite Pixel-Gruppe mit einer ausgewählten Frame-Rate arbeitet, asynchron betrieben wird.
(8) Das System nach (7), wobei weniger als all die Pixel in der zweiten Pixel-Gruppe mit einer ausgewählten Frame-Rate betrieben werden.
(9) Das System nach einem von (1) bis (8), wobei die zweite Pixel-Gruppe eine erste Vielzahl von Pixeln, die auf einer Intensität von rotem Licht basierende Signale erzeugen, eine zweite Vielzahl von Pixeln, die auf einer Intensität von grünem Licht basierende Signale erzeugen, und eine dritte Vielzahl von Pixeln umfasst, die auf einer Intensität von blauem Licht basierende Signale erzeugen.
(10) Ein Bildgebungssystem, aufweisend:
- eine Vielzahl ereignisbasierter Sensorpixel; und
- eine Vielzahl von Bilderfassungspixeln, wobei zumindest eine einer Teilmenge der Bilderfassungspixel oder einer Frame-Rate der Bilderfassungspixel basierend auf einem von einem oder mehreren der ereignisbasierten Sensorpixel bereitgestellten Detektionsereignis ausgewählt wird.
(11) Das Bildgebungssystem nach (10), wobei die ereignisbasierten Sensorpixel und die Bilderfassungspixel Teil derselben Sensorvorrichtung sind.
(12) Das Bildgebungssystem nach (10) oder (11), wobei zumindest einige der ereignisbasierten Sensorpixel und zumindest einige der Bilderfassungspixel ein fotoelektrisches Umwandlungselement gemeinsam nutzen.
(13) Ein Verfahren zum Betreiben einer Bildgebungsvorrichtung, aufweisend:
- ein Empfangen von zumindest einem ersten Ereignisdetektionssignal von zumindest einem ersten Pixel, das in einer ersten Pixel-Gruppe enthalten ist;
- als Reaktion auf einen Empfang des zumindest einen ersten Ereignisdetektionssignals, ein Initialisieren eines Betriebs einer ersten Vielzahl von Pixeln, die in einer zweiten Pixel-Gruppe enthalten sind, wobei der Betrieb einer ersten Vielzahl von Pixeln in der zweiten Pixel-Gruppe weniger als all die Pixel in der zweiten Pixel-Gruppe einschließt; und
- ein Empfangen von zumindest einem zweiten Ereignisdetektionssignal von zumindest einem des ersten Pixels oder eines zweiten Pixels, das in der ersten Pixel-Gruppe enthalten ist, während die erste Vielzahl von Pixeln in der zweiten Pixel-Gruppe in Betrieb ist.
(14) Das Verfahren nach (13), wobei das erste Ereignisdetektionssignal eine Vielzahl von Signalen umfasst, die von einer Vielzahl von Pixeln in der ersten Pixel-Gruppe empfangen werden, wobei das Verfahren ferner aufweist:
- ein Erkennen eines ersten Objekts aus der Vielzahl von Signalen, die als Teil des ersten Ereignisdetektionssignals empfangen werden; und,
- als Reaktion auf ein Erkennen des ersten Objekts, ein Bestimmen von in der zweiten Pixel-Gruppe enthaltenen Pixeln für einen Betrieb, wobei die bestimmten Pixel Pixel innerhalb einer Region sind, die eine Region des erkannten ersten Objekts umgibt.
(15) Das Verfahren nach (14), wobei das erkannte erste Objekt ein Gesicht ist.
(16) Das Verfahren nach einem von (13) bis (15), wobei der Betrieb der ersten Vielzahl von Pixeln in der ersten Pixel-Gruppe, die betrieben werden, in einer ersten Region eines Arrays der in der ersten Pixel-Gruppe enthaltenen Pixel liegt, wobei das Verfahren ferner aufweist:
- ein Empfangen eines zweiten Ereignisdetektionssignals von einer Vielzahl von Pixeln in der ersten Pixel-Gruppe;
- ein Erkennen eines zweiten Objekts aus der Vielzahl von Signalen, die als Teil des zweiten Ereignisdetektionssignals empfangen werden; und,
- als Reaktion auf ein Erkennen des zweiten Objekts, ein Belassen von in der zweiten Pixel-Gruppe in einer das zweite Objekt umgebenden zweiten Region enthaltenen Pixeln, die nicht auch in der ersten Region enthalten sind, in einem Schlafmodus.
(17) Das Verfahren nach einem von (14) bis (16) ferner aufweisend:
- ein Bestimmen, dass sich das erste Objekt bewegt hat; und,
- als Reaktion auf ein Bestimmen, dass sich das erste Objekt bewegt hat, ein Ändern der Region von in der zweiten Gruppe von Pixeln enthaltenen Pixeln, die aktiviert werden.
(18) Das Verfahren nach einem von (13) bis (17), ferner aufweisend:
- ein Einstellen eines Betriebs der Vielzahl von in der zweiten Pixel-Gruppe enthaltenen Pixeln; und,
- nach einem Einstellen des Betriebs der Vielzahl von in der zweiten Pixel-Gruppe enthaltenen Pixeln, ein Empfangen von zumindest einem dritten Ereignisdetektionssignal von zumindest einem des ersten, des zweiten oder eines dritten Pixels, das in der ersten Pixel-Gruppe enthalten ist.
(19) Das Verfahren nach einem von (13) bis (18), ferner aufweisend:
- ein Betreiben der ersten Vielzahl von Pixeln mit einer ersten Frame-Rate.

Claims

System, aufweisend: eine erste Pixel-Gruppe, die eine Änderung der Lichtintensität detektiert; eine zweite Pixel-Gruppe, die einen Betrag der Lichtintensität detektiert; einen Prozessor, um eine Ausgabe von der ersten Pixel-Gruppe zu verarbeiten, um zumindest ein Ereignissignal abzugeben, und einen Betriebsmodus der zweiten Pixel-Gruppe basierend auf dem zumindest einen Ereignissignal zu bestimmen, wobei es sich bei dem Betriebsmodus um eine Region von Interesse oder eine Frame-Rate der zweiten Pixel-Gruppe oder beide handelt.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, die Frame-Rate der zweiten Pixel-Gruppe auszuwählen.
System nach Anspruch 2, wobei der Prozessor dafür konfiguriert ist, die Region von Interesse auszuwählen.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, die Region von Interesse auszuwählen.
System nach Anspruch 1, wobei ein Pixel in der ersten Pixel-Gruppe in der zweiten Pixel-Gruppe enthalten ist.
System nach Anspruch 5, wobei das Pixel ein fotoelektrisches Umwandlungsgebiet enthält, das mit einer Bildgebungsschaltung gekoppelt ist, die das Bildgebungssignal erzeugt, und mit einer Ereignisdetektionsschaltung gekoppelt ist, die das Ereignissignal erzeugt.
System nach Anspruch 1, wobei die erste Pixel-Gruppe asynchron arbeitende Ereignisdetektionspixel enthält.
System nach Anspruch 7, wobei die erste Pixel-Gruppe zur gleichen Zeit, zu der die zweite Pixel-Gruppe mit einer ausgewählten Frame-Rate arbeitet, asynchron betrieben wird.
System nach Anspruch 8, wobei weniger als all die Pixel in der zweiten Pixel-Gruppe mit einer ausgewählten Frame-Rate betrieben werden.
System nach Anspruch 9, wobei die zweite Pixel-Gruppe eine erste Vielzahl von Pixeln, die auf einer Intensität von rotem Licht basierende Signale erzeugen, eine zweite Vielzahl von Pixeln, die auf einer Intensität von grünem Licht basierende Signale erzeugen, und eine dritte Vielzahl von Pixeln umfasst, die auf einer Intensität von blauem Licht basierende Signale erzeugen.
Bildgebungssystem, aufweisend: eine Vielzahl ereignisbasierter Sensorpixel; und eine Vielzahl von Bilderfassungspixeln, wobei zumindest eine einer Teilmenge der Bilderfassungspixel oder einer Frame-Rate der Bilderfassungspixel basierend auf einem von einem oder mehreren der ereignisbasierten Sensorpixel bereitgestellten Detektionsereignis ausgewählt wird.
Bildgebungssystem nach Anspruch 11, wobei die ereignisbasierten Sensorpixel und die Bilderfassungspixel Teil derselben Sensorvorrichtung sind.
Bildgebungssystem nach Anspruch 12, wobei zumindest einige der ereignisbasierten Sensorpixel und zumindest einige der Bilderfassungspixel ein fotoelektrisches Umwandlungselement gemeinsam nutzen.
Verfahren zum Betreiben einer Bildgebungsvorrichtung, aufweisend: ein Empfangen von zumindest einem ersten Ereignisdetektionssignal von zumindest einem ersten Pixel, das in einer ersten Pixel-Gruppe enthalten ist; als Reaktion auf einen Empfang des zumindest einen ersten Ereignisdetektionssignals, ein Initialisieren eines Betriebs einer ersten Vielzahl von Pixeln, die in einer zweiten Pixel-Gruppe enthalten sind, wobei der Betrieb einer ersten Vielzahl von Pixeln in der zweiten Pixel-Gruppe weniger als all die Pixel in der zweiten Pixel-Gruppe einschließt; und ein Empfangen von zumindest einem zweiten Ereignisdetektionssignal von zumindest einem des ersten Pixels oder eines zweiten Pixels, das in der ersten Pixel-Gruppe enthalten ist, während die erste Vielzahl von Pixeln in der zweiten Pixel-Gruppe in Betrieb ist.
Verfahren nach Anspruch 14, wobei das erste Ereignisdetektionssignal eine Vielzahl von Signalen umfasst, die von einer Vielzahl von Pixeln in der ersten Pixel-Gruppe empfangen werden, wobei das Verfahren ferner aufweist: ein Erkennen eines ersten Objekts aus der Vielzahl von Signalen, die als Teil des ersten Ereignisdetektionssignals empfangen werden; und, als Reaktion auf ein Erkennen des ersten Objekts, ein Bestimmen von in der zweiten Pixel-Gruppe enthaltenen Pixeln für einen Betrieb, wobei die bestimmten Pixel Pixel innerhalb einer Region sind, die eine Region des erkannten ersten Objekts umgibt.
Verfahren nach Anspruch 15, wobei das erkannte erste Objekt ein Gesicht ist.
Verfahren nach Anspruch 15, wobei der Betrieb der ersten Vielzahl von Pixeln in der ersten Pixel-Gruppe, die betrieben werden, in einer ersten Region eines Arrays der in der ersten Pixel-Gruppe enthaltenen Pixel liegt, wobei das Verfahren ferner aufweist: ein Empfangen eines zweiten Ereignisdetektionssignals von einer Vielzahl von Pixeln in der ersten Pixel-Gruppe; ein Erkennen eines zweiten Objekts aus der Vielzahl von Signalen, die als Teil des zweiten Ereignisdetektionssignals empfangen werden; und, als Reaktion auf ein Erkennen des zweiten Objekts, ein Belassen von in der zweiten Pixel-Gruppe in einer das zweite Objekt umgebenden zweiten Region enthaltenen Pixeln, die nicht auch in der ersten Region enthalten sind, in einem Schlafmodus.
Verfahren nach Anspruch 15, ferner aufweisend: ein Bestimmen, dass sich das erste Objekt bewegt hat; und, als Reaktion auf eine Bestimmung, dass sich das erste Objekt bewegt hat, ein Ändern der Region von in der zweiten Gruppe von Pixeln enthaltenen Pixeln, die aktiviert werden.
Verfahren nach Anspruch 14, ferner aufweisend: ein Einstellen eines Betriebs der Vielzahl von in der zweiten Pixel-Gruppe enthaltenen Pixeln; und, nach einem Einstellen des Betriebs der Vielzahl von in der zweiten Pixel-Gruppe enthaltenen Pixeln, ein Empfangen von zumindest einem dritten Ereignisdetektionssignal von zumindest einem des ersten, des zweiten oder eines dritten Pixels, das in der ersten Pixel-Gruppe enthalten ist.
Verfahren nach Anspruch 14, ferner aufweisend: ein Betreiben der ersten Vielzahl von Pixeln mit einer ersten Frame-Rate.