DE112020006097T5 - Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen - Google Patents

Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen Download PDF

Info

Publication number
DE112020006097T5
DE112020006097T5 DE112020006097.7T DE112020006097T DE112020006097T5 DE 112020006097 T5 DE112020006097 T5 DE 112020006097T5 DE 112020006097 T DE112020006097 T DE 112020006097T DE 112020006097 T5 DE112020006097 T5 DE 112020006097T5
Authority
DE
Germany
Prior art keywords
pixels
sensor
pixel
event
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020006097.7T
Other languages
English (en)
Inventor
Kevin Chan
Ping Wah Wong
Sa Xiao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of DE112020006097T5 publication Critical patent/DE112020006097T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Abstract

Bereitgestellt wird ein Sensorsystem mit einer Vielzahl von Sensoren oder Sensorfunktionen. Die Sensoren können einen Ereignisdetektionssensor, einen Laufzeitsensor und einen Bildgebungssensor umfassen. Die verschiedenen Sensoren können auf dem gleichen oder verschiedenen Substraten implementiert sein. Dementsprechend können Sensoren mit Pixeln mit unterschiedlichen oder gemeinsam genutzten Funktionen im Sensor enthalten sein. Im Betrieb veranlasst ein Ereignisdetektionssignal von einem Ereignisdetektionssensor, dass der Betrieb eines Laufzeitsensors eingeleitet wird. Als Reaktion auf die Detektion eines Objekts innerhalb eines kritischen Bereichs durch den Laufzeitsensor wird der Bildgebungssensor aktiviert. Die Bilderfassungs- und Ereignisdetektionspixel können als Teil unterschiedlicher Arrays von Pixeln vorgesehen werden oder können innerhalb eines gemeinsamen Arrays von Pixeln enthalten sein.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich auf Kameras mit ereignisbasierten Sensor-, Laufzeit- und Bildsensorfähigkeiten und auf eine Steuerung der Betriebsmodi der Kameras.
  • HINTERGRUND
  • In der verwandten Technik wurde eine Festkörper-Bildgebungsvorrichtung vom Synchronisationstyp, die Bilddaten synchron mit einem Synchronisationssignal wie etwa einem vertikalen Synchronisationssignal erfasst, in einer Bildgebungsvorrichtung und dergleichen verwendet. In der typischen Festkörper-Bildgebungsvorrichtung vom Synchronisationstyp ist es notwendig, mit einer hohen Bild- bzw. Frame-Rate zu arbeiten, um Objekte, die sich mit einer hohen Geschwindigkeit bewegen, genau zu erfassen. Die Zeit, die erforderlich ist, um alle Bildgebungselemente aus der Bildgebungsvorrichtung auszulesen, begrenzt jedoch die höchste Frame-Rate, mit der die Bildgebungsvorrichtung arbeiten kann. Dies wiederum begrenzt die Fähigkeit der Bildgebungsvorrichtung, sich schnell bewegende Objekte aufzunehmen bzw. zu erfassen. Somit ist es schwierig, mit Fällen, in denen eine Verarbeitung mit verhältnismäßig hoher Geschwindigkeit geringer Latenz bzw. Latenzzeit gefordert wird, wie etwa auf Gebieten, die eine Verarbeitung mit hoher Geschwindigkeit (z. B. in Echtzeit) erfordern, wie etwa bei autonomen Fahrzeugen, der Robotik und dergleichen zurechtzukommen. In diesem Zusammenhang wird eine Festkörper-Bildgebungsvorrichtung vom Nicht-Synchronisationstyp vorgeschlagen, bei der eine Detektionsschaltung für jedes Pixel vorgesehen ist, um eine Situation, in der eine Änderung eines Lichtempfangsbetrags einen Schwellenwert übersteigt, als ein Adressereignis in Echtzeit zu detektieren. Auf die Festkörper-Bildgebungsvorrichtung vom Nicht-Synchronisationstyp, die das Adressereignis für jedes Pixel detektiert, wird auch als ereignisbasierter Sensor (EBS) verwiesen.
  • Laufzeit-(ToF-)Sensoren wurden entwickelt, um die Entfernung von einer Kamera zu einem Objekt zu bestimmen. In einer typischen Implementierung bzw. Realisierung sind eine Lichtquelle, die Licht mit einer ausgewählten Wellenlänge oder in einem Bereich von Wellenlängen abgibt, und optional ein optisches Bandpass- oder Langpassfilter als Teil des Sensorsystems enthalten. Die Zeit, die das von der Lichtquelle abgegebene Licht benötigt, um von einem Objekt innerhalb eines Sichtfeldes der Kamera reflektiert zu werden und zum Sensor zurückzukehren, kann verwendet werden, um die Entfernung zum Objekt zu berechnen. Jedoch ist der Betrieb eines Laufzeitsensors verhältnismäßig energie- bzw. leistungsintensiv.
  • Kameras mit Bildsensoren, die Graustufen- oder Farbbilder einer Szene aufnehmen bzw. erhalten, sind allgemein bekannt. Obgleich solche Bildsensoren ähnlich oder weniger leistungsintensiv als Laufzeitsensoren sind, verbrauchen sie im Allgemeinen mehr Leistung als EBS-Sensoren. Außerdem arbeiten Bildsensoren typischerweise mit einer vorbestimmten Bild- bzw. Frame-Rate und bieten daher nicht das Ansprechverhalten mit hoher Geschwindigkeit und geringer Latenzzeit, das ein EBS-Sensor bietet.
  • Eine Kamera, die einen EBS und eine reguläre Framebasierte Bildgebung kombiniert, kann bereitgestellt werden. In solch einem System kann die Detektion eines Ereignisses unter Ausnutzung der EBS-Fähigkeiten der Kamera als Auslöser, um den Betrieb der Abbildungs- bzw. Bildgebungsfunktion der Kamera einzuleiten bzw. zu initiieren, genutzt werden. Solche Systeme haben jedoch zu einer ineffizienten Datenübertragung und Objektverfolgung durch die Kamera geführt, da die Distanz des Objekts von der Kamera nicht berücksichtigt wird.
  • ZUSAMMENFASSUNG
  • TECHNISCHES PROBLEM
  • Eine Kamera mit einer Kombination aus EBS und regulärer Frame-basierter Bildgebung, bei der der Betrieb der Bildgebungsfunktionen als Reaktion auf die Detektion eines Ereignisses und die Detektion eines Objekts innerhalb einer ausgewählten Entfernung bzw. eines ausgewählten Bereichs der Kamera ausgelöst wird, kann einige der Einschränkungen überwinden, die bei der Verwendung einer Vorrichtung des regulären Bildgebungstyps allein oder einer regulären Bildgebungsvorrichtung in Kombination mit einem EBS-Sensor vorliegen, um Ereignisse zuverlässig zu detektieren, während für einen effizienten Betrieb gesorgt wird. Solche Systeme leiden jedoch weiterhin an verschiedenen Mängeln, insbesondere in bestimmten Betriebsszenarien. Beispielsweise kann ein Aktivieren der gesamten Fläche bzw. des gesamten Bereichs eines Bildgebungssensors als Reaktion auf die Detektion eines Ereignisses durch einen EBS-Sensor ohne Bestätigung bzw. Validierung des tatsächlichen Vorhandenseins eines Objekts oder der Distanz des Objekts innerhalb des Sichtfeldes der Kamera eine Ineffizienz bei der Datenübertragung und -verarbeitung hervorrufen. Beispielsweise kann mittels der Kamera ein fahrender Zug detektiert werden. Falls der fahrende Zug von der Kamera zu weit entfernt ist, ist er möglicherweise nicht von Interesse. Außerdem kann ein Aktivieren des gesamten Bereichs des Bildsensors zu einer effizienten Leistungsaufnahme führen. Obgleich ToF-Sensoren zur Verfügung stehen, die eine Entfernung zu einem Objekt bestimmen können, wurden solche Sensoren mit anderen Sensoren nicht effektiv integriert, um ein effizientes System zur Überwachung oder Detektion von Endringlingen zu schaffen.
  • Daher stellt die vorliegende Offenbarung Kameras, Sensorsysteme, Vorrichtungen und Verfahren bereit, die imstande sind, Funktionen zur Bildgebung, Detektion der Nähe von Objekten und Detektion von Ereignissen mit verbesserter Bildsensoreffizienz und -effektivität im Vergleich zu anderen Konfigurationen bereitzustellen.
  • LÖSUNG FÜR DAS PROBLEM
  • Gemäß Ausführungsformen und Aspekten der vorliegenden Offenbarung wird ein Kamera- oder Sensorsystem mit einer Kombination von EBS-, ToF- und regulären Frame-basierten Bildgebungssensoren, worin der Betrieb der Bildgebungsfunktionen als Reaktion auf die Detektion eines Ereignisses und die Detektion eines Objekts innerhalb eines ausgewählten Bereichs der Kamera ausgelöst wird, bereitgestellt, das die Einschränkungen bei einer Verwendung einer Vorrichtung vom regulären Bildgebungstyp allein oder einer regulären Bildgebungsvorrichtung in Kombination mit einem EBS-Sensor überwindet, um Ereignisse zuverlässig zu detektieren, während für einen effizienten Betrieb gesorgt wird. Insbesondere stellt der EBS-Sensor Fähigkeiten zur Ereignisdetektion bereit. Ein ToF-Sensor stellt Fähigkeiten zur Entfernungsbestimmung bereit. Ein Bildsensor (z. B. roter, grüner, blauer Bildsensor) stellt Bildgebungsfähigkeiten bereit. Die EBS-, ToF- und Bildsensorfähigkeiten können mittels separater EBS-, ToF- und Bildgebungssensorvorrichtungen bereitgestellt werden. Alternativ dazu können verschiedene Sensortypen kombiniert werden. Beispielsweise können ToF-Erfassungsfähigkeiten von einem separaten ToF-Sensor bereitgestellt werden, während EBS- und Bilderfassungsfähigkeiten auch mittels einer Sensorvorrichtung realisiert werden können, die kombinierte EBS- und Bildgebungssensorfähigkeiten aufweist. Eine Sensorvorrichtung mit kombinierten EBS- und Bildgebungssensorfähigkeiten kann eine Sensorvorrichtung mit einem Array von Pixeln einschließen, das sowohl EBS- als auch Bilderfassungspixel enthält. Außerdem kann ein kombinierter EBS- und Bildsensor fotoelektrische Umwandlungsgebiete enthalten, die als Teil von Pixeln vorgesehen sind, die sowohl EBS- als auch Bilderfassungsfunktionen ausführen. Darüber hinaus kann auch ein Sensor mit kombinierten Fähigkeiten von EBS-, ToF- und Bildgebungssensoren vorgesehen werden. Der einfachen Beschreibung halber bezieht sich die Diskussion hierin auf EBS-, ToF- und Bildsensorfunktionen, wie sie von separaten EBS-, ToF- und Bildsensoren bereitgestellt werden; sofern jedoch nicht konkret etwas anderes angegeben ist, sollte es sich verstehen, dass EBS-, ToF- und Bildsensoren in weniger als drei Sensorvorrichtungen integriert werden können. Insbesondere können die Sensoren auf verschiedene Weisen in zwei Sensoren auf einer einzigen Sensorvorrichtung kombiniert werden.
  • Im Betrieb hat ein mittels eines EBS-Sensors detektiertes Ereignis eine Aktivierung des ToF-Sensors zur Folge. Als Reaktion auf den ein Objekt oder ein Objekt innerhalb eines bestimmten Bereichs detektierenden ToF-Sensor kann der Bildsensor aktiviert werden. Gemäß weiteren Ausführungsformen hat ein mittels des EBS-Sensors detektiertes Ereignis eine Aktivierung sowohl des ToF-Sensors als auch des Bildsensors zur Folge.
  • Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können die Charakteristiken eines durch den EBS-Sensor detektierten Objekts in Verbindung mit einer Bestimmung der Betriebsparameter des Bildsensors analysiert werden. Beispielsweise kann ein neuronales Netzwerk oder eine andere Einrichtung zur Entscheidungsfindung bestimmen, ob ein detektiertes Ereignis durch ein Objekt innerhalb einer gewünschten Objektkategorie ausgelöst wurde. Falls eine gewünschte Objektkategorie detektiert wurde, kann der ToF-Sensor aktiviert werden, um zu bestimmen, ob sich das Objekt innerhalb eines ausgewählten Bereichs bzw. einer ausgewählten Entfernung befindet. Die Abbildung des Objekts durch den Bildsensor kann dann ausgelöst werden, falls und wenn das Objekt in den ausgewählten Bereich eintritt. Die Bildgebung kann andauern, während sich das Objekt innerhalb eines ausgewählten Bereichs befindet oder während sich das Objekt innerhalb des Sichtfeldes des Systems befindet. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann der Betrieb des Bildsensors fortgesetzt werden, bis ein Objekt analysiert und als unwichtig bestimmt wurde.
  • Gemäß zumindest einigen Ausführungsformen und Aspekten der vorliegenden Offenbarung kann sich der Bereich des Bildsensors, der aktiviert wird, ändern. Beispielsweise können statt einer Aktivierung all der in einem Bildsensor enthaltenen Pixel nur jene Pixel innerhalb eines Bereichs von Interesse aktiviert werden, der von dem gewünschten Objekt eingenommen wird oder dieses umgibt. Weitere Maßnahmen können dann ergriffen werden. Zum Beispiel können Daten vom aktivierten Bereich des Bildsensors, der dem Bereich von Interesse entspricht, beispielsweise mittels eines neuronalen Netzwerks oder einer anderen Einrichtung zur Entscheidungsfindung analysiert werden, um eine Objekterkennung, Objektklassifizierung, Gestenerkennung oder dergleichen durchzuführen.
  • Im Allgemeinen ist es wünschenswert, einen Betrieb des ToF-Sensors und des Bildsensors zu unterbrechen bzw. einzustellen und zum alleinigen Betrieb des EBS-Sensors zurückzukehren, um Energie bzw. Leistung zu sparen. Ausführungsformen und Aspekte der vorliegenden Offenbarung können einen Betrieb des ToF-Sensors, des Bildsensors oder sowohl des ToF-Sensors als auch des Bildsensors einstellen und das System zu einem EBS-Modus zurückführen, wenn bestimmte Bedingungen erfüllt sind. Dies kann der Fall sein, nachdem bestimmt wurde, dass nichts von Interesse stattfindet. Beispielsweise kann eine Abbildung eines Objekts eingestellt werden und können der ToF-Sensor und Bildsensor zum Schlafmodus zurückgeführt werden, nachdem ein Objekt, das sich vorher bewegte, gestoppt hat. Als ein weiteres Beispiel kann ein Betrieb des ToF-Sensors eingestellt werden, aber der Betrieb des Bildsensors fortgesetzt werden, nachdem bestimmt wurde, dass ein Objekt in einen ausgewählten Bereich eingedrungen ist oder sich innerhalb eines ausgewählten Bereichs bzw. einer ausgewählten Entfernung befindet. Der Bildsensorbetrieb kann auch eingestellt werden, nachdem ein Objekt identifiziert wurde und bestimmt ist, dass eine fortgesetzte Abbildung des identifizierten Objekts nicht erforderlich oder erwünscht ist. Als ein weiteres Beispiel kann ein ToF-Sensor- und/oder Bildsensorbetrieb eingestellt werden, nachdem sich ein Objekt aus der abgebildeten Szene herausbewegt hat oder sich über eine bestimmte minimale Distanz aus dem überwachten Bereich oder dem System bewegt hat. Als noch ein weiteres Beispiel kann ein ToF-Sensor- und/oder Bildsensorbetrieb eingestellt werden, nachdem eine vorbestimmte Zeitspanne verstrichen ist. Gemäß Ausführungsformen der vorliegenden Offenbarung bleibt der EBS-Sensorbetrieb ständig aktiv, unabhängig davon, ob andere Sensoren aktiv in Betrieb sind oder nicht.
  • Die vorliegende Offenbarung kann Kameras, Systeme oder Vorrichtungen mit ereignisbasierten Erfassungs-, Laufzeit- und Bildgebungsfähigkeiten bereitstellen, die imstande sind, Leistungsaufnahme-, Datenübertragungs- und Datenverarbeitungseffizienzen zu verbessern.
  • Figurenliste
    • [1] 1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Sensorsystems gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [2] 2 ist eine Ansicht, die ein Laminierungsstrukturbeispiel eines Sensorsystems gemäß Ausführungsformen der vorliegenden Veranschaulicht.
    • [3] 3 ist ein Blockdiagramm, das ein Funktionskonfigurationsbeispiel eines Sensorsystems gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [4] 4 veranschaulicht ein Array-Beispiel von Einheitspixeln gemäß Ausführungsformen der vorliegenden Offenbarung im Fall der Verwendung eines Bayer-Arrays in einem Farbfilter-Array.
    • [5] 5 ist ein Blockdiagramm, das Aspekte eines Sensorsystems gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [6A] 6A veranschaulicht Aspekte von Sensoren eines Sensorsystems gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [6B] 6B veranschaulicht Aspekte von Sensoren eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
    • [6C] 6C veranschaulicht Aspekte von Sensoren eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
    • [6D] 6D veranschaulicht Aspekte von Sensoren eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
    • [6E] 6E veranschaulicht Aspekte eines Sensors eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung.
    • [7A] 7A ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Einheitspixels mit kombinierten Ereignisdetektions- und Bildsensorfunktionen gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [7B] 7B ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel einer Gruppe von Bilderfassungspixeln gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [7C] 7C ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Ereignisdetektionspixels gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [7D] 7D ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines ToF-Pixels gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [8] 8 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Adressereignis-Detektionseinheit gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [9] 9 ist ein Schaltungsdiagramm, das ein Konfigurationsbeispiel eines Subtrahierers und eines Quantisierers gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [10] 10 ist ein Blockdiagramm, dass ein Konfigurationsbeispiel eines Spalten-ADC gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [11] 11 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Entfernungsmessmoduls für eine ToF-Erfassung gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
    • [12A] 12A ist ein Flussdiagramm, das den Betrieb eines Sensorsystems gemäß Ausführungsformen der vorliegenden Offenbarung zeigt.
    • [12B] 12B ist ein Blockdiagramm eines Sensorsystems, das dafür konfiguriert ist, die Operationen bzw. Vorgänge von 12A zu realisieren.
    • [13A] 13A ist ein Flussdiagramm, das den Betrieb eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung zeigt.
    • [13B] 13B ist ein Blockdiagramm eines Sensorsystems, das dafür konfiguriert ist, die Vorgänge von 13A zu realisieren.
    • [14A] 14A ist ein Flussdiagramm, das den Betrieb eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung zeigt.
    • [14B] 14B ist ein Blockdiagramm eines Sensorsystems, das dafür konfiguriert ist, die Vorgänge von 14A zu realisieren.
    • [15A] 15A ist ein Flussdiagramm, das den Betrieb eines Sensorsystems gemäß anderen Ausführungsformen der vorliegenden Offenbarung zeigt.
    • [15B] 15B ist ein Blockdiagramm eines Sensorsystems, das dafür konfiguriert ist, die Vorgänge von 15A zu realisieren.
    • [16] 16 veranschaulicht ein Betriebsszenario gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [17A] 17A zeigt Anwendungsfälle für ein Sensorsystem gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [17B] 17B zeigt Anwendungsfälle für ein Sensorsystem gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [17C] 17C zeigt Anwendungsfälle für ein Sensorsystem gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [17D] 17D zeigt Anwendungsfälle für ein Sensorsystem gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [17E] 17E zeigt Anwendungsfälle für ein Sensorsystem gemäß Ausführungsformen der vorliegenden Offenbarung.
    • [18] 18 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuerungssystems veranschaulicht.
    • [19] 19 ist eine Ansicht, die ein Beispiel einer Installationsposition einer Einheit zur Detektion von Information außerhalb des Fahrzeugs und einer Bildgebungseinheit veranschaulicht.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Auf der Basis der beiliegenden Zeichnungen werden hierin im Folgenden Ausführungsformen der vorliegenden Offenbarung im Detail beschrieben. Außerdem ist in den folgenden Ausführungsformen die gleiche Bezugsziffer für den gleichen oder äquivalenten Teilbereich oder das gleiche oder äquivalente Element vergeben und wird deren redundante Beschreibung unterlassen.
  • Ein typischer ereignisbasierter Sensor (EBS) wendet ein sogenanntes ereignisgetriebenes Ansteuerverfahren an, bei dem das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung (engl.: address event ignition) für jedes Einheitspixel detektiert wird und ein Pixelsignal von einem Einheitspixel ausgelesen wird, in dem die Information einer Adressereignis-Zündung und Zündzeit detektiert wird. Ein EBS- oder Ereignisdetektionssensor reagiert asynchron auf eine Änderung der Intensität. Die Intensitätsänderung ist mit einer Änderung des Fotostroms korreliert, und, falls diese Änderung einen konstanten Schwellenwert übersteigt, kann sie als Ereignis detektiert werden.
  • Ein Laufzeit-(ToF-)Sensor arbeitet, um eine Distanz zu einem Objekt oder Objekten innerhalb einer Szene zu detektieren. Im Allgemeinen enthält ein ToF-Tiefensensor eine Lichtquelle und eine Bildgebungsvorrichtung, die ein oder mehr Pixel zum Erfassen von reflektiertem Licht enthält. Die verstrichene Zeit zwischen der ursprünglichen Emission von Licht von der Lichtquelle und dem Empfang von reflektiertem Licht bei einem Pixel entspricht im Allgemeinen einer Distanz von einem Objekt. Direkte ToF-Sensoren können die verstrichene Zeit selbst messen, um die Distanz zu einem Objekt zu berechnen, während indirekte ToF-Sensoren die Phasenverzögerung zwischen dem emittierten Licht und dem reflektierten Licht messen und die Phasenverzögerung in eine Distanz übersetzen bzw. umrechnen. Die von einer Vielzahl von Pixeln erhaltenen Tiefenwerte können genutzt werden, um eine dreidimensionale Darstellung eines Objekts zu erzeugen.
  • Ein Bildsensor arbeitet bzw. dient dazu, eine Ansicht oder ein Bild einer Szene aufzunehmen bzw. zu erfassen. Pixel innerhalb eines Arrays von Pixeln liefern Informationen in Bezug auf die Intensität des Lichts, das von einem Bereich einer Szene von einer Abbildungslinse oder Linsenanordnung empfangen wird, die zusammen mit dem Array von Pixeln ein Sichtfeld des Sensors definiert. In einer typischen Implementierung sind Pixel innerhalb des Arrays empfindlich für Licht verschiedener Wellenlängen, was ermöglicht, dass Farbinformationen erfasst werden. Beispielsweise können die Pixel in Vierergruppen angeordnet sein, wobei eines der Pixel für rotes Licht empfindlich ist, zwei der Pixel für grünes Licht empfindlich sind und ein Pixel für blaues Licht empfindlich ist. Dementsprechend sind solche Sensoren als RGB-Sensoren allgemein bekannt. Andere Farbempfindlichkeitsanordnungen wie etwa Cyan, Magenta und Gelb (CMY) können ebenfalls verwendet werden. Die unterschiedlichen Wellenlängenempfindlichkeiten können auf verschiedene Weisen wie etwa unter Verwendung von Farbfiltern oder durch Konfigurieren von Pixeln als gestapelte Bildsensorpixel erreicht werden.
  • Wie hierin verwendet repräsentiert ein Einheitspixel eine minimale Einheit eines Pixels oder ein Einheitspixel, das ein fotoelektrisches Umwandlungselement (worauf auch als „lichtempfangendes Element“ verwiesen wird) enthält, und kann als ein Beispiel jedem Punkt in Bilddaten entsprechen, die aus einem Bildsensor ausgelesen werden. Außerdem repräsentiert das Adressereignis ein Ereignis, das für jede Adresse eintritt, die jedem einer Vielzahl der Einheitspixel zugeordnet werden kann, die in Form eines zweidimensionalen Gitters angeordnet sind.
  • 1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Sensorsystems 100 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 1 veranschaulicht ist, enthält beispielsweise ein Sensorsystem 100 eine Bildgebungs- bzw. Abbildungslinse 110, eine Festkörper-Bildgebungsvorrichtung oder einen Bildsensor 200, eine Lichtquelle 112, eine Aufzeichnungseinheit 120, eine Kommunikationsschnittstelle 124 und ein Prozessorsystem oder Steuerungssystem 130. Die verschiedenen Komponenten des Sensorsystems 100 können durch einen Kommunikationsbus 128 oder Signalleitungen miteinander verbunden sein. Als Beispiele kann das Sensorsystem 100 als Kamera, die in einem Industrieroboter montiert ist, in einem Fahrzeug montierte Kamera oder als Teil davon oder als ein Teil von oder in Verbindung mit anderen Vorrichtungen oder Instrumenten vorgesehen sein.
  • Die Abbildungslinse 110 kann ein optisches System umfassen, das Licht von innerhalb eines Sichtfeldes 114 sammelt. Ein Objekt 115 kann innerhalb des Sichtfeldes vorhanden sein oder kann nicht vorhanden sein. Das gesammelte oder einfallende Licht wird auf eine lichtempfangende Oberfläche des Bildsensors 200 gerichtet (z. B. gebündelt). Insbesondere kann die Abbildungslinse 110 Licht von innerhalb eines ausgewählten Bereichs einer Szene sammeln, indem das Sichtfeld 114 so ausgerichtet wird, dass es diesen Teilbereich der Szene umfasst.
  • Die lichtempfangende Oberfläche ist eine Oberfläche eines Substrats, auf dem fotoelektrische Umwandlungselemente von Pixeln 310, die im Bildsensor 200 enthalten sind, angeordnet sind. Der Bildsensor 200 wandelt das einfallende Licht fotoelektrisch um, um Bilddaten zu erzeugen. Wie hierin diskutiert kann der Bildsensor 200 verschiedene Sätze fotoelektrischer Umwandlungselemente enthalten, die auf den gleichen oder verschiedenen Substraten angeordnet sind. Außerdem kann der Bildsensor 200 fotoelektrische Umwandlungselemente enthalten, die eine einzige oder mehrere Funktionen ausführen. Diese Funktionen können Ereignisdetektions-, Laufzeit- und Bildgebungsfunktionen umfassen. Außerdem kann der Bildsensor 200 eine vorbestimmte Signalverarbeitung wie etwa eine Rauschentfernung und eine Einstellung eines Weißabgleichs in Bezug auf die erzeugten Bilddaten ausführen. Ein Ergebnis, das durch die Signalverarbeitung erhalten wird, und ein Detektionssignal, das das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung und eine Zündzeitpunktinformation angibt, können vom Bildsensor 200 an das Prozessorsystem 130 ausgegeben werden. Ein Verfahren zum Erzeugen des Detektionssignals, das das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angibt, wird später beschrieben.
  • Die Lichtquelle 112 kann so betrieben werden, dass sie Licht 116 mit einer ausgewählten Wellenlänge oder einem Bereich von Wellenlängen abgibt. Das abgegebene Licht 116 kann so gerichtet werden, dass es zumindest einen Teilbereich der Szene innerhalb des Sichtfeldes 114 ausleuchtet. Von einem Objekt oder einer Oberfläche 115 innerhalb der Szene reflektiertes Licht kann dann mittels fotoelektronischer Umwandlungselemente von Pixeln des Bildsensors empfangen werden, der in einem Laufzeitmodus arbeitet, um eine Distanz zu der Oberfläche oder dem Objekt zu bestimmen, wie an anderer Stelle hierin detaillierter beschrieben wird.
  • Das Aufzeichnungssystem 120 wird zum Beispiel von einem Flash-Speicher, einem dynamischen Direktzugriffsspeicher (DRAM), einem statischen Direktzugriffsspeicher (SRAM) oder dergleichen gebildet und zeichnet vom Bildsensor 200 bereitgestellte Daten auf.
  • Das Prozessorsystem 130 wird zum Beispiel von einer zentralen Verarbeitungseinheit (CPU) und dergleichen gebildet. Beispielsweise kann das Prozessorsystem 130 einen oder mehrere Mehrzweck-Prozessoren, Controller, feldprogrammierbare Gate-Arrays (FPGAs), Grafikverarbeitungseinheiten (GPUs), anwendungsspezifische integrierte Schaltungen (ASIC) oder Kombinationen davon enthalten. Außerdem kann das Prozessorsystem 130 eine Anwendungsprogrammierung oder Routinen ausführen, die als Software oder Firmware in einem Speicher oder einem Datenspeicher gespeichert sind, der im Prozessorsystem 130 enthalten oder damit verbunden ist, um verschiedene Funktionen und Verfahren wie darin beschrieben auszuführen. Beispielsweise kann das Prozessorsystem 130 vom Bildsensor 200 ausgegebene Daten verarbeiten. Wie hierin beschrieben ist, kann beispielsweise das Prozessorsystem 130 von der EBS-Sensorfunktion oder einem Teilbereich des Bildsensors 200 abgegebene Ereignisdetektionssignale verarbeiten. Das Prozessorsystem 130 kann auch die Lichtquelle 112 betreiben und kann Pixelsignale, die als Reaktion auf den Empfang von Licht von der Lichtquelle 112 erzeugt werden, das von einem Objekt oder einer Oberfläche 115 innerhalb einer Szene reflektiert wird, verarbeiten, um eine Distanz zu dem Objekt oder der Oberfläche zu bestimmen. Außerdem kann das Prozessorsystem 130 die Bildgebungssensorfunktion oder den Betrieb eines Teilbereichs der Festkörper-Bildgebungsvorrichtung zumindest teilweise als Reaktion auf Ereignisdetektionssignale, Distanzbestimmungen oder sowohl Ereignisdetektionssignale als auch Distanzbestimmungen steuern. Das Prozessorsystem 130 kann zusätzlich zu dem Bildsensor 200 und der Lichtquelle 112 auch Komponenten des Sensorsystems 100 wie etwa den Betrieb der Aufzeichnungseinheit 120, der Kommunikationsschnittstelle 124, Fokussier- und Blendenoperationen, die durch die Abbildungslinse 110 unterstützt werden könnten, und dergleichen steuern. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung kann das Prozessorsystem 130 fortgeschrittene Verarbeitungsfähigkeiten einschließlich, nicht aber darauf beschränkt, eines neuronalen Netzwerks und Fähigkeiten und Funktionen künstlicher Intelligenz wie hierin beschrieben verwirklichen.
  • Als Nächstes wird mit Verweis auf die beiliegenden Zeichnungen ein Konfigurationsbeispiel des Bildsensors 200 beschrieben.
  • 2 ist eine Ansicht, die ein Beispiel einer Laminierungsstruktur eines Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 2 veranschaulicht ist, kann der Bildsensor 200 eine Struktur aufweisen, in der ein lichtempfangender Chip 201 und ein Logik-Chip 202 vertikal laminiert sind. Eine dem Logik-Chip 202 entgegengesetzte Seite des lichtempfangenden Chips 201 ist eine lichtempfangende Oberfläche 204. Beim Verbinden des lichtempfangenden Chips 201 und des Logik-Chips 202 kann beispielsweise ein sogenanntes direktes Verbinden genutzt werden, bei dem die Verbindungsoberflächen der Chips planarisiert werden und die Chips mit der Kraft zwischen Elektronen laminiert werden. Jedoch besteht keine diesbezügliche Beschränkung und können beispielsweise ein sogenanntes Cu-Cu-Verbinden, bei dem auf Verbindungsoberflächen ausgebildete Elektroden-Pads aus Kupfer (Cu) gebondet werden, Kontakthöcker-Bonden und dergleichen ebenfalls genutzt werden.
  • Außerdem sind der lichtempfangende Chip 201 und der Logik-Chip 202 beispielsweise durch einen Verbindungsteilbereich wie etwa eine Silizium-Durchkontaktierung (TSV) (engl.: through-silicon via), die durch ein Halbleitersubstrat hindurchgeht, elektrisch miteinander verbunden. Bei der Verbindung unter Verwendung der TSV können beispielsweise ein sogenanntes Zwillings-TSV-Verfahren, bei dem zwei TSVs, die eine TSV, die im lichtempfangenden Chip 201 ausgebildet ist, und eine TSV, die vom lichtempfangenden Chip 201 zum Logik-Chip 202 ausgebildet ist, umfassen, auf äußeren Oberflächen des Chips miteinander verbunden werden, ein sogenanntes Verfahren mit gemeinsam genutzter TSV, bei dem der lichtempfangende Chip 201 und der Logik-Chip 202 mit einer TSV verbunden sind, die durch die beiden Chips hindurchgeht, und dergleichen verwendet werden.
  • Falls die Cu-Cu-Verbindung oder die Kontakthöcker-Verbindung beim Verbinden des lichtempfangenden Chips 201 und des Logik-Chips 202 genutzt wird, sind jedoch sowohl der lichtempfangende Chip 201 als auch der Logik-Chip 202 durch eine Cu-Cu-Verbindungsstelle oder eine Kontakthöcker-Verbindungsstelle elektrisch miteinander verbunden.
  • Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung erkennen kann, kann eine Bildgebungsvorrichtung 200, die als verbundene Chips für den Lichtempfang 201 und die Logik 202 verwirklicht ist, Komponenten des Bildsensors 200 enthalten, die als Teil des lichtempfangenden Chips 201 angeordnet sind, wobei ein gewisser Teil der oder alle Komponenten des Prozessorsystems 130 als Teil des Logik-Chips 202 angeordnet ist oder sind. Andere Komponenten wie etwa die Aufzeichnungseinheit 120 und Komponenten der Kommunikationsschnittstelle können auf einen der oder beide Chips 201 und 202 verteilt sein. Gemäß noch anderen Ausführungsformen kann ein Datenspeicher oder ein anderer Chip mit dem lichtempfangenden Chip 201 laminiert und dem Logik-Chip 202 elektrisch verbunden sein. Außerdem kann der lichtempfangende Chip mehrere Substrate umfassen, die mit jeweiligen Logik-Chips oder mit einem gemeinsamen Logik-Chip 202 verbunden sind, wenn der Bildsensor 200 beispielsweise mehrere Sensorvorrichtungen enthält.
  • 3 ist ein Blockdiagramm, das ein Funktionskonfigurationsbeispiel des Bildsensors 200 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 3 veranschaulicht ist, kann der Bildsensor 200 eine Ansteuerungsschaltung 211, einen Signalprozessor 212, einen Arbiter 213, einen Spalten-ADC 220 und ein Pixel-Array 300 enthalten. Einige der oder alle Komponenten können ganz oder teilweise in das Prozessorsystem 130 integriert oder durch dieses verwirklicht sein.
  • Eine Vielzahl von Einheitszellen oder -pixeln 310, auf die hierin auch einfach als Pixel 310 verwiesen wird, ist im Pixel-Array 300 angeordnet. Details der Einheitspixel 310 werden später beschrieben. Beispielsweise enthält jedes der Einheitspixel 310 ein fotoelektrisches Umwandlungselement wie etwa eine Fotodiode und eine Schaltung, die ein Pixelsignal mit einem Spannungswert erzeugt, der der Ladungsmenge entspricht, die im fotoelektrischen Umwandlungselement erzeugt wird, worauf hier im Folgenden als Pixel-Schaltung verwiesen wird. Außerdem kann, wie an anderer Stelle hierin detaillierter beschrieben wird, die Pixel-Schaltung eine oder beide einer ersten oder Bildgebungssignal-Erzeugungsschaltung und einer zweiten oder Adressereignis-Detektions-Erzeugungsschaltung enthalten. Jedes fotoelektrische Umwandlungselement kann mit einer jeweiligen Pixel-Schaltung verbunden sein oder mehrere fotoelektrische Umwandlungselemente können mit einer gemeinsamen Pixel-Schaltung verbunden sein.
  • In diesem Beispiel ist die Vielzahl von Einheitspixeln 310 im Pixel-Array 300 in Form eines zweidimensionalen Gitters angeordnet. Die Vielzahl von Einheitspixeln 310 kann in eine Vielzahl von Pixel-Blöcken oder -Gruppen gruppiert sein, die jeweils eine vorbestimmte Anzahl an Einheitspixeln enthalten. Im Folgenden wird hierin auf eine Anordnung von Einheitspixeln, die in einer horizontalen Richtung angeordnet sind, als „Reihe“ verwiesen und wird auf eine Anordnung von Einheitspixeln, die in einer zur Reihe orthogonalen Richtung angeordnet sind, als „Spalte“ verwiesen.
  • Jedes der Einheitspixel 310 erzeugt Ladungen entsprechend einer Lichtmenge, die am jeweiligen fotoelektrischen Umwandlungselement empfangen wird. Außerdem können zumindest einige der Einheitspixel 310 betrieben werden, um das Vorhandensein oder Nichtvorhandensein einer Adressereignis-Zündung darauf basierend zu detektieren, ob ein Wert eines Stroms (worauf hier im Folgenden als Fotostrom verwiesen wird), der durch im fotoelektrischen Umwandlungselement erzeugte Ladungen erzeugt wird, oder dessen Variationsbetrag einen vorbestimmten Schwellenwert übersteigt oder nicht. Wenn das Adressereignis gezündet wird, wird ein Signal an den Arbiter 213 abgegeben. Zumindest einige der Pixel 310 können auch betrieben werden, um Zeitpunktinformationen in Bezug auf den Empfang eines von der Lichtquelle 112 erzeugten und von einem Objekt oder einer Oberfläche innerhalb der Szene reflektierten Lichts zu erhalten.
  • Der Arbiter 213 entscheidet über Anfragen, die von den Einheitspixeln 310 empfangen werden, die die Ereignisdetektionsfunktion ausführen, und sendet eine vorbestimmte Antwort an das Einheitspixel 310, das die Anfrage stellt, auf der Basis des Entscheidungsergebnisses. Das Einheitspixel 310, das die Antwort empfängt, stellt der Ansteuerungsschaltung 211 und dem Signalprozessor 212 ein das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angebendes Detektionssignal (worauf hier im Folgenden einfach als „Adressereignis-Detektionssignal“ verwiesen wird) bereit.
  • Die Ansteuerungsschaltung 211 steuert jedes der Einheitspixel 310 an und ermöglicht jedem der Einheitspixel 310, ein Pixelsignal an den Spalten-ADC 220 abzugeben.
  • Für jede Spalte von Einheitspixeln 310 wandelt der Spalten-ADC 220 ein analoges Pixelsignal von der Spalte in ein digitales Signal um. Außerdem stellt der Spalten-ADC 220 dem Signalprozessor 212 ein durch die Umwandlung erzeugtes digitales Signal bereit.
  • Der Signalprozessor 212 führt eine vorbestimmte Signalverarbeitung wie eine Verarbeitung einer korrelierten Doppelabtastung (CDS) (Rauschentfernung) und eine Einstellung eines Weißabgleichs in Bezug auf das vom Spalten-ADC 220 übertragene digitale Signal aus. Außerdem stellt der Signalprozessor 212 über die Signalleitung 209 der Aufzeichnungseinheit 120 ein Signalverarbeitungsergebnis und ein Adressereignis-Detektionssignal bereit.
  • Die Einheitspixel 310 innerhalb der Pixel-Arrayeinheit 300 können in Pixel-Gruppen 314 angeordnet sein. In der in 3 veranschaulichten Konfiguration wird beispielsweise die Pixel-Arrayeinheit 300 von Pixel-Gruppen 314 gebildet, die eine Anordnung von Einheitspixeln 310 enthalten, die Wellenlängenkomponenten empfangen, die notwendig sind, um eine Farbinformation aus einer Szene zu rekonstruieren. Falls beispielsweise eine Farbe auf der Basis der drei Primärfarben RGB rekonstruiert wird, können in der Pixel-Arrayeinheit 300 optische Farbfiltermaterialien auf die Pixel entsprechend einem vorbestimmten Farbfilter-Array abgeschieden sein, um zu steuern, dass Licht gewünschter Wellenlängen eine Pixel-Oberfläche erreicht. Konkret sind ein Einheitspixel 310, das Licht roter (R) Farbe empfängt, ein Einheitspixel 310, das Licht grüner (G) Farbe empfängt und ein Einheitspixel 310, das Licht blauer (B) Farbe empfängt, in Gruppen 314a gemäß dem vorbestimmten Farbfilter-Array angeordnet.
  • Beispiele der Konfigurationen eines Farbfilter-Arrays umfassen verschiedene Arrays oder Pixel-Gruppen wie etwa ein Bayer-Array aus 2 x 2 Pixeln, ein Farbfilter-Array aus 3 x 3 Pixeln, das in einem X-Trans (eingetragenes Warenzeichen) CMOS-Sensor verwendet wird (worauf hier im Folgenden auch als „Array vom X-Trans-(eingetragenes Warenzeichen)Typ“ verwiesen wird), ein Quad-Bayer-Array aus 4 x 4 Pixeln (worauf auch als „Quadra-Array“ verwiesen wird) und ein Farbfilter-Array aus 4 x 4 Pixeln, worin ein Weiß-RGB-Farbfilter zum Bayer-Array kombiniert ist (worauf hier im Folgenden auch als „Weiß-RGB-Array“ verwiesen wird). Außerdem können, und wie an anderer Stelle hierin später diskutiert wird, Ereignisdetektionspixel innerhalb des Pixel-Arrays 300 eingestreut oder enthalten sein. Wie hier in anderer Stelle ebenfalls detaillierter diskutiert wird, können die Ereignisdetektionspixel als dedizierte Ereignisdetektionspixel, die nur eine Ereignisdetektionsfunktion ausführen, oder als kombinierte Ereignisdetektions- und Bilderfassungspixel, die sowohl Ereignisdetektions- als auch Bildsensorfunktionen ausführen, bereitgestellt werden.
  • 4 ist eine schematische Ansicht, die ein Array-Beispiel von Einheitspixeln 310 im Fall der Verwendung von Pixel-Gruppen 314 mit einer Anordnung von Einheitspixeln 310 und zugehörigen Farbfiltern im Farbfilter-Array veranschaulicht, das so konfiguriert ist, dass es eine Vielzahl von Bayer-Arrays 310A bildet. Wie in 4 veranschaulicht ist, ist im Fall der Verwendung des Bayer-Arrays als die Konfiguration eines Farbfilter-Arrays im Pixel-Array 300 ein Grundmuster 310A, das insgesamt vier Einheitspixel 310 von 2 x 2 Pixeln enthält, wiederholt in einer Spaltenrichtung und Reihenrichtung angeordnet. Beispielsweise wird das Grundmuster 310A von einem Einheitspixel 310R, das einen Farbfilter 401 roter (R) Farbe enthält, einem Einheitspixel 310Gr, das einen Farbfilter 401 grüner (Gr) Farbe enthält, einem Einheitspixel 310Gb, das einen Farbfilter 401 grüner (Gb) Farbe enthält, und einem Einheitspixel 310B gebildet, das einen Farbfilter 401 blauer (B) Farbe enthält.
  • 5 ist ein Blockdiagramm, das Aspekte eines Sensorsystems 100 gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Im Allgemeinen enthält das Sensorsystem 100 einen EBS-Sensor oder einen Satz von Pixeln 504, einen Laufzeit-(ToF-)Sensor oder einen Satz von Pixeln 508 und einen Bildsensor oder einen Satz von Pixeln 512. Die Sensoren oder Pixelsätze 504, 508 und 512 werden als Reaktion auf eine jeweilige Ein/Aus-Logik 516, 520 und 524 betrieben. Die Ein/Aus-Logik 516, 520 und 524 kann durch das Prozessorsystem 130 realisiert oder gesteuert werden. Durch die Sensoren oder Pixelsätze 504, 508 und 512 erzeugte Signale werden mittels Ausgabeschaltungen 528, 532 und 536 durchgeleitet und verarbeitet.
  • Signale, die von der Ausgabeschaltung 528 abgegeben werden, die mit dem EBS-Sensor oder Satz von Pixeln 504 assoziiert ist, werden an eine Einrichtung oder Funktion 540 zur Detektion von Eindringereignissen geliefert. Die Einrichtung oder Funktion 540 zur Detektion von Eindringereignissen kann durch das Prozessorsystem 130 realisiert werden. Signale, die von der Ausgabeschaltung 532 abgegeben werden, die mit dem ToF-Sensor oder dem Satz von Pixeln 508 assoziiert ist, werden an eine Einrichtung oder Funktion 544 zur Analyse von Eindringdistanzen geliefert. Die Einrichtung oder Funktion zur Analyse von Eindringdistanzen kann durch das Prozessorsystem 130 realisiert werden. Signale, die von der Ausgabeschaltung 536 abgegeben werden, die mit dem Bildsensor oder dem Satz von Pixeln 512 assoziiert ist, werden an eine Einrichtung oder Funktion 548 zur Eindringanalyse bzw. Analyse von Eindringereignissen geliefert. Die Einrichtung oder Funktion zur Analyse von Eindringereignissen kann ein neuronales Netzwerk enthalten oder kann mittels eines solchen realisiert werden und kann ferner durch das Prozessorsystem 130 realisiert werden. Als Reaktion auf eine Bestimmung, dass ein Eindringen stattgefunden hat oder stattfindet, kann die Einrichtung 548 zur Analyse von Eindringereignissen einen Eindringalarm 552 übertragen bzw. übermitteln.
  • Die Ausgaben von der Einrichtung 540 zur Detektion von Eindringereignissen, der Einrichtung 544 zur Analyse von Eindringdistanzen und ein von der Einrichtung 548 zur Analyse von Eindringereignissen ausgegebener übertragener Eindringalarm 552 können einem Signalsteuerungsbus 556 bereitgestellt werden. Der Signalsteuerungsbus 556 wiederum kann die Ein/Aus-Logik 516, 520 und 524 steuern oder realisieren. Alternativ dazu kann der Signalsteuerungsbus 556 die verschiedenen Signale, die er empfängt, einfach zur Ein/Aus-Logik 516, 520 und 524 weiterleiten.
  • 6A-6E zeigen verschiedene Konfigurationsbeispiele eines Sensorsystems 100 und insbesondere von Anordnungen von Pixeln 310 einer Festkörper-Bildgebungsvorrichtung oder eines Bildsensors 200 gemäß Ausführungsformen der vorliegenden Offenbarung. Konkreter zeigt 6A einen Bildsensor 200 mit einem ersten oder EBS-Sensor 504, der ein Array 300 von Pixeln 310 in Form von Adressereignis-Detektionspixeln 604 enthält, die auf einem ersten lichtempfangenden Chip oder Substrat 201a angeordnet sind; einen zweiten oder ToF-Sensor 508, der ein Array 300 von Pixeln 310 in der Form von ToF-Pixeln 608 enthält, die auf einem zweiten lichtempfangenden Chip oder Substrat 201b angeordnet sind; und einen dritten oder Bildgebungssensor 512, der ein Array 300 von Pixeln 310 in der Form von Bilderfassungspixeln 612 enthält, die auf einem dritten lichtempfangenden Chip oder Substrat 201c angeordnet sind. Die Lichtquelle 112 für den ToF-Sensor 508 kann ebenfalls als Teil des Bildsensors 200 enthalten sein. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, kann ein Sensorsystem 100, das separate EBS-Sensoren 504, ToF-Sensoren 508 und Bildgebungssensoren 512 enthält, mit separaten Linsenanordnungen 110 konfiguriert werden, die Licht von innerhalb der gleichen oder ähnlichen Sichtfelder sammeln, oder kann mit einer gemeinsam genutzten Linsenanordnung 110 konfiguriert werden, die über eine Strahlteileranordnung Licht zu den Sensoren 504, 508 und 512 lenkt. Gemäß Ausführungsformen der vorliegenden Offenbarung kann die Anzahl an Pixeln 310, die in den Sensoren 504, 508 und 512 enthalten sind, einander gleich sein. Außerdem kann die Fläche aller Pixel 310, die in den Sensoren 504, 508 und 512 enthalten sind, gleich sein. Alternativ dazu können die Sensoren 504, 508 und 512 eine unterschiedliche Anzahl an Pixeln 310 und/oder unterschiedliche Flächen von Pixeln 310 aufweisen. Beispielsweise kann der Bildsensor 200 einen EBS-Sensor 504 mit einer verhältnismäßig geringen Anzahl an Ereignisdetektionspixeln 604 und/oder einen ToF-Sensor 508 mit einer verhältnismäßig geringen Anzahl an ToF-Pixeln 608, wodurch eine verhältnismäßig niedrige Auflösung bereitgestellt wird, und einen Bildgebungssensor 540 mit einer verhältnismäßig hohen Anzahl an Bilderfassungspixeln 502 enthalten, wodurch eine verhältnismäßig hohe Auflösung bereitgestellt wird. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können die Bildsensoren 504, 508 und 512 gleichzeitig betrieben werden. Gemäß noch anderen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionsvorgänge kontinuierlich durchgeführt werden.
  • 6B zeigt einen Bildsensor 200 mit einem Array 300 von Ereignisdetektionspixeln 604 und Bilderfassungspixeln 612 auf einem ersten Substrat 201a, die einen kombinierten oder gemeinsam genutzten Ereignisdetektions- und Bilderfassungssensor 616 bilden; und mit ToF-Pixeln 608, die auf einem zweiten Substrat 201b als Teil eines ToF-Sensors 508 ausgebildet sind. Im veranschaulichten Beispiel liegt die Mehrzahl der Einheitspixel 310 des kombinierten Ereignisdetektions- und Bilderfassungssensors 616 in der Form von Bilderfassungspixeln 612 vor, wobei eine geringere Anzahl an Ereignisdetektionspixeln 604 unter den Bilderfassungspixeln 612 angeordnet ist. Jedoch kann ein kombinierter Ereignisdetektions- und Bilderfassungssensor 616 die gleiche Anzahl an Pixeln 604 und 612 enthalten oder kann mehr Ereignisdetektionspixel 604 als Bilderfassungspixel 612 aufweisen. Außerdem kann die Anzahl an ToF-Pixeln 608 gleich einer oder beiden der anderen Arten von Pixeln 604 und 612 oder davon verschieden sein. Die Sensoren 508 und 616 können in Verbindung mit gemeinsam genutzten oder separaten Linsenanordnungen 110 arbeiten. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können der kombinierte Ereignisdetektions- und Bilderfassungssensor 616 und der ToF-Sensor 508 gleichzeitig betrieben werden. Außerdem können gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung Ereignisdetektionspixel 604 und Bilderfassungspixel 612 des kombinierten Ereignisdetektions- und Bilderfassungssensors 616 gleichzeitig betrieben. Gemäß noch anderen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionsvorgänge kontinuierlich durchgeführt werden.
  • 6C zeigt einen Bildsensor 200 mit einem Array 300 gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 620 auf einem ersten Substrat 201a, die einen kombinierten oder gemeinsam genutzten Ereignisdetektions- und Bilderfassungssensor 624 bilden; und mit ToF-Pixeln 608, die auf einem zweiten Substrat 201b als Teil eines ToF-Sensors 508 ausgebildet sind. Insbesondere enthält der gemeinsam genutzte Ereignisdetektions- und Bilderfassungssensor 624 Pixel 310, in denen Ereignisdetektionspixel 604 und Bilderfassungspixel 612 jeweils ein fotoelektrisches Umwandlungselement gemeinsam nutzen und somit gemeinsam genutzte Ereignisdetektions- und Bilderfassungspixel 620 bilden. In dem veranschaulichten Beispiel liegen alle Einheitspixel 310 des gemeinsam genutzten Ereignisdetektions- und Bilderfassungssensors 624 in der Form gemeinsam genutzter Ereignisdetektions- und Bilderfassungspixel 620 vor. Jedoch sind andere Konfigurationen möglich. Beispielsweise können Ereignisdetektionspixel 604, Bilderfassungspixel 612 oder sowohl Ereignisdetektionspixel 604 als auch Bilderfassungspixel 612, die jeweils ihr eigenes fotoelektrisches Umwandlungselement aufweisen, im Array 300 des gemeinsam genutzten Ereignisdetektions- und Bilderfassungssensors 624 enthalten sein. Außerdem kann die Anzahl an ToF-Pixeln 608 des ToF-Sensors 508 gleich einer oder beiden der Pixel 310 des gemeinsam genutzten Ereignisdetektions- und Bilderfassungssensors 624 oder davon verschieden sein. Die Sensoren 508 und 624 können in Verbindung mit gemeinsam genutzten oder separaten Linsenanordnungen 110 arbeiten. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können der kombinierte Ereignisdetektions- und Bilderfassungssensor 616 und der ToF-Sensor 508 gleichzeitig betrieben werden. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionsvorgänge kontinuierlich durchgeführt werden.
  • 6D zeigt einen Bildsensor 200 mit einem ersten oder EBS-Sensor 504, der ein Array 300 von Pixeln 310 in der Form von Adressereignis-Detektionspixeln 604 enthält, die auf einem ersten lichtempfangenden Chip oder Substrat 201a angeordnet sind; und mit einem Array von Einheitspixeln 310, worauf hierin als Dual-Modus-Pixel 628 verwiesen wird, die in einem ersten Modus als ToF-Pixel 608 fungieren und die in einem zweiten Modus als Bilderfassungspixel 612 fungieren, die auf einem zweiten lichtempfangenden Chip oder Substrat 201b ausgebildet sind, wobei sie einen kombinierten oder gemeinsam genutzten EBS- und Bildgebungssensor 632 bilden. Die Dual-Modus-Pixel 628 können in als Bayer-Arrays konfigurierten Gruppen angeordnet sein. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann der gemeinsam genutzte EBS- und Bildgebungssensor 632 ein mechanisch eingesetztes IR-Sperrfilter zur Nutzung während eines Bildgebungsbetriebs enthalten oder damit verbunden sein. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektions- und Bilderfassungsvorgänge gleichzeitig durchgeführt werden. Außerdem können gemäß Ausführungsformen der vorliegenden Offenbarung Ereignisdetektionsvorgänge kontinuierlich durchgeführt werden.
  • 6E zeigt einen Bildsensor 200 mit einem Array von Einheitspixeln 310, worauf hierin als Tri-Modus-Pixel 636 verwiesen wird, die in einem ersten Modus als EBS-Pixel 604 fungieren, die in einem zweiten Modus als ToF-Pixel 608 fungieren und die in einem dritten Modus als Bilderfassungspixel 612 fungieren, die auf einem ersten (d.h. auf demselben) Substrat 201 ausgebildet sind, wobei sie einen Tri-Modus-Bildsensor 640 bilden. Der Betriebsmodus der Tri-Modus-Pixel 636 kann somit auf einen ausgewählten Betriebsmodus umgeschaltet werden. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung können verschiedene Tri-Modus-Pixel 636 gleichzeitig in verschiedenen Modi betrieben werden. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionsvorgänge kontinuierlich durchgeführt werden.
  • Als Nächstes wird ein Konfigurationsbeispiel eines Einheitspixels 310 beschrieben. 7A ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel eines Einheitspixels 310 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht, worin das Pixel als ein kombiniertes oder gemeinsam genutztes Ereignisdetektions-(EBS-) und Bildsensor-(IS-)Pixel 620 konfiguriert ist, das sowohl Ereignisdetektions- als auch Bildsensorfunktionen ausführt. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung ist das in 7A veranschaulichte Einheitspixel 310 ein Beispiel eines Tri-Modus-Pixels 636. Beispielsweise kann das Pixel betrieben werden, um eine Laufzeit eines von einer Lichtquelle 112 abgegebenen Lichts zu bestimmen.
  • Wie in 7A veranschaulicht ist, enthält das Einheitspixel 310 beispielsweise eine Pixelbildgebungssignal-Erzeugungseinheit (oder Ausleseschaltung) 320, eine lichtempfangende Einheit 330 und eine Adressereignis-Detektionseinheit (oder Ausleseschaltung) 400. Gemäß zumindest einer beispielhaften Ausführungsform kann die Ereignisdetektions-Ausleseschaltung 400 einen Betrieb der Bildsignalerzeugungs-Ausleseschaltung 320 basierend auf einer durch ein fotoelektrische Umwandlungselement (oder fotoelektrisches Umwandlungsgebiet) 333 erzeugten Ladung und basierend auf einem Betrieb der Logik-Schaltung 210 auslösen. Die Logik-Schaltung 210 in 7A ist eine Logik-Schaltung, die zum Beispiel die Ansteuerungsschaltung 211, den Signalprozessor 212 und den Arbiter 213 in 3 enthält. Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann die Logik-Schaltung 210 im Prozessorsystem 130 implementiert sein. Wie hierin an anderer Stelle detaillierter beschrieben wird, kann die Logik-Schaltung 210 basierend auf der Ausgabe der Ereignisdetektions-Ausleseschaltung 400 oder Ausgabe anderer Ereignisdetektions-Ausleseschaltungen 400 Bestimmungen diesbezüglich vornehmen, ob ein Betrieb der Bildsignalerzeugungs-Ausleseschaltung 320 oder der Betrieb der Bildsignal-Erzeugungsschaltungen 320, die mit anderen Einheitspixeln 310 verbunden sind, ausgelöst werden soll.
  • Beispielsweise enthält die lichtempfangende Einheit 330 einen ersten oder Bildgebungs-Übertragungstransistor oder - Gate (erster Transistor) 331, einen zweiten oder Adressereignis-Detektions-Übertragungstransistor oder -Gate (zweiter Transistor) 332 und ein fotoelektrisches Umwandlungselement 333. Ein erstes Übertragungs- oder Steuerungssignal TG1, das von der Ansteuerungsschaltung 211 übertragen wird, wird einem Gate des Übertragungstransistors 331 der lichtempfangenden Einheit 330 selektiv bereitgestellt, und ein zweites Übertragungs- oder Steuerungssignal TG2, das von der Ansteuerungsschaltung 211 übertragen wird, wird einem Gate des zweiten Übertragungstransistors 332 selektiv bereitgestellt. Ein Ausgang durch den ersten Übertragungstransistor 331 der lichtempfangenden Einheit 330 ist mit der Pixelbildgebungssignal-Erzeugungseinheit 320 verbunden, und ein Ausgang durch den zweiten Übertragungstransistor 332 ist mit der Adressereignis-Detektionseinheit 400 verbunden.
  • Die Pixelbildgebungssignal-Erzeugungseinheit 320 kann einen Rücksetztransistor (dritter Transistor) 321, einen Verstärkungstransistor (vierter Transistor) 332, einen Auswahltransistor (fünfter Transistor) 323 und eine Floating-Diffusionsschicht (FD) 324 enthalten.
  • Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung werden der erste Übertragungstransistor 331 und der zweite Übertragungstransistor 332 der lichtempfangenden Einheit 330 beispielsweise unter Verwendung eines MetallOxid-Halbleiter-(MOS-)Transistors vom N-Typ (worauf hier im Folgenden einfach als „NMOS-Transistor“ verwiesen wird) gebildet. Ähnlich werden der Rücksetztransistor 321, der Verstärkungstransistor 322 und der Auswahltransistor 323 der Pixelbildgebungssignal-Erzeugungseinheit 320 jeweils beispielsweise unter Verwendung des NMOS-Transistors gebildet.
  • Die Adressereignis-Detektionseinheit 400 kann eine Strom-Spannung-Umwandlungseinheit 410 und einen Subtrahierer 430 enthalten. Die Adressereignis-Detektionseinheit 400 kann ferner mit einem Puffer, einem Quantisierer und einer Übertragungseinheit versehen sein. Details der Adressereignis-Detektionseinheit 400 werden in der folgenden Beschreibung in Verbindung mit 8 beschrieben.
  • In der veranschaulichten Konfiguration wandelt das fotoelektrische Umwandlungselement 333 der lichtempfangenden Einheit 330 einfallendes Licht fotoelektrisch um, um Ladung zu erzeugen. Der erste Übertragungstransistor 331 überträgt eine im fotoelektrischen Umwandlungselement 333 erzeugte Ladung gemäß dem ersten Steuerungssignal TG1 zur Floating-Diffusionsschicht 324 der Bildsignalerzeugungs-Ausleseschaltung 320. Der zweite Übertragungstransistor 332 stellt der Adressereignis-Detektionseinheit 400 ein elektrisches Signal (Fotostrom) basierend auf der im fotoelektrischen Umwandlungselement 333 erzeugten Ladung gemäß dem zweiten Steuerungssignal TG2 bereit.
  • Wenn eine Anweisung für eine Bilderfassung durch das Prozessorsystem 130 gegeben wird, gibt die Ansteuerungsschaltung 211 in der Logik-Schaltung 210 das Steuerungssignal TG1 ab, um den ersten Übertragungstransistor 331 der lichtempfangenden Einheit 330 ausgewählter Einheitspixel 310 im Pixel-Array 300 in einen EIN-Zustand zu versetzen. Mit dieser Anordnung wird ein im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugter Fotostrom über den ersten Übertragungstransistor 331 der Erzeugungs-/Ausleseschaltung 320 für Pixel-Bildgebungssignale bereitgestellt. Insbesondere akkumuliert die Floating-Diffusionsschicht 324 vom fotoelektrischen Umwandlungselement 333 über den ersten Übertragungstransistor 331 übertragene Ladungen. Der Rücksetztransistor 321 entlädt (initialisiert) gemäß einem von der Ansteuerungsschaltung 211 übertragenen Rücksetzsignal die in der Floating-Diffusionsschicht 324 akkumulierten Ladungen. Der Verstärkungstransistor 322 ermöglicht, dass ein Pixelsignal mit einem Spannungswert, der einer in der Floating-Diffusionsschicht 324 akkumulierten Ladungsmenge entspricht, in einer vertikalen Signalleitung VSL erscheint. Der Auswahltransistor 323 schaltet eine Verbindung zwischen dem Verstärkungstransistor 322 und der vertikalen Signalleitung VSL gemäß einem von der Ansteuerungsschaltung 211 übertragenen Auswahlsignal SEL um. Darüber hinaus wird das analoge Pixelsignal, das in der vertikalen Signalleitung VSL erscheint, durch den Spalten-ADC 220 ausgelesen und in ein digitales Pixelsignal umgewandelt.
  • Wenn eine Anweisung für den Beginn bzw. die Einleitung einer Adressereignis-Detektion durch das Prozessorsystem 130 gegeben wird, gibt die Ansteuerungsschaltung 211 in der Logik-Schaltung 210 das Steuerungssignal ab, um den zweiten Übertragungstransistor 332 der lichtempfangenden Einheit 330 in der Pixel-Arrayeinheit 300 in einen EIN-Zustand zu versetzen. Mit dieser Anordnung wird ein im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugter Fotostrom über den zweiten Übertragungstransistor 332 der Adressereignis-Detektionseinheit 400 jedes Einheitspixels 310 bereitgestellt.
  • Wenn eine Adressereignis-Zündung auf der Basis des Fotostroms von der lichtempfangenden Einheit 330 detektiert wird, gibt die Adressereignis-Detektionseinheit 400 jedes Einheitspixels 310 eine Anfrage an den Arbiter 213 aus. Der Arbiter 213 entscheidet diesbezüglich über die von jedem der Einheitspixel 310 übertragene Anfrage und sendet eine vorbestimmte Antwort basierend auf dem Entscheidungsergebnis an das Einheitspixel 310, das die Anfrage stellt. Das Einheitspixel 310, das die Antwort empfängt, stellt der Ansteuerungsschaltung 211 und dem Signalprozessor 212 in der Logik-Schaltung 210 ein das Vorhandensein oder Nichtvorhandensein der Adressereignis-Zündung angebendes Detektionssignal (worauf hier im Folgenden als „Adressereignis-Detektionssignal“ verwiesen wird) bereit.
  • Die Ansteuerungsschaltung 211 kann auch den zweiten Übertragungstransistor 332 im Einheitspixel 310, das eine Quelle des Adressereignis-Detektionssignals ist, in einen AUS-Zustand versetzen. Mit dieser Anordnung wird eine Zufuhr des Fotostroms von der lichtempfangenden Einheit 330 zur Adressereignis-Detektionseinheit 400 im Einheitspixel 310 gestoppt.
  • Als Nächstes versetzt die Ansteuerungsschaltung 211 den ersten Übertragungstransistor 331 in der lichtempfangenden Einheit 330 des Einheitspixels 310 durch das Übertragungssignal TG1 in einen EIN-Zustand. Mit dieser Anordnung wird eine im fotoelektrischen Umwandlungselement 333 der lichtempfangenden Einheit 330 erzeugte Ladung über den ersten Übertragungstransistor 331 zur Floating-Diffusionsschicht 324 übertragen. Außerdem erscheint ein Pixelsignal mit einem Spannungswert, der einer Ladungsmenge von in der Floating-Diffusionsschicht 324 akkumulierten Ladungen entspricht, in der vertikalen Signalleitung VSL, die mit dem Auswahltransistor 323 der Pixelbildgebungssignal-Erzeugungseinheit 320 verbunden ist.
  • Wie oben beschrieben wurde, wird im Bildsensor 200 ein Pixelsignal SIG von dem Einheitspixel 310, in dem die Adressereignis-Zündung detektiert wird, an den Spalten-ADC 220 abgegeben. Gemäß weiteren Ausführungsformen der vorliegenden Offenbarung wird von den Einheitspixeln 310 mit einer Gruppe oder einem Teil-Array von Einheitspixeln 310, die mit der Adresse des Einheitspixels 310 verbunden sind, von dem ein Adressereignis-Detektionssignal bereitgestellt wurde, ein Pixelsignal abgegeben.
  • Darüber hinaus sind beispielsweise die lichtempfangende Einheit 330, die Pixelbildgebungssignal-Erzeugungseinheit 320 und zwei Log-(LG-)Transistoren (sechste und siebte Transistoren) 411 und 414 und zwei Verstärkungstransistoren (achte und neunte Transistoren) 412 und 413 in der Strom-Spannung-Umwandlungseinheit 410 der Adressereignis-Detektionseinheit 400 beispielsweise in dem in 2 veranschaulichten lichtempfangenden Chip 201 angeordnet und können andere Komponenten beispielsweise im Logik-Chip 202 angeordnet sein, der durch die Cu-Cu-Verbindung mit dem lichtempfangenden Chip 201 verbunden ist. Daher wird in der folgenden Beschreibung im Einheitspixel 310 auf Konfigurationen, die im lichtempfangenden Chip 201 angeordnet sind, als „Schaltung der oberen Schicht“ verwiesen.
  • Ein Konfigurationsbeispiel einer Gruppe von Einheitspixeln 310, die als Bildgebungspixel 612 mit einer gemeinsam genutzten Erzeugungs-/Ausleseschaltung 320 für Pixelbildgebungssignale gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung konfiguriert sind, ist in 7B dargestellt. In diesem Beispiel ist jedes fotoelektrische Umwandlungselement 333 über ein jeweiliges Übertragungs- bzw. Transfer-Gate 331 selektiv mit der Floating-Diffusionsschicht 324 verbunden. Außerdem werden die Komponenten der Pixelbildgebungssignal-Ausleseschaltung 320 von den fotoelektrischen Umwandlungseinheiten 333 gemeinsam genutzt. In diesem Beispiel sind vier fotoelektrische Umwandlungseinheiten 333a - 333d und vier entsprechende Transfer-Gates 331a - 331d dargestellt. Jedoch kann jede beliebige Anzahl an fotoelektrischen Umwandlungseinheiten 333 und jeweiligen Transfer-Gates 331 in Verbindung mit einer gemeinsam genutzten Pixelbildgebungssignal-Ausleseschaltung 320 enthalten sein.
  • In 7C sind ein Konfigurationsbeispiel eines Einheitspixels 310, das als ein Pixel 604 mit der einzigen Funktion einer Adressereignis-Detektion konfiguriert ist, und zugeordnete Elemente einer Adressereignis-Detektions-Ausleseschaltung 400 dargestellt. Wie dargestellt ist, enthält dieses Beispiel ein einziges fotoelektrisches Umwandlungselement 333, das über ein Transfer-Gate 332 selektiv mit Komponenten einer Adressereignis-Detektions-Ausleseschaltung 400 verbunden ist. Ein Steuerungsblock 415 für Ereignis-Scans steuert den Betrieb der Adressereignis-Detektions-Ausleseschaltung 400.
  • Ein Konfigurationsbeispiel eines Einheitspixels 310, das als ToF-Pixel 608 konfiguriert ist, und zugeordneter Elemente einer ToF-Ausleseschaltung 700 sind in 7D dargestellt. Insbesondere ist dieses beispielhafte ToF-Pixel 608 als indirektes ToF-Pixel konfiguriert. Das Pixel 608 enthält ein fotoelektrisches Umwandlungsgebiet (PD) 333 wie etwa eine Fotodiode oder einen anderen Lichtsensor, Übertragungs- bzw. Transfertransistoren TG0 und TG1, Floating-Diffusionsgebiete FD0 und FD1, Rücksetztransistoren RSTO und RST1, Verstärkungstransistoren AMP0 und AMP1 und Auswahltransistoren SEL0 und SEL1. Das Pixel 608 kann ferner einen Überlauftransistor OFG, Übertragungs- bzw. Transfertransistoren FDG0 und FDG1 und Floating-Diffusionsgebiete FD2 und FD3 enthalten.
  • 8 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel der Adressereignis-Detektionseinheit 400 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 8 veranschaulicht ist, enthält die Adressereignis-Detektionseinheit 400 eine Strom-Spannung-Umwandlungseinheit 410, einen Puffer 420, einen Subtrahierer 430, einen Quantisierer 440 und eine Übertragungseinheit 450. Die Strom-Spannung-Umwandlungseinheit 410 wandelt den Fotostrom von der lichtempfangenden Einheit 330 in ein Spannungssignal um und stellt das durch die Umwandlung erzeugte Spannungssignal dem Puffer 420 bereit. Der Puffer 420 korrigiert das von der Strom-Spannung-Umwandlungseinheit 410 übertragene Spannungssignal und gibt das Spannungssignal nach der Korrektur an den Subtrahierer 430 ab. Der Subtrahierer 430 verringert einen Spannungspegel des vom Puffer 420 übertragenen Spannungssignals gemäß einem von der Ansteuerungsschaltung 211 übertragenen Reihen-Adresssignal und stellt das verringerte Spannungssignal dem Quantisierer 440 bereit. Der Quantisierer 440 quantisiert das vom Subtrahierer 430 übertragene Spannungssignal in ein digitales Signal und gibt das durch die Quantisierung erzeugte digitale Signal an die Übertragungseinheit 450 als Detektionssignal ab. Die Übertragungseinheit 450 überträgt das vom Quantisierer 440 übertragene Detektionssignal zum Signalprozessor 212 und dergleichen. Wenn beispielsweise eine Adressereignis-Zündung detektiert wird, stellt die Übertragungseinheit 450 eine Anfrage für eine Übertragung eines Adressereignis-Detektionssignals von der Übertragungseinheit 450 zu der Ansteuerungsschaltung 211 und dem Signalprozessor 212 an den Arbiter 213. Wenn außerdem eine Antwort in Bezug auf die Anfrage vom Arbiter 213 empfangen wird, stellt die Übertragungseinheit 450 der Ansteuerungsschaltung 211 und dem Signalprozessor 212 das Detektionssignal bereit.
  • Die Strom-Spannung-Umwandlungseinheit 410 in der in 8 veranschaulichten Konfiguration kann zwei LG-Transistoren 411 und 414, zwei Verstärkungstransistoren 412 und 413 und eine Konstantstromschaltung 415 wie in 6A veranschaulicht enthalten. Beispielsweise sind eine Source des LG-Transistors 411 und ein Gate des Verstärkungstransistors 413 mit einem Drain des zweiten Übertragungstransistors 332 der lichtempfangenden Einheit 330 verbunden. Außerdem ist zum Beispiel ein Drain des LG-Transistors 411 mit einer Source des LG-Transistors 414 und einem Gate des Verstärkungstransistors 412 verbunden. Ein Drain des LG-Transistors 414 ist beispielsweise mit einem Stromversorgungsanschluss VDD verbunden. Außerdem ist beispielsweise eine Source des Verstärkungstransistors 413 geerdet und ist dessen Drain mit einem Gate des LG-Transistors 411 und einer Source des Verstärkungstransistors 412 verbunden. Ein Drain des Verstärkungstransistors 412 ist beispielsweise mit einem Stromversorgungsanschluss VDD über die Konstantstromschaltung 415 verbunden. Die Konstantstromschaltung 415 wird beispielsweise von einem Last-MOS-Transistor wie etwa einem MOS-Transistor vom p-Typ gebildet. In dieser Verbindungsbeziehung ist eine schleifenförmige Source-Folger-Schaltung aufgebaut. Mit dieser Anordnung wird ein Fotostrom von der lichtempfangenden Einheit 330 in ein Spannungssignal mit einem logarithmischen Wert entsprechend seiner Ladungsmenge umgewandelt. Darüber hinaus können die LG-Transistoren 411 und 414 und die Verstärkungstransistoren 412 und 413 jeweils beispielsweise von einem NMOS-Transistor gebildet werden.
  • 9 ist ein Schaltungsdiagramm, das ein schematisches Konfigurationsbeispiel des Subtrahierers 430 und des Quantisierers 440 gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Wie in 9 veranschaulicht ist, enthält der Subtrahierer 430 Kondensatoren 431 und 433, einen Inverter 432 und einen Schalter 434. Außerdem enthält der Quantisierer 440 einen Komparator 441. Ein Ende des Kondensators 431 ist mit einem Ausgangsanschluss des Puffers 420 verbunden, und das andere Ende ist mit einem Eingangsanschluss des Inverters 432 verbunden. Der Kondensator 433 ist mit dem Inverter 432 parallel verbunden. Der Schalter 434 öffnet oder schließt eine Strecke bzw. Route, die beide Enden des Kondensators 433 verbindet, gemäß einem Reihen-Ansteuerungssignal. Der Inverter 432 invertiert ein Spannungssignal, das über den Kondensator 431 eingespeist wird. Der Inverter 432 gibt ein invertiertes Signal an einen nicht-invertierenden Eingangsanschluss (+) des Komparators 441 ab. Wenn der Schalter 434 eingeschaltet ist, wird ein Spannungssignal Vinit in den Kondensator 431 auf der Seite des Puffers 420 eingespeist. Außerdem wird die entgegengesetzte Seite ein virtueller Erdungsanschluss. Ein Potential des virtuellen Erdungsanschlusses wird der Zweckmäßigkeit halber auf Null gesetzt. Wenn zu dieser Zeit eine Kapazität des Kondensators 431 als C1 festgelegt wird, wird ein Potential Qinit, das im Kondensator 431 akkumuliert wird, durch den folgenden Ausdruck (1) ausgedrückt. Auf der anderen Seite sind beide Enden des Kondensators 433 kurzgeschlossen, und somit wird dessen akkumulierte Ladung Null.
  • Qinit = C1 × Vinit
    Figure DE112020006097T5_0001
  • Wenn als Nächstes ein Fall betrachtet wird, in dem der Schalter 434 ausgeschaltet ist und eine Spannung des Kondensators 431 auf der Seite des Puffers 420 variiert und Vafter erreicht, wird die im Kondensator 431 akkumulierte Ladung Qafter durch den folgenden Ausdruck (2) ausgedrückt.
  • Qafter = C1 × Vafter
    Figure DE112020006097T5_0002
  • Wenn auf der anderen Seite eine Ausgangsspannung als Vout festgelegt wird, wird die im Kondensator 433 akkumulierte Ladung Q2 durch den folgenden Ausdruck (3) ausgedrückt.
  • Q2 = − C2 × Vout
    Figure DE112020006097T5_0003
  • Zu dieser Zeit variiert die Gesamtladungsmenge der Kondensatoren 431 und 433 nicht und wird folglich der folgende Ausdruck (4) eingerichtet.
  • Qinit = Qafter + Q2
    Figure DE112020006097T5_0004
  • Wenn Ausdruck (1) bis Ausdruck (3) in den Ausdruck (4) substituiert werden, wird der folgende Ausdruck (5) erhalten.
  • Vout = − ( C1 / C2 ) × ( Vafter − Vinit )
    Figure DE112020006097T5_0005
  • Der Ausdruck (5) repräsentiert eine Subtraktionsoperation eines Spannungssignals, und eine Verstärkung des Subtraktionsergebnisses wird C1/C2. Typischerweise ist erwünscht, die Verstärkung zu maximieren (oder alternativ zu verbessern), und folglich ist es vorzuziehen, einen Entwurf so zu erstellen, dass C1 groß wird und C2 klein wird. Wenn auf der anderen Seite C2 übermäßig klein ist, nimmt kTC-Rauschen zu, und folglich bestehen Bedenken, dass sich Rauschcharakteristiken verschlechtern. Dementsprechend ist eine Reduzierung der Kapazität C2 auf einen Bereich beschränkt, in dem man Rauschen zulassen kann. Da außerdem die den Subtrahierer 430 enthaltende Adressereignis-Detektionseinheit 400 für jedes Einheitspixel 310 montiert ist, besteht eine Flächenbeschränkung in den Kapazitäten C1 und C2. Die Werte der Kapazitäten C1 und C2 werden unter Berücksichtigung dieser Beschränkung bestimmt.
  • Der Komparator 441 vergleicht ein vom Subtrahierer 430 übertragenes Spannungssignal und eine vorbestimmte Schwellenspannung Vth, die an einen invertierenden Eingangsanschluss (-) angelegt wird. Der Komparator 441 gibt ein das Vergleichsergebnis angebendes Signal an die Übertragungseinheit 450 als Detektionssignal ab. Wenn außerdem eine Umwandlungsverstärkung durch die Strom-Spannung-Umwandlungseinheit 410 als CGlog festgelegt wird und eine Verstärkung des Puffers 420 auf „1“ gesetzt wird, wird eine Gesamtverstärkung A der Adressereignis-Detektionseinheit 400 durch den folgenden Ausdruck (6) ausgedrückt.
    [Math. 1] A = C G log ⋅ C 1 C 2 ∑ n = 1 N i p h o t o _ n
    Figure DE112020006097T5_0006
  • Im Ausdruck (6) repräsentiert iphoto_n einen Fotostrom eines n-ten Einheitspixels 310, und dessen Einheit ist beispielsweise Ampere (A). N repräsentiert die Anzahl der Einheitspixel 310 in einem Pixel-Block und ist in dieser Ausführungsform „1“.
  • 10 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel des Spalten-ADC gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Der Spalten-ADC 220 enthält eine Vielzahl von ADCs 230, die für jede Spalte der Einheitspixel 310 vorgesehen sind. Jeder der ADCs 230 wandelt ein analoges Pixelsignal, das in der vertikalen Signalleitung VSL erscheint, in ein digitales Signal um. Beispielsweise wird das Pixelsignal in ein digitales Signal umgewandelt, in dem eine Bitlänge größer als jene eines Detektionssignals ist. Wenn beispielsweise das Detektionssignal auf zwei Bits festgelegt ist, wird das Pixelsignal in ein digitales Signal mit drei oder mehr Bits (16 Bits und dergleichen) umgewandelt. Der ADC 230 stellt dem Signalprozessor 212 das erzeugte digitale Signal bereit.
  • 11 ist ein Blockdiagramm, das ein Entfernungsmessmodul (oder eine Entfernungsmessvorrichtung) 1100 veranschaulicht, das durch ein Sensorsystem 100 realisiert oder darin enthalten sein kann, das Distanzmessungsinformationen in Verbindung mit einem Pixel-Array 300 ausgibt, das ein oder mehr ToF-Pixel 608 oder gemeinsam genutzte Pixel 628 oder 636 mit ToF-Fähigkeiten gemäß zumindest einer beispielhaften Ausführungsform enthält.
  • Das Entfernungsmessmodul 1100 enthält eine lichtemittierende Einheit (oder Lichtquelle) 112, eine Lichtemissions-Steuerungseinheit (oder Controller) 1104 und eine lichtempfangende Einheit 1108, die ein Pixel-Array 310 enthält. Um ein Entfernungsmesssystem vom indirekten ToF-Typ (iToF) zu realisieren, emittiert die Lichtquelle 112 Licht mit einer vorbestimmten Wellenlänge und bestrahlt das Objekt mit Bestrahlungslicht 116, dessen Helligkeit sich periodisch ändert. Beispielsweise weist die Lichtquelle 112 eine lichtemittierende Diode, die Infrarotlicht mit einer Wellenlänge in einem Bereich von 780 nm bis 1000 nm emittiert, als Lichtquelle auf und erzeugt das Bestrahlungslicht synchron mit einem Lichtemissions-Steuerungssignal CLKp einer Rechteckwelle, das von der Lichtemissions-Steuerungseinheit 1104 bereitgestellt wird. Man beachte, dass das Lichtemissions-Steuerungssignal CLKp nicht auf eine Rechteckwelle beschränkt ist, solange es sich bei dem Steuerungssignal CLKp um ein periodisches Signal handelt. Beispielsweise kann das Lichtemissions-Steuerungssignal CLKp eine Sinuswelle sein. Um ein Entfernungsmesssystem eines direkten ToF-Typs (dToF) zu realisieren, wird die Lichtquelle durch die Lichtemissions-Steuerungseinheit 1104 gesteuert, um einen Lichtimpuls zu einem bekannten Zeitpunkt zu emittieren. In zumindest einigen Ausführungsformen der vorliegenden Offenbarung ist die Lichtemissions-Steuerungseinheit 1104 durch das Prozessorsystem 130 realisiert.
  • Die Pixel 310 innerhalb des Pixel-Arrays 300 empfangen Licht 1112, das vom Objekt 115 reflektiert wird, berechnen die Distanzinformation für jedes ToF-Pixel gemäß einem Lichtempfangsergebnis, erzeugen ein Tiefenbild, in dem die Distanz zum Objekt durch einen Abstufungswert für jedes Pixel repräsentiert wird, und geben das Tiefenbild aus.
  • 12A ist ein Flussdiagramm, das Aspekte des Betriebs eines Sensorsystems 100 gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Die in Verbindung mit dem Flussdiagramm diskutierten Vorgänge werden auch mit Verweis auf 12B beschrieben, das ein Blockdiagramm eines Sensorsystems 100 ist, das zum Realisieren eines Sensorsystems 100 geeignet ist, das die beschriebenen Vorgänge ausführen kann. Obgleich das Sensorsystem 100 in 12B als separate EBS-Sensoren 504, ToF-Sensoren 508 und RGB-Sensoren 512 enthaltend veranschaulicht ist, sollte es sich verstehen, dass andere Sensorkonfigurationen und -kombinationen, einschließlich Sensoren mit gemeinsam genutzten oder kombinierten Funktionalitäten anstelle von Sensoren mit einzelnen Funktionalitäten, oder zusätzlich zu solchen genutzt werden können. In Verbindung mit zumindest einigen Implementierungen der in Verbindung mit 12A diskutierten Vorgänge und anderen hierin diskutierten Betriebsbeispielen wird das Sensorsystem 100 betrieben, um eine Szene zu überwachen.
  • Wie in 12A gezeigt ist, umfasst ein Betrieb des Sensorsystems 100 die Erfassung von EBS-Daten durch Pixel 604, die im EBS-Sensor 504 enthalten sind (Schritt 1204). Die EBS-Daten werden durch die Ausgabeschaltung 528 zur Funktion 540 zur Detektion von Eindringereignissen weitergeleitet. In der Funktion 540 zur Detektion von Eindringereignissen wird die Zählung und Dichte von EBS-Ereignissen analysiert (Schritt 1208). Beispielsweise wird die Anzahl an Ereignissen innerhalb eines definierten Zeitrahmens und/oder innerhalb eines ausgewählten Bereichs des Arrays 310 von dedizierten 604 oder gemeinsam genutzten 620 oder 636 Ereignisdetektionspixeln analysiert. Falls bei Schritt 1212 bestimmt wird, dass die Anzahl an Ereignissen und/oder Dichte von Ereignissen unter ausgewählten Schwellenwerten liegt, kehrt der Prozess zu Schritt 1204 zurück und wird der Betrieb des EBS-Sensors 504 fortgesetzt, ohne einen Betrieb der anderen Sensoren 508 und 512 auszulösen.
  • Falls bei Schritt 1212 bestimmt wird, dass die Anzahl an Ereignissen oder die Dichte von Ereignissen bei oder oberhalb ausgewählter Schwellenwerte liegt, stellt die Funktion 540 zur Detektion von Eindringereignissen dem Signalsteuerungsbus 556 ein Detektionssignal für ein Eindringereignis bereit. Das Detektionssignal für ein Eindringereignis veranlasst die ToF-Ein/Aus-Logik 520, den Laufzeitsensor 508 einzuschalten, wodurch das Sensorsystem 100 in einen Laufzeitmodus versetzt wird, in dem Tiefendaten von der Szene ermittelt und erfasst werden (Schritt 1212). Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, umfasst ein Betrieb des Laufzeitsensors 508 einen Betrieb der Lichtquelle 112, die in Verbindung mit einem Betrieb des Sensors 508 genutzt wird, um Tiefendaten von der Szene zu erhalten. Gemäß Ausführungsformen der vorliegenden Offenbarung kann ein Betrieb des EBS-Sensors 504 andauern, während mittels des ToF-Sensors 508 Tiefendaten gerade erfasst werden. Gemäß anderen Ausführungsformen der vorliegenden Offenbarung kann ein Betrieb des EBS-Sensors 504 eingestellt werden, während Tiefendaten mittels des ToF-Sensors 508 gerade erfasst werden.
  • Bei Schritt 1220 kann eine Bestimmung diesbezüglich vorgenommen werden, ob sich ein mit dem detektierten Ereignis assoziiertes Objekt 115 innerhalb eines ausgewählten oder kritischen Bereichs befindet. Konkret bezieht sich der ausgewählte oder kritische Bereich auf eine Distanz zwischen einem Objekt und einer Kamera. Diese Bestimmung kann durch die Funktion 544 zur Analyse von Eindringdistanzen als Reaktion auf eine Ausgabe von der Ausgabeschaltung 532 vorgenommen werden. Falls sich das eindringende Objekt 115 nicht innerhalb des kritischen Bereichs befindet, kann ein Betrieb des Sensorsystems 100 zum EBS-Modus zurückgeführt werden (Schritt 1224) und können EBS-Daten weiter gesammelt werden (Schritt 1204).
  • Falls sich bei Schritt 1220 ein mit dem detektierten Ereignis assoziiertes Objekt 115 innerhalb eines ausgewählten oder kritischen Bereichs befindet, stellt die Funktion 544 zur Analyse von Eindringdistanzen dem Signalsteuerungsbus 556 ein Signal bereit, das das Sensorsystem 100 veranlasst, auf einen Bildgebungsmodus (d.h. RGB-Modus) umzuschalten (Schritt 1224). Im RGB-Modus werden die Bildinformationen erfasst. Gemäß Ausführungsformen der vorliegenden Offenbarung kann ein Umschalten auf einen Bildgebungsmodus beinhalten, dass die Ein/Aus-Logik 524 den Bildgebungssensor 512 in einen Betriebsmodus versetzt. Die Bildinformationen können ein Analysieren eines oder mehrerer Frames solcher Informationen unter Verwendung eines neuronalen Netzwerks 548 einschließen (Schritt 1228). Als Reaktion darauf, dass das neuronale Netzwerk 548 bestimmt, dass ein Eindringalarm gerechtfertigt ist, wird ein Eindringalarm 552 ausgegeben (Schritt 1232). Zusammen mit dem Alarm können ein oder mehr Frames von Bilddaten und Informationen in Bezug auf die durchgeführte Analyse oder die vom neuronalen Netzwerk 548 gezogene Schlussfolgerung ausgegeben werden.
  • Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, kann das neuronale Netzwerk 548, das eine Eindringanalyse basierend auf Bild-Frame-Daten durchführt, vor einem Einsatz oder Betrieb des neuronalen Netzwerks 548 trainiert werden. Wie in dem Teil einer Trainingsprozedur 1236 von 12A gezeigt ist, kann ein Training ein Einspeisen von Trainingsdaten 1240 in das neuronale Netzwerk 548 einschließen. Eine auf den empfangenen Daten basierende und vom neuronalen Netzwerk 548 ausgegebene Vorhersage wird mit einer erwarteten Ausgabe 1244 verglichen (Schritt 1248). Bei Schritt 1252 wird eine Bestimmung diesbezüglich vorgenommen, ob das Training gestoppt werden kann. Falls bestimmt wird, dass eine Fortsetzung des Trainings notwendig oder wünschenswert ist, können Fehler in der vom neuronalen Netzwerk 548 getroffenen Vorhersage zurückgeleitet werden und können Gewichte des Netzwerks aktualisiert werden (Schritt 1256). Der Trainingsprozess kann sich dann fortsetzen. Falls bestimmt wird, dass das neuronale Netzwerk 548 ausreichend trainiert ist, werden die Netzwerkgewichte des trainierten neuronalen Netzwerks 548 exportiert und im neuronalen Netzwerk 548 im Sensorsystem 100 installiert (Schritt 1256).
  • 13A ist ein Flussdiagramm, das andere Aspekte des Betriebs des Sensorsystems 100 gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht, und darin veranschaulichte Operationen bzw. Vorgänge werden mit Verweis auf 13B beschrieben, die ein Blockdiagramm des Sensorsystems 100 ist, das zum Realisieren der beschriebenen Vorgänge geeignet ist. Wie bei anderen veranschaulichten Ausführungsformen sollte, obgleich das Sensorsystem 100 in 13B als separate EBS-Sensoren 504, TOF-Sensoren 508 und RGB-Sensoren 512 enthaltend veranschaulicht ist, es sich verstehen, dass andere Sensorkonfigurationen und -kombinationen möglich sind. Beispielsweise können Sensoren mit kombinierten oder gemeinsam genutzten Pixelfunktionen genutzt werden. Außerdem kann wie in anderen Ausführungsformen das Sensorsystem 100 eingesetzt werden, um beispielsweise eine Szene zu überwachen.
  • Wie in 13A dargestellt ist, umfasst der Betrieb des Sensorsystems 100 die Erfassung von EBS-Daten durch den EBS-Sensor 504 (Schritt 1304). Die erfassten Daten werden dann unter Verwendung einer Funktion 540 zur Detektion von Eindringereignissen analysiert, die ein neuronales Netzwerk implementiert (Schritt 1308). Das durch die Funktion 540 zur Detektion von Eindringereignissen implementierte neuronale Netzwerk kann ein Netzwerk sein, das offline trainiert wird (Schritt 1310). Beispielsweise kann das neuronale Netzwerk, das die Funktion 540 zur Detektion von Eindringereignissen durchführt, in solchen Ausführungsformen darauf trainiert werden, ein Muster oder eine Sequenz von Ereignissen zu detektieren, die ein Eindringen anzeigen. Bei Schritt 1312 wird eine Bestimmung diesbezüglich vorgenommen, ob die Analyse der EBS-Daten zu einer Feststellung bzw. Bestimmung geführt hat, dass ein Eindringereignis detektiert wurde. Falls bestimmt wird, dass kein Eindringereignis detektiert wurde, können EBS-Daten weiter erfasst werden (Schritt 1304).
  • Falls bei Schritt 1312 bestimmt wird, dass ein Eindringereignis detektiert wurde, wird das Sensorsystem 100 auf einen Laufzeitmodus umgeschaltet (Schritt 1316). Im Laufzeitmodus werden die Lichtquelle 112 und der ToF-Sensor 508 betrieben, um Tiefendaten von einer Szene zu erfassen. Bei Schritt 1320 werden die gesammelten Tiefendaten analysiert, um zu bestimmen, ob das Eindringen innerhalb eines kritischen Bereichs detektiert wurde. Beispielsweise kann eine Bestimmung diesbezüglich vorgenommen werden, ob ein Objekt 115 in einem Bereich der Szene, der dem Bereich entspricht, bei dem bestimmt wurde, dass ein Eindringereignis eingetreten ist, innerhalb eines kritischen Bereichs liegt. Falls ein Eindringen innerhalb eines kritischen Bereichs nicht detektiert wird, wird das Sensorsystem auf den EBS-Modus umgeschaltet (Schritt 1324). Insbesondere wird der EBS-Sensor 504 eingeschaltet und werden der Laufzeitsensor 508 und der RGB-Sensor 512, die vorher aktiviert wurden, ausgeschaltet. Gemäß Ausführungsformen der vorliegenden Offenbarung, die einen gleichzeitigen Betrieb des EBS-Sensors 504 und anderer Sensoren 508 und/oder 512 unterstützen, kann der EBS-Sensor 504 kontinuierlich betrieben werden, in welchem Fall das Umschalten auf den EBS-Modus bei Schritt 1324 die anderen Modi ausschaltet, während der EBS-Sensor 504 weiter betrieben wird.
  • Falls in Schritt 1324 ein Eindringen innerhalb eines kritischen Bereichs detektiert wird, wird das System 100 auf einen Bildgebungsmodus umgeschaltet (Schritt 1328). Zusätzlich zum Einleiten der Erfassung von Bildgebungsdaten kann das Umschalten auf den Bildgebungsmodus ein Ausschalten des EBS-Sensors 504 und/oder des Laufzeitsensors 508 und der Lichtquelle 112 einschließen. Bei Schritt 1332 werden die durch den Bildsensor 512 erhaltenen Bilddaten unter Verwendung eines neuronalen Netzwerks 548 zur Analyse von Eindringereignissen analysiert. Das neuronale Netzwerk 548 zur Analyse von Eindringereignissen kann als Teil eines Offline-Prozesses trainiert werden (Schritt 1336). Die Analyse kann eine Analyse einer oder mehrerer Frames von erfassten Bilddaten einschließen. Anhand der Analyse kann eine Bestimmung diesbezüglich vorgenommen werden, ob es sich um ein schwerwiegendes Eindringen handelt (Schritt 1340). Beispielsweise kann die Eindringanalyse 548 Prozesse zur Objekterkennung einschließen, die imstande sind, eine Klasse oder eine bestimmte Identität eines Objekts 115 zu identifizieren und aus dieser Identifizierung zu bestimmen, ob ein Alarm, dass es sich um ein schwerwiegendes Eindringen handelt, ausgegeben werden sollte.
  • Falls bestimmt wird, dass es sich nicht um ein schwerwiegendes Eindringen handelt, kann das Sensorsystem 100 auf einen EBS-Modus zurückgeschaltet werden (Schritt 1324). Zusätzlich zum Zurückschalten auf den EBS-Modus können/kann der Bildsensor 512 und/oder der Laufzeitsensor 508 und die Lichtquelle 112 ausgeschaltet werden. Falls bestimmt wird, dass es sich um ein schwerwiegendes Eindringen handelt, wird ein Eindringalarm 552 ausgegeben (Schritt 1344). Der Eindringalarm kann ein Abbilden von Frame-Daten und Daten, die sich auf die vom neuronalen Netzwerk 548 zur Analyse von Eindringereignissen durchgeführte Analyse beziehen, einschließen. Nach Ausgabe eines Eindringalarms kann der Prozess weiter Laufzeitdaten erfassen (Schritt 1316) und dadurch bestimmen, ob das eindringende Objekt 115 innerhalb des kritischen Bereichs des Sensorsystems 100 bleibt. Falls sich das Objekt 115 nicht länger innerhalb des kritischen Bereichs befindet, kann dementsprechend das Sensorsystem 100 zum EBS-Modus zurückkehren. Alternativ dazu kann, falls sich das Objekt 115 weiterhin innerhalb des kritischen Bereichs befindet, der Betrieb des Bildsensors 512 fortdauern und können die Sammlung und Analyse von Bilddaten-Frames andauern.
  • 14A ist ein Flussdiagramm, das andere Aspekte des Betriebs des Sensorsystems 100 gemäß Ausführungsformen der vorliegenden Offenbarung veranschaulicht, und die darin veranschaulichten Vorgänge werden mit Verweis auf 14B beschrieben, die ein Blockdiagramm des Sensorsystems 100 ist, das zum Realisieren der beschriebenen Vorgänge geeignet ist. Wie bei anderen veranschaulichten Ausführungsformen sollte, obgleich das Sensorsystem 100 in 14B als separate EBS-Sensoren 504, TOF-Sensoren 508 und RGB-Sensoren 512 enthaltend veranschaulicht ist, es sich verstehen, dass andere Sensorkonfigurationen und -kombinationen möglich sind. Beispielsweise können Sensoren mit kombinierten oder gemeinsam genutzten Pixelfunktionen genutzt werden. Außerdem kann wie in anderen Ausführungsformen das Sensorsystem 100 eingesetzt werden, um beispielsweise eine Szene zu überwachen.
  • Wie in 14A gezeigt ist, schließt der Betrieb des Sensorsystems 100 die Erfassung von EBS-Daten durch den EBS-Sensor 504 ein (Schritt 1404). Die erfassten Daten werden dann unter Verwendung einer Funktion 540 zur Detektion von Eindringereignissen analysiert, die ein neuronales Netzwerk implementiert (Schritt 1408). Wie in zumindest einigen anderen Ausführungsformen kann das durch die Funktion 540 zur Detektion von Eindringereignissen implementierte neuronale Netzwerk ein Netzwerk sein, das offline trainiert wird (Schritt 1410). Bei Schritt 1412 wird eine Bestimmung diesbezüglich vorgenommen, ob die Analyse der EBS-Daten zu einer Bestimmung, dass ein Eindringereignis detektiert worden ist, führte. Falls bestimmt wird, dass kein Eindringereignis detektiert wurde, können EBS-Daten weiter erfasst werden (Schritt 1404).
  • Falls in Schritt 1412 bestimmt wird, dass ein Eindringereignis detektiert worden ist, wird das Sensorsystem 100 auf einen gleichzeitigen Laufzeit- und Bildgebungsmodus umgeschaltet, bei dem sowohl der ToF-Sensor 508 als auch der Bildgebungssensor 512 in Betrieb sind (Schritt 1414). Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, muss das Sensorsystem 100 daher einen ToF-Sensor 508 und einen Bildgebungssensor 512 enthalten, die gleichzeitig betrieben werden können. Durch den ToF-Sensor 508 gesammelte Daten (Schritt 1420) werden analysiert, um zu bestimmen, ob ein Eindringen innerhalb eines kritischen Bereichs vorliegt (Schritt 1424). Als Reaktion auf eine Bestimmung, dass sich ein mit dem Eindringen assoziiertes Objekt 115 nicht innerhalb des kritischen Bereichs befindet, kann das Sensorsystem 100 auf einen reinen EBS-Modus umgeschaltet werden (Schritt 1428). Als Reaktion auf eine Bestimmung, dass sich ein mit einem Eindringen assoziiertes Objekt 115 innerhalb des kritischen Bereichs befindet, können die gesammelten Daten dem neuronalen Netzwerk 548 zur Analyse von Eindringereignissen bereitgestellt werden. Außerdem können dem neuronalen Netzwerk 548 zur Analyse von Eindringereignissen durch den Bildgebungssensor 512 erfasste Daten (Schritt 1432) bereitgestellt werden.
  • Bei Schritt 1436 analysiert das neuronale Netzwerk 548 zur Analyse von Eindringereignissen die EBS-, ToF- und Bild-Frame-Daten. Diese Analyse kann eine Objektidentifizierung oder -klassifizierung basierend auf den EBS-, ToF- und/oder Bildgebungsdaten einschließen. Basierend auf der Analyse durch das neuronale Netzwerk 548 wird eine Bestimmung diesbezüglich vorgenommen, ob es sich um ein schwerwiegendes Eindringen handelt (Schritt 1440). Als Reaktion auf eine Bestimmung, dass es sich nicht um ein schwerwiegendes Eindringen handelt, werden der Laufzeitsensor 508 und der Bildgebungssensor 512 ausgeschaltet und wird das Sensorsystem 100 zu einem EBS-Modus zurückgeführt (Schritt 1428). Falls bestimmt wird, dass es sich um ein schwerwiegendes Eindringen handelt, wird ein Eindringalarm ausgegeben (Schritt 1444). Der Eindringalarm kann ein Übertragen von Bild-Frame-Daten und Informationen einer Analyse durch das neuronale Netzwerk als Teil eines übertragenen Eindringalarms 552 einschließen. Nach einer Übertragung eines Eindringalarms 552 kann der Prozess zu Schritt 1416 zurückkehren und können Laufzeit- und Bilddaten weiter gesammelt und analysiert werden, bis bestimmt wird, dass kein Eindringen innerhalb des kritischen Bereichs mehr vorliegt, oder bestimmt wird, dass es nicht länger schwerwiegend ist.
  • 15A ist ein Flussdiagramm, das Aspekte des Betriebs eines Sensorsystems 100 gemäß anderen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Die in Verbindung mit dem Flussdiagramm diskutierten Vorgänge werden auch mit Verweis auf 15B beschrieben, die ein Blockdiagramm eines Sensorsystems 100 ist, das zum Realisieren eines Sensorsystems 100 geeignet ist, das imstande ist, die beschriebenen Vorgänge durchzuführen. Obgleich das Sensorsystem 100 in 15B als separate EBS-Sensoren 504, TOF-Sensoren 508 und RGB-Sensoren 512 enthaltend veranschaulicht ist, sollte es sich verstehen, dass andere Sensorkonfigurationen und -kombinationen, einschließlich Sensoren mit gemeinsam genutzten oder kombinierten Funktionalitäten, anstelle von oder zusätzlich zu Sensoren mit einer einzigen Funktionalität genutzt werden können. In Kombination mit zumindest einigen Implementierungen der in Verbindung mit 15A diskutierten Vorgänge und anderen hierin diskutierten Betriebsbeispielen wird das Sensorsystem 100 betrieben, um eine Szene zu überwachen.
  • Wie in 15A gezeigt ist, schließt der Betrieb des Sensorsystems 100 die Erfassung von EBS-Daten durch Pixel 604 ein, die im EBS-Sensor 504 enthalten sind (Schritt 1504). Die EBS-Daten werden durch die Ausgabeschaltung 528 zur Funktion 540 zur Detektion von Eindringereignissen weitergeleitet. In der Funktion 540 zur Detektion von Eindringereignissen werden die Zählung und Dichte von EBS-Ereignissen analysiert (Schritt 1508). Beispielsweise werden/wird die Anzahl an Ereignissen innerhalb eines definierten Zeitrahmens und/oder innerhalb eines ausgewählten Bereichs des Arrays 310 von dedizierten 604 oder gemeinsam genutzten 620 oder 636 Ereignisdetektionspixeln analysiert. Falls bei Schritt 1512 bestimmt wird, dass die Anzahl an Ereignissen und/oder Dichte von Ereignissen unterhalb ausgewählter Schwellenwerte liegen/liegt, kehrt der Prozess zur Schritt 1504 zurück und wird der Betrieb des EBS-Sensors 504 fortgesetzt, ohne einen Betrieb der anderen Sensoren 508 und 512 auszulösen.
  • Falls bei Schritt 1512 bestimmt wird, dass die Anzahl an Ereignissen und/oder Dichte von Ereignissen bei oder oberhalb ausgewählter Schwellenwerte liegen/liegt, stellt die Funktion 540 zur Detektion von Eindringereignissen dem Signalsteuerungsbus 556 ein Eindringereignis-Detektionssignal bereit. Das Eindringereignis-Detektionssignal veranlasst die ToF-Ein/Aus-Logik 520, den Laufzeitsensor 508 einzuschalten, wodurch das Sensorsystem 100 in einen Laufzeitmodus versetzt wird, in dem Tiefendaten von der Szene ermittelt und erfasst werden (Schritt 1516). Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, schließt ein Betrieb des Laufzeitsensors 508 einen Betrieb der Lichtquelle 112 ein, die in Verbindung mit einem Betrieb des Sensors 508 genutzt wird, um Tiefendaten von der Szene zu erhalten.
  • Bei Schritt 1520 kann eine Bestimmung diesbezüglich vorgenommen werden, ob sich ein mit dem detektierten Ereignis assoziiertes Objekt 115 innerhalb eines ausgewählten oder kritischen Bereichs befindet. Diese Bestimmung kann von der Funktion 544 zur Analyse von Eindringdistanzen als Reaktion auf eine Ausgabe von der Ausgabeschaltung 532 vorgenommen werden. Falls sich das Objekt 115 nicht innerhalb des kritischen Bereichs befindet, kann das Sensorsystem 100 zum EBS-Modus zurückgeführt werden (Schritt 1524).
  • Falls bestimmt wird, dass sich das Objekt 115 innerhalb des kritischen Bereichs befindet, werden die Laufzeitdaten von einem neuronalen Netzwerk 550 für Eindringdistanzen analysiert (Schritt 1528). Das neuronale Netzwerk 550 für Eindringdistan- zen kann in einem Offline-Prozess trainiert werden (Schritt 1532). Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung wird das neuronale Netzwerk 550 für Eindringdistanzen darauf trainiert, zu detektieren, ob das Eindringen vorbestimmte Merkmale bzw. Charakteristiken erfüllt. Beispiele solcher Charakteristiken können die Größe, Geschwindigkeit, Distanz vom Sensorsystem 100 oder eine andere Charakteristik eines Objekts 115 einschließen, die aus ToF-Daten bestimmt werden können. Als Reaktion auf eine Bestimmung bei Schritt 1536, dass kein vordefiniertes Eindringen detektiert wurde, kann das Sensorsystem 100 auf einen reinen EBS-Modus zurückgeschaltet werden (Schritt 1524).
  • Als Reaktion auf eine Bestimmung bei Schritt 1536, dass ein vordefiniertes Eindringen detektiert wurde, wird ein Bereich von Interesse gespeichert, der das Objekt 115 umfasst oder diesem entspricht (Schritt 1540). Das Sensorsystem wird dann auf einen Bildgebungsmodus umgeschaltet, und Bilddaten werden basierend auf dem Bereich von Interesse erfasst (Schritt 1544). Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung schließt ein Erfassen von Informationen aus dem interessierenden Bereich ein Aktivieren allein jener Pixel des Bildsensors 512 ein, die den Bereich von Interesse umgeben oder diesem entsprechen. Als Nächstes wird ein Eindringalarm ausgegeben (Schritt 1548). Die Ausgabe eines Eindringalarms kann ein Übertragen eines Eindringalarms 552 einschließen, der ein oder mehr Frames der Bildgebungsdaten enthält, die innerhalb des Bereichs von Interesse gesammelt wurden. Alternativ dazu oder zusätzlich kann der Eindringalarm 552 Informationen in Bezug auf die Analyse der Laufzeitdaten enthalten, die vom neuronalen Netzwerk 550 für Eindringdistanzen durchgeführt wurde.
  • Ein Sensorsystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung integriert bzw. umfasst EBS- 504, ToF- 508 und Bildgebungssensoren 512. Indem es in einem EBS-Modus betrieben wird, ist das System imstande, eine Szene kontinuierlich auf Auslöseereignisse hin zu überwachen. Da ein EBS-Sensor 504 asynchron arbeitet, ist eine Ereignisdetektion schnell und hat eine geringe Latenz bzw. Latenzzeit, da sie nicht von einer Frame-Rate des Sensors abhängig ist. Außerdem ist ein Betrieb des EBS-Sensors 504, selbst wenn er wie in zumindest einigen Ausführungsformen der vorliegenden Offenbarung kontinuierlich durchgeführt wird, leistungseffizienter als andere Sensortechnologien. Somit kann eine kontinuierliche anhaltende Überwachung einer Szene mit hoher Effizienz durch Ausführungsformen der vorliegenden Offenbarung erzielt werden.
  • Zum Beispiel, und mit Verweis nun auf 16, kann eine Sammlung von Daten 1604 des EBS-Sensors 504 analysiert werden. Als Reaktion auf eine Bestimmung aus den Daten 1604 des EBS-Sensors 504, dass ein eindringendes Objekt 115 innerhalb der überwachten Szene hinzugekommen ist, kann ein Betrieb eines ToF-Sensors 508 und/oder eines Bildsensors 512 eingeleitet werden. Die Verarbeitung besteht einfach aus einer Bestimmung, dass ein Ereignis innerhalb der überwachten Szene oder eines ausgewählten Bereichs der überwachten Szene eingetreten ist. Alternativ dazu können die Daten 1604 des EBS-Sensors 504 analysiert werden, um zu bestimmen, ob eine Häufigkeit oder Anzahl von Ereignissen einen Schwellenwert erreicht. Die Daten 1604 des EBS-Sensors 504 können auch analysiert werden, um zu bestimmen, ob ein Muster von Ereignissen innerhalb der EBS-Daten 1604 mit einem Muster von Interesse übereinstimmt. Als weiteres Beispiel können die Daten 1604 des EBS-Sensors 504 durch ein neuronales Netzwerk analysiert werden, das beispielsweise durch das Prozessorsystem 130 implementiert bzw. realisiert ist, um zu identifizieren, ob ein Ereignis oder ein Satz von Ereignissen, das oder der einen Eindringling oder ein anderes Objekt von Interesse angibt, innerhalb einer überwachten Szene vorhanden ist. Die Verarbeitung der Daten 1604 des EBS-Sensors 504 kann auch genutzt werden, um einen Bereich von Interesse 1608 zu identifizieren.
  • Als Reaktion auf eine auf einer Analyse der EBS-Daten 1604 basierende Bestimmung, dass innerhalb einer überwachten Szene ein Eindringling oder ein Objekt von Interesse vorhanden ist, kann ein ToF-Sensor 508 aktiviert werden. Die durch den ToF-Sensor gesammelten Entfernungs- oder Punktwolke-Daten 1612 können genutzt werden, um eine Entfernung oder eine Distanz zum Objekt 115 zu bestimmen und somit zu bestimmen, ob sich das Objekt innerhalb eines kritischen Bereichs befindet. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, können ToF-Sensoren 508 und insbesondere die zugeordnete Lichtquelle 112 eine verhältnismäßig große Menge an Leistung verbrauchen. Dementsprechend kann ein Auslösen des Betriebs eines ToF-Sensors 508 allein als Reaktion auf einen Empfang einer Angabe von EBS-Daten 1604, dass ein Eindringling oder ein anderes Objekt von Interesse vorhanden ist, im Vergleich mit einem durchgängigen Betrieb des ToF-Sensors 508 signifikante Leistungseinsparungen zur Folge haben.
  • Als Reaktion auf eine Bestimmung, dass sich das Objekt 115 innerhalb des kritischen Bereichs befindet, aus den Daten 1612 des ToF-Sensors 508 kann ein Bildgebungssensor 512 aktiviert werden. Ein Frame oder eine Reihe von Frames von Bilddaten 1616, die vom Bildgebungssensor 512 gesammelt werden, kann zu einer automatisierten oder manuell geführten Behörde übertragen werden, um als Reaktion auf das Vorhandensein eines Eindringlings mögliche Maßnahmen zu ergreifen. Gemäß zumindest einigen Ausführungsformen wird nur ein ausgewählter Bereich 1620 des Pixel-Arrays 300 des Bildsensors 512 aktiviert, um Leistungsbedarfe, eine Übertragungs- und Verarbeitungsbandbreite zu sparen. Der ausgewählte Bereich 1620 kann gleich einem innerhalb der EBS-Daten 1604 identifizierten Bereich von Interesse 1608 sein oder auf diesem basieren. Die Daten aus dem ausgewählten Bereich können beispielsweise mittels eines neuronalen Netzwerks verarbeitet werden. Die Verarbeitung kann eine Objektidentifizierung oder -erkennung einschließen. Wie der Fachmann nach Betrachtung der vorliegenden Offenbarung verstehen kann, können Ausführungsformen der vorliegenden Offenbarung, die nach Nutzung eines ToF-Sensors 508, um zu bestimmen, dass sich ein Objekt 115 innerhalb eines kritischen Bereichs befindet, den Betrieb eines Bildsensors 512 auslösen, unnötige Aktivierungen vermeiden. Beispielsweise vermeidet solch eine Anordnung die Sammlung, Übertragung und Analyse von Bilddaten 1616, die ansonsten gesammelt werden könnten, nachdem ein Lichtblitz auf dem EBS-Sensor 504 auftrifft, indem sichergestellt wird, dass sich ein Objekt 115 innerhalb der überwachten Szene befindet.
  • 17A - 17E zeigen Beispiele von Anwendungsfällen für ein Sensorsystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung. Insbesondere zeigt 17A ein Szenario, in dem ein Sensorsystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung neben einer Vordertür 1704 eines Hauses 1708 positioniert ist. In diesem Beispiel ist das Objekt 115 eine Person, die in das Sichtfeld 114 des Sensorsystems 100 eintritt. In 17B ist eine Vielzahl von Sensorsystemen 100 an einem Fahrzeug 1712 montiert, um überlappende Sichtfelder 114 bereitzustellen, und wird betrieben, um Objekte 115 wie etwa Personen, andere Fahrzeuge, stationäre Strukturen und dergleichen zu detektieren. In 17C ist ein Sensorsystem 100 an einem Pfosten oder einer anderen Struktur 1716 montiert und so positioniert, dass das Sichtfeld 114 eine Kreuzung oder einen anderen Teilbereich der Straße umfasst, um vorbeifahrende Fahrzeuge 1712 oder andere Objekte 115 zu überwachen. In 17D ist ein Sensorsystem 100 an einem Pfosten oder einer anderen Struktur 1716 montiert und so positioniert, dass das Sichtfeld 114 einen Abschnitt eines Eisenbahngleises 1720 umfasst, um vorbeifahrende Triebwagen 1724 oder andere Objekte zu überwachen. In 17E ist ein Sensorsystem 100 an einem Pfosten 1716 oder einer anderen Struktur montiert, so dass das Sichtfeld 114 eine Fertigungsstrecke, ein Förderband oder eine andere Bahn 1728 umfasst, entlang der hergestellte Artikel 1732 oder andere Objekte passieren.
  • In den verschiedenen veranschaulichten Betriebsszenarien der 17A - 17E, gibt, wenn ein Objekt 115 in das Sichtfeld 114 des Sensorsystems 100 eintritt, der EBS-Sensor 504 ein Signal oder Signale basierend auf einer Änderung der Lichtintensität innerhalb der Szene oder des Sichtfelds 114 ab. Als Reaktion auf das Signal des EBS-Sensors 504 wird der Laufzeitsensor 508 aktiviert. Insbesondere wird die Lichtquelle 112 betrieben, um Abgabelicht 116 zu erzeugen, von dem zumindest ein gewisser Teil auf das Objekt 115 fällt. Vom Objekt 115 reflektiertes Licht wird beim Laufzeitsensor 508 empfangen, von dem eine Entfernung zum Objekt 115 bestimmt wird. Als Reaktion auf eine Bestimmung, dass sich das Objekt 115 innerhalb eines kritischen Bereichs des Sensorsystems 100 befindet, wird ein Bildgebungssensor 512 aktiviert. Ein Frame oder Frames von Bilddaten kann oder können unter Verwendung automatisierter oder manueller Systeme verarbeitet und analysiert werden.
  • Gemäß Ausführungsformen der vorliegenden Offenbarung können Ereignisdetektionsfunktionen des Bildgebungssystems 100 in Betrieb bleiben, selbst wenn Laufzeit- und/oder Bilderfassungsvorgänge gerade durchgeführt werden.
  • Die verschiedenen Operationen bzw. Vorgänge, die vom Verarbeitungssystem 130 an den Ereignisdetektionsdaten und/oder den Bilddaten durchgeführt werden, können eine Anwendung eines oder mehrerer neuronaler Netzwerke, um die gesammelten Informationen zu analysieren, einschließen.
  • Ausführungsformen der vorliegenden Offenbarung stellen Sensorsysteme 100 bereit, die imstande sind, eine ausgewählte Szene oder einen ausgewählten Bereich einer Szene unter Verwendung eines EBS-Sensors 504 kontinuierlich zu überwachen. Als Reaktion auf eine Bestimmung, dass innerhalb der Szene ein Ereignis eingetreten ist, wird ein Laufzeitsensor 508 betrieben, um zu bestimmen, ob sich ein Objekt 115 innerhalb eines kritischen Bereichs des Sensorsystems 100 befindet. Falls bestimmt wird, dass sich ein Objekt 115 innerhalb des kritischen Bereichs befindet, wird ein Bildgebungssensor 512 aktiviert. Dementsprechend liefern Ausführungsformen der vorliegenden Offenbarung eine schnelle, asynchrone Detektion von Ereignissen. Außerdem können Leistungseinsparungen realisiert werden, indem ein Betrieb eines Laufzeitsensors nur als Reaktion auf eine Detektion eines Ereignisses ausgelöst wird. Ferner können Leistungseinsparungen realisiert werden, indem ein Betrieb eines Bildgebungssensors 512 nur als Reaktion auf eine Bestimmung, dass sich ein Objekt 115 innerhalb eines kritischen Bereichs befindet, ausgelöst wird. Außerdem kann eine selektive Aktivierung des Bildgebungssensors Anforderungen an die Datenverarbeitung und -übertragung einsparen. Weitere Effizienzvorteile können erhalten werden, indem eine Analyse einiger oder aller Ausgaben der Sensoren 504, 508 und 512 vor einem Auslösen eines nächsten Vorgangs durchgeführt wird.
  • Gemäß zumindest einigen Ausführungsformen der vorliegenden Offenbarung kann ein EBS-Sensor 504 kontinuierlich arbeiten, selbst wenn ein Laufzeitsensor 508 und/oder ein Bildgebungssensor 512 in Betrieb sind/ist. Wie an anderer Stelle hierin angemerkt wurde, arbeitet ein EBS-Sensor 504 im Allgemeinen asynchron. Indem man einen Betrieb des Ereignisdetektionssensors 504 fortsetzt, können Ereignisdetektionsfunktionen ohne Verlust oder Minderung der zeitlichen Ereignisdetektionsleistung des Systems 100 kontinuierlich ausgeführt werden.
  • 18 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuerungssystems veranschaulicht, das ein Beispiel eines Systems zur Steuerung eines sich bewegenden Körpers ist, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann.
  • Ein Fahrzeugsteuerungssystem 12000 umfasst eine Vielzahl elektronischer Steuerungseinheiten oder Prozessorsysteme, die über ein Kommunikationsnetzwerk 12001 miteinander verbunden sind. In dem in 18 veranschaulichten Beispiel umfasst das Fahrzeugsteuerungssystem 12000 eine Antriebssystem-Steuerungseinheit 12010, eine Karosseriesystem-Steuerungseinheit 12020, eine Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs, eine Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs und eine integrierte Steuerungseinheit 12050. Außerdem sind als funktionale Konfiguration der integrierten Steuerungseinheit 12050 ein Mikrocomputer 12051, eine Sprach- und Bild-Ausgabeeinheit 12052 und eine Schnittstelle (I/F) 12053 des bordeigenen Netzwerks in der Zeichnung veranschaulicht.
  • Die Antriebssystem-Steuerungseinheit 12010 steuert gemäß verschiedenen Programmen einen Betrieb einer Vorrichtung in Bezug auf ein Antriebssystem eines Fahrzeugs. Beispielsweise fungiert die Antriebssystem-Steuerungseinheit 12010 als Steuerungsvorrichtung einer Antriebskraft-Erzeugungsvorrichtung wie etwa eines Verbrennungsmotors und eines Antriebsmotors, der eine Antriebskraft des Fahrzeugs erzeugt, eines Antriebskraft-Übertragungsmechanismus, der die Antriebskraft auf Räder überträgt, eines Lenkmechanismus, der einen Lenkwinkel des Fahrzeugs einstellt, und einer Bremsvorrichtung, der eine Bremskraft des Fahrzeugs erzeugt, und dergleichen.
  • Die Karosseriesystem-Steuerungseinheit 12020 steuert einen Betrieb verschiedener Vorrichtungen, die an einer Fahrzeugkarosserie montiert sind, gemäß verschiedenen Programmen. Beispielsweise fungiert die Karosseriesystem-Steuerungseinheit 12020 als Steuerungsvorrichtung eines schlüssellosen Zugangssystems, eines Systems für intelligente Schlüssel, einer automatischen Fenstervorrichtung und verschiedener Leuchten wie etwa eines Frontscheinwerfers, eines Heckscheinwerfers, einer Bremsleuchte, eines Fahrtrichtungsanzeigers und einer Nebelleuchte. In diesem Fall kann eine elektrische Welle, die von einer tragbaren Vorrichtung, die einen Schlüssel ersetzt, übertragen wird, oder können Signale verschiedener Schalter in die die Karosseriesystem-Steuerungseinheit 12020 eingespeist werden. Die Karosseriesystem-Steuerungseinheit 12020 empfängt eine Einspeisung dieser elektrischen Wellen oder der Signale und steuert eine Türverriegelungsvorrichtung, eine automatische Fenstervorrichtung, die Leuchte und dergleichen des Fahrzeugs.
  • Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert Informationen bezüglich der Außenseite bzw. äußeren Umgebung des Fahrzeugs, an dem das Fahrzeugsteuerungssystem 12000 montiert ist. Beispielsweise ist eine Bildgebungseinheit 12031 mit der Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs verbunden. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs veranlasst die Bildgebungseinheit 12031, ein Bild der äußeren Umgebung des Fahrzeugs aufzunehmen, und empfängt das aufgenommene Bild. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs kann auf der Basis des Bildes, das empfangen wird, eine Objektdetektionsverarbeitung einer Person, eines Fahrzeugs, eines Hindernisses, eines Verkehrsschilds, eines Zeichens auf einer Straße oder dergleichen oder eine Abstandsdetektionsverarbeitung durchführen.
  • Die Bildgebungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein einem Lichtempfangsbetrag entsprechendes elektrisches Signal abgibt. Die Bildgebungseinheit 12031 kann das elektrische Signal als Bild abgeben oder als Information einer Abstandsmessung abgeben. Außerdem kann das mittels der Bildgebungseinheit 12031 empfangene Licht sichtbares Licht sein oder kann unsichtbares Licht wie etwa Infrarotstrahlen sein. Darüber hinaus kann die Bildgebungseinheit 12031 einen Bildsensor 200 enthalten, der eine Pixel-Arrayeinheit 310 mit den Einheitspixeln 300 enthält, die gemäß Ausführungsformen der vorliegenden Offenbarung konfiguriert und von anderen Einheitspixeln 310 innerhalb der Pixel-Arrayeinheit isoliert sind.
  • Die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs detektiert Information im Innern des Fahrzeugs. Mit der Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs ist zum Beispiel eine Einheit 12041 zur Detektion des Fahrerzustands verbunden, die einen Zustand des Fahrers detektiert. Die Einheit 12041 zur Detektion des Fahrerzustands umfasst zum Beispiel eine Kamera, die den Fahrer aufnimmt bzw. abbildet, und auf der Basis der Detektionsinformation, die von der Einheit 12041 zur Detektion des Fahrerzustands eingegeben wird, kann die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs den Ermüdungsgrad oder den Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eindöst.
  • Auf der Basis der Information aus dem Innern und der der äußeren Umgebung, die durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs erfasst wird, berechnet der Mikrocomputer 12051 einen Steuerungszielwert der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung und kann einen Steuerungsbefehl an die Antriebssystem-Steuerungseinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung, um eine Funktion eines fortgeschrittenen Fahrerassistenzsystems (ADAS) zu realisieren, ausführen, die eine Kollisionsvermeidung oder Aufprallabschwächung des Fahrzeugs, eine Nachfolgefahrt basierend auf dem Abstand zwischen Fahrzeugen, eine Fahrt mit konstanter Geschwindigkeit des Fahrzeugs, eine Warnung vor einer Fahrzeugkollision, eine Warnung vor einem Verlassen der Spur des Fahrzeugs und dergleichen einschließt.
  • Ferner kann der Mikrocomputer 12051 eine kooperative Steuerung für automatisches Fahren und dergleichen durchführen, bei der das Fahrzeug unabhängig von einer Bedienung durch den Fahrer autonom fährt, indem die Antriebskraft-Erzeugungsvorrichtung, der Lenkmechanismus, die Bremsvorrichtung und dergleichen auf der Basis einer Information über die Umgebung des Fahrzeugs gesteuert wird, die mittels der Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs oder der Einheit 12040 zur Detektion von Information von innerhalb des Fahrzeugs erfasst bzw. erlangt wird.
  • Der Mikrocomputer 12051 kann einen Steuerungsbefehl an die Karosseriesystem-Steuerungseinheit 12020 auf der Basis der Information von außerhalb des Fahrzeugs ausgeben, die mittels der Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs erlangt wird. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung, um eine Blendung zu verhindern, durchführen, wie etwa ein Umschalten von Fernlicht auf Abblendlicht, indem der Frontscheinwerfer entsprechend einer Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs, das durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert wird, gesteuert wird.
  • Die Sprach- und Bild-Ausgabeeinheit 12052 überträgt Ausgangssignal, darunter Sprache und ein Bild, zu einer Ausgabevorrichtung, die einem Insassen in einem Fahrzeug oder der äu-ßeren Umgebung des Fahrzeugs eine Information optisch oder akustisch mitteilen kann. Im Beispiel in 15 sind als die Ausgabevorrichtung ein Lautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 beispielhaft veranschaulicht. Die Anzeigeeinheit 12062 kann beispielsweise zumindest eine einer bordeigenen Anzeige oder eines Head-Up-Displays umfassen.
  • 19 ist eine Ansicht, die ein Beispiel einer Installationsposition der Bildgebungseinheit 12031 veranschaulicht.
  • In 19 sind als die Bildgebungseinheit 12031 Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 vorgesehen.
  • Die Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 sind beispielsweise an Positionen wie etwa einer Frontpartie, einem Seitenspiegel, einer hinteren Stoßstange, einer Hecktür und einer Oberseite einer Windschutzscheibe im Fahrzeuginnenraum des Fahrzeugs 12100 vorgesehen. Die an der Frontpartie vorgesehene Bildgebungseinheit 12101 und die Bildgebungseinheit 12105, die an der Oberseite der Windschutzscheibe im Innern des Fahrzeugs vorgesehen ist, nehmen vorwiegend Bilder der Seite vor dem Fahrzeug 12100 auf. Die Bildgebungseinheiten 12102 und 12103, die an den Seitenspiegeln vorgesehen sind, nehmen vorwiegend Bilder von den Seiten des Fahrzeugs 12100 auf. Die Bildgebungseinheit 12104, die an der hinteren Stoßstange oder der Hecktür vorgesehen ist, nimmt vorwiegend Bilder an der Seite hinter dem Fahrzeug 12100 auf. Die Bildgebungseinheit 12105, die am oberen Teil der Windschutzscheibe im Fahrzeuginnern vorgesehen ist, kann vorwiegend genutzt, um ein vorausfahrendes Fahrzeug, einen Fußgänger, ein Hindernis, eine Verkehrsampel, ein Verkehrszeichen, eine Fahrspur und dergleichen zu detektieren.
  • Darüber hinaus veranschaulicht 19 ein Beispiel eines Bildaufnahmebereichs der Bildgebungseinheiten 12101 bis 12104. Ein Bildaufnahmebereich 12111 repräsentiert einen Bildaufnahmebereich der Bildgebungseinheit 12101, die an der Frontpartie vorgesehene ist, Bildaufnahmebereiche 12112 und 12113 repräsentieren Bildaufnahmebereiche der Bildgebungseinheiten 12102 bzw. 12103, die an den Seitenspiegeln vorgesehen sind, ein Bildaufnahmebereich 12114 repräsentiert einen Bildaufnahmebereich der Bildgebungseinheit 12104, die an der hinteren Stoßstange oder der Hecktür vorgesehen ist. Beispielsweise ist es möglich, wenn eine Vielzahl Stücke von durch die Bildgebungseinheiten 12101 bis 12104 aufgenommenen Bilddaten einander überlagert werden, ein Bild aus der Vogelperspektive, wenn das Fahrzeug 12100 von oben gesehen wird, zu erhalten.
  • Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion, um eine Abstandsinformation zu erlangen, aufweisen. Beispielsweise kann zumindest eine der Bildgebungseinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Bildgebungselementen enthält, oder ein Bildgebungselement, das Pixel für eine Detektion von Phasendifferenzen enthält, sein.
  • Beispielsweise kann der Mikrocomputer 12051 ein dreidimensionales Objekt, das insbesondere auf einem Fahrweg des Fahrzeugs 12100 ein am nächsten befindliches Objekt ist und in annähernd dieselbe Richtung wie jene des Fahrzeugs 12100 fährt, das mit einer vorbestimmten Geschwindigkeit (zum Beispiel 0 km/h oder höher) fährt, als vorausfahrendes Fahrzeug extrahiert werden, indem Abstände zu jeweiligen dreidimensionalen Objekten in den Bildaufnahmebereichen 12111 bis 12114 und eine Variation der Abstände im Verlauf der Zeit (relative Geschwindigkeit zum Fahrzeug 12100) auf der Basis der von den Bildgebungseinheiten 12100 bis 12104 erhalten werden. Außerdem kann der Mikrocomputer 12051 einen zwischen Fahrzeugen sicherzustellenden Abstand vor dem vorausfahrenden Fahrzeug vorher festlegen, um eine automatische Bremssteuerung (einschließlich einer Nachfolge-Stopp-Steuerung), eine automatische Beschleunigungssteuerung (einschließlich einer Nachfolge-Start-Steuerung) und dergleichen durchzuführen. Wie oben beschrieben wurde, ist es möglich, eine kooperative Steuerung für automatisches Fahrens, bei dem ein Fahrzeug autonom fährt, ohne von einem Eingriff des Fahrers abhängig zu sein, und dergleichen durchzuführen.
  • Beispielsweise kann der Mikrocomputer 12051 auf der Basis der von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Abstandsinformation dreidimensionale Objektdaten in Bezug auf ein dreidimensionales Objekt extrahieren, indem eine Vielzahl von Stücken dreidimensionaler Objektdaten in Daten eines zweirädrigen Fahrzeugs, Daten eines typischen Fahrzeugs, Daten eines großen Fahrzeugs, Daten eines Fußgängers und Daten anderer dreidimensionaler Objekte wie etwa eines Strommasten klassifiziert werden, und kann die dreidimensionalen Objektdaten zum automatischen Vermeiden bzw. Umgehen von Hindernissen nutzen. Beispielsweise unterscheidet der Mikrocomputer 12051 Hindernisse in der Peripherie des Fahrzeugs 12100 in ein Hindernis, das von einem Fahrer des Fahrzeugs 12100 erkannt werden kann, und ein Hindernis, das für den Fahrer optisch schwer zu erkennen ist. Außerdem bestimmt der Mikrocomputer 12051 ein Kollisionsrisiko, das ein Maß einer Kollisionsgefahr mit jedem der Hindernisse angibt. In einer Situation, in der das Kollisionsrisiko gleich einem bestimmten festgelegten Wert oder größer ist und eine Kollision stattfinden kann, kann der Mikrocomputer 12051 ein Fahren zur Kollisionsvermeidung unterstützen, indem über den Lautsprecher 12061 oder die Anzeigeeinheit 12062 eine Warnung an den Fahrer ausgegeben wird oder indem über die Antriebssystem-Steuerungseinheit 12010 eine erzwungene Abbremsung oder Ausweichlenkbewegung durchgeführt wird.
  • Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Beispielsweise kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem bestimmt wird, ob in von den Bildgebungseinheiten 12101 bis 12104 aufgenommenen Bildern der Fußgänger vorhanden ist oder nicht. Die Fußgängererkennung ausgeführt beispielsweise mittels einer Prozedur zum Extrahieren eines spezifischen Punkts in den von den Bildgebungseinheiten 12101 bis 12104 als Infrarotkamera aufgenommenen Bildern und einer Prozedur zum Durchführen einer Verarbeitung für einen Musterabgleich für einer Reihe spezifischer Punkte, die die Konturlinie eines Objekts angeben, um zu bestimmen, ob das Objekt ein Fußgänger ist oder nicht. Wenn der Mikrocomputer 12051 bestimmt, dass ein Fußgänger in den von den Bildgebungseinheiten 12101 bis 12104 aufgenommenen Bildern vorhanden ist, und den Fußgänger erkennt, steuert die Sprach- und Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062, um eine viereckige Konturlinie zur Hervorhebung auf dem Fußgänger, er erkannt ist, zu überlagern und anzuzeigen. Die Sprach- und Bild-Ausgabeeinheit 12052 kann darüber hinaus die Anzeigeeinheit 12062 steuern, um ein den Fußgänger angebendes Symbol oder dergleichen an einer gewünschten Position anzuzeigen.
  • Hierin wurde zuvor ein Beispiel des Fahrzeugsteuerungssystems beschrieben, für das die Technologie gemäß der vorliegenden Offenbarung anwendbar ist. Die Technologie gemäß der vorliegenden Offenbarung ist unter den oben beschriebenen Konfigurationen auf die Bildgebungseinheit 12031, die Einheit 12041 zur Detektion des Fahrerzustands und dergleichen anwendbar.
  • Vorstehend wurden Ausführungsformen der vorliegenden Offenbarung beschrieben; aber der technische Bereich der vorliegenden Offenbarung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können in einem Bereich vorgenommen werden, der vom Kern der vorliegenden Offenbarung nicht abweicht. Außerdem können Bestandteilelemente in anderen Ausführungsformen und Modifikationsbeispielen geeignet kombiniert werden.
  • Außerdem sind die Effekte in den Ausführungsformen, die in dieser Beschreibung beschrieben wurden, nur veranschaulichend und kann ein anderer Effekt ohne Einschränkung vorliegen.
  • Überdies kann die vorliegende Technologie die folgenden Konfigurationen aufweisen.
    1. (1) Ein System, aufweisend:
      • eine Lichtquelle, die Licht in einem ausgewählten Wellenlängenbereich abgibt;
      • eine erste Pixelgruppe, die eine Änderung der Lichtintensität detektiert;
      • eine zweite Pixelgruppe, die eine Lichtmenge in dem ausgewählten Wellenlängenbereich detektiert; und
      • einen Prozessor, um:
        • zumindest ein Ereignissignal basierend auf der Änderung der Lichtintensität zu empfangen, die durch die erste Pixelgruppe detektiert wird;
        • ein erstes Ereignis basierend auf dem zumindest einen Ereignissignal zu detektieren; und
        • als Reaktion auf ein Detektieren des ersten Ereignisses die zweite Pixelgruppe zu aktivieren.
    2. (2) Das System nach (1), wobei der Prozessor ein zweites Ereignis basierend auf einer Ausgabe der zweiten Pixelgruppe detektiert.
    3. (3) Das System nach (1) oder (2), ferner aufweisend eine dritte Pixelgruppe, die einen Betrag der Lichtintensität detektiert, wobei der Prozessor als Reaktion auf ein Detektieren des zweiten Ereignisses die dritte Pixelgruppe aktiviert.
    4. (4) Das System nach (3), ferner aufweisend:
      • eine Vielzahl fotoelektrischer Umwandlungsgebiete, wobei zumindest zwei der ersten, zweiten und dritten Pixelgruppen die Vielzahl fotoelektrischer Gebiete gemeinsam nutzen.
    5. (5) Das System nach (3) oder (4), wobei die erste Pixelgruppe Ereignisdetektionspixel enthält, wobei die zweite Pixelgruppe Laufzeitpixel enthält und wobei die dritte Pixelgruppe Bildsensorpixel enthält.
    6. (6) Das System nach einem von (3) bis (4), wobei die erste Pixelgruppe auf einem ersten Sensorsubstrat angeordnet ist, wobei die zweite Pixelgruppe auf einem zweiten Sensorsubstrat angeordnet ist und wobei die dritte Pixelgruppe auf einem dritten Sensorsubstrat angeordnet ist.
    7. (7) Das System nach (3), wobei die erste Pixelgruppe und die dritte Pixelgruppe auf einem ersten Sensorsubstrat angeordnet sind und wobei die zweite Pixelgruppe auf einem zweiten Sensorsubstrat angeordnet ist.
    8. (8) Das System nach (7), wobei Pixel in der ersten Pixelgruppe unter Pixeln in der dritten Pixelgruppe eingestreut sind.
    9. (9) Das System nach einem von (3) bis (8), wobei die Anzahl an Pixeln in der ersten Pixelgruppe geringer als die Anzahl an Pixeln in der dritten Pixelgruppe ist.
    10. (10) Das System nach (7), wobei die Pixel der ersten Pixelgruppe fotoelektrische Umwandlungselemente mit den Pixeln der dritten Pixelgruppe gemeinsam nutzen.
    11. (11) Das System nach (3), wobei die erste Pixelgruppe auf einem ersten Sensorsubstrat angeordnet ist und wobei die zweite Pixelgruppe und die dritte Pixelgruppe auf einem zweiten Sensorsubstrat angeordnet sind.
    12. (12) Das System nach (11), wobei Pixel in der zweiten Pixelgruppe unter Pixeln in der dritten Pixelgruppe eingestreut sind.
    13. (13) Das System nach (12), wobei die Anzahl an Pixeln in der zweiten Pixelgruppe geringer als die Anzahl an Pixeln in der dritten Pixelgruppe ist.
    14. (14) Das System nach (3), wobei die ersten, zweiten und dritten Pixelgruppen auf einem ersten Substrat ausgebildet sind.
    15. (15) Das System nach (3), wobei eine Anzahl an Pixeln in der ersten Pixelgruppe geringer als eine Anzahl an Pixeln in der dritten Pixelgruppe ist.
    16. (16) Das System nach (3), wobei es sich bei dem zweiten Ereignis um eine Bestimmung, dass sich ein Objekt innerhalb eines vorbestimmten Bereichs des Sensorsystems befindet, handelt.
    17. (17) Das System nach (16), wobei der Prozessor ein erstes neuronales Netzwerk implementiert, das basierend auf einer Analyse einer Ausgabe der dritten Pixelgruppe einen Eindringalarm ausgibt.
    18. (18) Das System nach (17), wobei der Prozessor ein zweites neuronales Netzwerk implementiert, das basierend auf einer Analyse einer Ausgabe der zweiten Pixelgruppe die dritte Pixelgruppe auslöst.
    19. (19) Ein Bildgebungssystem, aufweisend:
      • eine Vielzahl ereignisbasierter Sensorpixel;
      • eine Vielzahl von Laufzeitsensorpixeln; und
      • eine Vielzahl von Bildsensorpixeln, wobei die Laufzeitsensorpixel als Reaktion auf ein Ereignisdetektionssignal von einem oder mehr ereignisbasierten Sensorpixeln aktiviert werden und wobei die Bildsensorpixel als Reaktion auf ein Distanzsignal von einem oder mehr Laufzeitsensorpixeln aktiviert werden, das ein Objekt innerhalb einer vorbestimmten Distanz des Bildgebungssystems platziert.
    20. (20) Ein Verfahren zur Detektion eines Eindringens, aufweisend:
      • Aktivieren einer Vielzahl ereignisbasierter Sensorpixel;
      • als Reaktion auf eine Ausgabe von zumindest einigen der ereignisbasierten Sensorpixel, Aktivieren einer Vielzahl von Laufzeitsensorpixeln und einer Lichtquelle;
      • als Reaktion auf eine Ausgabe von den Laufzeitsensorpixeln, Aktivieren einer Vielzahl von Bildsensorpixeln;
      • Analysieren einer Ausgabe von den Bildsensorpixeln unter Verwendung eines neuronalen Netzwerks; und
      • basierend auf einem Analysieren der Ausgabe von den Bildsensorpixeln unter Verwendung des neuronalen Netzwerks und einer Bestimmung, dass ein Eindringalarm ausgegeben werden sollte, Ausgeben eines Eindringalarms.

Claims (20)

  1. System, aufweisend: eine Lichtquelle, die Licht in einem ausgewählten Wellenlängenbereich abgibt; eine erste Pixelgruppe, die eine Änderung der Lichtintensität detektiert; eine zweite Pixelgruppe, die eine Lichtmenge in dem ausgewählten Wellenlängenbereich detektiert; und einen Prozessor, um: zumindest ein Ereignissignal basierend auf der Änderung der Lichtintensität zu empfangen, die durch die erste Pixelgruppe detektiert wird; ein erstes Ereignis basierend auf dem zumindest einen Ereignissignal zu detektieren; und als Reaktion auf ein Detektieren des ersten Ereignisses die zweite Pixelgruppe zu aktivieren.
  2. System nach Anspruch 1, wobei der Prozessor ein zweites Ereignis basierend auf einer Ausgabe der zweiten Pixelgruppe detektiert.
  3. System nach Anspruch 2, ferner aufweisend eine dritte Pixelgruppe, die einen Betrag der Lichtintensität detektiert, wobei der Prozessor als Reaktion auf ein Detektieren des zweiten Ereignisses die dritte Pixelgruppe aktiviert.
  4. System nach Anspruch 3, ferner aufweisend: eine Vielzahl fotoelektrischer Umwandlungsgebiete, wobei zumindest zwei der ersten, zweiten und dritten Pixelgruppen die Vielzahl fotoelektrischer Gebiete gemeinsam nutzen.
  5. System nach Anspruch 3, wobei die erste Pixelgruppe Ereignisdetektionspixel enthält, wobei die zweite Pixelgruppe Laufzeitpixel enthält und wobei die dritte Pixelgruppe Bildsensorpixel enthält.
  6. System nach Anspruch 3, wobei die erste Pixelgruppe auf einem ersten Sensorsubstrat angeordnet ist, wobei die zweite Pixelgruppe auf einem zweiten Sensorsubstrat angeordnet ist und wobei die dritte Pixelgruppe auf einem dritten Sensorsubstrat angeordnet ist.
  7. System nach Anspruch 3, wobei die erste Pixelgruppe und die dritte Pixelgruppe auf einem ersten Sensorsubstrat angeordnet sind und wobei die zweite Pixelgruppe auf einem zweiten Sensorsubstrat angeordnet ist.
  8. System nach Anspruch 7, wobei Pixel in der ersten Pixelgruppe unter Pixeln in der dritten Pixelgruppe eingestreut sind.
  9. System nach Anspruch 8, wobei die Anzahl an Pixeln in der ersten Pixelgruppe geringer als die Anzahl an Pixeln in der dritten Pixelgruppe ist.
  10. System nach Anspruch 7, wobei die Pixel der ersten Pixelgruppe fotoelektrische Umwandlungselemente mit den Pixeln der dritten Pixelgruppe gemeinsam nutzen.
  11. System nach Anspruch 3, wobei die erste Pixelgruppe auf einem ersten Sensorsubstrat angeordnet ist und wobei die zweite Pixelgruppe und die dritte Pixelgruppe auf einem zweiten Sensorsubstrat angeordnet sind.
  12. System nach Anspruch 11, wobei Pixel in der zweiten Pixelgruppe unter Pixeln in der dritten Pixelgruppe eingestreut sind.
  13. System nach Anspruch 12, wobei die Anzahl an Pixeln in der zweiten Pixelgruppe geringer als die Anzahl an Pixeln in der dritten Pixelgruppe ist.
  14. System nach Anspruch 3, wobei die ersten, zweiten und dritten Pixelgruppen auf einem ersten Substrat ausgebildet sind.
  15. System nach Anspruch 3, wobei eine Anzahl an Pixeln in der ersten Pixelgruppe geringer als eine Anzahl an Pixeln in der dritten Pixelgruppe ist.
  16. System nach Anspruch 3, wobei es sich bei dem zweiten Ereignis um eine Bestimmung, dass sich ein Objekt innerhalb eines vorbestimmten Bereichs des Sensorsystems befindet, handelt.
  17. System nach Anspruch 16, wobei der Prozessor ein erstes neuronales Netzwerk implementiert, das basierend auf einer Analyse einer Ausgabe der dritten Pixelgruppe einen Eindringalarm ausgibt.
  18. System nach Anspruch 17, wobei der Prozessor ein zweites neuronales Netzwerk implementiert, das basierend auf einer Analyse einer Ausgabe der zweiten Pixelgruppe die dritte Pixelgruppe auslöst.
  19. Bildgebungssystem, aufweisend: eine Vielzahl ereignisbasierter Sensorpixel; eine Vielzahl von Laufzeitsensorpixeln; und eine Vielzahl von Bildsensorpixeln, wobei die Laufzeitsensorpixel als Reaktion auf ein Ereignisdetektionssignal von einem oder mehr ereignisbasierten Sensorpixeln aktiviert werden und wobei die Bildsensorpixel als Reaktion auf ein Distanzsignal von einem oder mehr Laufzeitsensorpixeln aktiviert werden, das ein Objekt innerhalb einer vorbestimmten Distanz des Bildgebungssystems platziert.
  20. Verfahren zur Detektion eines Eindringens, aufweisend: Aktivieren einer Vielzahl ereignisbasierter Sensorpixel; als Reaktion auf eine Ausgabe von zumindest einigen der ereignisbasierten Sensorpixel, Aktivieren einer Vielzahl von Laufzeitsensorpixeln und einer Lichtquelle; als Reaktion auf eine Ausgabe von den Laufzeitsensorpixeln, Aktivieren einer Vielzahl von Bildsensorpixeln; Analysieren einer Ausgabe von den Bildsensorpixeln unter Verwendung eines neuronalen Netzwerks; und basierend auf einem Analysieren der Ausgabe von den Bildsensorpixeln unter Verwendung des neuronalen Netzwerks und einer Bestimmung, dass ein Eindringalarm ausgegeben werden sollte, Ausgeben eines Eindringalarms.
DE112020006097.7T 2019-12-13 2020-12-04 Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen Pending DE112020006097T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962947721P 2019-12-13 2019-12-13
US62/947,721 2019-12-13
PCT/JP2020/045310 WO2021117642A1 (en) 2019-12-13 2020-12-04 Ebs/tof/rgb camera for smart surveillance and intruder detection

Publications (1)

Publication Number Publication Date
DE112020006097T5 true DE112020006097T5 (de) 2022-10-27

Family

ID=73856254

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020006097.7T Pending DE112020006097T5 (de) 2019-12-13 2020-12-04 Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen

Country Status (4)

Country Link
US (2) US20210185284A1 (de)
CN (1) CN114761823A (de)
DE (1) DE112020006097T5 (de)
WO (1) WO2021117642A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
KR20210106122A (ko) * 2020-02-20 2021-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 안티-스푸핑 방법
DE102021207214A1 (de) * 2021-07-08 2023-01-12 Robert Bosch Gesellschaft mit beschränkter Haftung Lidar-Sensor, Umfelderfassungssystem und Fahrzeug
WO2023134850A1 (en) * 2022-01-13 2023-07-20 Huawei Technologies Co., Ltd. Image capturing apparatus and method for combining data from a digital camera and an event camera
CN115604434A (zh) * 2022-05-13 2023-01-13 深圳时识科技有限公司（Cn） 超低功耗监控装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709282B1 (ko) * 2011-11-15 2017-02-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
KR101951361B1 (ko) * 2017-09-15 2019-02-22 김동권 인공지능 방범 관리 방법
US10554658B2 (en) * 2017-12-29 2020-02-04 Motorola Mobility Llc Bootstrapping and adaptive interface
US10922395B2 (en) * 2018-01-05 2021-02-16 Stmicroelectronics, Inc. Facial authentication systems and methods utilizing time of flight sensing
US11030486B2 (en) * 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression

Also Published As

Publication number Publication date
US20230008723A1 (en) 2023-01-12
WO2021117642A1 (en) 2021-06-17
US20210185284A1 (en) 2021-06-17
CN114761823A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
DE112020006101T5 (de) Dynamikbereich von interesse und frame-rate für ereignisbasierten sensor und bildgebungskamera
DE112020006097T5 (de) Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen
DE112018005712T5 (de) Solid-state bildaufnahmeelement
DE112020005923T5 (de) Festkörper-bildgebungsvorrichtung und bildgebungsvorrichtung mit kombinierten dynamik-vision-sensor- und bildgebungsfunktionen
DE112018006605T5 (de) Festkörperbildgebungsvorrichtung, Entfernungsvorrichtung und Herstellungsverfahren
DE112019000034T5 (de) Festkörperbildaufnahmeelement und bildaufnahmeeinrichtung
DE112020004446T5 (de) Festkörperbildgebungsvorrichtung und bildgebungsvorrichtung mitkombinierten dynamic-vision-sensor- und bildgebungsfunktionen
DE112020006100T5 (de) Verfahren zum umschalten des sensormodus in einem ereignisbasierten sensor und einer bildgebungskamera für eine anwendung mit geringem stromverbrauch
DE102019107807A1 (de) Zeitauflösender bildsensor zur entfernungsmessung und 2d-grauskalenbildgebung
DE112018002395T5 (de) Optischer sensor und elektronische vorrichtung
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
DE112020002523T5 (de) Festkörper-bildgebungsvorrichtung und abstandsmessvorrichtung
DE112019005786T5 (de) Festkörper-bildsensor und bildgebungsvorrichtung
DE112017006977T5 (de) Abbildungssystem und abbildungseinrichtung
DE112020004389T5 (de) Lichtdetektierende vorrichtung, verfahren zum detektieren von licht und abstandsmesssystem
DE112020006102T5 (de) Verfahren und system zur gesichtserkennung mit geringer leistungsaufnahme
DE112020002567T5 (de) Bilderkennungsvorrichtung und bilderkennungsverfahren
DE112021004025T5 (de) Festkörperbildgebungsvorrichtung und steuerverfahren derselben
DE112020004621T5 (de) Lichtdetektierende Vorrichtung und System
DE112020002459T5 (de) Lichtempfangende vorrichtung, festkörper-bildgebungseinrichtung, elektronisches gerät und informationsverarbeitungssystem
DE112019005735T5 (de) Festkörper-bildgebungsvorrichtung und bildgebungsvorrichtung
DE112020001607T5 (de) Fotodetektionsvorrichtung und elektronische einrichtung
DE112021001120T5 (de) Bildgebungsschaltung, bildgebungsvorrichtung und bildgebungsverfahren
DE112020002990T5 (de) Abstandsmessvorrichtung und abstandsmessverfahren
DE112020001622T5 (de) Fotodetektionsvorrichtung und elektronische einrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005351000

Ipc: H04N0025500000