DE102021201074A1 - Detektorbaugruppe und optischer Sensor - Google Patents

Detektorbaugruppe und optischer Sensor Download PDF

Info

Publication number
DE102021201074A1
DE102021201074A1 DE102021201074.1A DE102021201074A DE102021201074A1 DE 102021201074 A1 DE102021201074 A1 DE 102021201074A1 DE 102021201074 A DE102021201074 A DE 102021201074A DE 102021201074 A1 DE102021201074 A1 DE 102021201074A1
Authority
DE
Germany
Prior art keywords
filter
detector assembly
light
zones
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021201074.1A
Other languages
English (en)
Inventor
Mustafa Kamil
Steffen Fritz
Annemarie Holleczek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021201074.1A priority Critical patent/DE102021201074A1/de
Publication of DE102021201074A1 publication Critical patent/DE102021201074A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Abstract

Offenbart ist eine Detektorbaugruppe (1), die ein oder mehrere Makropixel (3) umfasst, wobei jedes Makropixel (3) aus einem Halbleiterdetektor gebildet ist, der mehrere Unterpixel (4a-h) bereitstellt, die zusammen eine aktive Fläche des jeweiligen Makropixels (3) bilden. Die Detektorbaugruppe (1) ist dafür eingerichtet, mit demselben Makropixel (3) sowohl Farbinformationen einer Umwelt als auch Tiefeninformationen über die Umwelt zu erfassen.Weiter ist ein optischer Sensor (2) offenbart, der eine solche Detektorbaugruppe (1) aufweist.

Description

  • Die vorliegende Erfindung betrifft eine Detektorbaugruppe, die ein oder mehrere Makropixel umfasst, wobei jeder Makropixel aus einem Halbleiterdetektor gebildet ist, der mehrere Unterpixel bereitstellt, die zusammen eine aktive Fläche des jeweiligen Makropixels bilden.
  • Weiter betrifft die vorliegende Erfindung einen optischen Sensor mit solch einer Detektorbaugruppe.
  • Stand der Technik
  • LiDAR-Systeme mit SPAD- oder SiPM-basiertem Detektor sind bekannt. SPAD ist eine Abkürzung für Einzelpixel-Avalanchediode. SiPM ist eine Abkürzung für Silizium-Photovervielfacher.
  • In der US 2017 176 579 A wird ein LiDAR-System („electro-optical device“) offenbart, bestehend aus einer Laserquelle, einer Strahlablenkung, einem Lichtdetektor, Optiken sowie entsprechender Elektronik. Diese Anmeldung offenbart ein System, das Detektorpixel sukzessive aktiviert, um das Signal-Rausch-Verhältnis des Sensors zu erhöhen. Dem Fachmann ist aus dieser Lehre ersichtlich, dass es sich hierbei um eine µSpiegel-basierte Implementierung eines LiDAR-Systems handelt. Der Detektor der US 2017 176 579 A ist so offenbart, dass die Detektoreinheiten temporär parallel aktiv sind, da es sich nicht um ein scannendes, sondern ein gleichmäßiges Ausleuchtungsmuster („Flash“) handelt.
  • In der US 2018 003 821 A ist ein LiDAR-System („object detector“) offenbart, bestehend aus mehreren Lichtquellen, einem Lichtdetektor, Optiken sowie entsprechender Elektronik. Die Lichtquelle sind einzeln und nacheinander ansteuerbare Laserdioden. Die US 2018 003 821 A offenbart, dass jeder Lichtquelle genau ein Empfangselement zugeordnet ist. Die Pixel werden einzeln und gleichzeitig / parallel ausgelesen. Der Detektortyp kann als eine Einzelpixel-Avalanchediode, SPAD, ausgeführt werden und ist in Beschreibung als eine mögliche Ausführung genannt, aber in Abbildungen sieht ein Fachmann ein APD-System.
  • Aus der WO 2010 141 631 ist ein APD-basierter, farbensehender LiDAR-Sensor bekannt. Der LiDAR-Sensor basiert auf dreifarbig ausgestrahltem Laserlicht.
  • Ebenfalls bekannt ist eine kombinierte SPAD-/RGB-Sensorik mit separaten Detektoren. RGB steht für die Grundfarben Rot, Grün und Blau. Die US 2016 240 579 A1 offenbart beispielsweise eine „farbensehende“ Sensorik, bei der RGB-Pixel mit SPAD-Pixeln zu einer Einheit verbunden sind. Allerdings werden die RGB-Pixel und die SPAD-Pixel einzeln und separat ausgelesen und die Daten erst im Nachgang im Rahmen der Signalverarbeitung kombiniert. Separate Detektoren erzeugen also separate Messdaten / Bilder (1x IR / Tiefe und 1x RGB Farbbild), die anschließend im Rahmen der Signalverarbeitung zu einem 4D-Bild zusammengesetzt werden.
  • SPAD-Detektoren in IR-basierten LiDAR-Systemen sehen üblicherweise keine Farben. Information über die Umwelt geht so verloren. Von Objekten werden nur die Entfernung, Ausdehnung sowie die Reflektivität erfasst. Die einzelnen SPADs können nur Photonen zählen, im IR-Bereich wäre das Messergebnis daher eine Intensität, die über die Photonenhäufigkeit ermittelt wird.
  • Bekannt ist weiter, dass separate Detektoren separate Messdaten bzw. Bilder erzeugen können, nämlich 1x IR / Tiefeninformationen und 1x RGB-Farbbild, die anschließend im Rahmen der Signalverarbeitung zu einem 4D-Bild zusammengesetzt werden.
  • Offenbarung der Erfindung
  • Erfindungsgemäß wird eine Detektorbaugruppe der eingangs genannten Art zur Verfügung gestellt, welche dafür eingerichtet ist, mit demselben Makropixel sowohl Farbinformationen einer Umwelt als auch Tiefeninformationen über die Umwelt zu erfassen.
  • Vorteile der Erfindung
  • Die Detektorbaugruppe hat den Vorteil, dass auf zwei separate Sensoriken für Farbinformationen und Tiefeninformationen verzichtet werden kann. So wird der Aufbau der Detektorbaugruppe vereinfacht.
  • Mit der Umwelt ist im Rahmen der vorliegenden Erfindung eine Szene gemeint, die außerhalb der Detektorbaugruppe und gegebenenfalls auch außerhalb eines optischen Systems, das die Detektorbaugruppe aufweist, liegt. Üblicherweise ist die Umwelt eine Landschaft, die unter anderem eine Fahrbahn für Fahrzeuge und gegebenenfalls Verkehrsteilnehmer und andere starre oder bewegliche Objekte in der Szene einschließt. In einem Betriebszustand bewegt sich die Detektorbaugruppe vorzugsweise parallel zu der Fahrbahn und über diese hinweg. Die Detektorbaugruppe bzw. das optische System sind nämlich im Betriebszustand vorzugsweise in einem Fahrzeug verbaut, vorzugsweise in einem Straßenfahrzeug und besonders vorzugsweise in einem Kraftfahrzeug. Das Fahrzeug ist vorzugsweise ein zwei-, drei- oder vierrädriges Fahrzeug. Bevorzugte Fahrzeuge sind Personenkraftwagen, Lastkraftwagen, Busse und Motorräder.
  • Bevorzugt ist, dass die aktive Fläche des Makropixels zusammenhängend ausgebildet ist. Vorzugsweise sind also alle Unterpixel so eng benachbart zueinander angeordnet, liegen also an benachbarten Unterpixeln an, dass sie eine ununterbrochene aktive Fläche bilden. So wird eine kompakte Bauform des Halbleiterdetektors ermöglicht.
  • Bevorzugte Unterpixel sind Einzelphoton-Avalanchephotodioden, auch als SPAD-Detektoren bekannt. Andere bevorzugte Unterpixel sind Silizium-Photovervielfacher, auch als SiPM-Detektoren bekannt. Beide genannten Arten sind gut geeignet, die von der Detektorbaugruppe aufzunehmenden Signale zu erfassen und sind zuverlässig herstellbar. Bevorzugt ist allgemein, dass der Halbleiterdetektor Silizium, Galliumarsenid oder Indiumphosphid umfasst. Diese Materialien sind für Halbleiterdetektoren gut erprobt. Es kann sich um hintergrundbeleuchtete („backside-illumination“) Halbleiterdetektoren handeln.
  • Bevorzugt ist, dass die Detektorbaugruppe für mindestens eines der Makropixel eine zugeordnete Filteranordnung aufweist, die dem jeweiligen Makropixel vorgelagert ist. Vorzugsweise ist die Filteranordnung dafür eingerichtet, Licht aus zwei oder mehr festgelegten unterschiedlichen Wellenlängenbereichen zu dem nachgelagerten Makropixel passieren zu lassen. So können mehr als nur ein einziger Wellenlängenbereich von dem Makropixel empfangen werden, sodass dessen Detektionsbereich erweitert ist. Auch ist es auf diese Weise nicht notwendig, für jeden Wellenlängenbereich ein dezidiert für eine vorbestimmte Wellenlänge eingerichteten Makropixel bereitzustellen, sondern es kann vorzugsweise ein Breitband-Makropixel verwendet werden, das für einen breiten Wellenlängenbereich geeignet ist, und die Auswahl der zu empfangenden Wellenlängenbereiche wird durch die gewählte Ausgestaltung der Filteranordnung hinsichtlich der transmittierten Wellenlängenbereiche bestimmt.
  • Manche Ausführungsformen sehen vor, dass ein erster Wellenlängenbereich der unterschiedlichen Wellenlängenbereiche dem Infrarotlichtbereich entspricht und ein zweiter Wellenlängenbereich im sichtbaren Lichtbereich liegt. So können zeitgleich sowohl Farbinformationen als auch Infrarotdaten, die vorzugsweise bei einem LiDAR-System zu erfassen sind, mittels desselben Makropixels aufgenommen werden. Dies erlaubt vorzugsweise eine Kombination von passiver Farbbildkamera und LiDAR-System in einem einzigen Gerät, weil mit demselben Makropixel zeitgleich bzw. zeitsynchron Farb- und Infrarotinformationen empfangen werden können. Viele optische Systeme, vorzugsweise LiDAR-Systeme, weisen nämlich eine Infrarotlaserquelle auf, um die Umwelt des optischen Systems abzutasten und Tiefeninformationen zu gewinnen, und das von der Infrarotlaserquelle emittierte Infrarotlicht sollte von demselben Makropixel der Detektorbaugruppe, die Teil des LiDAR-Systems sein kann, zusammen mit dem Licht im sichtbaren Lichtbereich wieder empfangen werden können, um zwei Funktionen auf einmal erfüllen zu können. Einige Ausführungsformen sehen sogar vor, dass zeitgleich sowohl Farbinformationen als auch Infrarotdaten mittels desselben Unterpixels aufgenommen werden. So kann das Unterpixel die Funktion von zwei Sensoriken zeitgleich übernehmen.
  • Vorzugsweise ist die Filteranordnung ein Bayerfilter, das eine Vielzahl von Filterzonen aufweist, die jeweils dafür eingerichtet sind, eines von rotem Licht, grünem Licht, blauem Licht oder Infrarotlicht passieren zu lassen. Für die Detektion von Objekteigenschaften werden mit den RGB-Kanälen somit drei zusätzliche Parameter, zusätzlich zum Infrarotlicht, erfasst. Damit können beispielsweise Machine-Learning-Algorithmen verbessert werden. Bayerfilter sind außerdem grundsätzlich bekannt und können für den vorliegenden Anwendungsfall auf einfache Weise durch geeignete Anordnung der Filterzonen angepasst werden. Die Filteranordnung ist vorzugsweise als ebene Platte ausgebildet. Jede Filterzone ist vorzugsweise quadratisch ausgebildet. Alle Filterzonen sind vorzugsweise als gleich große Quadrate ausgebildet. Die Filterzonen, die dafür eingerichtet sind, für rotes Licht, grünes Licht oder blaues Licht durchlässig zu sein, sind vorzugsweise organische RGB-Filter und besonders vorzugsweise auf eine effektive Wellenfilterung im sichtbaren Bereich optimiert. Besonders bevorzugt ist, dass eine oder mehrere der RGB-Filterzonen jeweils zusätzlich im IR-Bereich durchlässig sind, besonders vorzugsweise alle. Das bedeutet, dass die Transmissivität / Empfindlichkeit für alle drei Farbkanäle im IR-Bereich vorzugsweise wieder steigt, sodass die Filter nicht nur im sichtbaren Spektrum durchlässig sind, sondern auch IR-LiDAR-Photonen an das Makropixel passieren lassen.
  • Rotes Licht (für einen Rotkanal) hat vorzugsweise einen Wellenlängenbereich von 650 bis 750 nm. Grünes Licht (für einen Grünkanal) hat vorzugsweise einen Wellenlängenbereich von 490 bis 575 nm. Blaues Licht (für einen Blaukanal) hat vorzugsweise einen Wellenlängenbereich von 420 bis 490 nm. Infrarotlicht (für einen IR-Kanal) hat vorzugsweise einen Wellenlängenbereich von 780 nm bis 1 mm, vorzugsweise von 1400 nm bis 1 mm, nochmal bevorzugt von 3 µm bis 1 mm, nochmal bevorzugt von 8 µm bis 1 mm und nochmal bevorzugt von 15 µm bis 1 mm. Andere bevorzugte Wellenlängenbereiche für den IR-Kanal sind 780 nm bis 1mm, 780 nm bis 15 µm , 780 nm bis 8 µm, 780 nm bis 3 µm und 780 nm bis 1400 nm. Besonders bevorzugt ist, dass der IR-Kanal dafür eingerichtet ist, eine Wellenlänge zwischen 900 nm und 910 nm zu empfangen, besonders vorzugsweise 905 nm. Dies ist eine übliche Wellenlänge für Laser, vorzugsweise gepulste Laser, die in LiDAR-Systemen zum Abtasten der Umwelt bereitgestellt sind.
  • Bevorzugt ist, dass die Filterzonen, die jeweils dafür eingerichtet sind, eines von rotem Licht, grünem Licht oder blauem Licht passieren zu lassen, eine erste Gruppe von Filterzonen bilden und die Filterzonen, die dafür eingerichtet sind, das Infrarotlicht passieren zu lassen, eine zweite Gruppe von Filterzonen bilden. Die erste Gruppe und die zweite Gruppe sind vorzugsweise als zwei Blöcke nebeneinander angeordnet. Die Detektorbaugruppe ist vorzugsweise so gestaltet, dass die IR-Filterzonen von den Farbfilterzonen für die SPAD-Detektoren oder SiPM-Detektoren getrennt sind. Dies hat zunächst Nachteile: Die Farbinformationen kommt nicht exakt aus dem gleichen Raumwinkel wie die ToF-Informationen (Time of Flight / Flugzeit), aus denen die Tiefeninformationen gewonnen werden, und es ist doppelt so viel Halbleiterfläche notwendig. Vorteilhaft ist jedoch, dass die Unterscheidung von Farb- und ToF-Information elektrisch einfacher ist, da die Pixel jeweils separat ausgelesen werden. Auch ist vorteilhaft, dass anstatt zwei getrennter Detektoren eine zusammenhängende SPAD- / SiPM-Matrix als integrierter Chip für den Halbleiterdetektor eingesetzt werden kann.
  • Eine Gesamtzahl von Filterzonen, die dafür eingerichtet sind, rotes Licht passieren zu lassen, und von Filterzonen, die dafür eingerichtet sind, blaues Licht passieren zu lassen, ist vorzugsweise gleich einer Zahl von Filterzonen, die dafür eingerichtet sind, grünes Licht passieren zu lassen. Es hat sich für die Signalqualität als vorteilhaft erwiesen, doppelt so viele Grünkanäle vorzusehen wie in Summe Blaukanäle und Rotkanäle vorhanden sind. Dann kann für alle drei Farben eine ähnliche Signalintensität erreicht werden.
  • Einige Ausführungsformen sehen vor, dass jedem Unterpixel des Makropixels jeweils genau eine der Filterzonen vorgelagert ist, sodass eine Matrix der Unterpixel einer Matrix der Filterzonen entspricht. Es kann vorgesehen sein, dass alle Farbkanäle jeweils einfach vorhanden sind. Dann ist für jeden Farbkanal genau eine entsprechende Filterzone bereitgestellt. Bevorzugt ist jedoch, dass alle Farbkanäle mehrfach vorhanden sind. Dies erlaubt einen Parallelbetrieb zwecks Redundanz der schnell sättigbaren und damit inaktiven Unterpixel. Insbesondere, wenn die Farbkanäle mehrfach vorhanden sind, ist die Matrix der Unterpixel bevorzugt in Zeilen und Spalten angeordnet, die besonders vorzugsweise rechtwinklig zueinander angeordnet sind. Die Matrix der Unterpixel umfasst vorzugsweise eine oder mehrere Zeilen und mehrere Spalten. Alternativ umfasst die Matrix der Unterpixel vorzugsweise jedoch mehrere Zeilen und eine oder mehrere Spalten. Die Anzahl der Zeilen liegt vorzugsweise zwischen 1 und 10. Die Anzahl der Spalten liegt vorzugsweise zwischen 1 und 10. Es können aber auch deutlich mehr als 10 Zeilen und/oder deutlich mehr als 10 Spalten vorgesehen sein. Besonders bevorzugt sind eine Zeile, nochmals bevorzugt zwei Zeilen, nochmals bevorzugt drei Zeilen und nochmals bevorzugt acht Zeilen. Besonders bevorzugt sind eine Spalte, nochmals bevorzugt zwei Spalten, nochmals bevorzugt vier Spalten und nochmals bevorzugt acht Spalten. Jede Anzahl an Spalten kann prinzipiell mit jeder Anzahl an Zeilen kombiniert sein. Jedoch sind bevorzugte Matrizen solche mit einer Zeile und vier Spalten, zwei Zeilen und vier Spalten, zwei Zeilen und acht Spalten und, besonders bevorzugt, acht Zeilen und acht Spalten. Mit den genannten Kombinationen können in aufsteigender Reihenfolge zunehmend mehr Farb- und Infrarotinformationen mit zunehmender Redundanz für die roten, grünen, blauen und Infrarot-Wellenlängen mit demselben Makropixel aufgenommen werden. Besonders bevorzugt ist die flächige Konfiguration mit beispielsweise acht Zeilen und acht Spalten. Die Anzahl an Zeilen und Spalten kann aber auch sehr viel größer sein, um eine noch höhere Redundanz zu erreichen. Vorzugsweise gelten dieselben oben aufgeführten Zeilen- und Spaltenanzahlen auch für die Matrix der Filterzonen. In der Filteranordnung sind die Filterzonen vorzugsweise in einem regelmäßigen Muster aus Quadraten angeordnet, vorzugsweise in einem Schachbrettmuster. Die Filterzonen sind vorzugsweise unlösbar, alternativ dazu lösbar, in einem Filteranordnungsrahmen der Filteranordnung befestigt, vorzugsweise darin eingeklebt. Die Filterzonen können zusammen mit dem Filteranordnungsrahmen die Filteranordnung auf diese Weise als einstückiges Element bilden, das leicht zu handhaben sein kann.
  • Der Filteranordnung ist vorzugsweise zumindest teilweise ein Bandstoppfilter vorgelagert, sodass sich die Filteranordnung im Strahlengang zwischen dem Bandstoppfilter und dem Makropixel befindet. Mit dieser Anordnung entstehen vorzugsweise ToF-Tiefeninformationen aus den Echodaten vom SPAD basierend auf den IR-Pulsempfangszeitpunkten sowie Intensitätsinformationen aus der IR-Pulsintensitäten, die oberhalb des Bandstoppfilters an den Detektorchip, den Halbleiterdetektor, transmittiert werden. Die Intensität des Rauschens, die sich zwischen den IR-Pulsen oder auch währenddessen im Detektor ergeben, enthalten die Farbinformation aus der erfassten Szene. Das Bandstoppfilter stellt vorzugsweise eine Rauschfilterfunktion bereit. In Ausführungsformen ist das Bandstoppfilter allen Filterzonen vorgelagert, vorzugsweise, wenn die Filterzonen, die dafür eingerichtet sind, rotes Licht passieren zu lassen, dafür eingerichtet sein sollen, sowohl sichtbares rotes Licht wie auch Infrarotlicht passieren zu lassen. Manche Ausführungsformen sehen vor, dass alle Filterzonen dafür eingerichtet sind, sowohl einen jeweils festgelegten sichtbaren Wellenlängenbereich aus Rot, Grün und Blau wie auch zusätzlich Infrarotlicht passieren zu lassen. Bevorzugt ist, dass das Bandstoppfilter dafür eingerichtet ist, einen Wellenlängenbereich daran zu hindern, zur Filteranordnung zu gelangen, der zwischen 600 und 900 nm liegt, besonders bevorzugt zwischen 650 und 890 nm. Das Rauschen liefert aufgrund der Durchlässigkeit des Rotkanals im IR-Bereich ab 650 nm bis 890 nm weder für die Farbendetektion noch für die IR-ToF-Funktion des Detektors einen Betrag. Dieses Rauschen wäre Hintergrundrauschen, vorzugsweise durch Sonnenlichteinstrahlung, und trägt daher keine interessanten Umweltinformationen. Der IR-Bereich oberhalb von 890 nm wird vorzugsweise wieder zur Filteranordnung und dann vorzugsweise zum Makropixel transmittiert, wie vorzugsweise auch die für ToF relevante Wellenlänge von 905nm. In Ausführungsformen ist vorgesehen, dass das Bandstoppfilter nur vor den Filterzonen angeordnet ist, die dafür eingerichtet sind, rotes, grünes oder blaues Farblicht zum Makropixel durchzulassen, während vor den nur für IR-Licht durchlässigen Filterzonen kein solches Bandstoppfilter angeordnet ist. Vor den nur für IR-Licht durchlässigen Filterzonen kann hingegen vorzugsweise in solchen Ausführungsformen ein Bandpassfilter zur Sperrung von Sonnenlicht und fremder (vorzugsweise Nicht-IR-) Wellenlängen im sichtbaren Bereich, wie vorzugsweise im roten, grünen und blauen Wellenlängenbereich, platziert sein.
  • Erfindungsgemäß wird weiter ein optischer Sensor der eingangs genannten Art zur Verfügung gestellt, bei dem die Detektorbaugruppe dafür eingerichtet ist, mit demselben Makropixel sowohl Farbinformationen einer Umwelt als auch Tiefeninformationen über die Umwelt zu erfassen.
  • Der optische Sensor hat den Vorteil, dass auf zwei separate Sensoriken für Farbinformationen und Tiefeninformationen verzichtet werden kann. So wird der Aufbau des optischen Sensors vereinfacht.
  • Der optische Sensor ist vorzugsweise dafür eingerichtet, aus Messdaten jeweils eines der Makropixel der Detektorbaugruppe sowohl Farbinformationen über eine Umwelt des optischen Sensors als auch Tiefeninformationen, insbesondere über eine einzige Ausleseverbindung des Makropixels, zu erhalten. So kann mit demselben Makropixel sowohl eine Kamerafunktion als auch eine LiDAR-Funktion ermöglicht werden, da das Makropixel die dafür notwendigen Daten, nämlich Farbinformationen und auch Infrarotinformationen, beide empfangen und zusammen, vorzugsweise im selben Datenstrom und vorzugsweise über die einzige Ausleseverbindung, an eine Auswerteeinheit weiterleiten kann. Jedes Makropixel weist also vorzugsweise nur einen einzigen Datenausgabeanschluss auf, der dafür angeordnet ist, alle an den Unterpixeln empfangenen Signale gemeinsam auszugeben. So muss nicht für jedes Unterpixel ein eigener Datenausgabeanschluss zur Auswerteeinheit bereitgestellt werden. Die einzelnen Signale werden also vorzugsweise bereits vor Übermittlung über die Ausleseverbindung zusammengeführt. Die Ausleseverbindung zwischen Makropixel und Auswerteeinheit ist vorzugsweise eine Leiterbahn oder eine Drahtverbindung. Die Auswerteeinheit kann ein Mikroprozessor sein, der vorzugsweise im optischen Sensor selbst bereitgestellt sein kann. Alternativ kann die Auswerteeinheit extern zum optischen Sensor bereitgestellt sein, sodass der optische Sensor eine, vorzugsweise digitale, Datenschnittstelle, die vorzugsweise die Ausleseverbindung bildet, zur Auswerteeinheit aufweist.
  • Vorzugsweise ist der optische Sensor dafür eingerichtet, die Messdaten des jeweiligen Makropixels zeitabhängig zu einem Histogramm zu verarbeiten. Weiter ist bevorzugt, dass der optische Sensor dafür eingerichtet ist, aus dem Histogramm mittels Signalverarbeitung Puls und Rauschen zu unterscheiden, um aus den Messdaten desselben Makropixels zeitsynchron sowohl Farben voneinander unterscheiden zu können als auch die Tiefeninformationen bestimmen zu können. Aufgrund des vorzugsweise vor das Makropixel vorgeschalteten Bayerfilters kann der Halbleiterdetektor Farben unterscheiden, aber auch seine klassische Funktion, unabhängig von der Farbe des vorschalteten Filters, als ToF-Detektor erfüllen. Hierfür ist in der Signalverarbeitung vorzugsweise die Unterscheidung von Puls und Rauschen vorgesehen. Angenommen werden kann vorzugsweise, dass der Signalverlauf auf Grund einer ausreichend hochauflösenden Histogramm-Statistik der SPAD / SiPM quasi-analoge Signalverläufe darstellen lässt. Mit Hilfe einer statistischen Auswertung der SPAD-Histogramme kann nämlich das digitale Histogramm eines SPAD / SiPM - Detektors besonders vorzugsweise den analogen Zeitverlauf einer APD (Avalanche-Photodiode) nachbilden. Daraus ergibt sich die Möglichkeit, einen Puls von Rauschen zu unterscheiden und somit die ToF von den Farbeigenschaften von Objekten zu ermitteln. Die ToF- und die Farbeigenschaftsinformationen sind in Ausführungsformen - auf wenige Nanosekunden genau - zeitsynchron, nämlich wenn das Rauschen unmittelbar vor und nach dem Puls abgegriffen wird. Entsprechend ist der optische Sensor vorzugsweise dafür eingerichtet, das Rauschen unmittelbar vor und nach dem empfangenen Laserpuls abzugreifen, um im Wesentlichen zeitsynchron sowohl die Farben voneinander unterscheiden zu können als auch die Tiefeninformationen bestimmen zu können. Auf der Auswerteeinheit ist in einem Datenspeicher vorzugsweise ein Programm gespeichert, das Programmcode enthält, um die Signalverarbeitung auf den Messdaten mittels eines Prozessors der Auswerteeinheit durchzuführen, wenn das Programm durch den Prozessor ausgeführt wird.
  • Bevorzugte optische Sensoren sind ausgewählt aus der Gruppe bestehend aus LiDAR-System, 3D-Kamera, Monovideogerät und Stereovideogerät. Ein besonders bevorzugter optischer Sensor ist ein Automotive-LiDAR-Sensor. Gerade im Automotivebereich besteht ein Bedarf für einen optischen Sensor, der ein LiDAR-System und eine Kamera in einem einzigen Gerät vereint, sodass vorzugsweise zeitgleiche Messungen von Tiefen- und Farbinformationen ermöglicht werden.
  • Besonders bevorzugt ist, dass das LiDAR-System ein oder mehrere SPAD- / SiPM-Makropixel umfasst. Das LiDAR-System ist vorzugsweise gepulst, vorzugsweise bei einer IR-Wellenlänge von 905 nm. Das bedeutet, dass das LiDAR-System vorzugsweise einen gepulsten Laser mit einer Wellenlänge von 905 nm aufweist. Vorzugsweise ist vor jedem Makropixel ein organischer RGB-Bayer-Filter angebracht, wie er in verschiedenen möglichen Ausgestaltungen oben bereits beschrieben worden ist.
  • Weitere mögliche Ausgestaltungen des optischen Sensors folgen aus den oben beschriebenen Ausgestaltungen der Detektorbaugruppe und deren Vorteilen, sodass an dieser Stelle auf Wiederholungen verzichtet wird.
  • Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung beschrieben.
  • Figurenliste
  • Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert. Es zeigen:
    • 1 eine Detektorbaugruppe nach einer ersten Ausführungsform der Erfindung,
    • 2 die Detektorbaugruppe aus 1, bei der eine Filteranordnung veranschaulicht ist,
    • 3 die Filteranordnung aus 2 in einer Detailansicht und
    • 4 eine alternative Filteranordnung, die Teil einer zweiten Ausführungsform der Detektorbaugruppe aus 1 ist.
  • Ausführungsformen der Erfindung
  • In der 1 ist eine Detektorbaugruppe 1 nach einer ersten Ausführungsform der Erfindung gezeigt. Die Detektorbaugruppe 1 ist Teil eines optischen Sensors 2, nämlich eines LiDAR-Systems, das hier nicht weiter veranschaulicht ist. Die Detektorbaugruppe 1 umfasst ein Makropixel 3. Das Makropixel 3 ist aus einem Halbleiterdetektor gebildet, der mehrere Unterpixel 4a-h bereitstellt, die zusammen eine aktive Fläche des Makropixels 3 bilden. Das Makropixel 3 selbst ist eine aktive Fläche der Detektorbaugruppe 1. Im gezeigten Beispiel sind acht Unterpixel 4a-h bereitgestellt, die in einer Matrix aus zwei Zeilen und vier Spalten angeordnet sind, also in einer 2 x 4 Matrix. Die Unterpixel 4a-h sind jeweils SPAD-Detektoren. Die Unterpixel 4a-h sind identisch als Breitbandempfänger ausgeführt und sind daher von ihrer Elektronik her insbesondere alle für dieselben Wellenlängenbereiche empfindlich eingerichtet.
  • Die Detektorbaugruppe 1 umfasst, wie in 1 ebenfalls veranschaulicht, weiter eine Leiterbahnanordnung 5, die das Makropixel 3 mit einer Elektronikeinheit 6 der Detektorbaugruppe 1 verbindet. Die Elektronikeinheit 6 umfasst eine Ausleseverbindung 7, die einen Auswerteeinheitsanschluss bereitstellt, um die Detektorbaugruppe 1 mit einem einzigen Datenkabel mit einer Auswerteeinheit (nicht gezeigt) des LiDAR-Systems zu verbinden. Wie im Folgenden erläutert werden wird, ist die Detektorbaugruppe 1 dafür eingerichtet, mit demselben Makropixel 3 sowohl Farbinformationen einer Umwelt als auch Tiefeninformationen über die Umwelt zu erfassen. Das LiDAR-System umfasst eine nicht gezeigte gepulste IR-Laserquelle mit 905 nm Wellenlänge, um die Umwelt mit Laserlicht abzutasten und so die Tiefeninformationen aus in der Umwelt reflektiertem Laserlicht gewinnen zu können.
  • In 2 ist veranschaulicht, dass die Detektorbaugruppe 1 für das Makropixel 3 eine zugeordnete Filteranordnung 8 aufweist, die dem Makropixel 3 vorgelagert ist. Mit den gepunkteten Linien ist angedeutet, dass die Filteranordnung 8 hier aus Gründen der Veranschaulichung als abgehoben von dem Makropixel 3 dargestellt worden ist. Die Filteranordnung 8 ist dafür eingerichtet ist, Licht aus zwei oder mehr festgelegten unterschiedlichen Wellenlängenbereichen zu dem nachgelagerten Makropixel 3 passieren zu lassen. Auf Details der Filteranordnung 8 wird aus Gründen der Übersichtlichkeit erst in den 3 und 4 eingegangen.
  • 3 veranschaulicht die in 2 gezeigte Filteranordnung 8 im Detail. Die Filteranordnung 8 ist ein Bayerfilter. Die Filteranordnung 8 weist eine Vielzahl von Filterzonen 9a-h auf. Alle Filterzonen 9a-h sind jeweils identisch als Quadrate geformt. Die Filterzonen 9a-h sind jeweils dafür eingerichtet, eines von rotem Licht, grünem Licht oder blauem Licht passieren zu lassen. Erste Filterzonen 9a, 9c sind dafür eingerichtet, rotes Licht passieren zu lassen. Zweite Filterzonen 9b, 9d, 9e, 9g sind dafür eingerichtet, grünes Licht passieren zu lassen. Dritte Filterzonen 9f, 9h sind dafür eingerichtet, blaues Licht passieren zu lassen. Eine Gesamtzahl von Filterzonen 9a, 9c, die dafür eingerichtet sind, rotes Licht passieren zu lassen, und von Filterzonen 9f, 9h, die dafür eingerichtet sind, blaues Licht passieren zu lassen, ist gleich einer Zahl von Filterzonen 9b, 9d, 9e, 9g, die dafür eingerichtet sind, grünes Licht passieren zu lassen. Es sind nämlich vier zweite Filterzonen 9b, 9d, 9e, 9g vorhanden und in der Summe vier erste Filterzonen 9a, 9c und dritte Filterzonen 9f, 9h vorhanden, nämlich zwei erste Filterzonen 9a, 9c und zwei dritte Filterzonen 9f, 9h. Jedem Unterpixel 4a-h des Makropixels 3 ist jeweils genau eine der Filterzonen 9a-h vorgelagert, sodass eine Matrix der Unterpixel 4a-h einer Matrix der Filterzonen 9a-h entspricht. Die Matrix der Filterzonen 9a-h ist also wie gezeigt ebenfalls eine 2 x 4 Matrix. Die Filterzonen 9a-h sind in einem Filteranordnungsrahmen 10 fest angeordnet. Dadurch ist die Filteranordnung 8 als eine flache, rechteckige Platte mit Filterzonen 9a-h bereitgestellt.
  • In 3 ist weiter zu erkennen, dass der Filteranordnung 8 ein Bandstoppfilter 11 vorgelagert ist. Die Filteranordnung 8 befindet sich im Strahlengang somit zwischen dem Bandstoppfilter 11 und dem Makropixel 3. In dieser Ausführungsform deckt das Bandstoppfilter 11 wie veranschaulicht alle Filterzonen 9a-h ab. Das Bandstoppfilter 11 ist fest mit dem Filteranordnungsrahmen 10 verbunden, hier verklebt. Das Bandstoppfilter 11 ist dafür eingerichtet, Licht in einem Wellenlängenbereich zwischen 650 nm bis 890 nm daran zu hindern, zur Filteranordnung 8 zu gelangen. So wird ein Rauschen unterbunden, das aufgrund der Durchlässigkeit der ersten Filterzonen 9a, 9c im IR-Bereich ab 650 nm bis 890 nm weder für die Farbendetektion noch für die IR-ToF-Funktion des LiDAR-Systems 2 einen Betrag liefert. Der IR-Bereich oberhalb von 890nm wird durch das Bandstoppfilter 11 wieder zu den Filterzonen 9a-h transmittiert, sodass die für die ToF-Funktion relevante IR-Wellenlänge von 905 nm die Filterzonen 9a-h erreicht und die ersten Filterzonen 9a, 9c, die für sichtbares rotes Licht und auch für IR-Licht durchlässig sind, passieren kann. Auch die zweiten Filterzonen 9b, 9d, 9e, 9g und die dritten Filterzonen 9f, 9h können dafür eingerichtet sein, sowohl das jeweilige sichtbare Farblicht für die Farbinformationen als auch Infrarotlicht für die Tiefeninformationen passieren zu lassen. So ist mittels der dargestellten Filteranordnung 8 die Detektorbaugruppe 1 dafür eingerichtet, mit demselben Makropixel 3 sowohl Farbinformationen einer Umwelt als auch Tiefeninformationen über die Umwelt zu erfassen. Die Unterpixel 4a-h können deshalb technisch identisch ausgeführt sein, vorzugsweise alle als Breitband-Detektoren, weil die Filteranordnung 8 bestimmt, welche Wellenlängen zu welchem Unterpixel 4a-h gelangen und somit dessen Empfangswellenlängenbereich definiert.
  • 4 zeigt eine alternative Filteranordnung 8, mit der eine zweite Ausführungsform der Erfindung bereitgestellt wird, indem sie die in 3 veranschaulichte Filteranordnung 8 in der Detektorbaugruppe 1 ersetzt. Die Filteranordnung 8 ist in 4 wieder ein Bayerfilter. Die Filteranordnung 8 weist diesmal eine Vielzahl von Filterzonen 9a-h auf, die jeweils dafür eingerichtet sind, eines von rotem Licht, grünem Licht, blauem Licht oder Infrarotlicht passieren zu lassen. Diesmal ist allerdings jeweils nur eine einzige erste Filterzone 9c und eine dritte Filterzone 9h vorgesehen. Weiter sind nur zwei zweite Filterzonen 9d, 9g vorgesehen. Die erste Filterzone 9c ist wieder dafür eingerichtet, rotes Licht passieren zu lassen. Die zweiten Filterzonen 9d, 9g sind wieder dafür eingerichtet, grünes Licht passieren zu lassen. Die dritte Filterzone 9h ist wieder dafür eingerichtet, blaues Licht passieren zu lassen. Vierte Filterzonen 9a, 9b, 9e, 9f sind dafür eingerichtet, Infrarotlicht passieren zu lassen. Die Filterzonen 9c, 9d, 9g, 9h, die jeweils dafür eingerichtet sind, eines von rotem Licht, grünem Licht oder blauem Licht passieren zu lassen, bilden hier eine erste Gruppe von Filterzonen 9c, 9d, 9g, 9h und die Filterzonen 9a, 9b, 9e, 9f, die dafür eingerichtet sind, das Infrarotlicht passieren zu lassen, bilden eine zweite Gruppe von Filterzonen. Die erste Gruppe und die zweite Gruppe sind als zwei Blöcke nebeneinander angeordnet. Der Filteranordnung 8 ist ein Bandstoppfilter 11 ähnlich wie das im ersten Ausführungsbeispiel vorgelagert, sodass sich die Filteranordnung 8 im Strahlengang zwischen dem Bandstoppfilter 11 und dem Makropixel 3 befindet. Allerdings überdeckt das Bandstoppfilter 11 diesmal nur die erste Gruppe von Filterzonen 9c, 9d, 9g, 9h. Die zweite Gruppe von Filterzonen 9a, 9b, 9e, 9f ist hingegen von einem Bandpassfilter 12 überdeckt. Durch das Bandpassfilter 12 wird Sonnenlicht und Licht fremder Wellenlängen im sichtbaren Spektrum von den Unterpixeln 4a, 4b, 4e, 4f ferngehalten, die Infrarotlicht empfangen sollen, indem das Bandpassfilter 12 Licht solcher Wellenlängen gar nicht erst zur zweiten Gruppe von Filterzonen 9a, 9b, 9e, 9f passieren lässt. Das Bandstoppfilter 11 kann in der zweiten Ausführungsform dafür eingerichtet sein, IR-Licht vollständig herauszufiltern, da vorgesehen ist, dass nur die zweite Gruppe von Filterzonen 9a, 9b, 9e, 9f IR-Licht zum Makropixel 3 passieren lassen soll. In der Filteranordnung 8 aus 4 ist somit nicht vorgesehen, dass die erste Gruppe von Filterzonen 9c, 9d, 9g, 9h Infrarotlicht an das Makropixel 3 passieren lässt. Die erste Gruppe von Filterzonen 9c, 9d, 9g, 9h ist durch das vorgelagerte Bandstoppfilter 11 nämlich dafür eingerichtet, nur das jeweilige Farblicht an das jeweils zugeordnete Unterpixel 4c, 4d, 9g, 9h passieren zu lassen und Infrarotlicht zurückzuhalten. Das Bandstoppfilter 11 und das Bandpassfilter 12 erfüllen damit zueinander komplementäre Funktionen. Das Bandstoppfilter 11 und das Bandpassfilter 12 sind fest mit dem Filteranordnungsrahmen 10 verbunden, hier verklebt. Das Bandstoppfilter 11 und das Bandpassfilter 12 sind angrenzend aneinander seitlich versetzt zueinander angeordnet.
  • Der optische Sensor 2 ist somit dafür eingerichtet, beispielhaft entweder mittels der Filteranordnung 8 aus 3 oder mittels Filteranordnung 8 aus 4, aus Messdaten jeweils eines der Makropixel 3 der Detektorbaugruppe 1 sowohl Farbinformationen über eine Umwelt des optischen Sensors 2 als auch Tiefeninformationen, hier über eine einzige Ausleseverbindung 7 des Makropixels 3, zu erhalten.
  • Die Farbinformationen werden mittels der Filteranordnung 8 aus 3 durch die Unterpixel 4a-h gewonnen, die jeweils einer der ersten, zweiten und dritten Filterzonen 9a-h zugeordnet sind. Die Tiefeninformationen werden mittels der Filteranordnung aus 3 durch die Unterpixel 4a, 4c gewonnen, die den ersten Filterzonen 9a, 9c zugeordnet sind. Die Unterpixel 4a, 4c, die den ersten Filterzonen 9a, 9c zugeordnet sind, die rotes Licht passieren lassen, sind also in der ersten Ausführungsform dafür angeordnet, sowohl rotes sichtbares Licht wie auch Infrarotlicht zu empfangen. Im Prinzip können aber auch die übrigen Filterzonen 9b, 9d-h dafür eingerichtet sein, sowohl Licht eines jeweils festgelegten sichtbaren Wellenlängenbereichs, also entweder blaues oder grünes Licht, wie auch Infrarotlicht passieren zu lassen.
  • Die Farbeigenschaftsinformationen werden mittels der Filteranordnung 8 aus 4 durch die Unterpixel 4c, 4d, 4g, 4h gewonnen, die den ersten 9c, zweiten 9d, 9g und dritten Filterzonen 9h, also der ersten Gruppe von Filterzonen 9c, 9d, 9g, 9h, zugeordnet sind. Die Tiefeninformationen werden mittels der Filteranordnung 8 aus 4 durch die Unterpixel 4a, 4b, 4e, 4f gewonnen, die den vierten Filterzonen 9a, 9b, 9e, 9f, also der zweiten Gruppe von Filterzonen 9a, 9b, 9e, 9f, zugeordnet sind. In der zweiten Ausführungsform werden also Infrarot- und Farbinformationen getrennt von nebeneinander angeordneten Gruppen von Unterpixeln 4a-h empfangen, die Teil desselben Makropixels 3 sind. Das Bandstoppfilter 11 filtert das unerwünschte IR-Licht für die erste Gruppe von Filterzonen 9c, 9d, 9g, 9h heraus, sodass diese nur sichtbares Licht erreicht, während das Bandpassfilter 12 sichtbares Licht für die zweite Gruppe von Filterzonen 9a, 9b, 9e, 9f herausfiltert, so dass diese nur IR-Licht erreicht.
  • Der optische Sensor 2 ist in beiden Fällen dafür eingerichtet, die Messdaten des jeweiligen Makropixels 3 zeitabhängig zu einem Histogramm zu verarbeiten und aus dem Histogramm mittels Signalverarbeitung Puls und Rauschen zu unterscheiden, um aus den Messdaten desselben Makropixels 3 zeitsynchron sowohl Farben voneinander unterscheiden zu können als auch die Tiefeninformationen bestimmen zu können. Dazu empfängt die Auswerteeinheit die Messdaten aus der Elektronikeinheit 6 über die Ausleseverbindung 7. Die Auswerteeinheit enthält geeignete Computeralgorithmen in Form eines Computerprogramms, um die Verarbeitung der Messdaten mittels eines Prozessors vorzunehmen.
  • Zwar ist hier aus Gründen der Vereinfachung nur ein einziges Makropixel 3 veranschaulicht, es ist jedoch leicht vorstellbar, dass die Detektorbaugruppe 1 in anderen, nicht gezeigten Ausführungsformen auch mehrere solcher Makropixel 3 aufweisen kann, die dann jeweils mit der Auswerteeinheit verbunden sind.
  • In nicht gezeigten Ausführungsformen ist die Elektronikeinheit 6 selbst die Auswerteeinheit und dafür eingerichtet, Messdaten, die durch das Makropixel 3 erzeugt werden, auszuwerten. Dann kann bereits eine Auswertung der Messdaten über die Ausleseverbindung 7 bereitgestellt werden. Falls „Backside-Illumination-SPADs/SiPMs verwendet werden, kann in nicht gezeigten Ausführungsformen die nichtaktive Fläche der Detektorbaugruppe 1, die die Auswerteelektronik trägt, entfallen.
  • Die Erfindung ermöglicht, wie anhand der Ausführungsformen erläutert, eine „farbensehende“ SPAD-Detektorbaugruppe 1 bereitzustellen. Farben sehen bedeutet dabei vorzugsweise ein Auflösen der Intensität in drei Farbkanäle, rot, grün und blau, und dadurch zeitsynchrones Erfassen eines Farb- und Tiefenbildes in einem Abtastschritt. So erhält man mit dieser Detektorbaugruppe 1 vorzugsweise ein LiDAR-System 2 und eine Kamera in einem Gerät, also sozusagen einen 2-in-1-Umweltsensor.
  • Die Erfindung stellt also in Ausführungsformen eine Kombination von SPAD/SiPM-basiertem ToF-Betrieb und passiver Farberfassung bereit. SPADbasierte LiDAR-Systeme 2 können somit in Ausführungsformen um die Erfassung von Farbinformationen der Umwelt erweitert werden. Für die Detektion von Objekteigenschaften werden mit den RGB-Farbkanälen drei zusätzliche Parameter erfasst, damit können beispielsweise Machine-Learning-Algorithmen verbessert werden. Eine Kombination von Tiefen- und Farbenerfassung findet mit einem gemeinsamen Halbleiterdetektor (z.B. Si, GaAs, InP, ...) statt. Dabei ist in Ausführungsformen auch die Kombination von Tiefen- und Farbenerfassung im selben Unterpixel 4a-h des Halbleiterdetektors vorgesehen, nämlich in Unterpixeln 4a-h, die vorzugsweise dafür eingerichtet sind, rotes und infrarotes Licht gleichzeitig zu empfangen. Eine Kombination von Tiefen- und Farbenerfassung im selben optischen Pfad wird ermöglicht, was Vorteile z.B. bei der Baugröße mit sich bringen kann. Eine Kombination von passiver Farbbildkamera und LiDAR-Betrieb in einem Gerät führt zu geringeren Kosten und geringerer Baugröße im Vergleich mit dem Stand der Technik und Entfallen von Justage- und Kalibrierungsaufwand. Eine optimale zeitliche Synchronisation von Farb- und Tiefeninformationen wird möglich. Es kann sich eine deutliche Reduktion von Belichtungszeiten (ms => ns) ergeben, die gängige Farbkameras für Farbpixel erfordern. Die Verwendung kostengünstiger Standard-Bayerfilter aus handelsüblichen Kamerasensoren (vorzugsweise aus organischen Farbstoffen) wird gestattet. Die Filteranordnungen 8 bzw. Filterarrays können zudem hoch integriert gemeinsam mit dem Makropixel 3 in einem zusammenhängenden Reinraumprozess gefertigt werden. Damit entfällt ein späterer Justageaufwand.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2017176579 A [0004]
    • US 2018003821 A [0005]
    • WO 2010141631 [0006]
    • US 2016240579 A1 [0007]

Claims (10)

  1. Detektorbaugruppe (1), die ein oder mehrere Makropixel (3) umfasst, wobei jedes Makropixel (3) aus einem Halbleiterdetektor gebildet ist, der mehrere Unterpixel (4a-h) bereitstellt, die zusammen eine aktive Fläche des jeweiligen Makropixels (3) bilden, dadurch gekennzeichnet, dass die Detektorbaugruppe (1) dafür eingerichtet ist, mit demselben Makropixel (3) sowohl Farbinformationen einer Umwelt als auch Tiefeninformationen über die Umwelt zu erfassen.
  2. Detektorbaugruppe (1) nach Anspruch 1, wobei die Detektorbaugruppe (1) für mindestens eines der Makropixel (3) eine zugeordnete Filteranordnung (8) aufweist, die dem jeweiligen Makropixel (3) vorgelagert ist und die dafür eingerichtet ist, Licht aus zwei oder mehr festgelegten unterschiedlichen Wellenlängenbereichen zu dem nachgelagerten Makropixel (3) passieren zu lassen.
  3. Detektorbaugruppe (1) nach Anspruch 2, wobei die Filteranordnung (8) ein Bayerfilter ist, das eine Vielzahl von Filterzonen (9a-h) aufweist, die jeweils dafür eingerichtet sind, eines von rotem Licht, grünem Licht, blauem Licht oder Infrarotlicht passieren zu lassen.
  4. Detektorbaugruppe (1) nach Anspruch 3, wobei die Filterzonen (9c, 9d, 9g, 9h), die jeweils dafür eingerichtet sind, eines von rotem Licht, grünem Licht oder blauem Licht passieren zu lassen, eine erste Gruppe von Filterzonen (9c, 9d, 9g, 9h) bilden und die Filterzonen (9a, 9b, 9e, 9f), die dafür eingerichtet sind, das Infrarotlicht passieren zu lassen, eine zweite Gruppe von Filterzonen (9a, 9b, 9e, 9f) bilden, wobei die erste Gruppe und die zweite Gruppe als zwei Blöcke nebeneinander angeordnet sind.
  5. Detektorbaugruppe (1) nach einem der Ansprüche 3 oder 4, wobei eine Gesamtzahl von Filterzonen (9a, 9c), die dafür eingerichtet sind, rotes Licht passieren zu lassen, und von Filterzonen (9f, 9h), die dafür eingerichtet sind, blaues Licht passieren zu lassen, gleich einer Zahl von Filterzonen (9b, 9d, 9e, 9g) ist, die dafür eingerichtet sind, grünes Licht passieren zu lassen.
  6. Detektorbaugruppe (1) nach einem der Ansprüche 3 bis 5, wobei jedem Unterpixel (4a-h) des Makropixels (3) jeweils genau eine der Filterzonen (9a-h) vorgelagert ist, sodass eine Matrix der Unterpixel (4a-h) einer Matrix der Filterzonen (9a-h) entspricht.
  7. Detektorbaugruppe (1) nach einem der Ansprüche 2 bis 6, wobei der Filteranordnung (8) zumindest teilweise ein Bandstoppfilter (12) vorgelagert ist, sodass sich die Filteranordnung (8) im Strahlengang zwischen dem Bandstoppfilter (8) und dem Makropixel (3) befindet.
  8. Optischer Sensor (2), der eine Detektorbaugruppe (1) nach einem der Ansprüche 1 bis 7 aufweist.
  9. Optischer Sensor (2) nach Anspruch 8, wobei der optische Sensor (2) dafür eingerichtet ist, aus Messdaten jeweils eines der Makropixel (3) der Detektorbaugruppe (1) sowohl Farbinformationen über eine Umwelt des optischen Sensors (2) als auch Tiefeninformationen zu erhalten.
  10. Optischer Sensor (2) nach Anspruch 9, wobei der optische Sensor (2) dafür eingerichtet ist, die Messdaten des jeweiligen Makropixels (3) zeitabhängig zu einem Histogramm zu verarbeiten und aus dem Histogramm mittels Signalverarbeitung Puls und Rauschen zu unterscheiden, um aus den Messdaten desselben Makropixels (3) zeitsynchron sowohl Farben voneinander unterscheiden zu können als auch die Tiefeninformationen bestimmen zu können.
DE102021201074.1A 2021-02-05 2021-02-05 Detektorbaugruppe und optischer Sensor Pending DE102021201074A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021201074.1A DE102021201074A1 (de) 2021-02-05 2021-02-05 Detektorbaugruppe und optischer Sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021201074.1A DE102021201074A1 (de) 2021-02-05 2021-02-05 Detektorbaugruppe und optischer Sensor

Publications (1)

Publication Number Publication Date
DE102021201074A1 true DE102021201074A1 (de) 2022-08-11

Family

ID=82493352

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021201074.1A Pending DE102021201074A1 (de) 2021-02-05 2021-02-05 Detektorbaugruppe und optischer Sensor

Country Status (1)

Country Link
DE (1) DE102021201074A1 (de)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
WO2010141631A1 (en) 2009-06-02 2010-12-09 Velodyne Acoustics, Inc. Color lidar scanner
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
DE102013111558A1 (de) 2012-10-23 2014-05-08 Samsung Electronics Co., Ltd. Mobilsystem mit Bildsensoren, Verfahren zum Betreiben von Bildsensoren und Verfahren zum Betreiben von Mobilsystemen
DE102014106761A1 (de) 2013-05-23 2014-11-27 Samsung Electronics Co., Ltd. RGBZ-Pixelanordnungen, Bildgebungsvorrichtungen, -controller und -verfahren
US20150256767A1 (en) 2014-03-06 2015-09-10 Skidata Ag Digital camera
US20160182846A1 (en) 2014-12-22 2016-06-23 Google Inc. Monolithically integrated rgb pixel array and z pixel array
US20160240579A1 (en) 2015-02-17 2016-08-18 Omnivision Technologies, Inc. Stacked embedded spad image sensor for attached 3d information
US9538111B2 (en) 2013-12-26 2017-01-03 Samsung Electronics Co., Ltd. Correlated double sampling circuit, analog to digital converter and image sensor including the same
US20170176579A1 (en) 2015-12-20 2017-06-22 Apple Inc. Light detection and ranging sensor
DE112015004456T5 (de) 2014-12-22 2017-07-20 Google Inc. Laufzeitbildsensor und Lichtquellentreiber mit Abstandssimulierervermögen
DE112015005724T5 (de) 2014-12-22 2017-08-31 Google Inc. RGBZ-Pixelzelleneinheit für einen RGBZ-Bildsensor
US20180003821A1 (en) 2016-07-01 2018-01-04 Shigeaki Imai Object detector, sensing device, and mobile apparatus
US20180020209A1 (en) 2014-12-22 2018-01-18 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
US20190137609A1 (en) 2017-11-07 2019-05-09 Stmicroelectronics (Crolles 2) Sas Rgb and z photo-diode pixel array kernel organization
US10580807B2 (en) 2017-10-24 2020-03-03 Stmicroelectronics, Inc. Color pixel and range pixel combination unit
US20200116558A1 (en) 2018-08-09 2020-04-16 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
DE102018221083A1 (de) 2018-12-06 2020-06-10 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
DE102018221530A1 (de) 2018-12-12 2020-06-18 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
DE102019113597B3 (de) 2019-05-22 2020-08-06 pmdtechnologies ag Pixelarray für eine Kamera, Kamera und Lichtlaufzeitkamerasystem mit einer derartigen Kamera
DE112018006100T5 (de) 2017-12-26 2020-10-29 Robert Bosch Gmbh Einzelchip-rgb-d-kamera

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
WO2010141631A1 (en) 2009-06-02 2010-12-09 Velodyne Acoustics, Inc. Color lidar scanner
DE102013111558A1 (de) 2012-10-23 2014-05-08 Samsung Electronics Co., Ltd. Mobilsystem mit Bildsensoren, Verfahren zum Betreiben von Bildsensoren und Verfahren zum Betreiben von Mobilsystemen
DE102014106761A1 (de) 2013-05-23 2014-11-27 Samsung Electronics Co., Ltd. RGBZ-Pixelanordnungen, Bildgebungsvorrichtungen, -controller und -verfahren
US9538111B2 (en) 2013-12-26 2017-01-03 Samsung Electronics Co., Ltd. Correlated double sampling circuit, analog to digital converter and image sensor including the same
US20150256767A1 (en) 2014-03-06 2015-09-10 Skidata Ag Digital camera
DE112015004456T5 (de) 2014-12-22 2017-07-20 Google Inc. Laufzeitbildsensor und Lichtquellentreiber mit Abstandssimulierervermögen
US20160182846A1 (en) 2014-12-22 2016-06-23 Google Inc. Monolithically integrated rgb pixel array and z pixel array
DE112015005724T5 (de) 2014-12-22 2017-08-31 Google Inc. RGBZ-Pixelzelleneinheit für einen RGBZ-Bildsensor
US20180020209A1 (en) 2014-12-22 2018-01-18 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
US20160240579A1 (en) 2015-02-17 2016-08-18 Omnivision Technologies, Inc. Stacked embedded spad image sensor for attached 3d information
US20170176579A1 (en) 2015-12-20 2017-06-22 Apple Inc. Light detection and ranging sensor
US20180003821A1 (en) 2016-07-01 2018-01-04 Shigeaki Imai Object detector, sensing device, and mobile apparatus
US10580807B2 (en) 2017-10-24 2020-03-03 Stmicroelectronics, Inc. Color pixel and range pixel combination unit
US20190137609A1 (en) 2017-11-07 2019-05-09 Stmicroelectronics (Crolles 2) Sas Rgb and z photo-diode pixel array kernel organization
DE112018006100T5 (de) 2017-12-26 2020-10-29 Robert Bosch Gmbh Einzelchip-rgb-d-kamera
US20200116558A1 (en) 2018-08-09 2020-04-16 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
DE102018221083A1 (de) 2018-12-06 2020-06-10 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
DE102018221530A1 (de) 2018-12-12 2020-06-18 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
DE102019113597B3 (de) 2019-05-22 2020-08-06 pmdtechnologies ag Pixelarray für eine Kamera, Kamera und Lichtlaufzeitkamerasystem mit einer derartigen Kamera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, Wonjoo; YIBING, Wang; OVSIANNIKOV, Ilia; LEE, SeungHoon; PARK, Yoondong; CHUNG, Chilhee; FOSSUM, Eric: A 1.5Mpixel RGBZ CMOS Image Sensor for Simultaneous Color and Range Image Capture. IEEE International Solid-State Circuits Conference, ISSCC 2012, San Francisco, CA, USA, 19-23 Feb. 2012. Conference Proceedings, ISBN 978-1-4673-0377-4, Session 22: Image Sensors, Paper 22.7, pp. 392 - 394.

Similar Documents

Publication Publication Date Title
EP3729137B1 (de) Multipuls-lidarsystem zur mehrdimensionalen erfassung von objekten
DE19721105C5 (de) Opto-eletronischer Sensor
DE60201738T2 (de) Spektrometer mit aktiver optischer matrix
DE102018120141A1 (de) Erfassen von Licht mit einer Vielzahl von Lawinenphotodiodenelementen
WO2020114740A1 (de) Lidar-system sowie kraftfahrzeug
DE112018002395T5 (de) Optischer sensor und elektronische vorrichtung
WO2007036553A1 (de) Vorrichtung und verfahren zur aufnahme von entfernungsbildern
DE102012021736B4 (de) Bildsensor für sichtbares und infrarotes Licht und Kamerasystem
EP1542051A1 (de) Verfahren und Vorrichtung zum Trennen unterschiedlicher Emissionswellenlängen in einem Scanmikroskop
WO2020120278A1 (de) Lidar-system sowie kraftfahrzeug
DE102012110092A1 (de) Sensoranordnung zur Bilderfassung
DE102021201074A1 (de) Detektorbaugruppe und optischer Sensor
DE102014218460B4 (de) Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor
DE102012110094A1 (de) Sensoranordnung zur Bilderfassung
DE102017221797A1 (de) Lidar-System zur Umfelderfassung und Verfahren zum Betreiben eines Lidar-Systems
DE102018128630A1 (de) Sensoren und Verfahren zur Erfassung von Objekten
EP4172650A1 (de) Lidar-sensor, insbesondere vertical flash lidar-sensor
DE102019213812A1 (de) Optischer Sensor
DE102021212788A1 (de) Optischer Sensor zum Erfassen eines Sichtfeldes und Verfahren zum Erfassen eines Sichtfeldes
DE102012014994B4 (de) Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung
DE102021202427A1 (de) Detektorvorrichtung und Sensoreinheit
DE102019106411B4 (de) Laserscaneinrichtung und Verfahren zur dreidimensionalen Vermessung einer Szenerie in großer Entfernung
DE102013112376B4 (de) Spektrometersystem
WO2002031455A1 (de) Erfassung von phase und amplitude elektromagnetischer wellen
DE102016217282A1 (de) Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung

Legal Events

Date Code Title Description
R163 Identified publications notified