EP4736468A1 - Optischer sensor, umfelderkennungssystem und fahrzeug - Google Patents

Abstract

Die Erfindung betrifft einen optischer Sensor (5), ein Umfelderkennungssystem und ein Fahrzeug, wobei der optische Sensor (5) eine Pixelmatrix (10), eine Ausleseeinheit (20) und eine Auswerteeinheit (30) aufweist. Eine spektrale Empfindlichkeit von Pixeln (12) der Pixelmatrix (10) ist gemäß einer vordefinierten Abfolge (40) festgelegt, welche spektrale Empfindlichkeiten für jeweils fünf in einer Zeile (14) der Pixelmatrix (10) aufeinanderfolgende Pixel (12) festlegt, wobei auf Basis der vordefinierten Abfolge (40) drei Pixel (12) der fünf aufeinanderfolgenden Pixel (12) in einer Zeile (14) eingerichtet sind, nur Licht im sichtbaren Spektralbereich zu erfassen, ein Pixel (12) der fünf aufeinanderfolgenden Pixel (12) eingerichtet ist, nur Licht außerhalb des sichtbaren Spektralbereichs zu erfassen, die vordefinierte Abfolge (40) pro Zeile (14) der Pixelmatrix (10) wiederholt zugeordnet ist, die vordefinierte Abfolge (40) zwischen zwei aufeinanderfolgenden Zeilen (12) um jeweils zwei Pixel (12) versetzt zugewiesen ist, die Ausleseeinheit (20) eingerichtet ist, erzeugte Ladungsmengen aus der Pixelmatrix (10) auszulesen und auf deren Basis ein mit der Pixelmatrix (10) korrespondierendes Helligkeitsbild zu erzeugen, die Auswerteeinheit (30) eingerichtet ist, das Helligkeitsbild auf Basis eines vordefinierten Auswertemusters (60) pixelweise auszuwerten, indem zu jedem Pixel (12) jeweils vier weitere an das Pixel (12) angrenzende Pixel (12') ausgewertet werden und die jeweiligen Helligkeitsinformationen der gemeinsam auszuwertenden Pixel (12, 12') ihren jeweiligen spektralen Empfindlichkeiten zuzuordnen und diese als Gruppeninformationen für jedes auszuwertende Pixel (12) bereitzustellen.

Description

Beschreibung

Optischer Sensor, Umfelderkennungssystem und Fahrzeug

Die Erfindung betrifft einen optischen Sensor, ein Umfelderkennungssystem mit einem solchen optischen Sensor und Fahrzeug mit einem solchen optischen Sensor und/oder mit einem solchen Umfelderkennungssystem.

Aus dem Stand der Technik sind optische Sensoren bekannt, welche beispielsweise in Kameras eingesetzt werden, die eine Erfassung von drei unterschiedlichen Farben, i. d. .R. Rot, Grün und Blau (nachfolgend auch als RGB abgekürzt) ermöglichen. Hierfür sind einzelnen lichtempfindlichen Zellen (d. h., Pixeln) der optischen Sensoren meist mit jeweiligen zu erfassenden Farben korrespondierende Farbfilter vorgelagert, welche gemäß einem vordefinierten Muster (z. B. ein Bayer-Muster, o. ä.) über eine Empfangsfläche der optischen Sensoren verteilt sind.

Als Basis solcher optischer Sensoren werden häufig Sensoroberflächen mit einer photosensitiven Schicht auf Siliziumbasis eingesetzt, mittels derer ein Spektralbereich von ca. 400 nm bis 1000 nm erfasst werden kann.

Neuartige Ansätze für photosensitive Schichten ermöglichen jedoch eine Erfassung eines breiteren Spektralbereichs von ca. 400 nm bis 1700 nm bzw. teilweise sogar bis über 2000 nm, auf deren Basis Multispektralaufnahmen mit mehr als drei oder mehr als vier voneinander abweichenden erfassbaren Spektralbereichen ermöglicht werden.

Multispektralaufnahmen zur Erfassung von mehr als vier unterschiedlichen Spektralbereichen werden bisher mittels eines sogenannten Farbrades realisiert, welches vor dem optischen Sensor platziert wird. Dieses Farbrad ist in eine Vielzahl von Sektoren mit jeweils unterschiedlichen Spektralbandfiltern unterteilt und derart vor dem optischen Sensor positioniert, dass ein durch den optischen Sensor erzeugtes Bild vollständig durch jeweils ein einzelnes Spektralbandfilter erfasst wird. Es werden somit mehrere Bilder sequentiell aufgenommen, welche jeweils eine Belichtung für einen jeweils vordefinierten Spektralbereich repräsentieren. US 20070024931 A1 offenbart einen Bildsensor mit einer zweidimensionalen Anordnung erster und zweiter Gruppen von Pixeln, wobei die Pixel der ersten Gruppe eine schmalere spektrale Empfindlichkeit aufweisen als Pixel der zweiten Gruppe und wobei die erste Gruppe einzelne Pixel aufweist, die mit einem Satz von wenigstens zwei Farben korrespondieren. Die Platzierung der Pixel der ersten und zweiten Gruppe bildet ein Muster aus, das eine minimale Wiederholungseinheit von wenigstens 12 Pixeln aufweist.

US 6803955 B1 offenbart eine Bilderfassungsvorrichtung mit einer Pixelanordnung, die als zweidimensionale periodische Anordnung aus 6-Pixel-Anordnungen als Einheitsanordnung ausgebildet ist, wobei von den sechs Pixeln jeder Einheitsanordnung die ersten bis dritten Pixel unterschiedliche Farbeigenschaften aufweisen und die vierten bis sechsten Pixel jeweils unterschiedliche Empfindlichkeiten und identische Farbeigenschaften bezüglich der ersten bis dritten Pixel aufweisen.

US 2007296841 A1 offenbart u. a. ein Verfahren zur Herstellung einer Farbbilderfassungseinheit aufweisend eine Pixelgruppe, in welcher eine Vielzahl von Pixeln jeweils ein photoelektrisches Wandlungselement und ein Farbfilter aufweisen, wobei das Verfahren u. a. einen Schritt zum Erzeugen eines zufälligen Anordnungsmuster umfasst, bei welchem Farbfilter wenigstens einer Farbkomponente zufällig angeordnet werden.

Es ist eine Aufgabe der vorliegenden Erfindung, einen optischen Sensor bereitzustellen, auf dessen Basis eine zeitgleiche Multispektralaufnahme von sichtbarem Licht und von Licht außerhalb des sichtbaren Spektralbereichs ermöglicht wird. Es ist zudem eine Aufgabe der vorliegenden Erfindung auf Basis des optischen Sensors ein Umfelderkennungssystem und ein Fahrzeug bereitzustellen.

Die Lösung der vorstehend identifizierten Aufgabe erfolgt durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.

Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein optischer Sensor vorgeschlagen, welcher eine (zweidimensionale) Pixelmatrix, eine Ausleseeinheit und eine Auswerteeinheit aufweist. Der optische Sensor ist beispielsweise als CCD-Sensor und/oder als CMOS-Sensor ausgebildet. Eine Anzahl von Pixeln pro Zeile und/oder Spalte und/oder eine Größe der Pixel sind grundsätzlich nicht auf bestimmte Werte beschränkt. Auf Basis des optischen Sensors ist es beispielsweise möglich, eine Kamera für ein Fahrzeug und/oder eine Kamera für eine optische Qualitätsüberwachung von Produkten und/oder eine hiervon abweichende Komponente auszubilden.

Die Pixelmatrix ist aus einer Vielzahl lichtempfindlicher Zellen (auch Pixel genannt) ausgebildet, wobei eine spektrale Empfindlichkeit von Pixeln der Pixelmatrix gemäß einer vordefinierten Abfolge spektraler Empfindlichkeiten festgelegt ist, welche spektrale Empfindlichkeiten für jeweils fünf in einer Zeile der Pixelmatrix aufeinanderfolgende Pixel festlegt. Auf Basis der vordefinierten Abfolge spektraler Empfindlichkeiten sind wenigstens drei Pixel der fünf aufeinanderfolgenden Pixel in einer Zeile eingerichtet, im Wesentlichen nur Licht im sichtbaren Spektralbereich zu erfassen, wobei die wenigstens drei Pixel jeweils voneinander abweichende spektrale Empfindlichkeiten aufweisen.

Es sei darauf hingewiesen, dass unter der „Zeile“, der Pixelmatrix, in welcher die vordefinierte Abfolge spektraler Empfindlichkeiten jeweils zur Anwendung kommt, nicht notwendigerweise mit einer Zeilendefinition übereinstimmen muss, welche sich aus einer Ausleserichtung (durch ein zeilenweises Auslesen) und/oder einer Ausrichtung der Pixelmatrix im Raum und/oder in Bezug auf ein Gehäuse usw. ergibt. Entsprechend ist es auch möglich, die vordefinierte Abfolge spektraler Empfindlichkeiten in einer Richtung senkrecht zu einer Richtung einer Zeile, welche durch ein zeilenweises Auslesen definiert ist, anzuwenden.

Es sei ferner darauf hingewiesen, dass unter dem Begriff „Licht“ hier explizit auch solche elektromagnetische Strahlung verstanden werden soll, deren Wellenlänge außerhalb des sichtbaren Bereichs, also zum Beispiel im Infrarotbereich liegt.

Darüber hinaus ist wenigstens ein Pixel der fünf aufeinanderfolgenden Pixel eingerichtet, im Wesentlichen nur Licht außerhalb des sichtbaren Spektralbereichs zu erfassen. Dies schließt entsprechend nicht aus, dass eines oder mehrere dieser drei Pixel eine gewisse (Rest-) Empfindlichkeit im Bereich nicht sichtbarer Wellenlängen aufweisen kann, solange eine Hauptempfindlichkeit jedes dieser drei Pixel innerhalb des sichtbaren Wellenlängenbereichs liegt.

Die vordefinierte Abfolge spektraler Empfindlichkeiten ist in Abhängigkeit einer Anzahl von Pixeln pro Zeile wiederholt zugeordnet, sodass sämtlichen Pixeln einer Zeile eine der vordefinierten spektralen Empfindlichkeiten gemäß der vordefinierten Abfolge spektraler Empfindlichkeiten zugewiesen ist. Konkret wird die vordefinierte Abfolge spektraler Empfindlichkeiten auf die Pixel der ersten Zeile beispielsweise derart angewendet, dass die vordefinierte Abfolge auf die ersten fünf Pixel ausgehend vom äußersten linken Rand der Zeile angewendet wird und anschließend für die Pixel 6 bis 10, 11 bis 15, 16 bis 20 usw. wiederholt wird. Dabei ist es nicht zwingend erforderlich, dass die Anzahl von Pixeln pro Zeile ein ganzzahliges Vielfaches der Anzahl von Empfindlichkeiten der vordefinierten Abfolge (d. h., fünf) entspricht. Stattdessen kann die vordefinierte Abfolge auch unvollständig angewendet werden, falls am Ende einer jeweiligen Zeile keine vollen fünf Pixel mehr zugeordnet werden können. Es sei zudem darauf hingewiesen, dass die Zuordnungsrichtung der vordefinierten Abfolge spektraler Empfindlichkeiten innerhalb einer Zeile auch in einer Richtung von rechts nach links erfolgen kann.

Darüber hinaus ist die vordefinierte Abfolge spektraler Empfindlichkeiten zwischen zwei aufeinanderfolgenden Zeilen der Pixelmatrix in einer vordefinierten Richtung (von links nach rechts oder von rechts nach links) um jeweils zwei Pixel versetzt zugewiesen. Diese Verschiebung der vordefinierten Abfolge erfolgt bei jedem Zeilenwechsel und stets in der vordefinierten Richtung, sodass beispielsweise die sechste Zeile der Pixelmatrix wieder eine identische Zuweisung spektraler Empfindlichkeiten wie die erste Zeile aufweist. Auch in dieser Betrachtungsrichtung (d. h., senkrecht zur Erstreckungsrichtung der jeweiligen Zeilen) ist es nicht erforderlich, dass eine Gesamtzahl von Zeilen der Pixelmatrix einem ganzzahligen Vielfachen der Wiederholungsperiode (d. h., 5 Zeilen) entspricht. Konkret bedeutet der Versatz um jeweils zwei Pixel in der vordefinierten Richtung, dass die vordefinierte Abfolge, welche beispielsweise in der ersten Zeile der Pixelmatrix die spektralen Empfindlichkeitswerte E1 , E2, E3, E4 und E5 aufweist, in der unmittelbar nachfolgenden Zeile mit dem Empfindlichkeitswert E3 beginnt, sodass die Abfolge in dieser nachfolgenden Zeile den Werten E3, E4, E5, E1 und E2 entspricht, welche in Abhängigkeit einer Anzahl von Pixeln pro Zeile ggf. mehrmals wiederholt angewendet wird. In einer weiteren nachfolgenden Zeile entspräche die Abfolge von Empfindlichkeitswerten gemäß dem vorliegenden Beispiel entsprechend den Werten E5, E1, E2, E3 und E4. Anstatt die Verschiebung um jeweils zwei Pixel durchzuführen ist es auch möglich, für jeweils fünf aufeinanderfolgende Zeilen jeweils mit den unterschiedlichen Zeilen korrespondierende, zeilenspezifische Abfolgen spektraler Empfindlichkeiten vorzudefinieren, welche in ihrer Gesamtheit die vordefinierte Abfolge spektraler Empfindlichkeiten ausbilden.

Die Ausleseeinheit ist eingerichtet, in den Pixeln photoelektrisch erzeugte Ladungsmengen aus der Pixelmatrix auszulesen und auf deren Basis ein mit der Pixelmatrix korrespondierendes Helligkeitsbild zu erzeugen. Hierfür werden vorzugsweise aus dem Stand der Technik bekannte Mechanismen zum Auslesen der Pixel der Pixelmatrix eingesetzt (zum Beispiel ein zeilenweises Auslesen mit entsprechender Shutter-Funktion, usw.), weshalb diesbezüglich auf den Stand der Technik verwiesen wird.

Die Auswerteeinheit, welche beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o. ä., ausgestaltet ist, ist eingerichtet, das Helligkeitsbild auf Basis eines vordefinierten Auswertemusters pixelweise auszuwerten, indem zu jedem auszuwertenden Pixel jeweils vier weitere an das auszuwertende Pixel angrenzende Pixel ausgewertet werden, welche bezüglich des auszuwertenden Pixels symmetrisch angeordnet sind, sodass die insgesamt fünf gemeinsam auszuwertenden Pixel zusammen die spektralen Empfindlichkeiten der vordefinierten Abfolge spektraler Empfindlichkeiten aufweisen. Unter „angrenzenden“ Pixeln sollen hier und nachfolgend allgemein Pixel verstanden werden, welche in einer jeweiligen Betrachtungsrichtung am nächsten beieinanderliegen. Dies gilt demnach auch, wenn zwischen den jeweiligen nächstliegenden Pixeln eine Lücke vorliegt und diese nicht unmittelbar mit ihren jeweiligen Kanten aneinanderstoßen.

Da die weiteren auszuwertenden Pixel symmetrisch um das aktuell auszuwertende bzw. zu betrachtende Pixel angeordnet sind, ergibt sich in den äußersten umlaufenden Pixeln der Pixelmatrix, welche die Randpixel der Pixelmatrix repräsentieren, das Problem, dass teilweise keine angrenzenden Pixel existieren. Dieses Problem lässt sich beispielsweise dadurch umgehen, dass die äußersten Pixel beim pixelweisen Auswerten der Pixelmatrix nicht als zentrales auszuwertendes Pixel verwendet werden, sondern dass stattdessen nur die Pixel innerhalb der äußersten umlaufenden Pixelreihe beim pixelweisen Auswerten betrachtet werden. Auf diese Weise stehen durch die äußersten umlaufenden Pixel stets sämtliche zusätzlich auszuwertenden Pixel beim Auswerten des jeweiligen zentralen auszuwertenden Pixels zur Verfügung. Alternativ ist es auch denkbar, sämtliche Pixel der Pixelmatrix pixelweise auszuwerten und die dadurch teilweise fehlenden umgebenden Pixel durch virtuelle Pixel aufzufüllen, für welche beispielsweise jeweils ein Schwarzwert oder ein hiervon abweichender geeigneter vordefinierter Helligkeitswert angenommen wird. Darüber hinaus ist es auch denkbar, die virtuellen Pixel auf Basis einer Verrechnung umliegender Pixelwerte zu extrapolieren.

Die Auswerteeinheit ist schließlich eingerichtet, die jeweiligen Helligkeitsinformationen der jeweils fünf gemeinsam auszuwertenden Pixel ihren jeweiligen spektralen Empfindlichkeiten zuzuordnen und diese als Gruppeninformationen für jedes auszuwertende Pixel bereitzustellen. Der erfindungsgemäße optische Sensor bietet u. a. den Vorteil, dass wenigstens vier unterschiedliche Wellenlängenbereiche (wenigstens drei im sichtbaren Lichtbereich und wenigstens einer im nicht sichtbaren Lichtbereich) eines auf den optischen Sensor einfallendes Lichtes zeitgleich erfasst werden können, wodurch sich zahlreiche vorteilhaften Verwendungen des vorgeschlagenen optischen Sensors, zum Beispiel in einem Umfelderkennungssystem eines Fahrzeugs ergeben.

In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung ist die Auswerteeinheit eingerichtet, mittels des Auswertemusters neben dem aktuell auszuwertenden Pixel beim pixelweisen Auswerten der Pixelmatrix zusätzlich diejenigen vier Pixel der Pixelmatrix zum Erzeugen der jeweils korrespondierenden Gruppeninformation auszuwerten, welche jeweils mit einer Kante an eine der Kanten des auszuwertenden Pixels angrenzen. Mit anderen Worten bildet das Auswertemuster in diesem Fall eine Kreuzform aus, bei welcher das aktuell auszuwertende Pixel den Mittelpunkt des Kreuzes repräsentiert, während jeweils die beiden Pixel links und rechts neben dem auszuwertenden Pixel und die beiden Pixel oberhalb und unterhalb des auszuwertende Pixels die zusätzlich auszuwertenden Pixel repräsentieren. Alternativ oder zusätzlich ist die Auswerteeinheit eingerichtet, mittels des Auswertemusters neben dem aktuell auszuwertenden Pixel beim pixelweisen Auswerten der Pixelmatrix zusätzlich diejenigen vier Pixel der Pixelmatrix zum Erzeugen der jeweils korrespondierenden Gruppeninformation auszuwerten, welche jeweils diagonal an das auszuwertende Pixel angrenzen. Mit anderen Worten bildet das Auswertemuster in diesem Fall eine x-Form aus. Es kann vorteilhaft sein, für jedes auszuwertende Pixel sowohl das kreuzförmige Auswertemuster als auch das x-förmige Auswertemuster anzuwenden, um für jedes auszuwertende Pixel jeweils zwei Gruppeninformationen zu erzeugen, welche in einer nachfolgenden Verarbeitung je nach Bedarf alternativ oder gemeinsam verwendet werden können.

In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung sind die wenigstens drei Pixel, welche auf Basis der vordefinierten Abfolge spektraler Empfindlichkeiten eingerichtet sind, im Wesentlichen nur Licht im sichtbaren Spektralbereich mit jeweils voneinander abweichenden spektralen Empfindlichkeiten zu erfassen, eingerichtet, rotes, grünes und blaues (d. h., RGB-) Licht zu erfassen. Mit anderen Worten ist ein erstes dieser drei Pixel eingerichtet, Licht im roten Wellenlängenbereich zu erfassen, während ein zweites dieser drei Pixel eingerichtet ist, Licht im grünen Wellenlängenbereich zu erfassen und während ein drittes dieser drei Pixel eingerichtet ist, Licht im blauen Wellenlängenbereich zu erfassen. Vorzugsweise ist das wenigstens eine Pixel der fünf aufeinanderfolgenden Pixel (aus welchen jeweils eine Gruppeninformation erzeugt wird), welches zum Erfassen von Licht außerhalb des sichtbaren Bereichs vorgesehen ist, eingerichtet, Licht im nahen Infrarotbereich und/oder im kurzwelligen Infrarotbereich und/oder in einem Wellenlängenbereich von 700 nm bis 1000 nm und/oder in einem Wellenlängenbereich von 1000 nm bis 2000 nm und/oder in einem Wellenlängenbereich von 1150 nm bis 1250 nm und/oder in einem Wellenlängenbereich von 1350 nm bis 1450 nm zu erfassen. Insbesondere der Wellenlängenbereich von 1150 nm bis 1250 nm ist geeignet, Lichtreflexionen von Farbpigmenten von Haut und/oder Kleidung zu erfassen, sodass auf Basis dieses Wellenlängenbereichs besonders zuverlässig Personen identifiziert werden können. Der Wellenlängenbereich zwischen 1350 nm und 1450 nm ist insbesondere geeignet, um nasse und/oder gefrorene Stellen auf einer Fahrbahnoberfläche zu identifizieren, da diese Stellen in diesem Wellenlängenbereich eine deutlich höhere Absorption aufweisen, als trockene Bereiche der Fahrbahnoberfläche, sodass aufgrund des hohen Kontrastes zwischen diesen Stellen und den trockenen Bereichen eine entsprechende Identifizierung ermöglicht wird, wenn der optische Sensor beispielsweise in einem Fahrzeug eingesetzt wird. Besonders vorteilhaft ist eines der fünf aufeinanderfolgenden Pixel einer Zeile eingerichtet, Wellenlängen von 1150 nm bis 1250 nm zu erfassen, während ein weiteres Pixel der fünf aufeinanderfolgenden Pixel eingerichtet ist, Wellenlängen im Bereich von 1350 nm bis 1450 nm zu erfassen. Entsprechend lässt sich bei einer Erfassung dieser beiden Wellenlängenbereiche im nicht sichtbaren Bereich zusätzlich zu den Wellenlängenbereichen der verbleibenden drei Pixel im sichtbaren Bereich ein optischer Sensor erzielen, auf dessen Basis eine besonders zuverlässige und umfassende Umfelderfassung, z. B. für ein Fahrzeug, ermöglicht wird.

Alternativ oder zusätzlich ist ein Pixel der vordefinierten Abfolge von Pixeln eingerichtet, Licht im gesamten sichtbaren Spektralbereich zu empfangen. Auf diese Weise lässt sich ein optischer Sensor realisieren, welcher über drei Pixel jeweils voneinander abweichende Farbinformationen (z. B. RGB) im sichtbaren Wellenlängenbereich, über ein Pixel Informationen über den gesamten sichtbaren Wellenlängenbereich und über ein Pixel Licht im nahen Infrarotbereich und/oder im kurzwelligen Infrarotbereich erfassen kann.

Darüber hinaus ist es möglich, dass die jeweiligen spektralen Empfindlichkeiten der Pixel der Pixelmatrix auf Basis einer Vielzahl von Spektralfiltern realisiert sind, welche den jeweiligen Pixeln vorgelagert angeordnet sind, um auf den optischen Sensor einfallendes Licht vor dem Auftreffen auf die Pixelmatrix entsprechend zu filtern. Alternativ oder zusätzlich ist es möglich, die jeweiligen spektralen Empfindlichkeiten der Pixel der Pixelmatrix auf Basis unterschiedlich ausgebildeter lichtempfindlicher Zellen zu realisieren. Mit anderen Worten sind in diesem Fall die technischen Eigenschaften der jeweiligen Pixel entsprechend der vordefinierten Abfolge spektraler Empfindlichkeiten ausgebildet.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Umfelderkennungssystem, insbesondere für ein Fahrzeug vorgeschlagen, welches einen optischen Sensor gemäß dem ersten Erfindungsaspekt aufweist, wobei das Umfelderkennungssystem eingerichtet ist, durch den optischen Sensor erfasste Umfeldinformationen im sichtbaren Spektralbereich mittels durch den optischen Sensor erfasster Umfeldinformationen im nahen Infrarotbereich und/oder im kurzwelligen Infrarotbereich zu plausibilisieren und/oder zu ergänzen. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erstgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Umfelderkennungssystems ist das Umfelderkennungssystem auf Basis von Messsignalen des optischen Sensors eingerichtet, Eis und/oder Wasser und/oder Nebel und/oder Personen und/oder Tiere und/oder Pflanzen und/oder allgemein unterschiedliche Materialien zu identifizieren. Durch eine entsprechende Plausibilisierung und/oder Ergänzung der mittels des optischen Sensors erfassten Farbinformationen mit diesen zusätzlichen Informationen aus dem nicht sichtbaren

Spektral bereich, lässt sich entsprechend eine besonders hohe Erkennungsgenauigkeit des Umfeldes mit einem solchen Umfelderkennungssystem erzielen.

Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fahrzeug vorgeschlagen, welches einen optischen Sensor gemäß dem ersten Erfindungsaspekt und/oder ein Umfelderkennungssystem gemäß dem zweiten Erfindungsaspekt aufweist. Das Fahrzeug ist beispielsweise ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein Schienenfahrzeug oder ein Luftfahrzeug/Flugzeug und/oder ein Wasserfahrzeug. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erst- und zweitgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Fahrzeugs ist das Fahrzeug eingerichtet, mittels des optischen Sensors und/oder des Umfelderkennungssystems erfasste Umfeldinformationen für einen teilautonomen und/oder vollautonomen Fährbetrieb und/oder für ein Fahrerassistenzsystem des Fahrzeugs zu verwenden.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:

Figur 1 eine schematische Ansicht einer Ausführungsform eines erfindungsgemäßen optischen Sensors;

Figur 2 eine schematische Ansicht einer Ausführungsform eines erfindungsgemäßen Auswertemusters; und

Figur 3 eine schematische Ansicht eines erfindungsgemäßen Fahrzeugs in Verbindung mit einem erfindungsgemäßen Umfelderkennungssystem.

Figur 1 zeigt eine schematische Ansicht einer Ausführungsform eines erfindungsgemäßen optischen Sensors 5, welcher eine Pixelmatrix 10 mit einer Vielzahl lichtempfindlicher Pixel 12, eine Ausleseeinheit 20 und eine als CPU ausgebildete Auswerteeinheit 30 aufweist. Der optische Sensor 5 ist hier als CCD-Sensor ausgebildet.

Die Pixel 12 sind zweidimensional in einer Vielzahl von Zeilen 14 und einer Vielzahl von Spalten 16 der Pixelmatrix 10 angeordnet. Eine spektrale Empfindlichkeit der Pixel 12 der Pixelmatrix 10 ist gemäß einer vordefinierten Abfolge 40 spektraler Empfindlichkeiten festgelegt, welche spektrale Empfindlichkeiten für jeweils fünf in einer Zeile 14 der Pixelmatrix 10 aufeinanderfolgende Pixel 12 festlegt. Die vordefinierte Abfolge 40 entspricht hier einer Abfolge 40 spektraler Empfindlichkeiten für einen roten Spektralbereich R, einen blauen Spektral bereich B, einen grünen Spektralbereich G, einen nahinfraroten Spektralbereich N und einen kurzwelligen Infrarotbereich K.

Die vordefinierte Abfolge 40 spektraler Empfindlichkeiten ist in Abhängigkeit einer Anzahl von Pixeln 12 pro Zeile 14 wiederholt zugeordnet, sodass sämtlichen Pixeln 12 einer Zeile 14 eine der vordefinierten spektralen Empfindlichkeiten gemäß der vordefinierten Abfolge 40 spektraler Empfindlichkeiten zugewiesen ist. In Figur 1 ist deutlich gemacht, dass nur ein Ausschnitt aus einer an sich größeren Pixelmatrix 10 gezeigt ist, sodass die vordefinierte Abfolge 40 entsprechend häufiger wiederholt ist als hier dargestellt. Die vordefinierte Abfolge 40 spektraler Empfindlichkeiten ist zwischen zwei aufeinanderfolgenden Zeilen 12 der Pixelmatrix 10 in einer vordefinierten Richtung 50 um jeweils zwei Pixel 12 versetzt zugewiesen, sodass die in Figur 1 gezeigte Anordnung 40 spektraler Empfindlichkeiten erreicht wird.

Es sei darauf hingewiesen, dass sowohl die Abfolge 40 der hier verwendeten spektralen Empfindlichkeiten als auch die Zusammensetzung der spektralen Empfindlichkeiten in der Abfolge 40 hiervon abweichend ausgebildet sein kann.

Die Ausleseeinheit 20 ist eingerichtet, in den Pixeln 12 photoelektrisch erzeugte Ladungsmengen aus der Pixelmatrix 10 auszulesen und auf deren Basis ein mit der Pixelmatrix 10 korrespondierendes Helligkeitsbild zu erzeugen.

Die Auswerteeinheit 30 ist eingerichtet, das Helligkeitsbild auf Basis eines vordefinierten Auswertemusters 60 pixelweise auszuwerten, indem zu jedem auszuwertenden Pixel 12 jeweils vier weitere an das auszuwertende Pixel 12 angrenzende Pixel 12' (hier ist aus Gründen der Übersichtlichkeit nur eines der vier weiteren Pixel 12‘ mit einem Bezugszeichen versehen) ausgewertet werden, welche bezüglich des auszuwertenden Pixels 12 symmetrisch angeordnet sind, sodass die insgesamt fünf gemeinsam auszuwertenden Pixel 12, 12' zusammen die spektralen Empfindlichkeiten der vordefinierten Abfolge 40 spektraler Empfindlichkeiten aufweisen. Mittels des Auswertemusters 60 werden diejenigen Pixel 12 der Pixelmatrix 10 als zusätzlich auszuwertende Pixel 12' festgelegt, welche jeweils mit einer Kante an eine der Kanten des auszuwertenden Pixels 12 angrenzen.

Die Auswerteinheit 30 ist weiter eingerichtet, die jeweiligen Helligkeitsinformationen der gemeinsam auszuwertenden Pixel 12, 12' ihren jeweiligen spektralen Empfindlichkeiten zuzuordnen und diese als Gruppeninformationen für jedes auszuwertende Pixel 12 bereitzustellen.

Figur 2 zeigt eine schematische Ansicht einer Ausführungsform eines erfindungsgemäßen Auswertemusters 60, wobei auf Basis dieses Auswertemusters 60 diejenigen Pixel 12 der Pixelmatrix 10 als zusätzlich auszuwertende Pixel 12' ausgewählt werden, welche jeweils diagonal an das aktuell auszuwertende Pixel 12 der Pixelmatrix 10 angrenzen.

Die in Figur 2 gezeigte Ausführungsform des Auswertemusters 60 lässt sich alternativ oder zusätzlich zu der in Figur 1 gezeigten abweichenden Ausführungsform anwenden. Figur 3 zeigt eine schematische Ansicht eines erfindungsgemäßen Fahrzeugs 80 in Verbindung mit einem erfindungsgemäßen Umfelderkennungssystem 70, wobei das Fahrzeug 80 hier als PKW ausgebildet ist und das Umfelderkennungssystem 70 informationstechnisch mit einem erfindungsgemäßen optischen Sensor 5 verbunden ist, welcher hier in eine Frontkamera des Fahrzeugs 80 integriert ist.

Auf Basis dieser Konfiguration ist das Fahrzeug 80 mittels des Umfelderkennungssystems 70 eingerichtet, ein Umfeld des Fahrzeugs 80 besonders zuverlässig zu erfassen und auszuwerten und Ausgangssignale des Umfelderfassungssystems 70 an ein Fahrerassistenzsystem 90 zu übertragen, welches beispielsweise als Spurhaltesystem und/oder als Fußgängererkennungssystem und/oder hiervon abweichend ausgebildet ist.

Bezugszeichenliste optischer Sensor

Pixelmatrix

Pixel ' weitere Pixel

Zeile

Spalte

Ausleseeinheit

Auswerteeinheit vordefinierte Abfolge spektraler Empfindlichkeiten

Verschiebungsrichtung

Auswertemuster

Umfelderkennungssystem

Fahrzeug

Fahrerassistenzsystem

Claims

Patentansprüche

1. Optischer Sensor (5) aufweisend:

• eine Pixelmatrix (10),

• eine Ausleseeinheit (20), und

• eine Auswerteeinheit (30), wobei

• die Pixelmatrix (10) aus einer Vielzahl lichtempfindlicher Zellen ausgebildet ist,

• eine spektrale Empfindlichkeit von Pixeln (12) der Pixelmatrix (10) gemäß einer vordefinierten Abfolge (40) spektraler Empfindlichkeiten festgelegt ist, welche spektrale Empfindlichkeiten für jeweils fünf in einer Zeile (14) der Pixelmatrix (10) aufeinanderfolgende Pixel (12) festlegt,

• auf Basis der vordefinierten Abfolge (40) spektraler Empfindlichkeiten o wenigstens drei Pixel (12) der fünf aufeinanderfolgenden Pixel (12) in einer Zeile (14) eingerichtet sind, im Wesentlichen nur Licht im sichtbaren Spektral bereich zu erfassen, wobei die wenigstens drei Pixel (12) jeweils voneinander abweichende spektrale Empfindlichkeiten aufweisen, o wenigstens ein Pixel (12) der fünf aufeinanderfolgenden Pixel (12) eingerichtet ist, im Wesentlichen nur Licht außerhalb des sichtbaren Spektralbereichs zu erfassen,

• die vordefinierte Abfolge (40) spektraler Empfindlichkeiten in Abhängigkeit einer Anzahl von Pixeln (12) pro Zeile (14) wiederholt zugeordnet ist, sodass sämtlichen Pixeln (12) einer Zeile (14) eine der vordefinierten spektralen Empfindlichkeiten gemäß der vordefinierten Abfolge (40) spektraler Empfindlichkeiten zugewiesen ist,

• die vordefinierte Abfolge (40) spektraler Empfindlichkeiten zwischen zwei aufeinanderfolgenden Zeilen (12) der Pixelmatrix (10) in einer vordefinierten Richtung (50) um jeweils zwei Pixel (12) versetzt zugewiesen ist,

• die Ausleseeinheit (20) eingerichtet ist, in den Pixeln (12) photoelektrisch erzeugte Ladungsmengen aus der Pixelmatrix (10) auszulesen und auf deren Basis ein mit der Pixelmatrix (10) korrespondierendes Helligkeitsbild zu erzeugen,

• die Auswerteeinheit (30) eingerichtet ist, o das Helligkeitsbild auf Basis eines vordefinierten Auswertemusters (60) pixelweise auszuwerten, indem zu jedem auszuwertenden Pixel (12) jeweils vier weitere an das auszuwertende Pixel (12) angrenzende Pixel (12‘) ausgewertet werden, welche bezüglich des auszuwertenden Pixels (12) symmetrisch angeordnet sind, sodass die insgesamt fünf gemeinsam auszuwertenden Pixel (12, 12‘) zusammen die spektralen Empfindlichkeiten der vordefinierten Abfolge (40) spektraler Empfindlichkeiten aufweisen, und o die jeweiligen Helligkeitsinformationen der gemeinsam auszuwertenden Pixel (12, 12‘) ihren jeweiligen spektralen Empfindlichkeiten zuzuordnen und diese als Gruppeninformationen für jedes auszuwertende Pixel (12) bereitzustellen.

2. Optischer Sensor (5) nach Anspruch 1 , wobei die Auswerteeinheit (30) eingerichtet ist, mittels des Auswertemusters (60) neben dem aktuell auszuwertenden Pixel (12) zusätzlich diejenigen vier Pixel (12‘) der Pixelmatrix (10) zum Erzeugen der Gruppeninformation auszuwerten,

• welche jeweils mit einer Kante an eine der Kanten des auszuwertenden Pixels (12) angrenzen, und/oder

• welche jeweils diagonal an das auszuwertende Pixel (12) angrenzen.

3. Optischer Sensor (5) nach einem der vorstehenden Ansprüche, wobei die wenigstens drei Pixel (12), welche auf Basis der vordefinierten Abfolge (40) spektraler Empfindlichkeiten eingerichtet sind, im Wesentlichen nur Licht im sichtbaren Spektralbereich mit jeweils voneinander abweichenden spektralen Empfindlichkeiten zu erfassen, eingerichtet sind, rotes, grünes und blaues Licht zu erfassen.

4. Optischer Sensor (5) nach einem der vorstehenden Ansprüche, wobei das wenigstens eine Pixel (12) der fünf aufeinanderfolgenden Pixel (12), welches zum Erfassen von Licht außerhalb des sichtbaren Bereichs vorgesehen ist, eingerichtet ist, Licht

• im nahen Infrarotbereich und/oder im kurzwelligen Infrarotbereich, und/oder

• in einem Wellenlängenbereich von 700 nm bis 1000 nm, und/oder

• in einem Wellenlängenbereich von 1000 nm bis 2000 nm, und/oder

• in einem Wellenlängenbereich von 1150 nm bis 1250 nm, und/oder

• in einem Wellenlängenbereich von 1350 nm bis 1450 nm zu erfassen.

5. Optischer Sensor (5) nach einem der vorstehenden Ansprüche, wobei ein Pixel (12) der vordefinierten Abfolge (40) von Pixeln (12) eingerichtet ist, Licht im gesamten sichtbaren Spektralbereich zu empfangen.

6. Optischer Sensor (5) nach einem der vorstehenden Ansprüche, wobei die jeweiligen spektralen Empfindlichkeiten der Pixel (12) der Pixelmatrix (10) auf Basis

• einer Vielzahl von Spektralfiltern realisiert sind, welche den jeweiligen Pixeln (12) vorgelagert angeordnet sind, um auf den optischen Sensor (5) einfallendes Licht vor dem Auftreffen auf die Pixelmatrix (10) zu filtern, und/oder

• unterschiedlich ausgebildeter lichtempfindlicher Zellen realisiert sind.

7. Umfelderkennungssystem (70) aufweisend einen optischen Sensor (5) nach einem der vorstehenden Ansprüche, wobei das Umfelderkennungssystem (70) eingerichtet ist, durch den optischen Sensor (5) erfasste Umfeldinformationen im sichtbaren Spektral bereich mittels durch den optischen Sensor (5) erfasster Umfeldinformationen im nahen Infrarotbereich und/oder im kurzwelligen Infrarotbereich zu plausibilisieren und/oder zu ergänzen.

8. Umfelderkennungssystem (70) nach Anspruch 7, wobei das Umfelderkennungssystem (70) auf Basis von Messsignalen des optischen Sensors (5) eingerichtet ist,

• Eis und/oder Wasser und/oder Nebel, und/oder

• Personen und/oder Tiere und/oder Pflanzen, und/oder

• unterschiedliche Materialien zu identifizieren.

9. Fahrzeug (80) aufweisend einen optischen Sensor (5) nach einem der Ansprüche 1 bis 6 und/oder ein Umfelderkennungssystem (70) nach Anspruch 7 oder 8.

10. Fahrzeug (80) nach Anspruch 9, wobei das Fahrzeug (80) eingerichtet ist, mittels des optischen Sensors (5) und/oder des Umfelderkennungssystems (70) erfasste Umfeldinformationen für einen teilautonomen und/oder vollautonomen Fährbetrieb und/oder für ein Fahrerassistenzsystem des Fahrzeugs (80) zu verwenden.