DE102020119116B3

DE102020119116B3 - Verfahren zur Detektion von Verunreinigungen einer optischen Sensoranordnung

Info

Publication number: DE102020119116B3
Application number: DE102020119116.2A
Authority: DE
Inventors: Philipp Schindler; Andreas Scharf; Robin Heinzler
Original assignee: Robert Bosch GmbH; Daimler AG
Current assignee: Robert Bosch GmbH; Mercedes Benz Group AG
Priority date: 2020-07-21
Filing date: 2020-07-21
Publication date: 2021-12-16
Anticipated expiration: 2040-07-22
Also published as: US20230288545A1; CN116057416A; JP2023534817A; KR20230038577A; WO2022017689A1; JP7518279B2

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung (1). Erfindungsgemäß werden zur Erfassung von Objekten (O1 bis On) mittels einer Mehrzahl von Photodetektorelementen der Sensoranordnung (1) an den Objekten (O1 bis On) reflektierte Lichtsignale (LS2) erfasst, wobei eine Klassifikation eines jeweiligen Objekts (O1 bis On) nach seiner Art durchgeführt und das Objekt (O1 bis On) bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet wird, ein Abstand zu dem Objekt (O1 bis On) ermittelt wird, ein Übersprechen der detektierten Lichtsignale (L2) auf mehrere Photodetektorelemente erfasst wird und in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung.
Aus der DE 10 2005 003 970 A1 ist ein Verfahren zur Bestimmung einer Verschmutzung an einer einen Lidarsensor umfassenden Sensoranordnung an einem Kraftfahrzeug bekannt, wobei ein von der Sensoranordnung erfasster Bereich in verschiedene Unterbereiche unterteilt ist und wobei einem Unterbereich zugeordnete Sensorsignale aus einem bestimmten Umgebungsbereich zur Bestimmung der Funktionsfähigkeit der Sensoranordnung ausgewertet werden. Dabei werden Sensorsignale ausgewertet, die nacheinander für verschiedene Unterbereiche bei einer Vorbeifahrt an dem bestimmten Umgebungsbereich erfasst werden. Dabei werden die Unterbereiche dadurch realisiert, dass eine Mehrzahl einzelner Sensoren betrachtet wird, deren Erfassungsbereiche jeweils einen Unterbereich repräsentieren.
Weiterhin ist aus der DE 10 2019 005 060 A1 eine Abstandsmessvorrichtung bekannt, welche einen Bestrahlungsabschnitt, der ein Objekt mit Abstandsmesslicht bestrahlt, und einen lichtempfangenden Abschnitt, der reflektiertes Licht von dem Objekt empfängt, umfasst. Die Abstandsmessvorrichtung gibt einen Abstandsmesswert zu dem Objekt, der auf der Grundlage eines Phasenunterschieds zwischen dem Abstandsmesslicht und dem reflektierten Licht berechnet ist, und eine Lichtintensität des reflektierten Lichts aus. Die Abstandsmessvorrichtung umfasst ferner einen Optisches-System-Abnormalität-Erkennungsabschnitt, der eine Abnormalität eines optischen Systems der Abstandsmessvorrichtung durch Vergleichen einer Beziehung zwischen dem Abstandsmesswert und der Lichtintensität mit einem Referenzwert erkennt.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung, beispielsweise eines Lidarsensors oder einer Kamera, werden erfindungsgemäß zur Erfassung von Objekten mittels einer Mehrzahl von Photodetektorelementen der Sensoranordnung an den Objekten reflektierte Lichtsignale erfasst. Eine Klassifikation eines jeweiligen Objekts wird nach seiner Art durchgeführt und das Objekt wird bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet. Weiterhin wird ein Abstand zu dem Objekt ermittelt, ein Übersprechen der detektierten Lichtsignale auf mehrere Photodetektorelemente erfasst und in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt.
Verunreinigungen bzw. Kontaminierungen des optischen Pfades von Sensoranordnungen mindern deren Detektionsperformance und damit eine Verfügbarkeit und Sicherheit eines mittels der Sensoranordnung erfasste Daten verwendenden Systems, insbesondere eines Fahrerassistenzsystems oder eines Systems zum automatisierten, insbesondere vollautomatisierten oder autonomen, Betrieb eines Fahrzeugs und/oder Roboters. Befindet sich die Kontaminierung innerhalb der Sensoranordnung, so liegt ein latenter Defekt vor, welcher nicht ohne weiteres beseitigt werden kann. Kontaminierungen auf einer Abdeckung der Sensoranordnung jedoch können durch geeignete Reinigungssysteme entfernt werden. Somit ist die Erkennung der Kontaminierung essentiell für eine Ansteuerung eines solchen Reinigungssystems und zur Überwachung von sicherheitsrelevanten intrinsischen Einschränkungen.
Mittels des Verfahrens ist eine besonders zuverlässige und einfach durchführbare Erkennung von Verunreinigungen bzw. Kontaminierungen des optischen Pfades von Sensoranordnungen möglich, so dass Systemgrenzen der die mittels der Sensoranordnung erfassten Daten verwendenden Systeme sicher erkannt und eine Reinigung der Sensoranordnung durchgeführt werden kann. Somit wird eine Sensorverfügbarkeit und daraus folgend eine Systemverfügbarkeit erhöht. Darüber hinaus wird die Sicherheit des Systems durch eine zuverlässige Erkennung von Performanceeinschränkungen erhöht.
In einer möglichen Ausgestaltung des Verfahrens wird die Ermittlung des Grads der Verunreinigung anhand zumindest einer Look-up-Tabelle durchgeführt. Dies ist besonders einfach und zuverlässig durchführbar.
In einer weiteren möglichen Ausgestaltung des Verfahrens wird die zumindest eine Look-up-Tabelle anhand zumindest einer mittels der Sensoranordnung durchgeführten Referenzmessung erzeugt. Somit kann eine optimale Referenzierung durchgeführt werden.
In einer möglichen Ausgestaltung des Verfahrens wird das Übersprechen ermittelt, indem ein von der Sensoranordnung erfasstes Bild auf für ein Übersprechen typische Strukturen untersucht wird. Dies ermöglicht eine einfache und zuverlässige Ermittlung des Übersprechens.
In einer möglichen Ausgestaltung des Verfahrens werden als Strukturen linienförmige Strukturen verwendet und es wird dann ein Übersprechen ermittelt, wenn die linienförmigen Strukturen verwischt sind. Eine solche Ausgestaltung eignet sich insbesondere bei als so genannte Linienscanner ausgebildeten Sensoranordnungen, insbesondere Lidaren, und ermöglicht eine einfache und sehr zuverlässige Ermittlung des Übersprechens. Dabei wird insbesondere mit steigendem Grad einer Verwischung ein steigender Grad des Übersprechens ermittelt.
In einer möglichen Ausgestaltung des Verfahrens wird das Übersprechen ermittelt, indem Abmessungen des erfassten Objekts mit erwarteten Abmessungen eines solchen Objekts verglichen werden und mit steigender positiver Abweichung der Abmessungen des erfassten Objekts von den erwarteten Abmessungen ein steigender Grad des Übersprechens ermittelt wird. Auch mittels dieser Ausgestaltung ist das Übersprechen einfach und zuverlässig ermittelbar.
In einer möglichen Ausgestaltung des Verfahrens werden die erwarteten Abmessungen aus Abmessungen ermittelt, welche für eine dem Objekt entsprechende Objektklasse anhand zumindest einer mittels der Sensoranordnung durchgeführten Referenzmessung ermittelt werden.
In einer möglichen Ausgestaltung des Verfahrens werden die erwarteten Abmessungen aus einer dem Objekt entsprechenden Objektklasse hergeleitet, wobei zu der Objektklasse gehörige Objekte standardisierte Abmessungen aufweisen. Beispielsweise handelt es sich bei solchen Objekten um Verkehrsschilder. Aufgrund der standardisierten Abmessungen solcher Objekte resultieren bei einem Vergleich dieser mit den Abmessungen des erfassten Objekts sehr genaue und zuverlässige Ergebnisse.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch eine perspektivische Ansicht eines ersten Ausführungsbeispiels eines Lidars und dessen Erfassungsbereichs während eines Aussendens von Laserstrahlung,
2 schematisch eine perspektivische Ansicht des Lidars und dessen Erfassungsbereichs gemäß 1 während eines Empfangs von reflektierter Laserstrahlung,
3 schematisch eine Szene mit mehreren Objekten und
4 schematisch ein mittels eines Lidars erfasstes Bild der Szene gemäß 3.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist eine perspektivische Ansicht eines ersten Ausführungsbeispiels einer als Lidar ausgebildeten optischen Sensoranordnung 1 und eines Erfassungsbereichs E derselben während eines Aussendens von als Laserstrahlung ausgebildeten Lichtsignalen L1 dargestellt. 2 zeigt eine perspektivische Ansicht der Sensoranordnung 1 und des Erfassungsbereichs E gemäß 1 während eines Empfangs von als Laserstrahlung ausgebildeten reflektierten Lichtsignalen L2.
Die Sensoranordnung 1 ist beispielsweise Bestandteil eines nicht gezeigten Fahrzeugs und/oder Roboters, wobei mittels der Sensoranordnung 1 erfasste Daten einer Fahrzeug- und/oder Roboterumgebung zur Ausführung eines automatisierten, insbesondere vollautomatisierten oder autonomen, Betriebs des Fahrzeugs und/oder Roboters verwendet werden.
Die als Lidar ausgebildete Sensoranordnung 1 sendet die Lichtsignale L1, insbesondere Laserimpulse, aus, welche von in 3 näher dargestellten Objekten 01 bis On im Erfassungsbereich E reflektiert werden und als reflektierte Lichtsignale L2 vom Lidar detektiert werden.
Hierzu umfasst die Sensoranordnung 1 in nicht näher dargestellter Weise eine Mehrzahl von Empfangselementen, welche auf unterschiedliche Raumwinkel des Erfassungsbereichs E abgebildet werden. Insbesondere handelt es sich bei den Empfangselementen um Photodetektorelemente.
Im dargestellten Ausführungsbeispiel ist die als Lidar ausgebildete Sensoranordnung 1 ein so genannter Linienscanner, welcher eine Linie Y seines gesamten Sicht- bzw. Erfassungsbereichs E gleichzeitig beleuchtet und unterschiedliche Raumwinkel auf einem so genannten Imager bzw. Diodenfeld abbildet. So wird der gesamte vertikale Erfassungsbereich E gleichzeitig beleuchtet und eine vertikale Auflösung durch eine Vielzahl von Einzelempfängern, insbesondere Photodetektorelementen, erreicht. Diese Linie Y wird dann horizontal über den Erfassungsbereich E abgelenkt, beispielsweise mittels einer Rotation eines Senders und eines Empfängers der Sensoranordnung 1.
Liegt eine Kontaminierung, insbesondere eine Verschmutzung oder Verunreinigung, im Signalpfad der Sensoranordnung 1 vor, so werden die ausgesendeten und empfangenen Lichtsignale L1, L2 an der Kontaminierung zumindest teilweise gestreut und somit an einer Vielzahl von Einzelempfängern der Sensoranordnung 1 detektiert. Eine solche Streuung der reflektierten und detektierten Lichtsignale L2 auf mehrere Photodetektorelemente wird als Übersprechen bezeichnet.
Um eine Kontaminierung im Signalpfad der Sensoranordnung 1 zu erfassen, ist deshalb vorgesehen, dass nach der Erfassung eines Objekts O1 bis On mittels der Sensoranordnung 1 eine Klassifikation des Objekts O1 bis On nach seiner Art durchgeführt wird und das Objekt O1 bis On bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet wird. Weiterhin wird ein Abstand zu dem Objekt O1 bis On ermittelt und es wird ein Übersprechen der detektierten Lichtsignale L2 auf mehrere Photodetektorelemente erfasst, wobei in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt wird.
In 3 ist eine Szene mit mehreren Objekten O1 bis On dargestellt, wobei ein Objekt O1 ein Verkehrsschild ist und die anderen Objekte 02 bis On hochreflektive Fahrbahnmarkierungen sind.
Wird diese Szene von einer als Lidar-Linienscanner ausgebildeten Sensoranordnung 1 vermessen bzw. gescannt, ergibt sich das in 4 dargestellte Bild B.
Dabei ist ersichtlich, dass die Objekte O1 bis On von der Sensoranordnung 1 größer erfasst werden, als diese in der Realität sind. Dies resultiert aus dem Übersprechen, wobei ein Grad des Übersprechens von einer Reflektivität des entsprechenden Objekts O1 bis On, einem Abstand der Sensoranordnung 1 zu dem entsprechenden Objekt O1 bis On und einer aus der Kontaminierung des Signalpfads der Sensoranordnung 1 resultierenden optischen Streuung abhängig ist.
Der Abstand der Objekte O1 bis On zur Sensoranordnung 1 ist dabei bekannt, da dieser mittels des Lidars direkt per Laufzeitmessung ermittelt wird. Die Reflektivität der einzelnen Objekte O1 bis On kann beispielsweise anhand der Klassifikation der Objekte O1 bis On nach ihrer Art, z B. als Verkehrsschild, ermittelt werden und darüber hinaus durch Daten einer digitalen Straßenkarte verfeinert werden. Hierfür werden die ermittelten Reflektivitäten beispielsweise durch so genannte Mapping-Fahrzeuge und/oder Flottendaten in der digitalen Karte abgelegt und somit hochaktuell und hochgenau gehalten. Somit kann aus einem Grad des Übersprechens direkt die Kontaminierung im Signalpfad abgeleitet werden. In Abhängigkeit des Übersprechens kann auch ermittelt werden, in welchem Raumwinkel die Kontaminierung vorliegt, da nur bei einer Überlappung mit den empfangenen Lichtsignalen L2 eine Streuung auftritt. Liegt die Kontaminierung also beispielsweise ganz links im Erfassungsbereich der als Lidar-Linienscanner ausgebildeten Sensoranordnung 1 vor, so wird das Übersprechen in diesem Bereich stark sein, solange die optische Apertur mit der Kontaminierung überlappt. Mit abnehmender Überlappung wird der Effekt kleiner.
Beispielsweise erfolgt die Ermittlung des Grads der Verunreinigung anhand zumindest einer Look-up-Tabelle, welche anhand zumindest einer mittels der Sensoranordnung 1 oder mittels anderer gleichartiger Sensoranordnungen 1, beispielsweise Sensoranordnungen 1 anderer Fahrzeuge und/oder Roboter, durchgeführten Referenzmessung erzeugt wird.
Somit wird das Übersprechen ermittelt, indem das von der Sensoranordnung 1 erfasste Bild B auf für ein Übersprechen typische Strukturen untersucht wird. Beispielsweise werden bei einer als Lidar-Linienscanner ausgebildeten Sensoranordnung 1 als Strukturen linienförmige Strukturen verwendet und es wird dann ein Übersprechen ermittelt, wenn die linienförmigen Strukturen verwischt sind. Dabei kann mit steigendem Grad einer Verwischung ein steigender Grad des Übersprechens ermittelt werden.
Das Übersprechen kann alternativ oder zusätzlich ermittelt werden, indem die Abmessungen der erfassten Objekte O1 bis On mit erwarteten Abmessungen eines solchen Objekts O1 bis On verglichen werden, wobei mit steigender positiver Abweichung der Abmessungen des erfassten Objekts O1 bis On von den erwarteten Abmessungen ein steigender Grad des Übersprechens ermittelt wird. Dabei werden die erwarteten Abmessungen aus Abmessungen ermittelt, welche für eine dem Objekt O1 bis On in der Klassifikation ermittelte entsprechende Objektklasse anhand zumindest einer mittels der Sensoranordnung 1 durchgeführten Referenzmessung ermittelt wurden. Alternativ oder zusätzlich werden die erwarteten Abmessungen aus einer dem Objekt O1 bis On entsprechenden Objektklasse hergeleitet, wobei zu der Objektklasse gehörige Objekte O1 bis On, wie beispielsweise Verkehrsschilder, standardisierte Abmessungen aufweisen.
Das zuvor beschriebene Verfahren zur Ermittlung der Kontaminierung im Signalpfad der Sensoranordnung 1 ist auch auf solche Sensoranordnungen 1 übertragbar, welche als Sensor zumindest eine Kamera umfassen. Hierbei wird zur Beleuchtung der Objekte O1 bis On Licht von anderen Verkehrsteilnehmern und einer Infrastruktur und von fahrzeugeigenen oder robotereigenen Lichtquellen verwendet und mittels der Kamera werden von den Objekten O1 bis On reflektierte Lichtsignale L2 erfasst. Hierbei auftretende Effekte sind beispielsweise mit so genannten Lichtschwertern vergleichbar, welche von Scheinwerfern anderer Fahrzeuge erzeugt werden, wenn Wasserschlieren von Scheibenwischern auf einer Frontscheibe eines Fahrzeugs zurückbleiben. Durch das Fahrzeuglicht kann ein solcher Effekt beispielsweise auf Verkehrsschildern gezielt provoziert werden, indem beispielsweise eine verstärkte Ausleuchtung von Verkehrsschildern mittels Pixellicht durchgeführt wird. Um den dabei auftretenden Effekt weiter zu verstärken, kann eine Belichtungsdauer der Kamera entsprechend angepasst, insbesondere erhöht werden.
Bezugszeichenliste

1: Sensoranordnung
B: Bild
E: Erfassungsbereich
L1: Lichtsignal
L2: Lichtsignal
O1 bis On: Objekt
Y: Linie

Claims

Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung (1), dadurch gekennzeichnet, dass - zur Erfassung von Objekten (O1 bis On) mittels einer Mehrzahl von Photodetektorelementen der Sensoranordnung (1) an den Objekten (O1 bis On) reflektierte Lichtsignale (LS2) erfasst werden, - eine Klassifikation eines jeweiligen Objekts (O1 bis On) nach seiner Art durchgeführt und das Objekt (O1 bis On) bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet wird, - ein Abstand zu dem Objekt (O1 bis On) ermittelt wird, - ein Übersprechen der detektierten Lichtsignale (L2) auf mehrere Photodetektorelemente erfasst wird und - in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung des Grads der Verunreinigung anhand zumindest einer Look-up-Tabelle durchgeführt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zumindest eine Look-up-Tabelle anhand zumindest einer mittels der Sensoranordnung (1) durchgeführten Referenzmessung erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übersprechen ermittelt wird, indem ein von der Sensoranordnung (1) erfasstes Bild (B) auf für ein Übersprechen typische Strukturen untersucht wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass - als Strukturen linienförmige Strukturen verwendet werden und - dann ein Übersprechen ermittelt wird, wenn die linienförmigen Strukturen verwischt sind.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass mit steigendem Grad einer Verwischung ein steigender Grad des Übersprechens ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übersprechen ermittelt wird, indem - Abmessungen des erfassten Objekts (O1 bis On) mit erwarteten Abmessungen eines solchen Objekts (O1 bis On) verglichen werden und - mit steigender positiver Abweichung der Abmessungen des erfassten Objekts (O1 bis On) von den erwarteten Abmessungen ein steigender Grad des Übersprechens ermittelt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die erwarteten Abmessungen aus Abmessungen ermittelt werden, welche für eine dem Objekt (O1 bis On) entsprechende Objektklasse anhand zumindest einer mittels der Sensoranordnung (1) durchgeführten Referenzmessung ermittelt werden.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die erwarteten Abmessungen aus einer dem Objekt (O1 bis On) entsprechenden Objektklasse hergeleitet werden, wobei zu der Objektklasse gehörige Objekte (O1 bis On) standardisierte Abmessungen aufweisen.
Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche in einem Fahrzeug und/oder Roboter zur Ausführung eines automatisierten, insbesondere vollautomatisierten oder autonomen, Betriebs.