DE102018206342B4

DE102018206342B4 - Verfahren zur Freisichtprüfung einer Sensorbaugruppe

Info

Publication number: DE102018206342B4
Application number: DE102018206342.7A
Authority: DE
Inventors: Karsten Breuer; Thomas Wichmann; Manfred Gantner; Manuel Walter
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2018-04-25
Filing date: 2018-04-25
Publication date: 2023-05-17
Anticipated expiration: 2038-04-26
Also published as: DE102018206342A1

Abstract

Verfahren zur Freisichtprüfung einer Sensorbaugruppe (1), bestehend aus zumindest einem optischen Sensor (2), wobei der optische Sensor eine Kamera ist, und zumindest einem weiteren Sensor (3), wobei der weitere Sensor ein Radarsensor ist, wobei die Sensorbaugruppe (1) an einer Scheibe (5), insbesondere an einer Windschutzscheibe eines Fahrzeugs angeordnet ist, wobei sich die Erfassungsbereiche der beiden Sensoren (2, 3) zumindest teilweise überschneiden, umfassend folgende Schritte:
- Erfassen (S1) eines Umgebungsausschnittes mittels des optischen Sensors (2),
- Ermitteln (S2) einer zumindest teilweisen Abdeckung (4) eines Erfassungsbereichs des optischen Sensors (2),
- Erfassen (S3) eines Umgebungsausschnittes mittels des weiteren Sensors (3),
- Ermitteln (S4) einer zumindest teilweisen Abdeckung (4) eines Erfassungsbereichs des weiteren Sensors (3),
- Erfassen (S5) eines weiteren Umgebungsausschnittes mittels des optischen Sensors (2),
- Ermitteln (S6), ob die zumindest teilweise Abdeckung (4) im Erfassungsbereich des optischen Sensors (2) behoben wurde,
- Prädizieren (S7) einer Behebung der zumindest teilweisen Abdeckung (4) des weiteren Sensors (3) nach Feststellen der Behebung durch den optischen Sensor (2).

Description

Die Erfindung betrifft ein Verfahren zur Freisichtprüfung einer Sensorbaugruppe.
Aus dem Stand der Technik sind beispielsweise Radarsensoren bekannt, welche eine Abdeckung (z.B. durch Eis oder Schnee) daran erkennen, dass sich das Verhalten zwischen ausgesandter und empfangener Energie charakteristisch verändert. Dabei können Radarsensoren eine (Teil-)Abdeckung auch daran erkennen, wie sich das Detektionsverhalten anderer Verkehrsteilnehmer oder stationärer Objekte verändert (z.B. Objekte werden nur noch bis zu einer bestimmten Entfernung detektiert und dann immer verloren).
Im Fall der Erkennung einer Abdeckung der Radarsensoren können Fahrzeugregelfunktionen deaktiviert werden. Diese Deaktivierung führt zu einem Fehlerzustand, welcher dem Fahrer durch entsprechende Warnsymbole im Kombiinstrument angezeigt wird. Zur Aufhebung dieses Fehlerzustands muss der Radarsensor erst sicher feststellen, dass er wieder andere Objekte in ausreichender Signalqualität und damit auch Reichweite erfassen kann; dies erfolgt üblicherweise über ein statistisches Beobachtungsverfahren.
Auch ist bekannt, dass Kameras eine (Teil-)Abdeckung ihres Sichtbereiches direkt aus der Bildverarbeitung ableiten und in gleicher Weise auch die Freisicht erkennen, was nur sehr wenig Zeit in Anspruch nimmt.
Aus der Druckschrift US 2016 / 0 121 855 A1 ist ein Wischersystem zum Reinigen einer Oberfläche einer Kuppel bekannt.
Die Druckschrift DE 103 32 939 A1 beschreibt eine Vorrichtung zum Reinigen eines Frontbereiches, welcher vor einem Fahrzeug, insbesondere Nutzfahrzeug, eingebauten Abstandssensors liegt.
In der Druckschrift DE 10 2018 113 386 A1 wird ein Verfahren zum Reinigen von Fahrzeugsensoren beschrieben.
Die Druckschrift DE 10 2012 222 126 A1 offenbart ein Verfahren zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera.
In der Druckschrift DE 10 2010 041 475 A1 wird eine Abdeckung für einen eingebauten optischen Sensor beschrieben.
Die Druckschrift DE 10 2005 055 087 A1 zeigt eine Vorrichtung zum Erkennen einer Abweichung eines Fahrzeugs von einer Sollfahrbahn, aufweisend mindestens ein Scheinwerfermodul, wobei das mindestens eine Scheinwerfermodul mindestens eine Halbleiterlichtquelle zur Beleuchtung eines Fahrbahnbereichs mit sichtbarem Licht aufweist.
Die Druckschrift DE 10 2016 103 863 A1 beschreibt eine Steuervorrichtung für ein Fahrzeug umfassend einen Umgebungsinformationserfassungsabschnitt, einen Messabschnitt, der Schmutz am Umgebungsinformationserfassungsabschnitt misst, einen Entfernabschnitt, der Schmutz an dem Umgebungsinformationserfassungsabschnitt entfernt und einen Steuerabschnitt, der den Entfernabschnitt steuert, um den Schmutz zu entfernen.
In der Druckschrift DE 10 2016 006 039 A1 ist eine Reinigungseinrichtung eines Sensormoduls eines autonom gesteuerten Kraftwagens gezeigt.
Es ist eine Aufgabe der Erfindung eine Freisichtprüfung für Sensorbaugruppen derart zu verbessern, dass die Schnelligkeit sowie die Zuverlässigkeit der Freisichtprüfung erhöht wird.
Diese Aufgabe wird durch die Merkmale des unabhängigen Anspruchs 1 gelöst. Weitere vorteilhafte Ausgestaltungen und Ausführungsformen ergeben sich aus den Unteransprüchen.
Eine Freisichtprüfung umfasst dabei die Ermittlung, ob innerhalb des Erfassungsbereichs zumindest eines Sensors eine Abdeckung vorliegt oder nicht.
Erste Überlegungen waren dahingehend, dass beispielsweise Radar und Kamera üblicherweise an unterschiedlichen Stellen in einem Fahrzeug (Fahrzeugfront und Windschutzscheibe) verbaut sind. Aus diesem Grund kann bei einer bestätigten Freisicht der Kamera nicht auf den Zustand des Radars und umgekehrt geschlossen werden.
Die statistische Freisichtprüfung des Radars erfordert eine ausreichende Anzahl von beobachtbaren Objekten, so dass je nach Verkehrsumfeld (Straße durch Felder ohne Randbebauung, wenig Verkehr) eine sehr lange Fahrstrecke benötigt wird, bevor die Prüfung ein sicheres Ergebnis liefern kann.
Erfindungsgemäß wird daher ein Verfahren zur Freisichtprüfung einer Sensorbaugruppe, bestehend aus zumindest einem optischen Sensor, wobei der optische Sensor eine Kamera ist, und zumindest einem weiteren Sensor, wobei der weitere Sensor ein Radarsensor ist, vorgeschlagen, wobei sich die Erfassungsbereiche der beiden Sensoren zumindest teilweise überschneiden, wobei die Sensorbaugruppe an einer Scheibe, insbesondere an einer Windschutzscheibe eines Fahrzeugs angeordnet ist, umfassend folgende Schritte:

- Erfassen eines Umgebungsausschnittes mittels des optischen Sensors,
- Ermitteln einer zumindest teilweisen Abdeckung eines Erfassungsbereichs des optischen Sensors,
- Erfassen eines Umgebungsausschnittes mittels des weiteren Sensors,
- Ermitteln einer zumindest teilweisen Abdeckung eines Erfassungsbereichs des weiteren Sensors,
- Erfassen eines weiteren Umgebungsausschnittes mittels des optischen Sensors
- Ermitteln, ob die zumindest teilweise Abdeckung im Erfassungsbereich des optischen Sensors behoben wurde
- Prädizieren einer Behebung der zumindest teilweisen Abdeckung des weiteren Sensors nach Feststellen der Behebung durch den optischen Sensor.

Unter dem Begriff Abdeckung wird im Lichte der Erfindung alles verstanden, was die Erfassung der Sensoren einschränkt oder verhindert, wie beispielsweise eine Verschmutzung oder eine Vereisung der Scheibe. Die beiden Sensoren der Sensorbaugruppe sind derart nebeneinander angeordnet, dass sich deren Erfassungsbereiche zumindest teilweise überschneiden.
Vorteilhaft finden der dritte und der vierte Schritt gleichzeitig zu dem ersten und dem zweiten Schritt statt, so dass beide Sensoren gleichzeitig den Umgebungsbereich erfassen und gleichzeitig eine Abdeckung festgestellt werden kann. Die Schritte können alternativ auch nacheinander ablaufen.
Alternativ kann anstelle der Ermittlung der Abdeckung durch jeden der Sensoren separat, auch eine Abdeckung für den weiteren Sensor prädiziert werden, nachdem von dem optischen Sensor eine Abdeckung in dessen Erfassungsbereich ermittelt wurde. Durch die räumliche Nähe der beiden Sensoren und der damit Verbundenen Überschneidung der Erfassungsbereiche kann bei Feststellen einer Abdeckung des optischen Sensors auch auf eine Abdeckung des weiteren Sensors geschlossen werden.
Alternativ wäre es auch denkbar, dass anstelle der Prädiktion der Behebung der Abdeckung jeder Sensor separat die Behebung der Abdeckung feststellt, wobei hierbei das Ermitteln der Abdeckung für den weiteren Sensor prädiziert werden kann.
Die Ermittlung durch den optischen Sensor, ob die Abdeckung behoben wurde ist insbesondere vorteilhaft, da mittels des optischen Sensors schnell und zuverlässig festgestellt werden kann, ob die Abdeckung behoben wurde oder noch vorhanden ist.
Nach Feststellen der Behebung der Abdeckung durch den optischen Sensor wird eine Freisicht des weiteren Sensors prädiziert. Bei einer festgestellten Freisicht des optischen Sensors wird angenommen bzw. prädiziert, dass keine Abdeckung des weiteren Sensors mehr vorliegt und dieser ebenfalls uneingeschränkt funktionsfähig ist. Auf diese Weise kann die Freisichtprüfung beschleunigt werden. Optional kann diese Prädiktion ebenfalls mittels Daten des weiteren Sensors verifiziert werden
Vorteilhaft kann eine prädizierte Abdeckung des weiteren Sensors mittels Daten des weiteren Sensors verifiziert werden. Dies ist beispielsweise bei einer geringfügigen Abdeckung des optischen Sensors vorteilhaft, da bei einer geringfügigen Abdeckung des Erfassungsbereichs des optischen Sensors der weitere Sensor frei sein kann.
In einer weiteren vorteilhaften Ausgestaltung werden nach Feststellen einer zumindest teilweisen Abdeckung Maßnahmen zur Behebung der Abdeckung aktiviert.
Bevorzugt umfassen die Maßnahmen ein Aktivieren eines Scheibenwischers und/oder ein Aktivieren einer Scheibenheizung und/oder einer Scheibenwaschanlage. Die Aktivierung kann hierbei automatisch erfolgen oder es kann ein Hinweis an den Fahrer ausgegeben werden, woraufhin dieser die entsprechende Maßnahme aktiviert.
Besonders bevorzugt wird durch den optischen Sensor ermittelt, ob die Abdeckung behoben wurde. Dies ist vorteilhaft, da mittels des optischen Sensors schnell und zuverlässig ermittelt werden kann, ob die Abdeckung behoben wurde oder noch vorhanden ist.
In einer bevorzugten Ausgestaltung werden nach Feststellen einer zumindest teilweisen Abdeckung Fahrerassistenzsysteme deaktiviert, welche Daten des optischen Sensors und/oder des weiteren Sensors benötigen. Dies ist vorteilhaft, um Fehlfunktionen der entsprechenden Fahrerassistenzsysteme zu vermeiden.
Bevorzugt löst das Deaktivieren der Fahrerassistenzsysteme eine Meldung an einen Fahrer aus. Die Meldung kann dabei optisch, haptisch und/oder akustisch sein. Beispielsweise kann ein entsprechendes Symbol in der Armatur oder in einem HUD (Head-up-Display) angezeigt werden. Alternativ oder kumulativ kann ein Warnton oder eine akustische Warnmeldung erzeugt werden. Das Symbol kann dabei dauerhaft angezeigt werden solange das jeweilige Fahrerassistenzsystem deaktiviert ist. Die Fahrerassistenzsysteme werden hierbei automatisch deaktiviert. Eine Meldung an den Fahrer ist vorteilhaft, da so sichergestellt wird, dass der Fahrer genau informiert wird, welches Fahrerassistenzsystem nicht mehr aktiv ist.
In einer bevorzugten Ausführungsform werden die deaktivierten Fahrerassistenzsysteme reaktiviert, wenn eine Behebung der Abdeckung festgestellt wird. Die Reaktivierung findet hierbei ebenfalls automatisch statt.
In einer weiteren bevorzugten Ausführung löst das Reaktivieren der Fahrerassistenzsysteme eine weitere Meldung an den Fahrer aus. Die Meldung kann dabei optisch, haptisch und/oder akustisch sein. Beispielsweise kann die Meldung auch ein Deaktivieren eines dauerhaft angezeigten Symbols sein. Es wäre auch möglich, für einen bestimmten Zeitraum ein weiteres Symbol anzuzeigen, welches auf die Reaktivierung hinweist.
Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Zeichnungen.
Darin zeigen:

1: ein schematisches Ablaufdiagramm einer Ausführungsform eines Verfahrens zur Freisichtprüfung;
2: eine schematische Darstellung einer Sensorbaugruppe.

In 1 ist ein schematisches Ablaufdiagramm einer Ausführungsform eines Verfahrens zur Freisichtprüfung dargestellt. Der erste Verfahrensschritt beschreibt dabei das Erfassen S1 eines Umgebungsausschnittes mittels des optischen Sensors 2. In einem nachfolgenden Schritt wird das Ermitteln S2 durchgeführt, ob eine zumindest teilweise Abdeckung 4 eines Erfassungsbereichs des optischen Sensors 2 vorliegt. In einem weiteren Schritt wird ein Erfassen S3 eines Umgebungsausschnitts durch den weiteren Sensor 3 durchgeführt. In einem weiteren Verfahrensschritt wird ein Ermitteln S4 durchgeführt, ob eine teilweise Abdeckung 4 des weiteren Sensors 3 vorliegt. Die Schritte S3 und S4 können dabei zeitgleich zu den Schritten S1 und S2 stattfinden oder aber auch aufeinanderfolgend ausgeführt werden. Im darauf folgenden Schritt wird erneut ein Erfassen S5 eines Umgebungsausschnitts mittels des optischen Sensors 2 durchgeführt. Daraufhin wird in einem nächsten Verfahrensschritt ein Ermitteln S6 durch eine Auswertung des aufgenommenen Bildes durchgeführt, ob die Abdeckung 4 behoben wurde. In einem nächsten Schritt wird nun ein Prädizieren S7 der Behebung der Abdeckung 4 des weiteren Sensors 3 durchgeführt, wenn eine Behebung der Abdeckung 4 durch den optischen Sensor 2 festgestellt wurde. Wird beim Ermitteln S6 keine Behebung festgestellt, so werden die Schritte Erfassen S5 und Ermitteln S6 wiederholt durchgeführt, bis eine Behebung ermittelt wurde.
2 zeigt eine schematische Darstellung einer Sensorbaugruppe 1. Diese Sensorbaugruppe 1 besteht aus einem optischen Sensor 2 und einem weiteren Sensor 3, beispielsweise einem Radarsensor. Die Sensorbaugruppe 1 ist in dieser Darstellung hinter einer Scheibe 5, beispielsweise einer Windschutzscheibe, angeordnet. Auf der Scheibe 5 ist eine Abdeckung 4 erkennbar, welche sowohl den optischen Sensor 2 als auch den weiteren Sensor 3 teilweise verdeckt. Die Abdeckung 4 kann in diesem Fall Schmutz oder Eis sein. Mittels des optischen Sensors 2 wird die Abdeckung 4 erfasst. Aufgrund der Anordnung der Sensoren 2, 3 zueinander kann bei einer Erkennung der Abdeckung 4 durch den optischen Sensor 2 auf eine Abdeckung 4 des weiteren Sensors 3 geschlossen werden, ohne dass der weitere Sensor 3 selbst eine Freisichtprüfung durchführen muss.
Bezugszeichenliste

1: Sensorbaugruppe
2: optischer Sensor
3: weiterer Sensor
4: Abdeckung
5: Scheibe
S1: Erfassen
S2: Ermitteln
S3: Erfassen
S4: Ermitteln
S5: Erfassen
S6: Ermitteln
S7: Prädizieren

Claims

Verfahren zur Freisichtprüfung einer Sensorbaugruppe (1), bestehend aus zumindest einem optischen Sensor (2), wobei der optische Sensor eine Kamera ist, und zumindest einem weiteren Sensor (3), wobei der weitere Sensor ein Radarsensor ist, wobei die Sensorbaugruppe (1) an einer Scheibe (5), insbesondere an einer Windschutzscheibe eines Fahrzeugs angeordnet ist, wobei sich die Erfassungsbereiche der beiden Sensoren (2, 3) zumindest teilweise überschneiden, umfassend folgende Schritte: - Erfassen (S1) eines Umgebungsausschnittes mittels des optischen Sensors (2), - Ermitteln (S2) einer zumindest teilweisen Abdeckung (4) eines Erfassungsbereichs des optischen Sensors (2), - Erfassen (S3) eines Umgebungsausschnittes mittels des weiteren Sensors (3), - Ermitteln (S4) einer zumindest teilweisen Abdeckung (4) eines Erfassungsbereichs des weiteren Sensors (3), - Erfassen (S5) eines weiteren Umgebungsausschnittes mittels des optischen Sensors (2), - Ermitteln (S6), ob die zumindest teilweise Abdeckung (4) im Erfassungsbereich des optischen Sensors (2) behoben wurde, - Prädizieren (S7) einer Behebung der zumindest teilweisen Abdeckung (4) des weiteren Sensors (3) nach Feststellen der Behebung durch den optischen Sensor (2).
Verfahren nach Anspruch 1, wobei nach Feststellen einer zumindest teilweisen Abdeckung (4) Maßnahmen zur Behebung der Abdeckung (4) aktiviert werden.
Verfahren nach Anspruch 2, wobei die Maßnahmen ein Aktivieren eines Scheibenwischers und/oder ein Aktivieren einer Scheibenheizung und/oder einer Scheibenwaschanlage umfassen.
Verfahren nach Anspruch 1, wobei nach Feststellen einer zumindest teilweisen Abdeckung (4) Fahrerassistenzsysteme deaktiviert werden, welche Daten des optischen Sensors (2) und/oder des weiteren Sensors (3) benötigen.
Verfahren nach Anspruch 4, wobei das Deaktivieren der Fahrerassistenzsysteme eine Meldung an einen Fahrer auslöst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die deaktivierten Fahrerassistenzsysteme reaktiviert werden, wenn eine Behebung der Abdeckung (4) festgestellt wird.
Verfahren nach Anspruch 6, wobei das Reaktivieren der Fahrerassistenzsysteme eine weitere Meldung an den Fahrer auslöst.