DE102017113815A1

DE102017113815A1 - Kamerabasiertes Durchwatungsassistenzverfahren

Info

Publication number: DE102017113815A1
Application number: DE102017113815.3A
Authority: DE
Inventors: Senthil Kumar Yogamani; Sunil Chandra; Ciaran Hughes
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2017-06-22
Filing date: 2017-06-22
Publication date: 2018-12-27
Also published as: WO2018234200A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Wattiefenerfassung in einem Fahrzeug (110), das mindestens eine Kamera (116, 118, 120, 122) mit einem Sichtfeld (β) aufweist, das mindestens einen Teil einer Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung abdeckt, mit den Schritten zum Kalibrieren einer Position der mindestens einen Kamera (116, 118, 120, 122) bezüglich einer Karosserie (126) des Fahrzeugs (110) vor der Benutzung des Fahrzeugs (110), Lernen einer Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung, Empfangen eines Kamerabildes, das den Teil einer Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung abdeckt, Identifizieren eines Teils der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118 , 120, 122) in einer Abwärtsrichtung, der nicht mit Flüssigkeit (130) bedeckt ist, Vergleichen des Teils der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung, der nicht mit Flüssigkeit (130) bedeckt ist, mit der Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung mit der Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung und Erfassen einer Wattiefe basierend auf dem Vergleich. Die vorliegende Erfindung betrifft außerdem ein Fahrassistenzsystem (12) für ein Fahrzeug (10), wobei das Fahrassistenzsystem (12) dazu geeignet ist, das vorstehende Verfahren auszuführen. Die vorliegende Erfindung betrifft weiterhin ein Fahrzeug (10) mit einem vorstehend erwähnten Fahrassistenzsystem (12).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Wattiefenerfassung in einem Fahrzeug, das mindestens eine Kamera aufweist.
Auch betrifft die vorliegende Erfindung ein Fahrassistenzsystem für ein Fahrzeug, wobei das Fahrassistenzsystem dazu geeignet ist, das vorstehende Verfahren auszuführen.
Des Weiteren betrifft die vorliegende Erfindung ein Fahrzeug mit dem vorstehend beschriebenen Fahrassistenzsystem.
Bestehende Lösungen für die Wattiefenerfassung in einem Fahrzeug basieren auf Ultraschallsensoren, die typischerweise an Seitenspiegeln montiert sind. Die Ultraschallsensoren sind typischerweise nach unten zum Boden hin gerichtet, um einen Abstand vom Boden zu einer Wasseroberfläche zu erfassen.
1 zeigt ein herkömmliches Fahrzeug 10. Das Fahrzeug weist einen Seitenspiegel 12 auf, und ein Ultraschallsensor 14 ist am Seitenspiegel 12 montiert. Der Ultraschallsensor 14 hat ein Sichtfeld α. Wie in 1 dargestellt ist, ist das Fahrzeug teilweise mit Wasser 16 bedeckt. Daher werden vom Ultraschallsensor 14 emittierte Ultraschallwellen von einer Oberfläche 18 des Wassers 16 reflektiert. Die Wattiefe wird basierend auf Reflexionen von Ultraschallimpulsen bestimmt, die vom Ultraschallsensor 14 emittiert werden. Die Reflexionen werden durch den Ultraschallsensor 14 empfangen, und basierend auf einer Laufzeit der Ultraschallwellen wird ein Abstand zur Oberfläche 18 des Wassers 16 basierend auf einer bekannten Position des Ultraschallsensors 14 am Fahrzeug 10 bestimmt. Zusätzliche Kontaktsensoren 20 zum Erfassen des Wassers 16 basierend auf einem Kontakt sind an einer Unterseite des Fahrzeugs 10 vorgesehen. Die Kontaktsensoren 20 werden beispielsweise zum Validieren der Ultraschallsensoren 14 verwendet.
Derartige Ultraschallsensoren haben jedoch ein begrenztes Sichtfeld zum Erfassen des Wasserpegels, d.h. der Oberfläche des Wassers. Somit führen die Ultraschallsensoren lediglich eine lokale Messung des Wasserspiegels aus. Außerdem erfordern die Ultraschallsensoren typischerweise eine ebene Oberfläche, was die Verwendbarkeit der Ultraschallsensoren begrenzt. Darüber hinaus ist Wasser ein flüssiges Medium, so dass sich seine Oberfläche auf unvorhersehbare Weise stark bewegen kann. Wasser ist aufgrund seiner fluidischen Natur ein sich dynamisch veränderndes Medium. Dies macht es schwierig, die Wattiefe unter Verwendung von Ultraschallsensoren zu bestimmen.
In diesem Zusammenhang weist ein Fahrzeug gemäß der WO 2015/071170 A1 ein System zum Unterstützen einer Steuerung eines Fahrzeugs durch einen Fahrer auf, wenn das Fahrzeug eine Wasserstelle durchwatet. Das System weist eine Messvorrichtung zum Bestimmen einer gemessenen Tiefe von Wasser auf, das das Fahrzeug durchwatet. Die Messvorrichtung ist relativ zum Fahrzeug derart positioniert und angeordnet, dass die gemessene Tiefe die Wassertiefe in einem ersten Messbereich relativ zum tatsächlichen Fahrzeug anzeigt. Ein Prozessor ist mit der Messvorrichtung verbunden und dafür konfiguriert, eine geschätzte Wassertiefe in Abhängigkeit von der gemessenen Tiefe und in Abhängigkeit von der Fahrzeuggeschwindigkeit zu berechnen. Daher weist ein Fahrzeug ein System mit einer Steuereinheit und mindestens einem abgesetzten Sensor auf, der einen ersten Ultraschallwandlersensor aufweist, der an einem linken Seitenspiegel des Fahrzeugs montiert ist, und einen zweiten Ultraschallwandlersensor, der an einem rechten Seitenspiegel des Fahrzeugs montiert ist, so dass der erste und der zweite Ultraschallwandlersensor auf dem Fahrzeug angeordnet sind. Der erste und der zweite Ultraschallwandlersensor sind dafür konfiguriert, ein gepulstes Ultraschallsignal auszusenden und zu empfangen. Die Empfangszeit eines Ultraschallechosignals zeigt einen Abstand an, der zwischen dem Ultraschallwandlersensor und dem Oberflächenpegel einer Wasserstelle in einem dem Fahrzeug benachbarten Messbereich erfasst wird.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Wattiefenerfassung in einem Fahrzeug, ein Fahrassistenzsystem für ein Fahrzeug und ein Fahrzeug mit einem derartigen Fahrassistenzsystem anzugeben, die mindestens einige der vorstehend beschriebenen Probleme lösen. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Wattiefenerfassung in einem Fahrzeug, ein Fahrassistenzsystem für ein Fahrzeug und ein Fahrzeug mit einem derartigen Fahrassistenzsystem anzugeben, die eine zuverlässige Wattiefenerfassung auf eine einfache Weise ermöglichen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Insbesondere ist erfindungsgemäß ein Verfahren zur Wattiefenerfassung in einem Fahrzeug angegeben, das mindestens eine Kamera mit einem Sichtfeld aufweist, das mindestens einen Teil einer Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung abdeckt, mit den Schritten: Kalibrieren einer Position der mindestens einen Kamera bezüglich der Karosserie des Fahrzeugs vor der Benutzung des Fahrzeugs, Lernen einer Form der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung, Empfangen eines Kamerabildes, das den Teil der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung abdeckt, Identifizieren eines Teils der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung, der nicht mit Flüssigkeit bedeckt ist, Vergleichen des Teils der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung, der nicht mit Flüssigkeit bedeckt ist, mit der Form der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung, und Erfassen einer Wattiefe basierend auf dem Vergleich.
Erfindungsgemäß ist außerdem ein Fahrassistenzsystem für ein Fahrzeug angegeben, wobei das Fahrassistenzsystem dazu geeignet ist, das vorstehende Verfahren auszuführen.
Weiter ist erfindungsgemäß ein Fahrzeug mit dem vorstehenden Fahrassistenzsystem angegeben.
Grundidee der vorliegenden Erfindung ist es also, mindestens eine Kamera, typischerweise mindestens eine optische Kamera, zu verwenden, um eine Watzustanderfassung auszuführen. Die Verwendung der mindestens einen Kamera hat den Vorteil, dass sie ein Sichtfeld hat, das besser ist als das Sichtfeld eines typischen Ultraschallsensors. Aufgrund des besseren Sichtfeldes kann ein größerer Bereich der Oberfläche überwacht werden, so dass die Zuverlässigkeit der Watzustanderfassung erhöht werden kann. Darüber hinaus ermöglicht das weite Sichtfeld eine Analyse des Sichtfeldes bereits vor dem Erreichen eines Watbereichs. Darüber hinaus sind heutzutage Fahrzeuge häufig mit mindestens einer Kamera ausgestattet. Daher kann unter Verwendung dieser Kamera das Verfahren ohne zusätzliche Kamerahardware ausgeführt werden. Kameras liefern im Vergleich zu Ultraschallsensoren eine riesige Menge an Sensordaten, die eine detaillierte Analyse ermöglichen, wodurch eine zuverlässige Watzustanderfassung, insbesondere eine Wattiefenerfassung implementiert werden kann.
Durchwaten kann ein gewünschtes oder akzeptiertes Merkmal sein, z.B. im Fall von Geländefahrzeugen. Allerdings ist es auch für normale Fahrzeuge wichtig, eine Wattiefe zu überwachen, um durch eine Flüssigkeit verursachte Schäden zu vermeiden. Die Flüssigkeit ist typischerweise Wasser oder Schlamm mit der Eigenschaft einer Flüssigkeit.
Die Wattiefe bezieht sich auf eine Höhe der Flüssigkeit in einem Bereich um das Fahrzeug. Für Geländefahrzeuge können sogar Wattiefen von mehr als einem Meter erreicht werden, während bei normalen Fahrzeugen eine Wattiefe von wenigen Zentimetern bereits gefährlich sein kann aufgrund möglicher Schäden am Fahrzeug, insbesondere am Motor, insbesondere aufgrund von Wasser, das in den Zylinder eindringt. Basierend auf einer Orientierung des Fahrzeugs kann die Wattiefe unterschiedlich sein, z.B. auf der linken und auf der rechten Seite des Fahrzeugs oder an der Vorderseite und an der Rückseite.
Das Fahrzeug weist mindestens eine Kamera auf. Vorzugsweise weist das Fahrzeug ein Rundumsichtkamerasystem mit mehreren Kameras auf, die alle Richtungen um das Fahrzeug herum abdecken. Daher kann die Wattiefe rund um das Fahrzeug bestimmt werden.
Die mindestens eine Kamera hat ein Sichtfeld, das einen Teil der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung abdeckt. Daher kann dieser Teil der Fahrzeugkarosserie als Referenz für die Erfassung eines Flüssigkeitspegels um das Fahrzeug verwendet werden. Die mindestens eine Kamera stellt Bilder bereit, die den Teil der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung abdecken. Die Bilder können mit einer beliebigen geeigneten Rate bereitgestellt werden, z.B. in Abhängigkeit von der Fahrzeuggeschwindigkeit.
Das Kalibrieren einer Position der mindestens einen Kamera bezüglich der Fahrzeugkarosserie ist erforderlich, um eine absolute Referenz zum Bestimmen der Wattiefe zu erzeugen. Verschiedene Kameras können unterschiedliche Referenzen haben. Aber auch in diesem Fall kann die Information basierend auf den bekannten Referenzpositionen der Kamera kombiniert werden. Die Kalibrierung muss mindestens einmal vor der Benutzung des Fahrzeugs vorgenommen werden. Der Kalibrierungsschritt S100 kann wiederholt werden, z.B. um eine Anpassung an ein geändertes Fahrzeugmerkmal vorzunehmen, beispielsweise wenn sich der Luftdruck von Rädern des Fahrzeugs ändert oder wenn der Luftdruck sich gemäß den aktuellen Fahrbedingungen ändert. Insbesondere können Geländefahrzeuge beim Wechsel zwischen Straßen- und Geländefahrt unterschiedliche Luftdrücke erfordern.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Lernen einer Form der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung das Ausführen eines Selbstlernvorgangs der Form der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung auf. Daher kann das Verfahren leicht auf verschiedene Fahrzeugtypen angewendet werden. Änderungen des Erscheinungsbildes des Fahrzeugs können leicht berücksichtigt werden und führen nicht zu einer falschen Watzustanderfassung, da sich das Fahrzeug an derartige Änderungen anpassen kann, z.B. falls die Farbe des Fahrzeugs geändert wird, Schmutz oder Wassertropfen an der Fahrzeugkarosserie anhaften, Aufkleber an der Fahrzeugkarosserie befestigt sind oder dergleichen. Da die Fahrzeugkarosserie ein statisches Objekt ist, kann sie während einer einfachen Trainingsphase als Hintergrundinformation gelernt werden. Die Form des Fahrzeugs kann von selbst gelernt werden, d.h. außerhalb der Fabrik. Der Schritt zum Lernen einer Form der Fahrzeugkarosserie muss robust sein, um Beleuchtungsänderungen und das Vorhandensein von Reflexionen an der Fahrzeugkarosserie zu handhaben. Typischerweise wird für jede Kamera nur ein Teil der Fahrzeugkarosserie sichtbar sein und als Fahrzeugkarosserie gelernt. Vorzugsweise wird vor der Benutzung des Fahrzeugs ein anfänglicher Trainingsschritt ausgeführt.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Identifizieren eines Teils der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung, der nicht mit Flüssigkeit bedeckt ist, das vorausgehende Modellieren der Flüssigkeit als eine sich im Raum ändernde dynamische Textur mit einer Farbe auf. Aufgrund der Beschaffenheit der Flüssigkeit, z.B. Wasser oder auch Schlamm, kann sich ihre Oberfläche unvorhersehbar bewegen. Flüssigkeiten sind aufgrund ihrer fluidischen Beschaffenheit sich dynamisch ändernde Substanzen. Beispielsweise können sich Wellen auf einer Oberfläche der Flüssigkeit bilden. Dies macht es im Allgemeinen schwierig, eine korrekte Wattiefe zu bestimmen. Allerdings kann, wenn die Flüssigkeit geeignet modelliert wird, eine korrekte Wattiefe trotz einer Bewegung der Flüssigkeit bestimmt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum vorausgehenden Modellieren der Flüssigkeit als eine sich im Raum dynamisch ändernde Textur mit einer Farbe das Modellieren der Flüssigkeit als sich pixelweise zeitlich ändernde Flüssigkeit unter Verwendung eines autoregressiven Gleitender-Mittelwert-Prozesses (Auto Regressive Moving Average Process) auf. Der autoregressive Gleitender-Mittelwert-Prozess wird auch als ARMA-Prozess bezeichnet. Der ARMA-Prozess wird in der statistischen Analyse von Zeitfolgen verwendet. Der ARMA-Prozess liefert eine sparsame Beschreibung eines (schwach) stationären stochastischen Prozesses in Bezug auf zwei Polynome, eines für die Autoregression und das zweite für den gleitenden Mittelwert.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen Schritt zum Erfassen von Oberflächenwasser in einer Fahrtrichtung und einen Schritt zum automatischen Aktivieren der Wattiefenerfassung bei erfasstem Oberflächenwasser in der Fahrtrichtung auf. Wenn die mindestens eine Kamera in die Fahrtrichtung ausgerichtet ist, wird die Erfassung von Oberflächenwasser aktiviert. Das Oberflächenwasser kann in der Regel in Abhängigkeit vom Typ der verwendeten Kamera und/oder einer Ausrichtung der Kamera bereits vor dem Fahrzeug erfasst werden. Es können jedoch auch andere Umgebungssensoren des Fahrzeugs verwendet werden, um Oberflächenwasser in der Fahrtrichtung zu bestimmen. Daher kann die Wattiefenerfassung bereits im Voraus gestartet werden, so dass die Wattiefenerfassung aktiv ist und läuft, wenn das Fahrzeug in das Wasser eintritt. Eine manuelle Interaktion zum Starten der Wattiefenerfassung ist nicht erforderlich.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Erfassen einer Wattiefe basierend auf dem Vergleich das Ausführen einer Subtraktion eines Teils der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung, der nicht mit Flüssigkeit bedeckt ist, von der Form der Fahrzeugkarosserie von der mindestens einen Kamera in einer Abwärtsrichtung auf. Durch Ausführung der Subtraktion kann bestimmt werden, bis zu welcher Höhe der Wasserstand im Bereich der Kamera reicht. Wenn das Subtraktionsergebnis im Wesentlichen Null ergibt, wird angenommen, dass das aktuelle Bild die Form der Fahrzeugkarosserie darstellt, wie sie zuvor gelernt wurde. Daher ist kein Wasser um das Fahrzeug herum vorhanden. Je höher das Subtraktionsergebnis ist, desto größer ist der Unterschied zwischen dem aktuellen Bild und der Form der Fahrzeugkarosserie, wie sie zuvor gelernt wurde. Basierend auf der Subtraktion können Nicht-Karosserieteile leicht eliminiert werden, um die Wattiefe zu bestimmen. Eine Lernphase muss robust sein, um Beleuchtungsänderungen und das Vorhandensein von Reflexionen am Karosserieteilt zu handhaben.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Erfassen einer Wattiefe basierend auf dem Vergleich ferner einen Schritt zum Modellieren von Bildpunkten, die nach der Subtraktion verbleiben, durch K Gaußverteilungen mit Gewichten coi und Parametern µ (Mittelwert) und σ (Varianz) auf. Es gibt viele Varianten des Gaußschen Mischmodells (GMM), die verwendbar sind, um die Bildpunkte zu modellieren. Vorzugsweise weist der Schritt zum Modellieren von Bildpunkten, die nach der Subtraktion verbleiben, durch K Gaußverteilungen das Ausführen einer adaptiven Mischung von Gaußverteilungen auf, wobei die K Gaußverteilungen basierend auf einem Verhältnis ωi/σ² sortiert werden, wodurch die kleinste Varianz und damit konsistentere Gaußverteilungen ‚i‘ gewählt werden, wobei die oberen k Gaußverteilungen aus der sortierten Folge ausgewählt werden. Weiterhin bevorzugt wird ein Gaußmodell mit einer adaptiven Mischung von Gaußverteilungen (MOG) nach Zivkovic verwendet. Gemäß der adaptiven Mischung von Gaußverteilungen nach Zikovic wird die Hintergrundsubtraktion mit einem Ansatz auf Pixelebene analysiert. Es werden rekursive Gleichungen verwendet, um die Parameter ständig zu aktualisieren und gleichzeitig auch eine geeignete Anzahl von Komponenten für jedes Pixel auszuwählen.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Kacheln des Bildes in verschiedene Blöcke auf, wobei die oberen k Gaußverteilungen für jeden Block separat gelernt werden. Daher kann für jeden Block eine Abweichung vom gelernten Modell während der Trainingszeit berechnet werden. Trainingsdaten können künstlich mit verschiedenen Rauscheffekten wie Reflexion, Beleuchtungsänderungen usw. erweitert werden. Wir verwenden dieses Verfahren insbesondere, weil es eine sich ändernde Gaußsche Funktion beinhaltet, die eine zeitliche Veränderung der Flüssigkeitsoberfläche modellieren kann.
Eine Wahrscheinlichkeit, dass ein Pixel durch diese K Gaußverteilungen modelliert wird, kann berechnet werden als $P (I_{t}) = \sum_{i = 1}^{K} ω_{i, t} . η (I_{t}; μ_{i, t}, \sum_{i,}_{t})$
$B = argmin (\frac{\sum_{j = 1}^{k} w_{j}}{\sum_{j = 1}^{K} w_{j}} > T)$
wobei $\sum_{i, t} = σ^{2}_{i, t} I_{t}$
Parameteraktualisierungen werden für den Fall, dass Komponenten mit I übereinstimmen, folgendermaßen ausgeführt: $ω_{i, t} = ω_{i, t - 1}$
$μ_{i, t} = (1 - ρ) μ_{i, t - 1} + ρ I_{t}$
$σ^{2}_{i, t} = (1 - ρ) . σ^{2}_{i, t} + ρ {(I_{t} - μ_{i, t})}^{T} (I_{t} - μ_{i, t})$
wobei $ρ = α_{G M M} P (I_{t} | μ_{i, t - 1}, \sum_{i,}_{t - 1})$
Parameteraktualisierungen werden für den Fall, dass Komponenten nicht mit I übereinstimmen, folgendermaßen ausgeführt:: $ω_{i, t} = (1 - α_{G M M}) ω_{i, t - 1}$
$μ_{i, t} = μ_{i, t - 1}$
$σ^{2}_{i, t} = (1 - α_{G M M}) . σ^{2}_{i, t - 1}$
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Ausführen einer Fahrzeug-Fahrzeug-Warnung bei der Erfassung einer vordefinierten Wattiefe auf. Daher kann Fahrzeugen, die keine Watzustanderfassung unterstützen, Information über die Wattiefe zugeführt werden. Um die Fahrzeug-Fahrzeug-Warnung auszuführen, weist das Fahrzeug eine Kommunikationseinrichtung zum Übermitteln der Wattiefe zu anderen Fahrzeugen entweder direkt oder über einen Server auf, der die Watzustanderfassungsinformation verteilt. Die Kommunikationseinrichtung kann dafür eingerichtet sein, gemäß einem beliebigen geeigneten Mobilkommunikationsstandard, wie beispielsweise Bluetooth, WiFi, GPRS, UMTS, LTE, 5G oder andere, um nur einige zu nennen, zu kommunizieren. Fahrzeug-Fahrzeug-Warnung ermöglicht eine kontaktfreie Watzustanderfassung oder sogar eine Wattiefenerfassung für das gewarnte Fahrzeug.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Ausführen einer dynamischen Online-Hintergrundsubtraktion für andere Fahrzeuge auf. Dabei wird die mindestens eine Kamera verwendet, um zu bestimmen, ob andere Fahrzeuge eingetaucht sind. Eine Wattiefe kann basierend auf einer bekannten oder geschätzten Größe des anderen Fahrzeugs geschätzt werden, und es kann gegebenenfalls eine Hintergrundsubtraktion ausgeführt werden, um festzustellen, in welchem Maße die Fahrzeugkarosserie durch Flüssigkeit bedeckt ist.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Erfassen des Volumens der durch das Fahrzeug verdrängten Flüssigkeit auf. Dadurch kann eine Zunahme z.B. des Wasserpegels basierend auf dem Fahrzeug berücksichtigt werden, das in die Flüssigkeit eintritt oder sich darin bewegt. Wenn z.B. eine Oberfläche des Oberflächenwassers bekannt ist, kann basierend auf den Abmessungen des Fahrzeugs leicht bestimmt werden, wie stark ein Flüssigkeitspegel basierend auf dem Vorhandensein des Fahrzeugs und seiner inhärenten Flüssigkeitsverdrängung ansteigen wird. Für kleine Vertiefungen und große Fahrzeuge ist ein Volumen der verdrängten Flüssigkeit wesentlich größer, so dass die Eintauchtiefe des Fahrzeugs schnell zunimmt. Daher kann ein prädiktives Modell durch die Verwendung eines Partikel-Filters hinzugefügt werden, und die kamerabasierte Schätzung bietet aufgrund eines weiten Sichtfeldes (FoV) eine Tracking- und Lokalisierungsfunktion.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Fahrzeug einen Ultraschall-Abstandssensor auf, und das Verfahren weist einen zusätzlichen Schritt zum Vereinigen der erfassten Wattiefe basierend auf dem Vergleich und einer durch den Ultraschall-Abstandssensor erfassten Wattiefe auf. Die vereinigte Information über die Wattiefe erhöht die Zuverlässigkeit der Watzustanderfassung und insbesondere der Wattiefenerfassung. Der Ultraschall-Abstandssensor kann, wie auf dem Fachgebiet bekannt, zum Bestimmen der Wattiefe verwendet werden. Die Vereinigung kann durch ein heterogenes Bayessches Modell erfolgen, da Daten, die den verschiedenen Sensoren zugeordnet sind, sehr unterschiedlich sind und verschiedene Bereiche haben.
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen ersichtlich und verdeutlicht. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.
Es zeigen:

1 eine schematische Darstellung eines herkömmlichen Fahrzeugs mit einem Fahrassistenzsystem zum Erfassen eines Watzustands unter Verwendung eines Ultraschallsensors in einer Seitenansicht;
2 eine schematische Darstellung eines Fahrzeugs mit einem Fahrassistenzsystem zum Erfassen eines Watzustands unter Verwendung mehrerer Kameras gemäß einer ersten bevorzugten Ausführungsform in einer Draufsicht mit zusätzlichen Kameraansichten der mehreren Kameras;
3 eine detaillierte schematische Kameraansicht einer linken Seitenspiegelkamera gemäß 2, wobei die Kameraansicht einmal mit und einmal ohne Watzustand dargestellt ist, gemäß der ersten Ausführungsform;
4 eine schematische Darstellung des Fahrzeugs mit dem Fahrassistenzsystem gemäß der ersten Ausführungsform zum Erfassen eines Watzustands in einer Seitenansicht;
5 eine schematische Darstellung des Fahrzeugs mit dem Fahrassistenzsystem gemäß der ersten Ausführungsform zum Erfassen eines Watzustands in einer Seitenansicht;
6 eine schematische detaillierte Kameraansicht einer Rückkamera gemäß 2, wobei die Ansicht der Rückkamera mit einzelnen Blöcken dargestellt ist, gemäß der ersten Ausführungsform;
7 eine perspektivische Kameraansicht einer Frontkamera gemäß 2, wobei die Ansicht der Frontkamera ein eingetauchtes Fahrzeug zeigt, gemäß der ersten Ausführungsform; und
8 ein Ablaufdiagramm zum Darstellen eines Verfahren zum Ausführen einer Wattiefenerfassung mit dem Fahrzeug und dem Fahrassistenzsystem gemäß der ersten Ausführungsform.

2 zeigt ein Fahrzeug 110 mit einem Fahrassistenzsystem 112 gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung.
Das Fahrassistenzsystem 112 weist eine Verarbeitungseinheit 114 und ein Rundumsicht-Kamerasystem 116, 118, 120, 122 auf. Das Rundumsicht-Kamerasystem 116, 118, 120, 122 weist eine Frontkamera 116, die eine Vorausrichtung des Fahrzeugs 110 abdeckt, eine Rückkamera 118, die eine Rückwärtsrichtung des Fahrzeugs 110 abdeckt, eine rechte Spiegelkamera 120, die eine rechte Richtung des Fahrzeugs 110 abdeckt, und eine linke Spiegelkamera 122 auf, die eine linke Richtung des Fahrzeugs 110 abdeckt.
Die Kameras 116, 118, 120, 122 und die Verarbeitungseinheit 114 sind über eine Datenbusverbindung 124 verbunden.
Jede Kamera 116, 118, 120, 122 hat ein Sichtfeld β, das z.B. in 4 oder 5 dargestellt ist, und einen Teil einer Fahrzeugkarosserie 126 von der jeweiligen Kamera 116, 118, 120, 122 in einer Abwärtsrichtung abdeckt, wie in 2 und in 3 dargestellt ist.
Nachstehend wird ein Verfahren zur Wattiefenerfassung durch das Fahrzeug 110 gemäß der ersten Ausführungsform diskutiert. Die Wattiefe bezieht sich auf die Höhe einer Flüssigkeit 130, typischerweise Wasser, um das Fahrzeug 10 herum. Insbesondere bezieht sich ein Watzustand auf das Vorhandensein der Flüssigkeit 130 um das Fahrzeug herum, und die Wattiefe bezieht sich auf eine Höhe einer Oberfläche 132 der Flüssigkeit 130. Das Verfahren wird unter Bezug auf 8 diskutiert, die ein Ablaufdiagramm des erfindungsgemäßen Verfahrens zeigt. Offensichtlich können einige der Verfahrensschritte in einer Reihenfolge ausgeführt werden, die sich von der Reihenfolge der beschriebenen Ausführungsformen unterscheidet.
Das Verfahren beginnt mit Schritt S100, der die Kalibrierung einer Position der Kameras 116, 118, 120, 122 bezüglich der Karosserie 126 des Fahrzeugs 110 betrifft. Das Kalibrieren einer Position der Kameras 116, 118, 120, 122 bezüglich der Karosserie 126 des Fahrzeugs 110 betrifft das Erzeugen einer absoluten Referenz zum Bestimmen der Wattiefe. Der Schritt zum Kalibrieren einer Position der Kameras 116, 118, 120, 122 bezüglich der Karosserie 126 des Fahrzeugs 110 wird einmal vor der Benutzung des Fahrzeugs 110 ausgeführt. Später kann Schritt S100 wiederholt werden, z.B. aufgrund sich ändernder Fahrbedingungen.
In Schritt S110 wird eine Form der Fahrzeugkarosserie 126 von der jeweiligen Kamera 116, 118, 120, 122 in einer Abwärtsrichtung von der Kamera 116, 118, 120, 122 gelernt. Dies beinhaltet das Selbstlernen der Form der Fahrzeugkarosserie 126 von den Kameras 116, 118, 120, 122 in einer Abwärtsrichtung. Da die Fahrzeugkarosserie 126 ein statisches Objekt ist, wird die Form während einer Trainingsphase als Hintergrundinformation gelernt. Schritt S110 kann im Wesentlichen zu einem beliebigen Zeitpunkt ausgeführt werden. Schritt S110 muss nicht kontinuierlich oder jedes Mal durchgeführt werden, wenn das Verfahren ausgeführt wird. Der Schritt zum Lernen einer Form der Fahrzeugkarosserie 126 von den jeweiligen Kameras 116, 118, 120, 122 in einer Abwärtsrichtung von der Kamera 116, 118, 120, 122 wird einmal vor der Benutzung des Fahrzeugs 110 als Anfangstraining ausgeführt. Später kann das Training fortgesetzt werden.
In Schritt S120 wird Oberflächenwasser in einer Fahrtrichtung erfasst. Bei positiver Erfassung von Oberflächenwasser in Fahrtrichtung wird die weitere Wattiefenerfassung automatisch gestartet. Die Erfassung des Oberflächenwassers erfolgt unter Verwendung der in Fahrtrichtung blickenden Kamera 116, 118, 120, 122. Am häufigsten wird die Frontkamera 116 zum Erfassen von Oberflächenwasser verwendet.
In Schritt S130 beginnt die Steuereinheit 114, Kamerabilder von den Kameras 116, 118, 120, 122 zu empfangen, die jeweils den entsprechenden Teil der Fahrzeugkarosserie 126 von der Kamera 116, 118, 120, 122 in einer Abwärtsrichtung abdecken.
In Schritt S140 wird ein Teil der Fahrzeugkarosserie 126 von der Kamera 116, 118, 120, 122 in einer Abwärtsrichtung, der nicht mit Flüssigkeit 130 bedeckt ist, identifiziert. Um eine Erfassung der Oberfläche 132 zu ermöglichen, wird die Flüssigkeit 130 im Voraus als eine sich im Raum ändernde dynamische Textur modelliert. Dies beinhaltet das Modellieren der Flüssigkeit 130 als eine sich pixelweise zeitlich ändernde Flüssigkeit durch einen autoregressiven Gleitender-Mittelwert-Prozess. Der autoregressive Gleitender-Mittelwert-Prozess wird auch als ARMA-Prozess bezeichnet. Der ARMA-Prozess wird in der statistischen Analyse von Zeitfolgen verwendet und liefert eine sparsame Beschreibung eines (schwach) stationären stochastischen Prozesses hinsichtlich zweier Polynome, eines für die Autoregression und das zweite für den gleitenden Mittelwert.
Gemäß Schritt S150 wird der Teil der Fahrzeugkarosserie 126 von der Kamera 116, 118, 120, 122 in einer Abwärtsrichtung, der nicht mit Flüssigkeit 130 bedeckt ist, mit der Form der Fahrzeugkarosserie 126 von der Kamera 116, 118, 120, 122 in einer Abwärtsrichtung verglichen. Daher wird die Fahrzeugkarosserie 126 als Referenz für die Erfassung eines Flüssigkeitspegels um das Fahrzeug 110 herum verwendet. Der Vergleich wird als eine Subtraktion der Bilder ausgeführt, so dass die verbleibenden Bildinhalte mit einer Wattiefe in Beziehung stehen. Wie in 3 ersichtlich ist, wird ein identischer Teil des durch die Kamera 116, 118, 120, 122 bereitgestellten Bildes von der gelernten Form der Fahrzeugkarosserie 126 subtrahiert, so dass nur unterschiedliche Teile verbleiben.
Basierend auf dem Vergleich wird in Schritt S160 die Wattiefe erfasst. Daher werden Bildpunkte, die nach der Subtraktion verbleiben, durch K Gaußverteilungen mit den Gewichten ωi und den Parametern µ (Mittelwert) und σ (Varianz) modelliert. Insbesondere wird eine adaptive Mischung von Gaußverteilungen ausgeführt, bei der die K Gaußverteilungen basierend auf einem Verhältnis ωi/σ² sortiert werden, wodurch die kleinste Varianz und damit eine konsistentere Gaußverteilung ‚i‘ ausgewählt wird. Die oberen k Gaußverteilungen werden aus der sortierten Reihenfolge ausgewählt. Außerdem wird ein Gaußmodell mit adaptiver Mischung von Gaußverteilungen (MOG) nach Zivkovic verwendet. Gemäß der adaptiven Mischung von Gaußverteilungen nach Zivkovic wird die Hintergrundsubtraktion gemäß einem Ansatz auf Pixelebene analysiert. Es werden rekursive Gleichungen verwendet, um die Parameter ständig zu aktualisieren und um gleichzeitig auch eine geeignete Anzahl von Komponenten für jedes Pixel auszuwählen.
Daher wird jedes Bild jeder Kamera 116, 118, 120, 122 in verschiedene Blöcke 134 gekachelt, wie in 6 anhand eines Beispiels dargestellt ist, wobei die oberen k Gaußverteilungen für jeden Block 134 separat gelernt werden. Daher wird für jeden Block 134 während der Trainingsphase eine Abweichung von dem gelernten Modell berechnet. Trainingsdaten werden mit verschiedenen Rauscheffekten wie Reflexion, Beleuchtungsänderungen usw. künstlich ergänzt.
Gemäß Schritt S170 wird ein Volumen der durch das Fahrzeug 110 verdrängten Flüssigkeit 130 erfasst. Daher wird ein Anstieg des Flüssigkeitspegels basierend auf dem Fahrzeug 110 bestimmt, das in die Flüssigkeit 130 eintritt und sich darin bewegt. Basierend auf einer Oberfläche 132 des Oberflächenwassers und den Abmessungen des Fahrzeugs 110 wird bestimmt, wie stark eine Wattiefe basierend auf dem Vorhandensein des Fahrzeugs 110 und seiner Verdrängung der Flüssigkeit 130 ansteigt.
Gemäß Schritt S180 wird eine dynamische Online-Hintergrundsubtraktion für andere Fahrzeuge ausgeführt. Dabei werden die Kameras 116, 118, 120, 122 verwendet, um zu bestimmen, ob andere Fahrzeuge 138 eingetaucht sind, wie unter Bezug auf 7 ersichtlich ist. Eine Wattiefe kann basierend auf einer bekannten oder geschätzten Größe des anderen Fahrzeugs 138 geschätzt und angenähert werden, indem eine Hintergrundsubtraktion ausgeführt wird, um festzustellen, in welchem Maß die Fahrzeugkarosserie 126 durch die Flüssigkeit 130 bedeckt ist.
Gemäß Schritt S190 wird bei der Erfassung der Wattiefe eine Fahrzeug-Fahrzeug-Warnung ausgeführt, d.h. die Warnung wird ausgeführt, wenn die Wattiefe eine vordefinierte Wattiefe überschreitet. Das Fahrassistenzsystem 12 weist eine Kommunikationseinrichtung zum Übermitteln der Wattiefe an andere Fahrzeugen entweder direkt oder über einen Server auf, der die Watzustanderfassungsinformation verteilt. Die Kommunikationseinrichtung ist dafür eingerichtet, gemäß einem geeigneten Mobilkommunikationsstandard zu kommunizieren, wie beispielsweise Bluetooth, WiFi, GPRS, UMTS, LTE, 5G oder andere.
Bezugszeichenliste

Fahrzeug (Stand der Technik)	10
Seitenspiegel (Stand der Technik)	12
Ultraschallsensor (Stand der Technik)	14
Wasser (Stand der Technik)	16
Oberfläche (Stand der Technik)	18
Kontaktsensor (Stand der Technik)	20

Fahrzeug	110
Fahrassistenzsystem	112
Verarbeitungseinheit	114
Frontkamera	116
Rückkamera	118
rechte Spiegelkamera	120
linke Spiegelkamera	122
Datenbusverbindung	124
Fahrzeugkarosserie	126
Flüssigkeit	130
Oberfläche	132
Block	134
identisches Teil	136

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2015/071170 A1 [0007]

Claims

Verfahren zur Wattiefenerfassung in einem Fahrzeug (110), das mindestens eine Kamera (116, 118, 120, 122) mit einem Sichtfeld (β) aufweist, das mindestens einen Teil einer Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung abdeckt, mit den Schritten: Kalibrieren einer Position der mindestens einen Kamera (116, 118, 120, 122) bezüglich der Karosserie (126) des Fahrzeugs (110) vor der Nutzung des Fahrzeugs (110); Lernen einer Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung; Empfangen eines Kamerabildes, das den Teil einer Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung abdeckt; Identifizieren eines Teils der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung, der nicht mit Flüssigkeit (130) bedeckt ist; Vergleichen des Teils der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung, der nicht mit Flüssigkeit (130) bedeckt ist, mit der Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung; und Erfassen einer Wattiefe basierend auf dem Vergleich.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt zum Lernen einer Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung das Ausführen eines Selbstlernvorgangs zum Lernen der Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung aufweist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Schritt zum Identifizieren eines Teils der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in eine Abwärtsrichtung, der nicht mit Flüssigkeit (130) bedeckt ist, das Modellieren der Flüssigkeit (130) im Voraus als eine sich im Raum dynamisch ändernde Textur mit einer Farbe aufweist.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Schritt zum Modellieren der Flüssigkeit (130) im Voraus als eine sich im Raum dynamische ändernde Textur mit einer Farbe das Modellieren der Flüssigkeit (130) als eine sich pixelweise zeitlich ändernde Flüssigkeit unter Verwendung eines autoregressiven Gleitender-Mittelwert-Prozesses aufweist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren einen Schritt zum Erfassen von Oberflächenwasser in einer Fahrtrichtung und einen Schritt zum automatischen Aktivieren der Wattiefenerfassung bei erfasstem Oberflächenwasser in der Fahrtrichtung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Erfassen einer Wattiefe basierend auf dem Vergleich das Ausführen einer Subtraktion eines Teils der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in Abwärtsrichtung, der nicht mit Flüssigkeit (130) bedeckt ist, von der Form der Fahrzeugkarosserie (126) von der mindestens einen Kamera (116, 118, 120, 122) in einer Abwärtsrichtung aufweist.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Schritt zum Erfassen einer Wattiefe basierend auf dem Vergleich ferner einen Schritt zum Modellieren von Bildpunkten, die nach der Subtraktion verbleiben, durch K Gaußverteilungen mit den Gewichten ωi und den Parametern µ (Mittelwert) und σ (Varianz) aufweist.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Verfahren den Schritt zum Kacheln des Bildes in verschiedene Blöcke aufweist, wobei die oberen k Gaußverteilungen für jeden Block separat gelernt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Ausführen einer Fahrzeug-Fahrzeug-Warnung bei der Erfassung einer vordefinierten Wattiefe aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Ausführen einer dynamischen Online-Hintergrund-Subtraktion für andere Fahrzeuge aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Ausführen einer Erfassung eines durch das Fahrzeug (110) verdrängten Volumens von Flüssigkeit (130) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug einen Ultraschallabstandssensor aufweist und das Verfahren einen zusätzlichen Schritt zum Vereinigen der basierend auf dem Vergleich erfassten Wattiefe und einer durch den Ultraschallabstandssensor erfassten Wattiefe aufweist.
Fahrassistenzsystem (12) für ein Fahrzeug (10), dadurch gekennzeichnet, dass das Fahrassistenzsystem (12) dazu geeignet ist, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Fahrzeug (10) mit einem Fahrassistenzsystem (12) nach Anspruch 13.