-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors.
-
Aus dem Stand der Technik sind Fortbewegungsmittel bekannt, welche eine kamerabasierte Umfelderkennung durchführen, um Informationen über Objekte im Umfeld der Fortbewegungsmittel zu erhalten. Diese Informationen werden beispielsweise von Fahrerassistenzsystemen und/oder Systemen für eine autonome Steuerung der Fortbewegungsmittel empfangen und von diesen verwendet. Grundlage einer solchen Umfelderkennung sind aus dem Stand der Technik bekannte Algorithmen zu Bildanalyse und zur Klassifikation von Objekten, welche i.d.R. einen oder mehrere Klassifikatoren für bestimmte Objekte einsetzen.
-
Des Weiteren sind aus dem Stand der Technik Regensensoren für Fortbewegungsmittel zur Erkennung eines vorhandenen Niederschlages bekannt. Diese sind meist in einem oberen Bereich einer Windschutzscheibe der Fortbewegungsmittel angeordnet und sind eingerichtet, einen auf der Windschutzscheibe vorhandenen Niederschlag zu erkennen. Eine durch einen solchen Regensensor ermittelte Nässeinformation kann zur Auswahl geeigneter Klassifikatoren einer Umfelderkennung verwendet werden.
-
Ferner sind aus dem Stand der Technik Ultraschallsensoren bekannt, die im Zusammenhang mit Fortbewegungsmitteln häufig für Parkassistenzsysteme oder ähnliche Fahrerassistenzsysteme eingesetzt werden. Zu diesem Zweck sind solche Ultraschallsensoren meist derart an Fortbewegungsmitteln angeordnet, dass ihre Abstrahl- und Erfassungsrichtung im Wesentlichen horizontal zu den Fortbewegungsmitteln liegt, um Abstände von Objekten im Umfeld des Fortbewegungsmittels zum Fortbewegungsmittel auf Basis von Signallaufzeiten der Ultraschallsignale ermitteln zu können.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors vorgeschlagen. Das Fortbewegungsmittel kann beispielsweise ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein Schienenfahrzeug oder ein Luftfahrzeug/Flugzeug oder ein Wasserfahrzeug sein. Des Weiteren können die nachfolgend beschriebenen Verfahrensschritte vollständig oder teilweise durch eine erfindungsgemäße Vorrichtung des Fortbewegungsmittels ausgeführt werden. Die Vorrichtung kann eine Auswerteeinheit umfassen, welche bevorzugt über einen Dateneingang verfügt. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die Auswerteeinheit kann darüber hinaus eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die Auswerteeinheit ausgeführten Computerprogramm durchzuführen.
-
In einem ersten Schritt des erfindungsgemäßen Verfahrens wird ein erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels mittels des ersten Ultraschallsensors des Fortbewegungsmittels erfasst. Der Ultraschallsensor kann ein auch für andere Zwecke verwendeter/verwendbarer Ultraschallsensor des Fortbewegungsmittels sein. Alternativ oder zusätzlich kann für das erfindungsgemäße Verfahren auch ein dedizierter Ultraschallsensor eingesetzt werden. Der Ultraschallsensor des Fortbewegungsmittels kann beispielsweise ein Ultraschallsensor eines Parkassistenzsystems oder eines anderen Fahrerassistenzsystems des Fortbewegungsmittels sein. Der Ultraschallsensor kann beispielsweise in einer Frontschürze oder im Bereich eines Hecks des Fortbewegungsmittels oder auch an weiteren Positionen des Fortbewegungsmittels angeordnet sein, so dass sowohl die Reifengeräusche, aber auch die vorausliegende oder die zurückliegende Fahrbahn und deren Umfeld erfasst werden können. Darüber hinaus kann der Ultraschallsensor direkt oder indirekt (d.h. beispielsweise über ein anderes Steuergerät des Fortbewegungsmittels) informationstechnisch mit dem Dateneingang der erfindungsgemäßen Auswerteeinheit verbunden sein. Die Verbindung kann beispielsweise mittels eines Bussystems (z.B. CAN, LIN, MOST, Ethernet, usw.) eines Bordnetzes des Fortbewegungsmittels hergestellt werden. Das von der Auswerteeinheit empfangene erste Signal des ersten Ultraschallsensors kann für eine nachfolgende Bearbeitung durch die Auswerteeinheit zunächst in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt werden.
-
In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird ein zweites Signal repräsentierend das Umfeld des Fortbewegungsmittels mittels einer Kamera des Fortbewegungsmittels erfasst. Das zweite Signal kann bevorzugt zu einem im Wesentlichen identischen Zeitpunkt wie das erste Signal erfasst werden, so dass sichergestellt werden kann, dass die beiden Signale jeweils zeitlich miteinander korrespondierende Umfeldinformationen enthalten. Aufgrund unterschiedlicher Sensortypen und unterschiedlicher Signalverarbeitungs- und Signalübertragungsketten kann es zu einem zeitlichen Versatz zwischen den beiden Signalen kommen. Ein bevorzugter, aber für das erfindungsgemäße Verfahren nicht zwangsläufig sicherzustellender Bereich eines zeitlichen Versatzes zwischen den beiden Signalen kann zum Beispiel zwischen einigen Millisekunden und einigen hundert Millisekunden, oder auch im Sekundenbereich liegen. Die Kamera kann beispielsweise eine 2D- oder 3D-Kamera mit einer Standardbildauflösung, einer HD- oder einer Ultra-HD-Bildauflösung oder eine Infrarotkamera sein. Bevorzugt kann die Kamera derart am Fortbewegungsmittel angeordnet und ausgerichtet sein, dass sie ein dem Fortbewegungsmittel vorausliegendes Umfeld erfasst. Eine solche Anordnung und/oder Ausrichtung der Kamera ist jedoch nicht auf dieses Beispiel beschränkt. Analog zum ersten Ultraschallsensor kann die Kamera direkt oder indirekt informationstechnisch mit der erfindungsgemäßen Auswerteeinheit über das Bordnetz des Fortbewegungsmittels verbunden sein. In einer bevorzugten Ausführungsform der vorliegenden Erfindung kann die Kamera informationstechnisch mit einer Bildverarbeitungseinheit des Fortbewegungsmittels verbunden sein, welche eingerichtet ist, Bildsignale der Kamera zu empfangen und diese zu verarbeiten. Eine solche Bildverarbeitungseinheit kann u.a. Bestandteil eines Fahrerassistenzsystems oder eines Systems für einen autonomen Fahrbetrieb des Fortbewegungsmittels sein. Des Weiteren kann die Bildverarbeitungseinheit in dieser bevorzugten Ausführungsform informationstechnisch mit der erfindungsgemäßen Auswerteeinheit verbunden sein, so dass die Auswerteeinheit die im Folgenden näher beschriebene Straßennässeinformation an die Bildverarbeitungseinheit übertragen kann. Alternativ oder zusätzlich zu dieser Ausführungsform kann die Bildverarbeitungseinheit ein Bestandteil der Auswerteeinheit selbst sein (oder auch umgekehrt), so dass eine Kommunikation zwischen diesen beiden Komponenten direkt und nicht über das Bordnetz des Fortbewegungsmittels ablaufen kann. Dies kann beispielsweise derart realisiert werden, dass eine durch die erfindungsgemäße Auswerteeinheit auszuführende Logik zur Umsetzung der erfindungsgemäßen Verfahrensschritte in Form eines Computerprogramms mittels der Bildverarbeitungseinheit ausgeführt wird.
-
In einem dritten Schritt des erfindungsgemäßen Verfahrens wird die Straßennässeinformation auf Basis des ersten Signals ermittelt. Zu diesem Zweck kann die Auswerteeinheit einen Rauschpegel des ersten Signals mit einem vordefinierten Schwellenwert für einen Rauschpegel abgleichen, welcher in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt sein kann. Der vordefinierte Schwellenwert für einen Rauschpegel wird bevorzugt derart gewählt, dass bei einer Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel von einer aktuell vorliegenden Straßennässe ausgegangen werden kann. Umgekehrt gilt, dass bei einer Unterschreitung des vordefinierten Schwellenwertes durch den Rauschpegel von einer trockenen Fahrbahnoberfläche ausgegangen werden kann. Ein Ergebnis des Ermittelns der Straßennässeinformation kann wiederum in der Speichereinheit abgelegt werden. Alternativ oder zusätzlich zu einer reinen Unterscheidung zwischen einer nassen oder einer trockenen Fahrbahnoberfläche kann die Auswerteeinheit im Falle einer Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel des ersten Signals auch eine Abschätzung eines Nässegrades erfolgen, indem eine Höhe der Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel des ersten Signals berücksichtigt wird. Darüber hinaus ist es auch denkbar, eine Mehrzahl vordefinierter Schwellenwerte für einen Rauschpegel zu verwenden, wobei die jeweiligen vordefinierten Schwellenwerte mit unterschiedlichen Geschwindigkeiten und/oder Geschwindigkeitsbereichen des Fortbewegungsmittels korrespondieren können. Mit anderen Worten kann es von Vorteil sein, eine über das Bordnetz des Fortbewegungsmittels bereitgestellte Information über eine aktuelle Geschwindigkeit des Fortbewegungsmittels durch die Auswerteeinheit zu empfangen, so dass die Auswerteeinheit in Abhängigkeit eines Wertes einer aktuellen Geschwindigkeit einen jeweils korrespondierenden, vordefinierten Schwellenwert aus einer Mehrzahl vordefinierter Schwellenwerte auswählen kann, da eine höhere Geschwindigkeit in der Regel mit einem höheren Rauschpegel im ersten Signal einhergeht. Auf diese Weise kann verhindert werden, dass bei einer höheren Geschwindigkeit des Fortbewegungsmittels durch die Auswerteeinheit fälschlicherweise eine Straßennässe erkannt wird, obwohl sich die Fahrbahnoberfläche tatsächlich in einem trockenen Zustand befindet.
-
In einem vierten Schritt des erfindungsgemäßen Verfahrens wird ein vordefinierter Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation ausgewählt. Die Mehrzahl vordefinierter Parametersätze kann beispielsweise unterschiedliche Konfigurationen für einen Klassifikator repräsentieren, welcher eingerichtet ist, auf Basis des zweiten Signals ein Umfeld des Fortbewegungsmittels zu analysieren und Objekte in diesem Umfeld zu erkennen. Bevorzugt kann ein solcher Klassifikator Teil eines Computerprogramms sein, welches durch die Bildverarbeitungseinheit und/oder die Auswerteeinheit ausgeführt wird. Für den Fall, dass die erfindungsgemäße Auswerteeinheit und die Bildverarbeitungseinheit als separate Komponenten umgesetzt sind, kann das Auswählen des vordefinierten Parametersatzes durch die Bildverarbeitungseinheit in Abhängigkeit der Straßennässeinformation und ggf. weiterer Informationen (z.B. über eine Geschwindigkeit des Fortbewegungsmittels) erfolgen, welche über das Bordnetz des Fortbewegungsmittels von der Auswerteeinheit zur Verfügung gestellt werden können. Ein Ziel der Verwendung unterschiedlicher vordefinierter Parametersätze ist es, an ein aktuelles Umfeld (d.h. nass oder trocken) angepasste, vordefinierte Parametersätze für die Umfelderkennung zu verwenden. Dies hat den Hintergrund, dass ein für ein trockenes Umfeld trainierter Klassifikator in einem nassen Umfeld zum Beispiel aufgrund von aufgewirbeltem Wasser (Gischt) vorausfahrender Fortbewegungsmittel i.d.R. nur unzureichende bzw. unzuverlässige Ergebnisse im Zuge der Umfelderkennung sicherstellen kann. Umgekehrt kann ein für ein nasses Umfeld trainierter Klassifikator wiederum in einem trockenen Umfeld häufig keine optimalen Erkennungsergebnisse liefern. Für den Fall, dass die durch Auswerteeinheit bereitgestellte Nässeinformation neben einer reinen Nass-/Trocken-Unterscheidung eine Information über einen Nässegrad beinhaltet, kann zusätzlich in Abhängigkeit des Nässegrades ein auf den jeweiligen Messegrad abgestimmter vordefinierter Parametersatz ausgewählt werden.
-
In einem fünften Schritt des erfindungsgemäßen Verfahrens wird eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchgeführt. Da aufgrund der vorliegenden Nässeinformation für die Umfelderkennung jeweils angepasste, vordefinierte Parametersätze verwendet werden können, kann eine Erkennungsleistung der Umfelderkennung entsprechend optimiert werden. Eine daraus resultierende erhöhte Zuverlässigkeit der Umfelderkennung kann wiederum zu einer höheren Sicherheit bei einem Einsatz des Fortbewegungsmittels führen.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Ermitteln der Straßennässeinformation zusätzlich in Abhängigkeit einer Geschwindigkeit und/oder einer Beschleunigung und/oder einer Motordrehzahl des Fortbewegungsmittels erfolgen. Das vorteilhafte Berücksichtigen einer aktuellen Geschwindigkeit beim Ermitteln einer aktuellen Straßennässeinformation wurde oben bereits im Detail beschrieben. Analog dazu können über das Bordnetz des Fortbewegungsmittels empfangene Werte über eine aktuelle Beschleunigung und/oder eine aktuelle Motordrehzahl des Fortbewegungsmittels auf ähnliche Weise vorteilhaft berücksichtigt werden.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann der vordefinierte Parametersatz eine Konfiguration eines trainierten, selbstlernenden Systems repräsentieren. D. h., dass der oben beschriebene Klassifikator auf Basis eines selbstlernenden Systems, wie beispielsweise einem neuronalen Netz (z.B. mit einer Deep-Learning-Struktur) realisiert werden kann. Darüber hinaus können auch weitere Arten selbstlernende Systeme eingesetzt werden. Auf diese Weise können mittels eines solchen selbstlernenden Systems Trainingsfahrten des Fortbewegungsmittels in unterschiedlichen Nässesituationen durchgeführt werden und jeweilige trainierte Konfigurationen des selbstlernenden Systems in Form unterschiedlicher vordefinierter Parametersätze gespeichert werden.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Auswählen des vordefinierten Parametersatzes alternativ oder zusätzlich in Abhängigkeit einer Änderung des Rauschpegels und/oder einer aktuellen Temperatur und/oder einer im Umfeld des Fortbewegungsmittels vorhandenen Wassermenge erfolgen. Eine Änderung des Rauschpegels kann wie oben beschrieben aufgrund unterschiedlicher Wassermengen auf einer Fahrbahnoberfläche verursacht werden. Darüber hinaus kann eine Änderung des Rauschpegels aber auch durch eine Änderung eines Abstandes zu vorausfahrenden Fahrzeugen verursacht werden. In beiden Fällen kann es aufgrund der damit einhergehenden, veränderten Sichtbedingungen sinnvoll sein, entsprechende angepasste Parametersätze für die Umfelderkennung zu verwenden. Eine Unterscheidung, ob eine Änderung des Rauschpegels durch eine veränderte Wassermenge oder durch Abstandsänderungen vorausfahrender Fahrzeuge verursacht wird, kann durch eine zusätzliche Analyse des zweiten Signals erfolgen, indem beispielsweise eine Größenänderung unmittelbar vorausfahrender Fahrzeuge ermittelt wird. Alternativ oder zusätzlich können auch Signale weiterer Umfeldsensoren des Fortbewegungsmittels zur Bewertung einer aktuellen Situation herangezogen werden. Hier kann es insbesondere von Vorteil sein, Abstandsinformationen zu vorausfahrenden Fahrzeugen von einem LIDAR- und/oder einem Radarsystem des Fortbewegungsmittels zu berücksichtigen. Die für die oben genannten Fälle erzeugten und verwendeten vordefinierten Parametersätze können bewirken, dass durch eine Gischtwolke teilverdeckte Fortbewegungsmittel besser und/oder schneller erkannt werden, auch wenn durch die Kamera nur vage Umrisse vorausfahrender Fortbewegungsmittel erfasst werden können.
-
Des Weiteren kann es sinnvoll sein, eine aktuelle Außentemperatur beim Auswählen des vordefinierten Parametersatzes zu berücksichtigen, da eine Außentemperatur von unter 4 °C und insbesondere unter 0 °C einen Rückschluss auf potentiell vorhandenen Schnee am Fahrbahnrand und/oder auf der selbst Fahrbahn erlaubt. Die Wahrscheinlichkeit, dass zumindest am Fahrbahnrand Schnee vorhanden ist, kann insbesondere dann hoch sein, wenn eine Außentemperatur von 0 °C oder weniger und gleichzeitig eine erkannte Straßennässe vorliegt. Auf Basis dieser Informationen kann ein weiterer geeigneter vordefinierter Parametersatz ausgewählt und im Zuge der Umfelderkennung verwendet werden, so dass beispielsweise eine Fahrbahnbegrenzung auch bei vorhandenem Schnee zuverlässig erkannt werden kann.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Ermitteln der Straßennässeinformation in Abhängigkeit einer Störungsfreiheit des ersten Signals erfolgen. Unter Störungsfreiheit soll hier die Abwesenheit unterschiedlichster Störeinflüsse verstanden werden, die eine zuverlässige Straßennässeerkennung erschweren, oder sogar unmöglich machen, wie zum Beispiel Bebauungen am Straßenrand und/oder weitere Fortbewegungsmittel in unmittelbarer Nähe des Fortbewegungsmittels. Solche Störeinflüsse können beispielsweise auf Basis des zweiten Signals oder auf Basis von Signalen weiterer Umfeldsensoren, wie LIDAR- und/oder Radarsensoren ermittelt werden. Für den Fall, dass ein entsprechender Störeinfluss vorliegt, kann die Auswerteeinheit eine Straßennässeinformation an die Bildverarbeitungseinheit übertragen, die einen Straßennässezustand vor dem Auftreten des Störeinflusses repräsentiert. Dieser Wert kann durch das Gesamtsystem bevorzugt so lange als Straßennässeinformation weiterverwendet werden, bis der oder die Störeinflüsse aus dem Umfeld des Fortbewegungsmittels verschwunden sind. Auf diese Weise lassen sich insbesondere zeitlich begrenzte Störeinflüsse auf vorteilhafte Weise umgehen, da deren kurzfristiges Auftauchen und Verschwinden nicht zu unerwünscht häufigen Veränderungen der Straßennässeinformation führen. Dadurch wird wiederum ein unerwünscht häufiges Wechseln der vordefinierten Parametersätze vermieden.
-
Wie bereits oben beschrieben, kann der erste Ultraschallsensor derart am Fortbewegungsmittel angeordnet sein, dass ein Erfassungsbereich des ersten Ultraschallsensors in Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels liegt. Darüber hinaus kann das Umfeld des Fortbewegungsmittels zusätzlich auf Basis eines zweiten Ultraschallsensors erfasst werden und insbesondere durch einen zweiten Ultraschallsensor erfasst werden, welcher derart am Fortbewegungsmittel angeordnet ist, dass ein Erfassungsbereich des zweiten Ultraschallsensors in Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels liegt. In einer bevorzugten Variante kann beispielsweise der erste Ultraschallsensor in Fahrtrichtung und der zweite Ultraschallsensor entgegen der Fahrtrichtung des Fortbewegungsmittels ausgerichtet sein. Auf diese Weise kann die Straßennässeinformation auf Basis beider Ultraschallsensoren ermittelt werden, wodurch eine zusätzliche Plausibilisierung der aus den jeweiligen ersten Signalen gewonnenen Straßennässeinformationen möglich ist. Alternativ kann die Straßennässeinformation abwechselnd auf Basis des ersten oder auf Basis des zweiten Ultraschallsensors ermittelt werden, indem jeweils das erste Signal desjenigen Ultraschallsensors bezüglich einer Straßennässe ausgewertet wird, welches zu einem aktuellen Zeitpunkt den geringsten Anteil von Störeinflüssen aufweist. In diesem Zusammenhang sei darauf hingewiesen, dass neben dem ersten und dem zweiten Ultraschallsensor weitere Ultraschallsensoren für das erfindungsgemäße Verfahren eingesetzt werden können. D.h., es können beispielsweise dritte, vierte und mehr Ultraschallsensoren eingesetzt werden, die analog zu oben beschriebenen Ausgestaltungen kombiniert und verwendet werden können. Eine Anordnung der ersten, zweiten, dritten, vierten und ggf. weiteren Ultraschallsensoren ist explizit nicht auf den Front- und/oder Heckbereich des Fortbewegungsmittels beschränkt.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann die aus dem ersten Signal ermittelte Straßennässeinformation durch eine aus dem zweiten Signal ermittelte Straßennässeinformation plausibilisiert werden. Dies kann auf Basis einer Analyse von Reflexionen von Lichtquellen im Kamerabild erfolgen, indem beispielsweise überprüft wird, ob diese Lichtquellen oberhalb oder scheinbar unterhalb einer Fahrbahnebene liegen. Darüber hinaus kann die Straßennässeinformation auch durch weitere Sensoren und/oder Steuergeräte des Fortbewegungsmittels plausibilisiert werden. Hier kommt beispielsweise ein an einer Windschutzscheibe des Fortbewegungsmittels angeordneter Regensensor in Frage, oder auch weitere Sensoren des Fortbewegungsmittels.
-
Durch die Umfelderkennung ermittelte Informationen über Objekte im Umfeld des Fortbewegungsmittels können anschließend u.a. an ein Fahrerassistenzsystem und/oder ein System für eine autonome Steuerung des Fortbewegungsmittels übermittelt und dort verwendet werden.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors vorgeschlagen. Die Vorrichtung umfasst eine Auswerteeinheit und einen Dateneingang. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die Auswerteeinheit kann darüber hinaus eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die Auswerteeinheit ausgeführten Computerprogramm durchzuführen. Des Weiteren ist die Auswerteeinheit eingerichtet, in Verbindung mit dem Dateneingang ein mittels des ersten Ultraschallsensors des Fortbewegungsmittels ermitteltes erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels zu erfassen und ein mittels einer Kamera des Fortbewegungsmittels ermitteltes zweites Signal repräsentierend das Umfeld des Fortbewegungsmittels zu erfassen. Der Ultraschallsensor kann bevorzugt ein bereits bestehender Ultraschallsensor des Fortbewegungsmittels sein. Ferner kann der Ultraschallsensor beispielsweise in einer Frontschürze oder im Bereich eines Hecks des Fortbewegungsmittels oder auch an weiteren Positionen des Fortbewegungsmittels angeordnet sein, so dass entweder die vorausliegende, oder die zurückliegende Fahrbahn und deren Umfeld erfasst werden kann. Die Kamera kann beispielsweise eine 2D- oder 3D-Kamera mit einer Standardbildauflösung, einer HD-, oder einer Ultra-HD-Bildauflösung oder eine Infrarotkamera sein. Bevorzugt kann die Kamera derart am Fortbewegungsmittel angeordnet und ausgerichtet sein, dass die Kamera ein dem Fortbewegungsmittel vorausliegendes Umfeld erfassen kann. Die Auswerteeinheit kann mittels eines Bordnetzes des Fortbewegungsmittels mit dem Ultraschallsensor und der Kamera direkt und/oder indirekt informationstechnisch verbunden sein. Darüber hinaus ist die Auswerteeinheit eingerichtet, eine Straßennässeinformation auf Basis des ersten Signals zu ermitteln, einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation auszuwählen, und eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchzuführen.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen:
- 1 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
- 2 ein Blockschaltbild einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel; und
- 3 ein Diagramm eines geschwindigkeitsabhängigen Rauschpegels eines ersten Ultraschallsensors.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels 80 mittels einer Straßennässeinformation eines ersten Ultraschallsensors 30. Im ersten Schritt 100 wird mittels einer erfindungsgemäßen Auswerteeinheit 10, welche ein Mikrocontroller ist, ein erstes Signal repräsentierend ein Umfeld 60 des Fortbewegungsmittels 80 mittels des ersten Ultraschallsensors 30 des Fortbewegungsmittels 80 erfasst. Der erste Ultraschallsensor 30 ist in einer Frontschürze des Fortbewegungsmittels 80 angeordnet und in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichtet. Die Auswerteeinheit 10 empfängt das erste Signal mittels eines Dateneingangs 12 der Auswerteeinheit 10 und speichert durch das erste Signal repräsentierte Umfeldinformationen in einer internen Speichereinheit 20 des Mikrocontrollers ab. Im Schritt 200 wird ein zweites Signal repräsentierend das Umfeld 60 des Fortbewegungsmittels 80 mittels einer Kamera 40 des Fortbewegungsmittels 80 erfasst. Die Kamera 40 ist in einem Innenraum des Fortbewegungsmittels 80 in einem oberen Bereich einer Windschutzscheibe des Fortbewegungsmittels 80 angeordnet und derart ausgerichtet, dass die Kamera 40 ein dem Fortbewegungsmittel 80 vorausliegendes Umfeld 60 erfassen kann. Das zweite Signal der Kamera 40 wird von einer Bildverarbeitungseinheit des Fortbewegungsmittels 80 empfangen, welche informationstechnisch mit der Kamera 40 verbunden ist. Das erste Signal des Ultraschallsensors 30 und das zweite Signal der Kamera 40 werden im Wesentlichen zu einem identischen Zeitpunkt erfasst. Im Schritt 300 wird mittels eines durch die Auswerteeinheit 10 ausgeführten Computerprogramms eine Straßennässeinformation auf Basis des ersten Signals ermittelt. Zu diesem Zweck vergleicht die Auswerteeinheit 10 einen Rauschpegel 70 des ersten Signals mit einem vordefinierten Schwellenwert 75 für einen Rauschpegel 70. Ein Überschreiten des vordefinierten Schwellenwertes 75 durch den Rauschpegel 70 lässt auf eine vorhandene Straßennässe im Umfeld 60 des Fortbewegungsmittels 80 schließen. Da in diesem Fall auf Basis des vordefinierten Schwellenwertes 75 eine vorhandene Straßennässe erkannt wird, sendet die Auswerteeinheit 10 ein entsprechendes Signal, welches die aktuelle Straßennässeinformation umfasst, mittels eines Fahrzeugbusses eines Bordnetzes des Fortbewegungsmittels 80 an die Bildverarbeitungseinheit. Die Bildverarbeitungseinheit wählt im Schritt 400 des erfindungsgemäßen Verfahrens einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der empfangenen Straßennässeinformation aus. Der in diesem Fall durch die Bildverarbeitungseinheit ausgewählte Parametersatz repräsentiert eine Konfiguration eines auf einem neuronalen Netz basierenden Klassifikators, welcher zu einem früheren Zeitpunkt (z.B. in einer Entwicklungsphase des Fortbewegungsmittels 80) unter ähnlichen Straßennässebedingungen trainiert wurde. Anschließend wird im Schritt 500 mittels der Bildverarbeitungseinheit eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchgeführt. Mittels der Umfelderkennung ermittelte Informationen über Objekte im Umfeld 60 des Fortbewegungsmittels 80 werden daraufhin an ein System zur autonomen Steuerung des Fortbewegungsmittels 80 mittels des Bordnetzes übertragen und von diesem im Zuge der autonomen Steuerung des Fortbewegungsmittels 80 verwendet.
-
2 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel 80. Die Vorrichtung umfasst eine Auswerteeinheit 10, die hier ein Mikrocontroller ist und über einen Dateneingang 12 verfügt. Mittels des Dateneingangs 12 ist die Auswerteeinheit 10 mit einem in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichteten ersten Ultraschallsensor 30 und einem entgegen der Fahrtrichtung ausgerichteten zweiten Ultraschallsensor 35 informationstechnisch über ein Bordnetz des Fortbewegungsmittels 80 verbunden. Ebenfalls über den Dateneingang 12 ist die Auswerteeinheit 10 mit einer in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichteten Kamera 40 informationstechnisch über das Bordnetz des Fortbewegungsmittels 80 verbunden. Des Weiteren ist die Auswerteeinheit 10 informationstechnisch mit einer externen Speichereinheit 20 verbunden, welche eingerichtet ist, durch die Auswerteeinheit 10 empfangene Informationen für eine nachgelagerte Verarbeitung durch die Auswerteeinheit 10 zu speichern. Mittels des ersten Ultraschallsensors 30, des zweiten Ultraschallsensors 35 und der Kamera 40 ist die Auswerteeinheit 10 in der Lage, ein Umfeld 60 des Fortbewegungsmittels 80 zu im Wesentlichen identischen Zeitpunkten zu erfassen. In diesem Beispiel werden sämtliche Schritte des erfindungsgemäßen Verfahrens in der Auswerteeinheit 10 selbst ausgeführt, d.h., dass die Auswerteeinheit 10 nicht nur eingerichtet ist, auf Basis erster Signale des ersten Ultraschallsensors 30 und des zweiten Ultraschallsensors 35 eine Straßennässeinformation zu ermitteln, sondern darüber hinaus eingerichtet ist, einen mit der Straßennässeinformation korrespondierenden, vordefinierten Parametersatz auszuwählen und mittels des vordefinierten Parametersatzes auf Basis eines zweiten Signals der Kamera 40 eine Umfelderkennung durchzuführen.
-
3 zeigt ein Diagramm eines geschwindigkeitsabhängigen Rauschpegels 70 eines ersten Ultraschallsensors 30. In einer ersten Phase P1 des Diagramms fährt ein Fortbewegungsmittel 80, welches den ersten Ultraschallsensor 30 im Sinne des erfindungsgemäßen Verfahrens einsetzt, mit einer Geschwindigkeit v, welche mit einem vordefinierten Schwellenwert 75 der ersten Phase P1 korrespondiert. Mit anderen Worten, wird aufgrund einer zunächst relativ geringen Geschwindigkeit v des Fortbewegungsmittels 80 in der ersten Phase P1 derjenige vordefinierte Schwellenwert 75 aus einer Mehrzahl vordefinierter Schwellenwerte 75 für einen Abgleich mit dem Rauschpegel 70 des ersten Signals verwendet, welcher zuvor für diesen Geschwindigkeitsbereich festgelegt wurde. Da sich der Rauschpegel 70 in der ersten Phase P1 vollständig oberhalb des vordefinierten Schwellenwertes 75 der ersten Phase P1 befindet, wird durch eine erfindungsgemäße Auswerteeinheit 10 eine vorhandene Straßennässe festgestellt. Am Verlauf der Geschwindigkeit v lässt sich erkennen, dass die Geschwindigkeit v des Fortbewegungsmittels 80 hier im Laufe der Zeit weiter zunimmt. Beim Erreichen eines Geschwindigkeitswertes v1 wird mittels der Auswerteeinheit 10, aufgrund der nun vorliegenden höheren Geschwindigkeit v, ein vom vordefinierten Schwellenwert 75 der ersten Phase P1 abweichender vordefinierter Schwellenwert 75 für eine zweite Phase P2 ausgewählt. Dadurch findet eine Anpassung des vordefinierten Schwellenwertes 75 der zweiten Phase P2 an den durch die höhere Geschwindigkeit v erzeugten Rauschpegel 75 statt. Wie bereits in der ersten Phase P1, wird hier zunächst wiederum eine vorhandene Straßennässe erkannt, da sich der Rauschpegel 70 zu Beginn der zweiten Phase P2 oberhalb des vordefinierten Schwellenwertes 75 der zweiten Phase P2 befindet. Zu einem Zeitpunkt t1 in der zweiten Phase P2 fällt die Kurve des Rauschpegels 70 soweit ab, dass diese den vordefinierten Schwellenwert 75 der zweiten Phase P2 unterschreitet. Im Ansprechen darauf wird durch die Auswerteeinheit 10 eine trockene Fahrbahnoberfläche festgestellt.
