DE102019101129A1

DE102019101129A1 - Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags

Info

Publication number: DE102019101129A1
Application number: DE102019101129.9A
Authority: DE
Inventors: Heinrich Gotzig; Maximilian Poepperl; Raghavendra Gulagundi; Stefan Milz; Mohamed-Elamir Mohamed; Jens Honer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-01-17
Filing date: 2019-01-17
Publication date: 2020-07-23

Abstract

Die Erfindung betrifft Verfahren zum Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug (5) befahrenen Oberflächenbelags, mit folgenden Verfahrensschritten:- Erfassen eines von der Oberfläche des Oberflächenbelags herrührenden Ultraschallsignals mittels eines im Kraftfahrzeug (5) angeordneten Ultraschallsensors (4),- Ausgeben eines dem erfassten Ultraschallsignals entsprechenden Messwerts von dem Ultraschallsensor (4),- Eingeben des Messwerts in ein künstliches neuronales Netzwerk (3),- Ermitteln der Oberflächenbeschaffenheit des Oberflächenbelags in dem künstlichen neuronalen Netzwerk (3) und- Ausgeben eines den Oberflächenbelag charakterisierenden Wertes von dem künstlichen neuronalen Netzwerk (3), dadurch gekennzeichnet, dassder in dem Kraftfahrzeug (5) angeordnete Ultraschallsensor (4) ein zum Senden und Empfangen von Ultraschallsignalen eingerichteter Ultraschallsensor (4) ist, der Bestandteil einer zur Durchführung von Abstandsmessungen eingerichteten Sensoranordnung (1) des Kraftfahrzeugs (5) ist. Damit wird eine Möglichkeit bereitgestellt, auf einfache und kostengünstige Weise in einem Kraftfahrzeug (5) die Oberflächenbeschaffenheit eines von dem Kraftfahrzeug (5) befahrenen Oberflächenbelags zu ermitteln.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags, mit folgenden Verfahrensschritten:

- Erfassen eines von der Oberfläche des Oberflächenbelags herrührenden Ultraschallsignals mittels eines im Kraftfahrzeug angeordneten Ultraschallsensors,
- Ausgeben eines dem erfassten Ultraschallsignals entsprechenden Messwerts von dem Ultraschallsensor,
- Eingeben des Messwerts in ein künstliches neuronales Netzwerk,
- Ermitteln der Oberflächenbeschaffenheit des Oberflächenbelags in dem künstlichen neuronalen Netzwerk und
- Ausgeben eines den Oberflächenbelag charakterisierenden Wertes von dem künstlichen neuronalen Netzwerk. Ein solches Verfahren ist aus der DE 41 17 091 A1 bekannt.

Heutige Ultraschallsysteme in Kraftfahrzeugen versuchen das unterschiedliche Reflexionsverhalten verschiedener Bodenbeläge durch Anpassung von Schwellwerten auszugleichen. Dabei treten verschiedene Nachteile auf, z.B. dass bei Schotter, auf dem hohe Reflexionen auftreten, auch Zielechos nicht mehr detektiert werden. Zusätzlich können mit Hilfe von angepassten Schwellwerten die Auswirkungen von Bodenreflexionen zwar reduziert, das typische Verhalten bestimmter Bodenbeläge jedoch nicht für weitere Funktionen genutzt werden. Zu diesen Funktionen gehört z.B. eine robuste Zielerkennung und -verfolgung. Grundlage für eine solche Funktion ist jedoch, dass die Art des aktuellen Bodenbelags bekannt ist, was in herkömmlichen Systemen bisher nicht robust möglich ist. Ein entscheidender Störfaktor zur Bestimmung des Bodenbelags sind die tatsächlichen Zielobjekte. Da für deren Erkennung zuerst eine Klassifizierung des Bodenbelags sinnvoll ist, kann folglich keine Unterdrückung der Zielechos und somit auch keine robuste Bestimmung des Bodenbelags durchgeführt werden. Die Bestimmung der Art des Fahrbahnbelags, auf dem sich ein Kraftfahrzeug bewegt, ist für viele Ultraschall-Anwendungen vorteilhaft, da das Reflexionsverhalten von verschiedenen Untergrundarten, wie Schotter, Asphalt, Wiese usw. deutliche Unterschiede aufweist. Aufgrund des Einflusses von Zielechos auf die belagstypische Echoverteilung im Antwortsignal sind herkömmliche Verfahren wie Merkmal-basierte Klassifizierungen, die Verwendung gleitender Mittelwerte oder ähnliche nicht robust implementierbar.
Im Übrigen kann es auch unabhängig von der mit einem in einem Kraftfahrzeug vorgesehenen Ultraschallsensor durchgeführten Abstandsmessung von Interesse sein, die Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags zu bestimmen. Unter anderem ist die Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags nämlich relevant für die Traktion des Kraftfahrzeugs auf dem Oberflächenbelag. Während auf Asphalt und anderen festen Untergründen im Allgemeinen eine hohe Traktion zur Verfügung steht, kann die Traktion erheblich verringert sein, wenn sich das Kraftfahrzeug auf einem Offroad-Belag, wie Schotter oder auf einer Wiese bewegt. Im Übrigen kann die Traktion neben der Art des Oberflächenbelags auch ganz maßgeblich davon abhängen, wie es sich um den Feuchtegrad der Oberfläche des Oberflächenbelags verhält. Ist dieser trocken, sollte in der Regel eine hohe Traktion möglich sein, während die Traktion bei einem feuchten Oberflächenbelag oder gar einem nassen Oberflächenbelag deutlich schlechter wird. Entsprechendes gilt für die Bedeckung des Oberflächenbelags mit Schnee oder sogar mit Eis.
Die oben schon genannte DE 41 17 091 A1 stellt den gattungsgemäßen Stand der Technik dar und beschreibt ein Verfahren zur Erstellung eines Klassifizierungssystems zur Erkennung der Beschaffenheit des Fahrbahnbelages mittels Ultraschall mit den Schritten: a) Beschallung der Fahrbahn mit Ultraschallwellen in einem Frequenzbereich von 40 bis 100 kHz und unter Sendewinkeln und Empfangswinkeln von 0° bis 30°; b) Messung der diffusen und spiegelnden Reflexionswerte und Zeitfensterung derselben; c) signalangepasste Filterung der Empfangssignale; d) Bestimmung der Empfangsintensitäten und Normierung derselben getrennt für jeden Empfänger und jede Messrichtung; e) Bestimmung der Varianzen und Normierung derselben getrennt für jeden Empfänger und jede Messrichtung; f) Mitteilung der normierten und der nicht normierten Intensitäten und Varianzen, welche in den Schritten d) und e) bestimmt wurden; g) Anwendung eines neuronalen Netzes auf die im Schritt f) ermittelten Mittelwerte als Klassifizierer und h) Anlernen des neuronalen Netzes mit den im Schritt f) erzeugten Mittelwerten. Das Klassifizierungssystem kann zur Einstellung und Anpassung der Fahreigenschaften eines Fahrzeuges an die Eigenschaften des befahrenen Fahrbahnbelages verwendet werden.
Aus der DE 42 13 221 A1 ist ein Verfahren zur Erfassung der Benetzung einer Fahrbahnoberfläche bekannt, wobei die Fahrbahnoberfläche mittels eines Fahrzeugs befahren wird, dessen Räder auf der Fahrbahn abrollen. Es wird beschrieben, mit Hilfe eines am Radinnenkotflügel an geschützter Stelle angeordneten Körperschallaufnehmers des Abroll- und Spritzwassergeräuschs zu erfassen und für einen für die Benetzung der Fahrbahn charakteristischen Frequenzbereich, vorzugsweise im Bereich von 2,5 bis 4,5 kHz, die mittlere Schallintensität zu bestimmen. Mit den Eingangsgrößen Schallintensität und Fahrgeschwindigkeit wird mittels eines Kennfeldes die Ausgangsgröße Benetzung der Fahrbahnoberfläche bestimmt und an den Fahrer und an im Fahrzeug vorhandene Steuergeräte ausgegeben.
Außerdem beschreibt die WO 2016/124487 A1 ein System zur Verwendung in einem Fahrzeug zum Bestimmen der Art des Geländes in der Nähe des Fahrzeugs, wobei das System umfasst: Mittel, die konfiguriert sind, um Sensorausgabedaten von mindestens einem Sensor in dem Fahrzeug zu empfangen; Mittel, die konfiguriert sind, um mehrere Parameter in Abhängigkeit von den Sensorausgangsdaten zu bestimmen; einen neuronalen Netzwerkalgorithmus, der zum Empfangen der Vielzahl von Parametern konfiguriert ist; und Mittel, die konfiguriert sind, um den neuronalen Netzwerkalgorithmus auszuführen, um letztlich den Geländetyp zu bestimmen und auszugeben, auf dem sich das Fahrzeug bewegt.
Schließlich ist aus der WO 2017/012978 A1 ein akustischer Sensor zum Anbringen an einem Fahrzeug bekannt, wobei der Sensor einen Näherungserfassungsmodus und einen Geländeidentifikationsmodus aufweist. Der Sensor umfasst einen Sender, der zum Senden eines akustischen Signals in einer vom Fahrzeug weg weisenden Richtung angeordnet ist, und einen Empfänger, der zum Empfang eines reflektierten akustischen Signals von einem Gelände in der Nähe des Fahrzeugs oder von einem oder mehreren Hindernissen in der Nähe des Fahrzeugs angeordnet ist. Ein Streifwinkel einer Mittellinie des übertragenen Signals, wenn sich der Sensor in der Betriebsart zur Erfassung der Annäherungserfassung befindet, ist geringer als der Streifwinkel der Mittellinie des übertragenen Signals, wenn sich der Sensor in der Betriebsart zur Erkennung von Gelände befindet.
Es ist die Aufgabe der Erfindung, eine Möglichkeit bereitzustellen, auf einfache und kostengünstige Weise in einem Kraftfahrzeug die Oberflächenbeschaffenheit eines von dem Kraftfahrzeug befahrenen Oberflächenbelags zu ermitteln.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen beschrieben.
Erfindungsgemäß ist somit ein Verfahren zum Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags vorgesehen, mit folgenden Verfahrensschritten:

- Erfassen eines von der Oberfläche des Oberflächenbelags herrührenden Ultraschallsignals mittels eines im Kraftfahrzeug angeordneten Ultraschallsensors,
- Ausgeben eines dem erfassten Ultraschallsignals entsprechenden Messwerts von dem Ultraschallsensor,
- Eingeben des Messwerts in ein künstliches neuronales Netzwerk,
- Ermitteln der Oberflächenbeschaffenheit des Oberflächenbelags in dem künstlichen neuronalen Netzwerk und
- Ausgeben eines den Oberflächenbelag charakterisierenden Wertes von dem künstlichen neuronalen Netzwerk, dadurch gekennzeichnet, dass der in dem Kraftfahrzeug angeordnete Ultraschallsensor ein zum Senden und Empfangen von Ultraschallsignalen eingerichteter Ultraschallsensor ist, der Bestandteil einer zur Durchführung von Abstandsmessungen eingerichteten Sensoranordnung des Kraftfahrzeugs ist.

Es ist somit ein maßgeblicher Punkt der Erfindung, dass für die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags ein derartiger Ultraschallsensor verwendet wird, der im Kraftfahrzeug bereits vorhanden, nämlich für einen anderen Zweck im Kraftfahrzeug vorgesehen ist. Konkret bedient sich die Erfindung nämlich eines derartigen Ultraschallsensors, der Bestandteil einer Sensoranordnung ist, die zur Durchführung von Abstandsmessungen eingerichtet ist, insbesondere für Ein- und Ausparkvorgängen. Damit ist die Erfindung insbesondere insofern vorteilhaft, als dass es hardwaremäßig keiner Ergänzungen bedarf und lediglich softwareseitig Vorkehrungen getroffen werden müssen, um das erfindungsgemäße Verfahren durchzuführen. Der Ultraschallsensor übernimmt damit zwei Funktionen, einerseits nämlich eine Abstandsmessung, die vorzugsweise bei niedrigen Geschwindigkeiten des Kraftfahrzeugs durchgeführt wird, z.B. wenn das Kraftfahrzeug ein- bzw. ausgeparkt wird, und andererseits die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags, welche insbesondere dann von Interesse ist, wenn sich das Kraftfahrzeug mit höheren Geschwindigkeiten bewegt und so z.B. die Frage, welche Traktion das Kraftfahrzeug auf dem jeweiligen Oberflächenbelag erwarten kann, von hoher Relevanz ist.
Zuvor ist bisher nur von einem Ultraschallsensor gesprochen worden, der einerseits für das Verfahren zum Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags und andererseits auch zur Durchführung von Abstandsmessungen vorgesehen und eingerichtet ist. Gemäß einer bevorzugten Weiterbildung der Erfindung verwendet das Verfahren jedoch eine Mehrzahl von derartigen Ultraschallsensoren, und zwar ganz besonders bevorzugt einerseits Ultraschallsensoren, die im Frontbereich des Kraftfahrzeugs angeordnet sind und andererseits Ultraschallsensoren, die im Heckbereich des Kraftfahrzeugs angeordnet sind. Gleichwohl ermöglicht die Erfindung natürlich auch eine Ausgestaltung, bei der lediglich im Frontbereich angeordnete Ultraschallsensoren oder im Heckbereich angeordnete Ultraschallsensoren zusätzlich auch zum Ermitteln der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags verwendet werden.
Im Folgenden ist exemplarisch immer von einem Ultraschallsensor die Rede. Die nachfolgend beschriebenen bevorzugten Ausführungsbeispiele der Erfindung betreffen in entsprechender Weise aber auch den Fall, dass mehrere Ultraschallsensoren vorgesehen sind, um die Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags zu ermitteln.
Es gibt nun verschiedene Möglichkeiten, den Ultraschallsensor zum Erfassen des von der Oberfläche herrührenden Ultraschallsignals zu betreiben. Gemäß einer bevorzugten Ausführungsform der Erfindung wird der Ultraschallsensor in den Listen-Mode gesetzt. Das bedeutet, dass der Ultraschallsensor bei dieser bevorzugten Ausgestaltung der Erfindung, obwohl er dazu grundsätzlich in der Lage wäre, keine Ultraschallsignale aussendet, um dabei reflektierte Ultraschallechos wieder zu empfangen. Vielmehr „hört“ der Ultraschallsensor in seine Umgebung hinein. Das von den Reifen des Kraftfahrzeugs erzeugte akustische Signal ist nämlich eine Funktion der Oberfläche des Oberflächenbelags, auf dem sich das Kraftfahrzeug bewegt, sowie der Geschwindigkeit, der Reibung und weiterer Parameter. Durch Fahren bei verschiedenen Straßenbedingungen und damit unterschiedlichen Beschaffenheiten der Oberfläche des Oberflächenbelags kommt es zu der Erfassung unterschiedlicher Signale durch den Ultraschallsensor, die in dem künstlichen neuronalen Netzwerk ausgewertet werden können, um einen den Oberflächenbelag charakterisierenden Wert auszugeben.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass beim Fahren des Kraftfahrzeugs der Ultraschallsensor regelmäßig, z.B. in vordefinierten zeitlichen Abständen, in den Listen-Mode gesetzt wird. Es ist auch möglich, den Ultraschallsensor andauernd in den Listen-Mode zu setzen, solange das Kraftfahrzeug mit einer Geschwindigkeit fährt, die eine vorbestimmte Geschwindigkeitsgrenze übersteigt. Wird diese Geschwindigkeitsgrenze unterschritten, wird dabei wieder ein derartiger Modus des Ultraschallsensors ermöglicht, der für eine Abstandsmessung geeignet ist, z.B. für einen Ein- bzw. Ausparkvorgang. Auf diese Weise wird auf besonders effektive Art ausgenutzt, dass der Ultraschallsensor auf zwei verschiedene Weisen verwendet wird, beim zügigen Fahren des Kraftfahrzeugs nämlich für die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags und bei geringeren Geschwindigkeiten für die Abstandsmessung, z.B beim Ein- bzw. Ausparken.
Es ist im Rahmen der Erfindung jedoch nicht nur möglich, mit dem Ultraschallsensor in die Umgebung des Kraftfahrzeugs „hineinzuhören“. Vielmehr ist es auch möglich, den Ultraschallsensor zum Erfassen des von der Oberfläche herrührenden Ultraschalls so zu verwenden, wie bei einer Abstandsmessung, nämlich derart, dass der Ultraschallsensor ein Ultraschallsignal aussendet und reflektierte Anteile des ausgesandten Ultraschallsignals wieder empfängt. Dabei wird von dem Ultraschallsensor ein derartiges Ultraschallsignal ausgesandt, das wenigstens teilweise auf die Oberfläche ausgerichtet ist, auf dem sich da Kraftfahrzeug bewegt. Dazu bedarf es in der Regel keiner zusätzlichen Maßnahmen, da auch das Profil der Ultraschallsignale, die von herkömmlichen Ultraschallsensoren für die Abstandsmessung ausgesandt werden, jedenfalls teilweise auf die Oberfläche treffen, auf dem sich da Kraftfahrzeug befindet. Ganz bevorzugt gilt in diesem Zusammenhang, dass das Ultraschallsignal mit einem derartigen Einfallswinkel auf die Oberfläche trifft, der größer als 30° ist, vorzugsweise größer als 40° und ganz besonders bevorzugt größer als 50°. Mit größer werdendem Einfallswinkel sinkt zwar die Reflexionsrate, jedoch hat sich überraschenderweise gezeigt, dass gleichwohl noch derartige Reflexionen mit dem Ultraschallsensor erfassbar sind, die die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags mit Hilfe des künstlichen neuronalen Netzwerks ermöglichen.
Die Erfindung erlaubt die Ausgabe unterschiedlicher Messwerte von dem Ultraschallsensor, die dann dem künstlichen neuronalen Netzwerk zur eigentlichen Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags erlaubt. Gemäß einer bevorzugten Weiterbildung der Erfindung ist jedoch vorgesehen, dass der von dem Ultraschallsensor ausgegebene Messwert die zeitliche Hüllkurve des erfassten Ultraschallsignals beschreibt. Dies ist insbesondere eine Vorgehensweise, die sich anbietet, wenn der Ultraschallsensor Ultraschallsignale aussendet und deren reflektierte Anteile wieder erfasst werden. Zusätzlich oder alternativ ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der von dem Ultraschallsensor ausgegebene Messwert das Frequenzspektrum des erfassten Ultraschallsignals beschreibt. Dies ist insbesondere vorteilhaft, wenn der Ultraschallsensor in die Umgebung „hineinhört“, da über das Frequenzspektrum mit Hilfe des künstlichen neuronalen Netzwerks auf die Oberflächenbeschaffenheit zurückgeschlossen werden kann. So ist nämlich das akustische Spektrum beim Fahren auf Asphalt anders als beim Fahren auf Schotter oder auf einer Wiese. Im Übrigen verändert auch der Feuchtegrad der befahrenen Oberfläche das akustische Spektrum; eine nasse Straße liefert ein anderes Frequenzspektrum als eine trockene Straße.
Der den Oberflächenbelag charakterisierende Wert kann unterschiedlicher Art sein. Gemäß einer bevorzugten Weiterbildung der Erfindung beschreibt der den Oberflächenbelag charakterisierende Wert die Art des Oberflächenbelags und/oder den Feuchtegrad des Oberflächenbelags. Hinsichtlich der Art des Oberflächenbelags kann vorgesehen sein, dass in einem ersten Schritt bestimmt wird, ob es sich um einen Onroad- oder um einen Offroad-Belag handelt. In einem zweiten Schritt kann dann unterschieden werden, ob es sich um Asphalt, Schotter, Wiese oder um einen anderen Belag handelt. Hinsichtlich des Feuchtegrads kann z.B. zwischen den Zuständen „trocken“, „feucht“, „nass“, „Schneematsch“, „Schnee“, „Eis“ usw. unterschieden werden.
Grundsätzlich kann der Messwert in unterschiedlicher Form in das künstliche neuronale Netzwerk eingegeben werden. Gemäß einer bevorzugten Weiterbildung der Erfindung ist jedoch vorgesehen, dass der Messwert in Vektorform oder in Matrixform in das künstliche neuronale Netzwerk eingegeben wird. Dies erlaubt insbesondere, das künstliche neuronale Netzwerk gemäß einer bevorzugten Weiterbildung der Erfindung als faltungsbasiertes künstliches neuronales Netzwerk, also als sogenanntes „Convolutional Neural Network“ (CNN) auszugestalten. Derartige faltungsbasierte künstliche neuronale Netzwerke sind im besonderen Maße geeignet, Messdaten in Vektorform, Matrixform bzw. Bildform in effektiver Weise zu verarbeiten.
Die Erfindung betrifft im Übrigen die Verwendung eines Verfahrens, wie zuvor beschrieben, in einem Kraftfahrzeug. Darüber hinaus betrifft die Erfindung ein nichtflüchtiges, computerlesbares Speichermedium mit darauf abgespeicherten Befehlen, die bei ihrer Ausführung auf einem Prozessor ein Verfahren bewirken, wie zuvor beschrieben.
Weiterhin betrifft die Erfindung eine Sensoranordnung, die zum Betrieb mittels eines Verfahrens, wie zuvor beschrieben, eingerichtet ist. Diese Sensoreinrichtung weist gemäß einer bevorzugten Weiterbildung der Erfindung als Sensoreinheiten Ultraschallsensoreinheiten zum Senden und/oder Empfangen von Ultraschallsignalen auf.
Bei dem zuvor beschriebenen Verfahren befindet sich das künstliche neuronale Netzwerk bereits im angelernten Zustand. Lediglich der Vollständigkeit halber sei an dieser Stelle erwähnt, dass, wie immer bei der Verwendung von künstlichen neuronalen Netzen, zuerst eine sogenannte Trainingsphase erforderlich ist, in der dem künstlichen neuronalen Netzwerk Messwerte für bekannte Oberflächenbeschaffenheiten zugeführt werden. In einer derartigen Trainingsphase lernt das künstliche neuronale Netzwerk, unterschiedliche Oberflächenbeschaffenheiten aufgrund verschiedener von dem Ultraschallsensor ausgegebener Messwerte zu unterscheiden. Dabei gilt, dass ein entsprechendes Training grundsätzlich nur einmal für jede Anordnung eines Ultraschallsensors bzw. einer Mehrzahl von Ultraschallsensoren und für jeden Typ des Kraftfahrzeugs erforderlich ist. Ist das System einmal angelernt, kann die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags direkt auf die aktuell gemessenen Daten des Kraftfahrzeugs angewandt werden.
Aufgrund der besonderen Struktur von faltungsbasierten künstlichen neuronalen Netzwerken ist bei deren Verwendung der für die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug befahrenen Oberflächenbelags relativ gering, so dass die Implementierung in herkömmliche Steuergeräte von Kraftfahrzeugen ohne Weiteres möglich ist. Darüber hinaus kann dieser Aufwand durch die Breite und Tiefe des künstlichen neuronalen Netzwerks bzw. durch die Anzahl der Gewichte und Neuronen entsprechenden Anforderungen angepasst werden.
Nachfolgend wird die Erfindung unter Bezugnahme auf die Zeichnungen anhand bevorzugten Ausführungsbeispiele der Erfindung weiter im Detail erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
In den Zeichnungen zeigen:

1 schematisch ein Kraftfahrzeug mit Ultraschallsensoren, die zum Senden und Empfangen von Ultraschallsignalen eingerichtet sind,
2 schematisch eine Sensoranordnung gemäße einem bevorzugten Ausführungsbeispiel der Erfindung,
3 ein Ablaufdiagramm für ein Verfahren gemäß einem ersten bevorzugten Ausführungsbeispiel der Erfindung und
4 ein Ablaufdiagramm für ein Verfahren gemäß einem zweiten bevorzugten Ausführungsbeispiel der Erfindung.

Aus 1 ist schematisch ein Kraftfahrzeug 5 mit Ultraschallsensoren 4 ersichtlich, die zum Senden und Empfangen von Ultraschallsignalen eingerichtet sind. Die Ultraschallsensoren 4 sind einerseits im Frontbereich des Kraftfahrzeugs 5 und andererseits im Heckbereich des Kraftfahrzeugs 5 angeordnet und dienen dort, wie aus dem Stand der Technik allgemein bekannt, zur Abstandsmessung für Parkvorgänge.
In 2 ist schematisch dargestellt, dass die Ultraschallsensoren 4 gemäß der hier beschriebenen bevorzugten Ausführungsbeispiele der Erfindung Bestandteil einer Sensoranordnung 1 sind, die über die Ultraschallsensoren 4 hinaus eine Zentraleinheit 2 (ECU) aufweist, mit der die Ultraschallsensoren 4 verbunden sind. Die Zentraleinheit 2 steuert die Ultraschallsensoren 4 und kann von den Ultraschallsensoren 4 erfasste Ultraschallsignale verarbeiten. Dazu weist die Zentraleinheit 2 unter anderem ein künstliches neuronales Netzwerk 3 auf, im vorliegenden Fall ein faltungsbasiertes künstliches neuronales Netzwerk 3 (CNN). Mit dieser Anordnung ist die Durchführung verschiedener Verfahren gemäß bevorzugter Ausführungsbeispiele der Erfindung möglich, wie im Folgenden erläutert.
Gemäß einem in 3 als Ablaufdiagramm dargestellten Verfahren 10 entsprechend einem ersten bevorzugten Ausführungsbeispiel der Erfindung werden die Ultraschallsensoren 4 in einem ersten Schritt 11 in den sogenannten Listen-Mode gesetzt. Das bedeutet, dass die Ultraschallsensoren 4 in diesem Modus keine Ultraschallsignale aussenden sondern nur in ihre Umgebung „hineinhören“. Damit können mit den Ultraschallsensoren 4 Ultraschallsignale empfangen werden, die von der Oberfläche des Oberflächenbelags herrühren, auf dem sich das Kraftfahrzeug 5 bewegt. In Schritt 12 werden dann von den einzelnen Ultraschallsensoren 4 den jeweils erfassten Ultraschallsignalen entsprechende Messwerte ausgegeben, die anschließend in Schritt 13 in das künstliches neuronales Netzwerk 3 in der Zentraleinheit 2 eingegeben werden. Die von den Ultraschallsensoren 4 ausgegebenen Messwerte beschreiben dabei vorliegend das Frequenzspektrum der erfassten Ultraschallsignale. In Schritt 14 wird in dem künstlichen neuronalen Netzwerk 3 die Oberflächenbeschaffenheit des Oberflächenbelags ermittelt, so dass schließlich in Schritt 15 von dem künstlichen neuronalen Netzwerk 3 ein den Oberflächenbelag charakterisierender Wert ausgegeben werden kann. Dieser den Oberflächenbelag charakterisierende Wert kann dann auf unterschiedliche Weise weiter verwendet werden, z.B. im Rahmen von Fahrerassistenzsystemen.
Das Verfahren gemäß dem ersten bevorzugten Ausführungsbeispiel der Erfindung nutzt also die Tatsache aus, dass das von den Reifen des Kraftfahrzeugs 5 erzeugte akustische Signal eine Funktion der Oberfläche des Oberflächenbelags ist, auf dem sich das Kraftfahrzeug 5 bewegt. Das akustische Signal ist weiterhin abhängig von der Geschwindigkeit, der Reibung und weiterer Parameter. Durch Fahren bei verschiedenen Straßenbedingungen und damit bei unterschiedlichen Beschaffenheiten der Oberfläche des Oberflächenbelags kommt es zu der Erfassung unterschiedlicher Signale durch die Ultraschallsensoren 4. Diese unterschiedlichen Signale können in dem künstlichen neuronalen Netzwerk 3 ausgewertet werden können, um schließlich einen den Oberflächenbelag charakterisierenden Wert auszugeben.
Der den Oberflächenbelag charakterisierende Wert beschreibt vorliegend sowohl die Art des Oberflächenbelags als auch den Feuchtegrad des Oberflächenbelags. Konkret wird zuerst bestimmt, ob es sich um einen Onroad-Belag oder um einen Offroad-Belag handelt. Nachfolgend wird unterschieden, ob es sich im Falle eines Onroad-Belag z.B. um Asphalt handelt bzw. ob es sich bei dem Offroad-Belag z.B. um Schotter oder Gras handelt. Darüber hinaus wird auch der Feuchtegrad der befahrenen Oberfläche bestimmte und zwar hinsichtlich der Zustände „trocken“, „feucht“, „nass“, „Schneematsch“, „Schnee“ und „Eis“.
Vorliegend ist im Übrigen vorgesehen, dass beim Fahren des Kraftfahrzeugs 5 die Ultraschallsensoren 4 regelmäßig in vordefinierten zeitlichen Abständen in den Listen-Mode gesetzt werden, und zwar so lange das Kraftfahrzeug 5 mit einer Geschwindigkeit fährt, die eine vorbestimmte Geschwindigkeitsgrenze übersteigt. Wird diese Geschwindigkeitsgrenze unterschritten, wird wieder ein derartiger herkömmlicher Modus der Ultraschallsensoren 4 aktiviert, der für eine Abstandsmessung vorgesehen ist, nämlich für Ein- bzw. Ausparkvorgänge.
Bei dem zuvor beschriebenen Verfahren gemäß dem ersten bevorzugten Ausführungsbeispiel der Erfindung ist das künstliche neuronale Netzwerk 3 bereits angelernt. Im Vorfeld des Verfahrens ist also eine Trainingsphase durchgeführt worden, in der dem künstlichen neuronalen Netzwerk 3 Messwerte für bekannte Oberflächenbeschaffenheiten zugeführt worden sind, so dass das künstliche neuronale Netzwerk 3 unterschiedliche Oberflächenbeschaffenheiten aufgrund verschiedener von den Ultraschallsensoren 4 ausgegebener Messwerte zu unterscheiden gelernt hat.
Die Tatsache, dass vorliegend ein faltungsbasiertes künstlichen neuronalen Netzwerk 3 zum Einsatz kommt, ist insofern von besonderem Vorteil, als dass der Rechenaufwand bei einer solchen Art von neuronalem Netzwerk für die Ermittlung der Oberflächenbeschaffenheit des von dem Kraftfahrzeug 5 befahrenen Oberflächenbelags relativ gering ist. Dies ermöglicht es, die Zentraleinheit 2 als herkömmliches Kraftfahrzeug-Steuergerät auszugestalten, so dass zusätzlicher Hardware-Aufwand vermieden werden kann.
Gemäß einem aus 4 ersichtlichen ebenfalls als Ablaufdiagramm dargestellten Verfahren 20 entsprechend einem zweiten bevorzugten Ausführungsbeispiel der Erfindung werden die Ultraschallsensoren 4 verwendet, wie bei einer Abstandsmessung, allerdings nicht während eines Parkvorgangs sondern beim regulären Fahren. In einem ersten Schritt 21 wird von den Ultraschallsensoren 4 dabei jeweils ein wenigstens teilweise auf die Oberfläche des befahrenen Oberflächenbelags ausgerichtetes Ultraschallsignal aussendet und von der Oberfläche reflektierte Anteile des Ultraschallsignals werden von den Ultraschallsensoren 4 wieder empfangen. Da die Ultraschallsensoren 4 auch für die Abstandsmessung bei Parkvorgängen eingerichtet sind und dabei insbesondere Hindernisse erkannte werden müssen, die sich vor bzw. hinter dem Kraftfahrzeug 5 befinden, ist die Abstrahlrichtung der Ultraschallsignale von den Ultraschallsensoren 4 gegenüber dem Boden relativ flach. Konkret kommt es zu Einfallswinkeln, die weniger als 50° betragen können. Gleichwohl hat sich gezeigt, dass damit immer noch derartige Messungen durchgeführt werden können, die ohne Weiteres auf die Oberflächenbeschaffenheit des befahrenen Oberflächenbelags schließen lassen können.
Ähnlich wie bei dem zuvor beschriebenen Verfahren gemäß dem ersten bevorzugten Ausführungsbeispiel der Erfindung werden dann in Schritt 22 von den einzelnen Ultraschallsensoren 4 den jeweils erfassten Ultraschallsignalen entsprechende Messwerte ausgegeben, die im nachfolgenden Schritt 23 in das künstliches neuronale Netzwerk 3 in der Zentraleinheit 2 eingegeben werden. Die von den Ultraschallsensoren 4 ausgegebenen Messwerte beschreiben dabei die zeitlichen Hüllkurven der erfassten Ultraschallsignale.
Im nachfolgenden Schritt 24 wird in dem künstlichen neuronalen Netzwerk 3 die Oberflächenbeschaffenheit des Oberflächenbelags ermittelt, so dass schließlich in Schritt 25 von dem künstlichen neuronalen Netzwerk 3 ein den Oberflächenbelag charakterisierender Wert ausgegeben werden kann. Dieser den Oberflächenbelag charakterisierender Wert kann auf unterschiedliche Weise weiter verwendet werden, wie bei dem Verfahren gemäß dem ersten bevorzugten Ausführungsbeispiel der Erfindung.
Bezugszeichenliste

1: Sensoranordnung
2: Zentraleinheit
3: künstliches neuronales Netzwerk
4: Ultraschallsensoren
5: Kraftfahrzeug
10: Verfahren gemäß dem ersten bevorzugten Ausführungsbeispiel
11: erster Verfahrensschritt
12: zweiter Verfahrensschritt
13: dritter Verfahrensschritt
14: vierter Verfahrensschritt
15: fünfter Verfahrensschritt
20: Verfahren gemäß dem zweiten bevorzugten Ausführungsbeispiel
21: erster Verfahrensschritt
22: zweiter Verfahrensschritt
23: dritter Verfahrensschritt
24: vierter Verfahrensschritt
25: fünfter Verfahrensschritt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 4117091 A1 [0001, 0004]
DE 4213221 A1 [0005]
WO 2016/124487 A1 [0006]
WO 2017/012978 A1 [0007]

Claims

Verfahren zum Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug (5) befahrenen Oberflächenbelags, mit folgenden Verfahrensschritten: - Erfassen eines von der Oberfläche des Oberflächenbelags herrührenden Ultraschallsignals mittels eines im Kraftfahrzeug (5) angeordneten Ultraschallsensors (4), - Ausgeben eines dem erfassten Ultraschallsignals entsprechenden Messwerts von dem Ultraschallsensor (4), - Eingeben des Messwerts in ein künstliches neuronales Netzwerk (3), - Ermitteln der Oberflächenbeschaffenheit des Oberflächenbelags in dem künstlichen neuronalen Netzwerk (3) und - Ausgeben eines den Oberflächenbelag charakterisierenden Wertes von dem künstlichen neuronalen Netzwerk (3), dadurch gekennzeichnet, dass der in dem Kraftfahrzeug (5) angeordnete Ultraschallsensor (4) ein zum Senden und Empfangen von Ultraschallsignalen eingerichteter Ultraschallsensor (4) ist, der Bestandteil einer zur Durchführung von Abstandsmessungen eingerichteten Sensoranordnung (1) des Kraftfahrzeugs (5) ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Ultraschallsensor (4) zum Erfassen des von der Oberfläche herrührenden Ultraschallsignals in den Listen-Mode gesetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Ultraschallsensor (4) zum Erfassen des von der Oberfläche herrührenden Ultraschallsignals ein wenigstens teilweise auf die Oberfläche ausgerichtetes Ultraschallsignal aussendet und von der Oberfläche reflektierte Anteile des Ultraschallsignals empfängt.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Ultraschallsignal mit einem derartigen Einfallswinkel auf die Oberfläche trifft, der größer als 30° ist.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der von dem Ultraschallsensor (4) ausgegebene Messwert die zeitliche Hüllkurve des erfassten Ultraschallsignals beschreibt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der von dem Ultraschallsensor (4) ausgegebene Messwert das Frequenzspektrum des erfassten Ultraschallsignals beschreibt.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der den Oberflächenbelag charakterisierende Wert die Art des Oberflächenbelags und/oder den Feuchtegrad des Oberflächenbelags beschreibt.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Messwert in Vektorform oder in Matrixform in das künstliche neuronale Netzwerk (3) eingegeben wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (3) ein faltungsbasiertes künstliches neuronales Netzwerk, CNN, ist.
Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche in einem Kraftfahrzeug (5).
Nichtflüchtiges, computerlesbares Speichermedium mit darauf abgespeicherten Befehlen, die bei ihrer Ausführung auf einem Prozessor ein Verfahren nach einem der Ansprüche 1 bis 9 bewirken.
Sensoranordnung (1), die zum Betrieb mittels eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet ist.
Sensoranordnung (1) nach Anspruch 12, die als Sensoreinheiten Ultraschallsensoreinheiten (4) zum Senden und/oder Empfangen von Ultraschallsignalen aufweist.