DE102021124237A1

DE102021124237A1 - Verfahren zum betreiben einer ultraschallsensorvorrichtung für ein fahrzeug, ultraschallsensorvorrichtung, fahrerassistenzsystem und fahrzeug

Info

Publication number: DE102021124237A1
Application number: DE102021124237.1A
Authority: DE
Inventors: Maximilian Poepperl; Felix Becker; Stefan Milz
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-09-20
Filing date: 2021-09-20
Publication date: 2023-03-23

Abstract

Verfahren zum Betreiben einer Ultraschallsensorvorrichtung (11) für ein Fahrzeug (1), mit den Schritten:a) Aussenden (S4) eines Ultraschallsignals (4) in einen Bodenbereich (9) unterhalb des Fahrzeugs (1),b) Empfangen (S5) eines reflektierten Ultraschallsignals (6) aus dem Bodenbereich (9),c) Verarbeiten (S6) des empfangenen Ultraschallsignals (6, MA) unter Berücksichtigung des Einflusses von Umgebungsbedingungen (U) mittels einer auf Basis maschinellen Lernens angelernten ersten Steuereinrichtung (15) zum Erhalten eines verarbeiteten Ultraschallsignals (MA'), undd) Erkennen (S7) mittels einer zweiten Steuereinrichtung (18) anhand des verarbeiteten Ultraschallsignals (MA'), ob sich ein Objekt (3) in dem Bodenbereich (9) befindet.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben einer Ultraschallsensorvorrichtung für ein Fahrzeug, eine Ultraschallsensorvorrichtung für ein Fahrzeug und ein Fahrerassistenzsystem und ein Fahrzeug mit einer solchen Ultraschallsensorvorrichtung.
Ultraschallsensoren werden in Kraftfahrzeugen eingesetzt, um anhand ausgesendeter Ultraschallimpulse und empfangener Echo-Ultraschallimpulse Informationen über die Umgebung eines Fahrzeugs zu erfassen und Informationen über die Umgebung des Fahrzeugs an ein Parkassistenzsystem, ein Fahrassistenzsystem oder dergleichen zu übermitteln. Beispielsweise kann mit mithilfe solcher Ultraschallsensoren ein Umgebungsbereich des Kraftfahrzeugs überwacht werden, indem ein jeweiliger Abstand zwischen dem Kraftfahrzeug und Objekten im Umgebungsbereich bestimmt wird.
Weiterhin ist aus der DE 10 2017 111 932 A1 eine Ultraschallsensorvorrichtung für ein Kraftfahrzeug bekannt, bei welcher ein Ultraschallsignal in einen Bodenbereich unterhalb des Kraftfahrzeugs ausgesendet wird und ein Ultraschallsignal aus dem Bodenbereich empfangen wird. Anhand des ausgesendeten und/oder des empfangenen Ultraschallsignals kann ein Objekt im Unterbodenbereich des Fahrzeugs erkannt werden.
Allerdings können Ultraschallsignale durch Umwelteinflüsse beeinflusst werden, was das Erkennen von Objekten im Unterbodenbereich erschweren kann. Beispielsweise hat ein nasser Fahrbahnbelag oder ein mit Schnee bedeckter Fahrbahnbelag Auswirkungen auf ein Reflexionssignal der Ultraschallwellen. Auch beispielsweise Luftfeuchtigkeit, Umgebungstemperatur und Wind können ein Ultraschallsignal signifikant verändern. Mit herkömmlichen Ultraschallsensorvorrichtungen können solche Umwelteinflüsse nur unzureichend berücksichtigt werden. Damit können Objekte im Unterbodenbereich von Fahrzeugen nur ungenügend erkannt werden.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Verfahren zum Betreiben einer Ultraschallsensorvorrichtung für ein Fahrzeug und eine verbesserte Ultraschallsensorvorrichtung für ein Fahrzeug zu schaffen.
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben einer Ultraschallsensorvorrichtung für ein Fahrzeug vorgeschlagen. Das Verfahren umfasst die Schritte:

a) Aussenden eines Ultraschallsignals in einen Bodenbereich unterhalb des Fahrzeugs,
b) Empfangen eines reflektierten Ultraschallsignals aus dem Bodenbereich,
c) Verarbeiten des empfangenen Ultraschallsignals unter Berücksichtigung des Einflusses von Umgebungsbedingungen mittels einer auf Basis maschinellen Lernens angelernten ersten Steuereinrichtung zum Erhalten eines verarbeiteten Ultraschallsignals, und
d) Erkennen mittels einer zweiten Steuereinrichtung anhand des verarbeiteten Ultraschallsignals, ob sich ein Objekt in dem Bodenbereich befindet.

Durch das vorgeschlagene Verfahren können Umgebungsbedingungen, welche Ultraschallsignale beeinflussen, berücksichtigt werden. Beispielsweise können Wetterbedingungen, welche ein Ultraschallsignal verfälschen, berücksichtigt werden. Zum Beispiel kann ein Einfluss von Wind auf eine Signalform und -amplitude berücksichtigt werden. Beispielsweise können Reflexionseigenschaften einer Fahrbahnoberfläche, zum Beispiel einer schneebedeckten oder nassen Fahrbahnoberfläche, berücksichtigt werden. Insbesondere können Abweichungen des empfangenen Ultraschallsignals aufgrund solcher Umgebungsbedingungen mithilfe der ersten Steuereinrichtung korrigiert werden.
Vorteilhafterweise erfolgt das Berücksichtigen des Einflusses von Umgebungsbedingungen auf das Ultraschallsignal mithilfe einer maschinell angelernten Künstliche-Intelligenz-Einrichtung (Kl-Einrichtung, die erste Steuereinrichtung). Die maschinell angelernte erste Steuereinrichtung weist beispielsweise ein künstliches neuronales Netz (kurz: neuronales Netz) auf. Das neuronale Netz ist insbesondere basierend auf Lerndatensätzen angelernt.
Durch Anwenden der maschinell angelernten ersten Steuereinrichtung zur Verarbeitung des empfangenen reflektierten Ultraschallsignals können Einflüsse der Umgebungsbedingungen auf das Ultraschallsignal zuverlässiger berücksichtigt bzw. korrigiert werden.
Mit dem Verfahren kann folglich sicherer erkannt werden, ob sich im Bodenbereich unterhalb des Fahrzeugs ein Objekt befindet oder nicht. Dadurch kann ein auf dieser ermittelten Information basierendes Fahrerassistenzsystem einen Fahrer eines Fahrzeugs besser unterstützen. Beispielsweise kann bei Erkennen eines Objekts im Bodenbereich unterhalb des Fahrzeugs eine Warnung ausgegeben werden. Durch die Warnung wird der Fahrer informiert, das Fahrzeug nicht zu starten und/oder zu bewegen, wenn sich ein Objekt im Bodenbereich unterhalb des Fahrzeugs befindet. Bei dem Objekt kann es sich beispielsweise um eine Katze, einen Ball oder dergleichen handeln.
Die Umgebungsbedingungen weisen insbesondere Bedingungen auf, die eine Umgebung eines Ultraschallsensors charakterisieren. Die Umgebungsbedingungen weisen insbesondere Bedingungen auf, welche ein Ultraschallsignal verändern. Die Umgebungsbedingungen weisen beispielsweise jeweils einen Umgebungsparameter auf. Ein Beispiel für eine Umgebungsbedingung ist eine Luftströmung, und ein Beispiel für einen Umgebungsparameter dieser Umgebungsbedingung ist ein Wert für eine Stärke der Luftströmung.
Das Ultraschallsignal wird von einem an dem Fahrzeug angebrachten Ultraschallsensor ausgesendet. Das Ultraschallsignal wird an einem Boden und/oder einem Objekt im Bodenbereich unterhalb des Fahrzeugs reflektiert und von demselben oder einem anderen an dem Fahrzeug angebrachten Ultraschallsensor empfangen. Das empfangene Ultraschallsignal ist insbesondere ein Echo-Signal des in den Bodenraum ausgesendeten Ultraschallsignals. Das empfangene Ultraschallsignal, ein daraus abgeleitetes Signal und/oder daraus abgeleitete Parameter werden als Eingangsinformationen in die erste Steuereinrichtung eingelesen.
Mittels der ersten Steuereinrichtung (KI-Einrichtung) wird das empfangene Ultraschallsignal verarbeitet. Beispielsweise weist ein neuronales Netz der ersten Steuereinrichtung zumindest eine Eingabeschicht, eine Verarbeitungsschicht und eine Ausgabeschicht auf. Die Schichten weisen jeweils mehrere Neuronen auf. Beispielsweise weist eine Eingabeschicht eines neuronalen Netzes der ersten Steuereinrichtung eine Vielzahl von Neuronen auf. Das heißt, dass das neuronale Netz Eingangsinformationen entsprechend der Vielzahl der Neuronen der Eingabeschicht verarbeiten kann.
Beispielsweise wird als Eingangsinformationen für das neuronale Netz der ersten Steuereinrichtung ein digitalisiertes Ultraschallsignal bereitgestellt. Das digitalisiertes Ultraschallsignal ist beispielsweise ein aus einem analogen Signal eines Ultraschallwandlers einer Ultraschallsensorvorrichtung des Fahrzeugs erzeugtes digitalisiertes Ultraschallsignal. Bei dem digitalisierten Ultraschallsignal handelt es sich zum Beispiel um ein bereits ausgewertetes empfangenes Ultraschallsignal, z.B. eine Hüllkurve des empfangenen Ultraschallsignals und/oder um ein oder mehrere basierend auf der Hüllkurve des Ultraschallsignals abgeleitete Parameter.
Beispielsweise weist ein neuronales Netz der ersten Steuereinrichtung eine Ausgabeschicht mit einer Vielzahl von Neuronen auf. Das heißt, dass das neuronale Netz Ausgabeinformationen entsprechend der Vielzahl der Neuronen der Ausgabeschicht ausgeben kann. Insbesondere ist vorgesehen, dass das neuronale Netz als Ausgabeinformationen das verarbeitete Ultraschallsignal ausgibt.
Das verarbeitete Ultraschallsignal ist beispielsweise ein auf eine vorbestimmte Umweltbedingung und/oder eine Zielumweltbedingung normiertes und/oder transformiertes Ultraschallsignal. Beispielsweise ist die vorbestimmte Umweltbedingung eine Umweltbedingung, für die es eine Repräsentation in Lerndatensätzen der zweiten Steuereinrichtung (d.h. des Klassifikators) gibt.
In Ausführungsformen kann das Verfahren einen Schritt eines Ermittelns einer Objekteigenschaft eines in Schritt d) erkannten Objekts im Bodenbereich aufweisen. Die Objekteigenschaft wird beispielsweise durch die zweite Steuereinrichtung ermittelt. Die Objekteigenschaft ist beispielsweise eine Überfahrbarkeit des jeweiligen Objekts. Die Überfahrbarkeit ergibt sich insbesondere aus einer Höhe des jeweiligen Objekts. Insbesondere kann in dem Verfahren ein in Schritt d) erkanntes Objekt - beispielsweise durch die zweite Steuereinrichtung - in die Kategorien „überfahrbar“ und „nicht-überfahrbar“ klassifiziert werden.
Gemäß einer Ausführungsform des ersten Aspekts wird das empfangene Ultraschallsignal mittels der ersten Steuereinrichtung in ein von Einflüssen der Umgebungsbedingungen bereinigtes Ultraschallsignal verarbeitet.
Beispielsweise wird das empfangene Ultraschallsignal in ein von Einflüssen der Umgebungsbedingungen bereinigtes Ultraschallsignal transformiert und/oder umgerechnet.
Gemäß einer weiteren Ausführungsform des ersten Aspekts wird das Ultraschallsignal und das reflektierte Ultraschallsignal bei einem Stillstand des Fahrzeugs ausgesendet bzw. empfangen.
Dadurch kann bei einem Stillstand des Fahrzeugs erkannt werden, ob sich ein Objekt in dem Bodenbereich unterhalb des Fahrzeugs befindet. Wird erkannt, dass sich ein Objekt im Bodenbereich befindet, kann der Fahrer des Fahrzeugs von einem Fahrerassistenzsystem des Fahrzeugs gewarnt und/oder an einem Losfahren gehindert werden.
Gemäß einer weiteren Ausführungsform des ersten Aspekts weist das Verfahren die Schritte auf:

Bereitstellen von mithilfe eines Ultraschallsensors aus einem Bodenbereich eines Fahrzeugs erfassten Messdatensätzen bei verschiedenen Umgebungsbedingungen und bei Abwesenheit eines Objekts im Bodenbereich, und
Anlernen der ersten Steuereinrichtung mittels maschinellen Lernens basierend auf Lerndatensätzen, welche in Abhängigkeit der Messdatensätze gebildet werden. Beispielsweise werden M Messdatensätze bei N verschiedenen Umgebungsbedingungen bereitgestellt, wobei M und N ganze Zahlen größer 1 sind. Beispielsweise wird für jede der N Umgebungsbedingungen ein Messdatensatz bereitgestellt. In diesem Fall sind M und N gleich groß (M = N). Es ist jedoch auch möglich, dass für jede der N Umgebungsbedingungen mehr als ein Messdatensatz bereitgestellt wird. Dann ist M eine Zahl größer N (M > N).

Bei einem jeweiligen mithilfe eines Ultraschallsensors aus einem Bodenbereich eines Fahrzeugs erfassten Messdatensatz handelt es sich um einen Messdatensatz, der durch Aussenden eines Ultraschallsignals in den Bodenbereich und Empfangen eines reflektierten Ultraschallsignals aus dem Bodenbereich erfasst wird. Mit anderen Worten handelt es sich bei dem jeweiligen Messdatensatz um das empfangenene reflektierte Ultraschallsignal und/oder um aus dem empfangenen reflektierten Ultraschallsignal abgeleitete Messdaten und/oder Messgrößen. Beispielsweise handelt es sich bei dem jeweiligen Messdatensatz um ein bereits digitalisiertes und/oder ausgewertetes Ultraschallsignal. Zum Beispiel handelt es sich bei dem jeweiligen Messdatensatz um eine Hüllkurve des Ultraschallsignals und/oder um ein oder mehrere basierend auf der Hüllkurve des Ultraschallsignals abgeleitete Parameter.
Das Erfassen der Messdatensätze erfolgt beispielsweise vor Fertigstellung des Fahrzeugs und/oder vor erstmaliger Inbetriebnahme des Fahrzeugs. Die Messdatensätze werden zum Beispiel in einem Labor erfasst. Das Fahrzeug, für das die Messdatensätze erfasst werden, ist beispielsweise ein Test- oder Referenzfahrzeug. Das Fahrzeug, für das die Messdatensätze erfasst werden, ist beispielsweise ein anderes Fahrzeug als das Fahrzeug gemäß Anspruch 1. Das Fahrzeug, für das die Messdatensätze erfasst werden, ist beispielsweise ein Fahrzeug gleichen Typs wie das Fahrzeug gemäß Anspruch 1.
Gemäß einer weiteren Ausführungsform des ersten Aspekts weist das Verfahren vor Schritt

a) die Schritte auf:
- Aussenden mindestens eines Referenz-Ultraschallsignals in den Bodenbereich bei einem Abstellen des Fahrzeugs, und
- Empfangen mindestens eines reflektierten Referenz-Ultraschallsignals aus dem Bodenbereich,
wobei das Anlernen der ersten Steuereinrichtung mittels maschinellen Lernens basierend auf Lerndatensätzen erfolgt, welche in Abhängigkeit der Messdatensätze und des mindestens einen empfangenen Referenz-Ultraschallsignals gebildet werden, und wobei mittels der zweiten Steuereinrichtung erkannt wird, ob sich seit dem Abstellen des Fahrzeugs ein Objekt in den Bodenbereich hinein bewegt hat.

Es ist davon auszugehen, dass sich beim Abstellen des Fahrzeugs kein Objekt im Bodenbereich unterhalb des Fahrzeugs befindet. Durch die Referenz-Ultraschallmessung beim Abstellen des Fahrzeugs wird also ein Ultraschallsignal aus dem Bodenbereich bereitgestellt, das einem Zustand ohne Objekt entspricht.
Der Zeitpunkt bzw. Zeitraum „beim Abstellen des Fahrzeugs“ umfasst hierbei auch einen Zeitpunkt bzw. Zeitraum kurz nach dem Abstellen des Fahrzeugs, unmittelbar nach dem Abstellen des Fahrzeugs, wenige Sekunden nach dem Abstellen des Fahrzeugs und/oder bei Abstellen des Motors des Fahrzeugs.
Die erste Steuereinrichtung (KI-Einrichtung) wird in dieser Ausführungsform beim Abstellen des Fahrzeugs angelernt. Dadurch, dass die Lerndatensätze für die erste Steuereinrichtung auch einen oder mehrere Messdatensätze umfassen, die auf dem empfangenen Referenz-Ultraschallsignal beim Abstellen des Fahrzeugs basieren, können noch bessere Lerndatensätze für die erste Steuereinrichtung bereitgestellt werden. Insbesondere können die Lerndatensätze für die erste Steuereinrichtung um ein oder mehrere Messdatensätze erweitert werden, welche an dem konkreten Ort (zum Beispiel mit einem bestimmten Fahrbahnbelag) und/oder für das konkrete Fahrzeug erfasst wurden. Insbesondere ist der konkrete Ort derjenige Ort, an dem auch die Objekterkennung stattfindet. Weiterhin ist das konkrete Fahrzeug dasjenige Fahrzeug, für das auch die Objekterkennung stattfindet.
Das Aussenden bzw. Empfangen des mindestens einen Referenz-Ultraschallsignals erfolgt insbesondere zeitlich vor dem Aussenden bzw. Empfangen des Ultraschallsignals, anhand dessen durch die zweite Steuereinrichtung erkannt wird, ob sich ein Objekt im Bodenbereich befindet oder nicht.
Gemäß einer weiteren Ausführungsform des ersten Aspekts wird die erste Steuereinrichtung mittels unüberwachten maschinellen Lernens angelernt.
Unüberwachtes Lernen ist sogenanntes „Unsupervised Learning“. Beim unüberwachten Lernen wird - anders als beim überwachten Lernen - in den Lerndatensätzen kein gewünschter Ausgabewert vorgegeben. Das Optimieren der Gewichte des neuronalen Netzes der ersten Steuereinrichtung erfolgt zum Beispiel in Abhängigkeit von Ähnlichkeiten der Eingabeinformationen des neuronalen Netzes. Beispielsweise weist das Lernen einen Vorgang eines Gruppierens und/oder einer Clusterbildung (engl. Clustering) auf. Beispielsweise umfasst das Lernen ein Erkennen von Gruppen in den Ultraschallsignalen der Lerndatensätze anhand ähnlicher Merkmale. Beispielsweise umfasst das Lernen ein Erkennen von Mustern in den Ultraschallsignalen der Lerndatensätze.
Beispielsweise handelt es sich bei dem neuronalen Netz der ersten Steuereinrichtung um einen Autoencoder. Mithilfe eines Autoencoders kann eine effiziente, insbesondere niedrig-dimensionale, Kodierungen eines Eingangsdatensatzes gelernt werden. Insbesondere können mit einem Autoencoder hoch-dimensionale Daten in eine niedrig-dimensionale Kodierungen überführt werden. Dadurch kann ein Eingangsdatensatz mit einer Vielzahl von Merkmalen (z.B. mehrere Hundert) auf einen Ausgangsdatensatz mit einigen wenigen Merkmalen reduziert werden. Insbesondere kann eine komprimierte Repräsentation (Encoding) für einen Eingangsdatensatz und/oder das Extrahieren geeigneter wesentlicher Merkmale gelernt werden.
Insbesondere kann der Autoencoder zur Dimensionsreduktion des empfangenen reflektierten Ultraschallsignals genutzt werden. In einer Lernphase des Autoencoders lernt das neuronale Netz des Autoencoders aus den Lerndatensätzen (z.B. den Hüllkurven) bei den verschiedenen Umgebungsbedingungen geeignete wesentliche Merkmale zu extrahieren. Mit dem auf diese Weise angelernten Autoencoder kann das empfangene reflektierte Ultraschallsignal (z.B. seine Hüllkurve) in Schritt c) des Verfahrens derart verarbeitet werden, dass es auf geeignete wesentliche Merkmale reduziert wird. Die geeigneten wesentlichen Merkmale sind beispielsweise solche, die keine und/oder nur normierte Einflüsse von Umweltbedingungen enthalten.
Bei dem neuronalen Netz der ersten Steuereinrichtung kann es sich auch um ein generatives Netz und/oder ein generatives kontradiktorisches Netz (engl. Generative Adversarial Network, GAN) handeln. Ein generatives kontradiktorisches Netz weist insbesondere zwei neuronale Netze auf, nämlich ein generatives Netz und ein diskriminatives Netz. Mithilfe eines GAN-Netzes kann das empfangene reflektierte Ultraschallsignal (z.B. seine Hüllkurve) von Einflüssen von Umweltbedingungen bereinigt werden, insbesondere normiert werden.
Gemäß einer weiteren Ausführungsform des ersten Aspekts umfassen die Umgebungsbedingungen eine oder mehrere Eigenschaften eines Fahrbahnbelags unterhalb des Fahrzeugs und/oder eine oder mehr Umweltbedingungen des Fahrzeugs.
Ein Fahrbahnbelag ist vorliegend die oberste Schicht der Befestigung einer Fahrbahn und/oder eine Fahrbahnoberfläche
Eine Umweltbedingung des Fahrzeugs ist beispielsweise eine Wetterbedingung im Bereich des Fahrzeugs und/oder im Bodenbereich unterhalb des Fahrzeugs.
Gemäß einer weiteren Ausführungsform des ersten Aspekts weisen die eine oder mehreren Eigenschaften des Fahrbahnbelags eine Beschaffenheit des Fahrbahnbelags und/oder eine Schicht auf dem Fahrbahnbelag auf, und/oder
weisen die eine oder mehreren Umweltbedingungen eine Lufttemperatur, eine Luftfeuchtigkeit, eine Stärke einer Luftströmung, ein Vorhandensein von Regen, Schnee und/oder Eis auf.
Ein Beispiel für eine Beschaffenheit des Fahrbahnbelags ist ein Material des Fahrbahnbelags, wie beispielsweise Asphalt, Schotter, Gras und dergleichen. Beispielsweise wird eine Beschaffenheit des Fahrbahnbelags in zwei Zustände unterteilt. Einer der beiden Zustände ist ein „on-road-Zustand“, der einen Fahrbahnbelag aus Asphalt umfasst. Der andere der beiden Zustände ist ein „off-road-Zustand“, der einen Fahrbahnbelag im Gelände, wie beispielsweise Schotter und Gras, umfasst.
Beispiele für eine Beschaffenheit des Fahrbahnbelags können auch temporäre Zustände des Fahrbahnbelags umfassen, wie beispielsweise trocken, nass, schneebedeckt, eisbedeckt, staubbedeckt und dergleichen. Beispiele für eine Schicht auf dem Fahrbahnbelag umfassen einen Wasserfilm, eine Schneeschicht, eine Sandschicht, eine Staubschicht und dergleichen.
Gemäß einer weiteren Ausführungsform des ersten Aspekts ist die zweite Steuereinrichtung eine auf Basis maschinellen Lernens angelernte Steuereinrichtung, welche anhand des verarbeiteten Ultraschallsignals erkennt, ob sich ein Objekt in dem Bodenbereich befindet.
Insbesondere ist die zweite Steuereinrichtung in dieser Ausführungsform eine zweite Künstliche-Intelligenz-Einrichtung (KI-Einrichtung). Die maschinell angelernte zweite Steuereinrichtung ist insbesondere mithilfe eines neuronalen Netzes angelernt. Die zweite Steuereinrichtung dient insbesondere zur Klassifizierung, ob ein Objekt im Bodenbereich unterhalb des Fahrzeugs vorhanden ist oder nicht. Die zweite Steuereinrichtung ist insbesondere ein maschinell angelernter Klassifikator.
Die zweite Steuereinrichtung ist beispielsweise bereits vor Fertigstellung des Fahrzeugs angelernt worden. Mit anderen Worten ist eine Lernphase (Trainingsphase) eines neuronalen Netzes der zweiten Steuereinrichtung bei Inbetriebnahme des Fahrzeugs bereits abgeschlossen. Die Lernphase wurde beispielsweise mit Lerndatensätzen ausgeführt, welche auf Ultraschallmessungen anhand von Test- oder Referenzfahrzeugen in einem Labor basieren. Beispielsweise können diese Lerndatensätze für viele Fahrzeuge, zum Beispiel desselben Typs, verwendet werden. Beispielsweise wird die angelernte zweite Steuereinrichtung am Ende der Fertigungslinie des Fahrzeugs auf eine Steuervorrichtung des Fahrzeugs aufgespielt.
In anderen Ausführungsformen kann die zweite Steuereinrichtung auch ein klassischer Klassifikator sein.
Gemäß einer weiteren Ausführungsform des ersten Aspekts ist die zweite Steuereinrichtung eine auf Basis überwachten maschinellen Lernens und basierend auf Lerndatensätzen angelernt, wobei:

die Lerndatensätze der zweiten Steuereinrichtung als Eingangsdatensätze umfassen:
- mithilfe eines Ultraschallsensors aus einem Bodenbereich eines Fahrzeugs erfasste Messdatensätze bei verschiedenen Umgebungsbedingungen und bei Abwesenheit eines Objekts im Bodenbereich, und
- mithilfe eines Ultraschallsensors aus einem Bodenbereich eines Fahrzeugs erfasste Messdatensätze bei den verschiedenen Umgebungsbedingungen und bei Anwesenheit von mindestens einem Objekt im Bodenbereich, und
die Lerndatensätze der zweiten Steuereinrichtung den Eingangsdatensätzen jeweils zugeordnet eine Klassifizierungsinformation als gewünschte Ausgabeinformation umfassen, welche angibt, ob ein Objekt im Bodenbereich des Fahrzeugs bei dem jeweiligen Eingangsdatensatz vorhanden ist.

Insbesondere umfassen die Lerndatensätze der zweiten Steuereinrichtung jedem einzelnen Messdatensatz der Eingangsdatensätze zugeordnet eine Klassifizierungsinformation als gewünschte Ausgabeinformation, welche angibt, ob ein Objekt im Bodenbereich des Fahrzeugs bei dem jeweiligen Messdatensatz vorhanden ist.
Insbesondere weist die zweite Steuereinrichtung ein neuronales Netz auf, deren Gewichte beim Anlernen anhand der vorgegebenen gewünschten Ausgabeinformation („Teaching Vector“) optimiert werden.
Vorliegend bedeutet das Erfassen von Messdatensätzen bei verschiedenen Umgebungsbedingungen, dass bei dem Erfassen eines jeweiligen Messdatensatzes (d.h. zur Zeit des Erfassens des jeweiligen Messdatensatzes) eine vorbestimmte Umgebungsbedingung vorliegt. Die vorbestimmte Umgebungsbedingung kann durch mehrere Parameter und/oder Eigenschaften gekennzeichnet sein. Beispielsweise wird ein erster Messdatensatz für einen Fahrbahnbelag aus Asphalt und eine vorbestimmte erste Windgeschwindigkeit erfasst. Beispielsweise wird ein zweiter Messdatensatz für einen Fahrbahnbelag aus Schotter und die vorbestimmte erste Windgeschwindigkeit erfasst. Beispielsweise wird ein dritter und vierter Messdatensatz für eine zweite vorbestimmte Windgeschwindigkeit und entsprechend einen Asphalt- und einen Schotter-Fahrbahnbelag erfasst. Die genannten Beispiele dienen lediglich der Veranschaulichung. Insbesondere können die Messdatensätze bei vielen verschiedenen Umgebungsbedingung und einer beliebigen Kombination solcher Umgebungsbedingung erfasst werden, um einen geeigneten Lerndatensatz zum Anlernen der zweiten Steuereinrichtung bereitzustellen.
Vorliegend bedeutet die Anwesenheit von mindestens einem Objekt im Bodenbereich, dass sich bei dem Erfassen eines jeweiligen Messdatensatzes (d.h. zur Zeit des Erfassens des jeweiligen Messdatensatzes) ein Objekt im Bodenbereich befindet. Die Messdatensätze können auch für verschiedene Arten von Objekten erfasst werden. Zum Beispiel können die Messdatensätze für Objekte mit unterschiedlichen Abmessungen und/oder Formen erfasst werden. Die Messdatensätze können auch für Objekte an verschiedenen Stellen innerhalb des Bodenbereichs erfasst werden. Die Messdatensätze können auch für Situationen, in denen sich mehr als ein Objekt gleichzeitig im Bodenbereich befindet, erfasst werden.
Gemäß einer weiteren Ausführungsform des ersten Aspekts erfolgt das Anlernen der ersten Steuereinrichtung mittels maschinellen Lernens basierend auf Lerndatensätzen, welche eine Teilmenge der Eingangsdatensätze der Lerndatensätze der zweiten Steuereinrichtung sind, wobei die Teilmenge alle Messdatensätze bei Abwesenheit eines Objekts umfasst.
Dadurch wird eine Bereitstellung der Lerndatensätze für die erste und zweite Steuereinrichtung vereinfacht. Insbesondere sind weniger Messungen zur Bereitstellung der Lerndatensätze erforderlich. Zudem kann eine Klassifizierung durch die zweite Steuereinrichtung mit größerer Zuverlässigkeit erfolgen, da das Ultraschallsignal in Schritt c) mithilfe der ersten Steuereinrichtung in einen Datenraum transformiert wird, für den die zweite Steuereinrichtung trainiert wurde.
Gemäß einer weiteren Ausführungsform des ersten Aspekts wird die erste Steuereinrichtung und/oder die zweite Steuereinrichtung mithilfe eines Maschinenlernalgorithmus angelernt, der ein neuronales Netz, einen Autoencoder, ein generatives Netz, ein faltendes neuronales Netz, ein vorwärtsgerichtetes neuronales Netz, ein mehrlagiges neuronales Netz, ein mehrlagiges Perzeptron und/oder ein auf tiefem Lernen oder bestärkendem Lernen basierendes neuronales Netz aufweist.
Das neuronale Netz weist zumindest eine Eingabeschicht, eine Verarbeitungsschicht und eine Ausgabeschicht auf. Die Schichten weisen jeweils mehrere Neuronen auf. Das neuronale Netz kann auch mehr als eine Verarbeitungsschicht aufweisen. Ein faltendes neuronales Netz ist ein sogenanntes „Convolutional Neural Network“. Ein vorwärtsgerichtetes neuronales Netz ist ein sogenanntes „Feedforward-Netz“ (engl. Feedforward neural network), bei welchem Informationen zwischen den Neuronen nur in einer Richtung, nämlich nach vorne, bewegt werden. Ein mehrlagiges Perzeptron (engl. Multi-Layer-Perceptron) weist beispielsweise eine oder mehrere Verarbeitungsschichten auf. Ein für tiefes Lernen (engl. „deep learning“) ausgelegtes neuronales Netz weist mehr als eine versteckte Verarbeitungsschicht auf.
Gemäß einem zweiten Aspekt wird eine Ultraschallsensorvorrichtung für ein Fahrzeug vorgeschlagen. Die Ultraschallsensorvorrichtung weist auf:

mindestens einen Ultraschallsensor zum Aussenden eines Ultraschallsignals in einen Bodenbereich unterhalb des Fahrzeugs und zum Empfangen eines reflektierten Ultraschallsignals aus dem Bodenbereich,
eine auf Basis maschinellen Lernens angelernte erste Steuereinrichtung zur Berücksichtigung des Einflusses von Umgebungsbedingungen auf das empfangene reflektierte Ultraschallsignal, und
eine zweite Steuereinrichtung zum Erkennen, anhand des empfangenen reflektierten Ultraschallsignals, ob sich ein Objekt in dem Bodenbereich befindet.

Gemäß einem dritten Aspekt wird ein Fahrerassistenzsystem für ein Fahrzeug vorgeschlagen. Das Fahrerassistenzsystem weist eine wie vorstehend beschriebene Ultraschallsensorvorrichtung auf. Außerdem ist das Fahrerassistenzsystem dazu eingerichtet, eine Warnung in Abhängigkeit von einem in dem Bodenbereich erkannten Objekt auszugeben.
Gemäß einem vierten Aspekt wird ein Fahrzeug mit einer wie vorstehend beschriebenen Ultraschallsensorvorrichtung oder einem wie vorstehend beschriebenen Fahrerassistenzsystem vorgeschlagen.
Gemäß einem weiteren Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Verfahrensschritte des vorstehend beschriebenen Verfahrens auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem weiteren Aspekt wird eine Steuervorrichtung vorgeschlagen, welche die erste Steuereinrichtung und die zweite Steuereinrichtung umfasst.
Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für die Ultraschallsensorvorrichtung, das Fahrerassistenzsystem, das Fahrzeug, das Computerprogrammprodukt und die Steuervorrichtung entsprechend und wechselseitig.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

1 zeigt eine Seitenansicht eines Fahrzeugs mit einem Ultraschallsensor gemäß einer Ausführungsform;
2 zeigt ein Beispiel eines zeitlichen Verlaufs eines von dem Ultraschallsensor aus 1 empfangenen Ultraschallsignals;
3 zeigt eine Steuervorrichtung des Fahrzeugs aus 1; und
4 zeigt ein Flussablaufdiagramm eines Verfahrens zum Betreiben einer Ultraschallsensorvorrichtung für ein Fahrzeug gemäß einer Ausführungsform.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
1 zeigt ein Fahrzeug 1, welches beispielsweise als Personenkraftwagen ausgebildet ist. Das Fahrzeug 1 umfasst mindestens einen Ultraschallsensor 2, welcher insbesondere dazu dient, einen Abstand des Fahrzeugs 1 zu einem Objekt 3 zu messen. Hierzu sendet der Ultraschallsensor 2 Ultraschallwellen 4 aus, die von dem Objekt 3 und/oder einem Boden 5 (z.B. Fahrbahn) reflektiert werden. Die reflektierten Ultraschallwellen 6 werden wiederum von dem Ultraschallsensor 2 empfangen. In Abhängigkeit der gesendeten und empfangen Ultraschallwellen 4, 6 erzeugt der Ultraschallsensor 2 Messdaten, die er an ein zentrales Fahrzeugsteuergerät 7 (auch als „Electronic Control Unit“ - kurz ECU - bezeichnet) übermittelt. Die Übermittlung der Messdaten kann über einen Fahrzeugdatenbus 8 erfolgen.
Der Ultraschallsensor 2 ist insbesondere dazu eingerichtet, das Ultraschallsignal 4 in einen Bodenbereich 9 unterhalb des Fahrzeugs 1 auszusenden. Außerdem ist der Ultraschallsensor 2 dazu eingerichtet, das reflektierte Ultraschallsignal 6 aus dem Bodenbereich 9 zu empfangen. Der Bodenbereich 9 ist insbesondere ein Raum (z. B. dreidimensionaler Raum) zwischen einem Unterboden 10 des Fahrzeugs 1 und dem Boden 5 (z.B. der Fahrbahn) unterhalb des Fahrzeugs 1.
Obwohl in 1 nur ein Ultraschallsensor 2 gezeigt ist, kann das Fahrzeug 1 auch mehrere Ultraschallsensoren 2 aufweisen, welche dazu eingerichtet sind, ein Ultraschallsignal 4 in den Bodenbereich 9 auszusenden und ein reflektiertes Ultraschallsignal 6 aus dem Bodenbereich 9 zu empfangen.
Eine Ultraschallsensorvorrichtung 11 des Fahrzeugs 1 umfasst außer des einen oder der mehreren Ultraschallsensoren 2 auch eine Steuervorrichtung 12. Die Steuervorrichtung 12 kann beispielsweise auf dem Fahrzeugsteuergerät 7 als Hardware und/oder Software implementiert sein, wie in 1 gezeigt. Die Steuervorrichtung 12 dient zum Verarbeiten des empfangenen Ultraschallsignals 6 und zum Erkennen, ob sich ein Objekt 3 im Bodenbereich 9 unterhalb des Fahrzeugs 1 befindet.
2 zeigt beispielhaft einen zeitlichen Verlauf des empfangenen Ultraschallsignals 6, das von dem Ultraschallsensor 2 in Reaktion auf das Aussenden des Sendesignals 4 empfangen wird. Auf der horizontalen Achse ist die Zeit t aufgetragen, und auf der vertikalen Achse ist eine von dem Ultraschallsensor 2 ausgegebene Sensorspannung V aufgetragen. Die Sensorspannung V gibt eine von dem Ultraschallsensor 2 erfasste Empfangssignalintensität, d.h., einen erfassten Schalldruck, an.
Zum Zeitpunkt t₀ sendet der Ultraschallsensor 2 ein Sendesignal aus. Von der Zeit t₀ bis zur Zeit t₁ registriert der Ultraschallsensor 2 unmittelbar ein Nachhallen des ausgesendeten Sendesignals. Der Bereich von t₀ bis t₁ des empfangenen Ultraschallsignals 6 enthält daher keine Informationen über Objekte 3 im Bodenbereich 9 des Fahrzeugs 1 und wird beispielsweise ausgeblendet. Zum Zeitpunkt t₂ nimmt die Amplitude der empfangenen Signalintensität zu, da ein erstes Echosignal aus dem Bodenraum 9 des Fahrzeugs 1 eintrifft. Der Zeitpunkt t₂ kann somit als Empfangszeitpunkt eines ersten Echosignals identifiziert werden Zu einem Zeitpunkt t₄ steigt die Amplitude der empfangenen Signalintensität erneut an, erreicht aber nicht eine Schwellspannung V_th. Der Bereich von t₄ bis t₅ wird somit nicht als Echosignal identifiziert, sondern als Störsignal betrachtet. Vom Zeitpunkt t₆ bis zum Zeitpunkt t₇ wird ein zweites Echosignal aus dem Bodenraum 9 des Fahrzeugs 1 empfangen, welches die Schwellspannung V_th überschreitet. Der Zeitpunkt t₆ kann somit als Empfangszeitpunkt eines zweiten Echosignals identifiziert werden.
Die Schwellspannung V_th ist nicht notwendigerweise über die gesamte Messung des Empfangenen Ultraschallsignals 6 konstant. Anders, als in 2 gezeigt, kann die Schwellspannung V_th auch während der Messung des Empfangssignalverlaufs verändert werden.
Die Ultraschallsensorvorrichtung 11 (1) ist dazu eingerichtet, bei einem Abstellen des Fahrzeugs 1 mehrere Referenz-Ultraschallmessungen durchzuführen. Beispielsweise wird das Fahrzeug 1 auf einem Parkplatz abgestellt. Zu diesem Zeitpunkt kann davon ausgegangen werden, dass sich kein Objekt (wie beispielsweise das in 1 gezeigte Objekt 3) im Bodenbereich 9 unterhalb des Fahrzeugs 1 befindet. Außerdem ist die Ultraschallsensorvorrichtung 11 dazu eingerichtet, vor einem erneuten Losfahren des Fahrzeugs 1 eine oder mehrere aktuelle Ultraschallmessungen durchzuführen. Anhand der aktuellen Ultraschallmessung kann mittels der Steuervorrichtung 12 überprüft werden, ob sich seit dem Abstellen ein Objekt 3 in den Bodenbereich 9 des Fahrzeugs hinein bewegt hat.
Die Steuervorrichtung 12 umfasst eine in 3 gezeigte erste Einlese-Einheit 13 zum Einlesen von Messdatensätzen M_R, welche die Referenz-Ultraschallmessungen repräsentieren. Mit anderen Worten repräsentiert ein jeweiliger Messdatensatz M_R eine Referenz-Ultraschallmessung. Die Messdatensätze M_R werden von dem Ultraschallsensor 2 bei einem Abstellen des Fahrzeugs 1 erfasst. Für jeden Messdatensatz M_R tastet der Ultraschallsensor 2 ein beispielhaft in 2 gezeigtes Zeitsignal der (teilweise) reflektierten Ultraschallwelle 6 ab. Ein jeweiliger Messdatensatz M_R ist beispielsweise eine Einhüllende (Hüllkurve) des in 2 gezeigten zeitlichen Verlaufs des empfangenen reflektierten Ultraschallsignals 6. Ein jeweiliger Messdatensatz M_R kann beispielsweise auch nur Daten aus dem Zeitintervall von t₂ bis t₃ und/oder t₆ bis t₇ (2) umfassen. Ein jeweiliger Messdatensatz M_R kann beispielsweise auch ein oder mehrere aus dem in 2 gezeigten Ultraschallsignal 6 abgeleitete Parameter umfassen. Typischerweise werden dabei in der Größenordnung von 200 Datenpunkte aufgezeichnet, wobei aber auch weniger oder mehr (z.B. zwischen 50 und 800) Datenpunkte aufgenommen werden können.
Die Steuervorrichtung 12 umfasst eine in 3 gezeigte zweite Einlese-Einheit 14 zum Einlesen eines oder mehrerer Messdatensätze M_A, welche die aktuelle Messung repräsentieren. Der eine oder die mehreren Messdatensätze M_A werden von dem Ultraschallsensor 2 vor einem Losfahren des Fahrzeugs 1 erfasst. Ein jeweiliger Messdatensatz M_A kann ähnlich wie der Messdatensatz M_R gebildet sein, also zum Beispiel eine Hüllkurve oder daraus abgeleitete Parameter aufweisen.
Weiterhin umfasst die Steuervorrichtung 12 eine erste Steuereinrichtung 15, welche dazu eingerichtet ist, dass empfangene Ultraschallsignal 6 der aktuellen Ultraschallmessung - das heißt, den einen oder die mehreren Messdatensätze M_A - unter Berücksichtigung des Einflusses von Umgebungsbedingungen U zu verarbeiten. Beispielsweise erzeugt die Steuereinrichtung 15 einen oder mehrere von Umgebungsbedingungen U bereinigte Messdatensätze M_A'.
Die Umgebungsbedingungen U weisen insbesondere Bedingungen auf, welche das Ultraschallsignal 4, 6 - zum Beispiel seine Signalform (2) - verändern. Die Umgebungsbedingungen U weisen zum Beispiel eine Beschaffenheit einer Fahrbahn 22 (1) auf, wie beispielsweise Asphalt oder Schotter/Gras. Die Umgebungsbedingungen U weisen zum Beispiel ein Vorhandensein einer Schicht 23 auf der Fahrbahn 22 auf, wie beispielsweise ein Wasserfilm 23. Die Umgebungsbedingungen U können auch Umweltbedingungen wie beispielsweise Wetterbedingungen umfassen. Dies kann eine Temperatur, eine Luftfeuchtigkeit oder beispielsweise eine Luftströmung 24 umfassen. In 1 ist beispielhaft eine Luftströmung 24 durch einen Pfeil veranschaulicht.
Die erste Steuereinrichtung 15 ist insbesondere eine maschinell angelernte KI-Einrichtung. Die erste Steuereinrichtung 15 ist beispielsweise als Software ausgebildet und weist bevorzugt eine Kombination von Algorithmen auf. Insbesondere weist die erste Steuereinrichtung 15 ein maschinell angelerntes neuronales Netz 16 auf. Das neuronale Netz 16 ist beispielsweise ein generatives Netz oder einen Autoencoder.
Die erste Steuereinrichtung 15 wird beim oder kurz nach dem Abstellen des Fahrzeugs 1 angelernt. Der Lernvorgang ist insbesondere ein unüberwachter Lernvorgang. Der Lernvorgang erfolgt mittels Lerndatensätzen, welche Ultraschallmessungen im Bodenbereich eines Fahrzeugs repräsentieren. Insbesondere umfassen die Lerndatensätze für die erste Steuereinrichtung 15 die Messdatensätze M_R der Referenz-Ultraschallmessung. Des Weiteren umfassen die Lerndatensätze für die erste Steuereinrichtung 15 Messdatensätze M_L1, welche beispielsweise vor Fertigstellung des Fahrzeugs 1 und/oder in einem Labor erfasst wurden.
Zum Einlesen der Messdatensätze M_L1 weist die Steuervorrichtung 12 eine dritte Einlese-Einheit 17 auf. Die Messdatensätze M_L1 wurden bei verschiedenen Umgebungsbedingungen U und bei Abwesenheit eines Objekts 3 im Bodenbereich 9 erfasst. Ein jeweiliger Messdatensatz M_L1 kann ähnlich wie ein Messdatensatz M_R gebildet sein, also zum Beispiel eine Hüllkurve oder daraus abgeleitete Parameter aufweisen. Die Messdatensätze M_L1 wurden beispielsweise für ein Testfahrzeug erfasst, welches dem gleichen oder einem ähnlichen Typ entspricht wie das in 1 gezeigte Fahrzeug 1. Die einmal erfassten Messdatensätze M_L1 werden beispielsweise für eine Vielzahl von Fahrzeugen ähnlich dem Fahrzeug 1 bereitgestellt.
Die erste Steuereinrichtung 15 wird somit basierend auf Lerndatensätzen angelernt, welche die beim Abstellen des Fahrzeugs 1 erfassten Messdatensätze M_R und die, zum Beispiel im Labor, erfassten Messdatensätze M_L1 umfassen.
Mittels der angelernten ersten Steuereinrichtung 15 wird der Messdatensatz M_A der aktuellen Messung von Umgebungsbedingungen U bereinigt bzw. in einen normierten Messdatensatz M_A' transformiert.
Die Steuervorrichtung 12 weist außerdem eine zweite Steuereinrichtung 18 auf. Bei der zweiten Steuereinrichtung 18 handelt es sich insbesondere um einen Klassifikator. Die zweite Steuereinrichtung 18 ist dazu eingerichtet, anhand des transformierten Messdatensatzes M_A' zu erkennen, ob sich ein Objekt 3 in dem Bodenbereich 9 unterhalb des Fahrzeugs 1 befindet.
Die zweite Steuereinrichtung 18 ist beispielsweise auch eine maschinell angelernte Kl-Einrichtung. Die zweite Steuereinrichtung 18 ist beispielsweise als Software ausgebildet und weist bevorzugt eine Kombination von Algorithmen auf. Beispielsweise weist die zweite Steuereinrichtung 18 ein maschinell angelerntes neuronales Netz 19 auf. Beispielsweise ist die zweite Steuereinrichtung 18 basierend auf einem überwachtem Lernvorgang werkseitig - also zum Beispiel vor Fertigstellung des Fahrzeugs 1 - angelernt.
Der Lernvorgang der zweiten Steuereinrichtung 18 erfolgte mittels Lerndatensätzen, welche Ultraschallmessungen im Bodenbereich eines Fahrzeugs repräsentieren. Insbesondere umfassen die Lerndatensätze der zweiten Steuereinrichtung 18 als Eingangsdatensätze die Messdatensätze M_L1 bei den verschiedenen Umgebungsbedingungen U und bei Abwesenheit eines Objekts 3 im Bodenbereich 9 eines Fahrzeugs, zum Beispiel eines Testfahrzeugs. Das heißt, dass die Lerndatensätze der zweiten Steuereinrichtung 18 als Eingangsdatensätze dieselben Messdatensätze M_L1 wie die Lerndatensätze der ersten Steuereinrichtung 15 umfassen. Zusätzlich umfassen die Lerndatensätze der zweiten Steuereinrichtung 18 als Eingangsdatensätze Messdatensätze M_L2 bei den verschiedenen Umgebungsbedingungen U und bei Anwesenheit von mindestens einem Objekt 3 im Bodenbereich 9. Zusätzlich umfassen die Lerndatensätze der zweiten Steuereinrichtung 18 den Eingangsdatensätzen jeweils zugeordnet eine Klassifizierungsinformation K als gewünschte Ausgabeinformation, welche angibt, ob ein Objekt 3 im Bodenbereich 9 des Fahrzeugs 1 bei dem jeweiligen Eingangsdatensatz vorhanden ist.
Durch Anwenden der angelernten zweiten Steuereinrichtung 18 auf den transformierten Messdatensatz M_A' der aktuellen Messung kann erkannt werden, ob sich ein Objekt 3 im Bodenbereich 9 unterhalb des Fahrzeugs 1 befindet.
Die Steuervorrichtung 12 umfasst ferner eine Ausgabe-Einheit 20 zum Ausgeben einer durch die zweite Steuereinrichtung 18 ermittelten Klassifizierungsinformation A, ob sich ein Objekt 3 im Bereich 9 unterhalb des Fahrzeugs 1 befindet oder nicht.
Die Steuervorrichtung 12 und/oder die Ultraschallsensorvorrichtung 11 mit der Steuervorrichtung 12 kann Teil eines Fahrerassistenzsystems 21 des Fahrzeugs 1 sein. Das Fahrerassistenzsystem 21 ist beispielsweise dazu eingerichtet, eine Warnung in Abhängigkeit von einem in dem Bodenbereich 9 erkannten Objekt 3 auszugeben. Durch die Warnung kann ein Fahrer des Fahrzeugs 1 über das Vorhandensein des Objekts 3 unterhalb des Fahrzeugs 1 informiert werden. Der Fahrer kann in diesem Fall auch durch das Fahrerassistenzsystem 21 aufgefordert werden, das Fahrzeug 1 nicht zu starten und/oder zu bewegen.
Im Folgenden wird mit Bezug zu 4 ein Verfahren zum Betreiben einer Ultraschallsensorvorrichtung 11 für ein Fahrzeug 1 beschrieben.
In einem ersten Schritt S1 des Verfahrens wird bei einem Abstellen des Fahrzeugs 1 mindestens ein Referenz-Ultraschallsignal 4' (1) in einen Bodenbereich 9 unterhalb des Fahrzeugs 1 ausgesendet.
In einem zweiten Schritt S2 des Verfahrens wird mindestens ein reflektiertes Referenz-Ultraschallsignal 6' aus dem Bodenbereich 9 empfangen.
In einem dritten Schritt S3 des Verfahrens wird die erste Steuereinrichtung 15 mittels maschinellen Lernens basierend auf Lerndatensätzen angelernt. Die Lerndatensätze umfassen Messdatensätze M_R einer Referenz-Ultraschallmessung beim Abstellen des Fahrzeugs 1 zum Beispiel auf einem Parkplatz. Die Lerndatensätze umfassen zusätzlich Messdatensätze M_L1, die bei verschiedenen Umgebungsbedingungen U und bei Abwesenheit eines Objekts 3 im Bodenbereich 9 (zum Beispiel in einem Labor) erfasst wurden.
In einem vierten Schritt S4 des Verfahrens wird ein aktuelles Ultraschallsignal 4 in den Bodenbereich 9 unterhalb des Fahrzeugs 1 ausgesendet. Dies erfolgt insbesondere zeitlich nach der Referenz-Ultraschallmessung in Schritt S1, S2. Außerdem erfolgt dies beispielsweise kurz vor einem Losfahren des Fahrzeugs 1.
In einem fünften Schritt S5 des Verfahrens wird ein reflektiertes Ultraschallsignal 6 aus dem Bodenbereich 9 empfangen, wobei es sich um ein Echo-Signal des in Schritt S4 ausgesendeten Ultraschallsignals 4 handelt.
In einem sechsten Schritt S6 des Verfahrens wird das empfangene Ultraschallsignal 6 (d.h. die Messdatensätze M_A, 3) unter Berücksichtigung des Einflusses von Umgebungsbedingungen U mittels einer auf Basis maschinellen Lernens angelernten ersten Steuereinrichtung 15 zum Erhalten eines verarbeiteten Ultraschallsignals M_A' verarbeitet.
In einem siebten Schritt S7 des Verfahrens wird mittels einer zweiten Steuereinrichtung 18 anhand des verarbeiteten Ultraschallsignals M_A' erkannt, ob sich ein Objekt 3 in dem Bodenbereich 9 befindet.
Bezugszeichenliste

1: Fahrzeug
2: Ultraschallsensor
3: Objekt
4: Ultraschallsignal
5: Boden (Fahrbahn)
6: reflektiertes Ultraschallsignal
7: Fahrzeugsteuergerät
8: Datenbus
9: Bodenbereich
10: Unterboden
11: Ultraschallsensorvorrichtung
12: Steuervorrichtung
13: erste Einlese-Einheit
14: zweite Einlese-Einheit
15: erste Steuereinrichtung
16: neuronales Netz
17: dritte Einlese-Einheit
18: zweite Steuereinrichtung
19: neuronales Netz
20: Ausgabe-Einheit
21: Fahrerassistenzsystem
22: Fahrbahnbelag
23: Schicht
24: Luftströmung
A: Klassifizierungsinformation
K: Klassifizierungsinformation
MA: Messdatensatz
MA': Messdatensatz
ML1: Messdatensatz
ML2: Messdatensatz
MR: Messdatensatz
S1-S7: Verfahrensschritte
t: Zeit
t0-t6: Zeitpunkte
U: Umgebungsbedingungen
V: Sensorspannung
Vth: Schwellwert

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017111932 A1 [0003]

Claims

Verfahren zum Betreiben einer Ultraschallsensorvorrichtung (11) für ein Fahrzeug (1), mit den Schritten: a) Aussenden (S4) eines Ultraschallsignals (4) in einen Bodenbereich (9) unterhalb des Fahrzeugs (1), b) Empfangen (S5) eines reflektierten Ultraschallsignals (6) aus dem Bodenbereich (9), c) Verarbeiten (S6) des empfangenen Ultraschallsignals (6, M_A) unter Berücksichtigung des Einflusses von Umgebungsbedingungen (U) mittels einer auf Basis maschinellen Lernens angelernten ersten Steuereinrichtung (15) zum Erhalten eines verarbeiteten Ultraschallsignals (M_A'), und d) Erkennen (S7) mittels einer zweiten Steuereinrichtung (18) anhand des verarbeiteten Ultraschallsignals (M_A'), ob sich ein Objekt (3) in dem Bodenbereich (9) befindet.
Verfahren nach Anspruch 1, wobei das empfangene Ultraschallsignal (6, M_A) mittels der ersten Steuereinrichtung (15) in ein von Einflüssen der Umgebungsbedingungen (U) bereinigtes Ultraschallsignal (M_A') verarbeitet wird.
Verfahren nach Anspruch 1 oder 2, wobei das Ultraschallsignal (4) und das reflektierte Ultraschallsignal (6) bei einem Stillstand des Fahrzeugs (1) ausgesendet (S4) bzw. empfangen (S5) wird.
Verfahren nach einem der vorhergehenden Ansprüche, die Schritte aufweisend: Bereitstellen von mithilfe eines Ultraschallsensors (2) aus einem Bodenbereich (9) eines Fahrzeugs (1) erfassten Messdatensätzen (M_L1) bei verschiedenen Umgebungsbedingungen (U) und bei Abwesenheit eines Objekts (3) im Bodenbereich (9), und Anlernen (S3) der ersten Steuereinrichtung (15) mittels maschinellen Lernens basierend auf Lerndatensätzen, welche in Abhängigkeit der Messdatensätze (M_L1) gebildet werden.
Verfahren nach Anspruch 4, wobei es vor Schritt a) die Schritte aufweist: Aussenden (S1) mindestens eines Referenz-Ultraschallsignals (4') in den Bodenbereich (9) bei einem Abstellen des Fahrzeugs (1), und Empfangen (S2) mindestens eines reflektierten Referenz-Ultraschallsignals (6') aus dem Bodenbereich (9), wobei das Anlernen (S3) der ersten Steuereinrichtung (15) mittels maschinellen Lernens basierend auf Lerndatensätzen erfolgt, welche in Abhängigkeit der Messdatensätze (M_L1) und des mindestens einen empfangenen Referenz-Ultraschallsignals (6', M_R) gebildet werden, und wobei mittels der zweiten Steuereinrichtung (18) erkannt wird, ob sich seit dem Abstellen des Fahrzeugs (1) ein Objekt (3) in den Bodenbereich (9) hinein bewegt hat.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Steuereinrichtung (15) mittels unüberwachten maschinellen Lernens angelernt (S3) wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebungsbedingungen (U) eine oder mehrere Eigenschaften eines Fahrbahnbelags (22) unterhalb des Fahrzeugs (1) und/oder eine oder mehr Umweltbedingungen (24) des Fahrzeugs (1) umfassen.
Verfahren nach Anspruch 7, wobei die eine oder mehreren Eigenschaften des Fahrbahnbelags (22) eine Beschaffenheit des Fahrbahnbelags (22) und/oder eine Schicht (23) auf dem Fahrbahnbelag (22) aufweisen, und/oder die eine oder mehreren Umweltbedingungen eine Lufttemperatur, eine Luftfeuchtigkeit, eine Stärke einer Luftströmung (24), ein Vorhandensein von Regen, Schnee und/oder Eis aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die zweite Steuereinrichtung (18) eine auf Basis maschinellen Lernens angelernte Steuereinrichtung ist, welche anhand des verarbeiteten Ultraschallsignals (M_A') erkennt, ob sich ein Objekt (3) in dem Bodenbereich (9) befindet.
Verfahren nach Anspruch 9, wobei die zweite Steuereinrichtung (18) eine auf Basis überwachten maschinellen Lernens und basierend auf Lerndatensätzen angelernt ist, die Lerndatensätze der zweiten Steuereinrichtung (18) als Eingangsdatensätze umfassen: mithilfe eines Ultraschallsensors (2) aus einem Bodenbereich (9) eines Fahrzeugs (1) erfasste Messdatensätze (M_L1) bei verschiedenen Umgebungsbedingungen (U) und bei Abwesenheit eines Objekts (3) im Bodenbereich (9), und mithilfe eines Ultraschallsensors (2) aus einem Bodenbereich (9) eines Fahrzeugs (1) erfasste Messdatensätze (M_L2) bei den verschiedenen Umgebungsbedingungen (U) und bei Anwesenheit von mindestens einem Objekt (3) im Bodenbereich (9), und die Lerndatensätze der zweiten Steuereinrichtung (18) den Eingangsdatensätzen jeweils zugeordnet eine Klassifizierungsinformation (K) als gewünschte Ausgabeinformation umfassen, welche angibt, ob ein Objekt (3) im Bodenbereich (9) des Fahrzeugs (1) bei dem jeweiligen Eingangsdatensatz vorhanden ist.
Verfahren nach Anspruch 10, wobei das Anlernen (S3) der ersten Steuereinrichtung (15) mittels maschinellen Lernens basierend auf Lerndatensätzen erfolgt, welche eine Teilmenge (M_L1) der Eingangsdatensätze (M_L1, M_L2) der Lerndatensätze der zweiten Steuereinrichtung (18) sind, wobei die Teilmenge (M_L1) alle Messdatensätze bei Abwesenheit eines Objekts (3) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Steuereinrichtung (15) und/oder die zweite Steuereinrichtung (18) mithilfe eines Maschinenlernalgorithmus angelernt wird, der ein neuronales Netz (16, 19), einen Autoencoder (16), ein generatives Netz (16), ein faltendes neuronales Netz (19), ein vorwärtsgerichtetes neuronales Netz (19), ein mehrlagiges neuronales Netz (19), ein mehrlagiges Perzeptron (19) und/oder ein auf tiefem Lernen oder bestärkendem Lernen basierendes neuronales Netz (16, 19) aufweist.
Ultraschallsensorvorrichtung (11) für ein Fahrzeug (1), aufweisend: mindestens einen Ultraschallsensor (2) zum Aussenden eines Ultraschallsignals (4) in einen Bodenbereich (9) unterhalb des Fahrzeugs (1) und zum Empfangen eines reflektierten Ultraschallsignals (6) aus dem Bodenbereich, eine auf Basis maschinellen Lernens angelernte erste Steuereinrichtung (15) zur Berücksichtigung des Einflusses von Umgebungsbedingungen (U) auf das empfangene reflektierte Ultraschallsignal (6, M_A), und eine zweite Steuereinrichtung (18) zum Erkennen, anhand des empfangenen reflektierten Ultraschallsignals (6, M_A), ob sich ein Objekt (3) in dem Bodenbereich (9) befindet.
Fahrerassistenzsystem (21) für ein Fahrzeug (1) mit einer Ultraschallsensorvorrichtung (11) nach Anspruch 13, wobei das Fahrerassistenzsystem dazu eingerichtet ist, eine Warnung in Abhängigkeit von einem in dem Bodenbereich (9) erkannten Objekt (3) auszugeben.
Fahrzeug (1) mit einer Ultraschallsensorvorrichtung (11) nach Anspruch 13 oder einem Fahrerassistenzsystem (21) nach Anspruch 14.