DE102021115248A1

DE102021115248A1 - Verfahren zum trainieren einer fahrerassistenzeinrichtung

Info

Publication number: DE102021115248A1
Application number: DE102021115248.8A
Authority: DE
Inventors: Maximilian Poepperl; Sandeep Kumar
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-06-14
Filing date: 2021-06-14
Publication date: 2022-12-15

Abstract

Verfahren zum Trainieren einer Fahrerassistenzeinrichtung zur Ausgabe einer Objekteigenschaft eines Objekts in der Umgebung eines Fahrzeugs unter Verwendung eines Ultraschallsensors, bei demein Klassifikator mithilfe von Trainingsdatensätzen trainiert wird, wobei der jeweilige Trainingsdatensatz einen in Abhängigkeit eines von M Messdatensätzen erzeugten Eingabedatensatz und einen jeweiligen Wert der Objekteigenschaft als gewünschtes Ausgabedatum enthält; undein Feedforward-Netz mithilfe von weiteren Trainingsdatensätzen trainiert wird, wobei Ausgabedaten des Feedforward-Netzes an den trainierten Klassifikator als Eingabedaten übergeben werden, und die weiteren Trainingsdatensätze jeweils einen Eingabedatensatz zur Eingabe in das Feedforward-Netz und ein gewünschtes Ausgabedatum des trainierten Klassifikators enthalten, wobei der jeweilige Eingabedatensatz in Abhängigkeit eines Messdatensatzes von Q Messdatensätzen erzeugte Daten und den dem Messdatensatz zugeordneten Referenzparameter aufweist und das gewünschte Ausgabedatum einen jeweiligen Wert der Objekteigenschaft aufweist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren einer Fahrerassistenzeinrichtung, ein Computerprogrammprodukt, eine trainierte Fahrerassistenzeinrichtung, ein Verfahren zum Betreiben einer Steuervorrichtung für ein Fahrzeug, eine Steuereinrichtung sowie ein Fahrzeug.
Ultraschallsensoren werden heutzutage in nahezu allen Neuwagen eingesetzt. Dies mit dem vorrangigen Ziel, den Fahrer insbesondere beim Parken zu unterstützen. Die Ultraschallsensoren ermitteln dabei den Abstand zu einem jeweiligen Objekt. Über ein HMI (human machine interface) werden dem Fahrer entsprechende Abstandsinformationen bereitgestellt.
Neben der vorstehend beschriebenen Parkhilfe wird der Anwendungsbereich von Ultraschallsensoren zunehmend erweitert. So liefern sie aktuell bereits Messdaten zur Hindernisdetektion bzw. für Notbremsfunktionen. Um ein Fehlverhalten insoweit zu vermeiden, ist es erforderlich, dass mithilfe der Ultraschallsensoren nicht nur Abstände mit ausreichender Genauigkeit bestimmt werden können, sondern dass auch eine geeignete Objektklassifikation vorgenommen wird. Für die Ansteuerung eines teil- oder vollautomatischen Bremsvorgangs ist es beispielsweise erforderlich, das Objekt in „überfahrbar“ und „nicht-überfahrbar“ zu klassifizieren. Die Überfahrbarkeit ergibt sich aus der Höhe des jeweiligen Objekts.
Der Einsatz maschinellen Lernens bei der Verarbeitung von Ultraschallsensordaten zur Hinderniserkennung ist beispielsweise aus der DE 10 2019 107 126 B3 bekannt. Allerdings sind solche Algorithmen stark abhängig von den verwendeten Trainingsdaten und damit von den beim Aufnehmen der Trainingsdaten verwendeten Umgebungs- und Sensorparametern, wie z.B. der Einbauhöhe des Ultraschallsensors im Fahrzeug und/oder dessen Ausrichtung. Damit geht einher, dass für jedes neue Fahrzeugmodell eine neuer Trainingsdatensatz zu erzeugen ist sowie ein neues Training samt Feinanpassung zu erfolgen hat, um eine zielführende Signalauswertung vornehmen zu können. Dies ist vergleichsweise zeit- und ressourcenaufwändig.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Verfahren zum Trainieren einer Fahrerassistenzeinrichtung bereitzustellen.
Gemäß einem ersten Aspekt wird ein Verfahren zum Trainieren einer Fahrerassistenzeinrichtung zur Ausgabe einer Objekteigenschaft eines Objekts in der Umgebung eines Fahrzeugs unter Verwendung eines Ultraschallsensors bereitgestellt. Das Verfahren umfasst die Schritte:

a) Bereitstellen von mithilfe eines Ultraschallsensors erfassten M Messdatensätzen in Bezug auf N Objekte in der Umgebung eines Referenzfahrzeugs und einer Objekteigenschaft eines jeweiligen Objekts der N Objekte, wobei:
- sich die N Objekte in einem Wert der Objekteigenschaft unterscheiden und
- ein Referenzparameter in Bezug auf die Einbausituation des Ultraschallsensors in dem Referenzfahrzeug bei dem Erfassen der M Messdatensätze einen festen Wert hat;
b) Trainieren eines Klassifikators mithilfe von Trainingsdatensätzen, wobei der jeweilige Trainingsdatensatz einen in Abhängigkeit eines Messdatensatzes der M Messdatensätze erzeugten Eingabedatensatz und den jeweiligen Wert der Objekteigenschaft als gewünschtes Ausgabedatum enthält;
c) Bereitstellen von mithilfe eines Ultraschallsensors erfassten Q Messdatensätzen in Bezug auf R Objekte in der Umgebung des oder eines weiteren Referenzfahrzeugs, eines Referenzparameters in Bezug auf die Einbausituation des Ultraschallsensors in dem oder weiteren Referenzfahrzeug bei dem Erfassen der Q Messdatensätze und einer Objekteigenschaft eines jeweiligen Objekts der R Objekte, wobei:
- sich die R Objekte in einem Wert der Objekteigenschaft unterscheiden und
- der Referenzparameter unterschiedliche Werte aufweist, wobei ein jeweiliger Wert einem Messdatensatz der Q Messdatensätze zugeordnet und fest ist; und
d) Trainieren eines Feedforward-Netzes mithilfe von weiteren Trainingsdatensätzen, wobei
- Ausgabedatensätze des Feedforward-Netzes an den trainierten Klassifikator als Eingabedatensätze übergeben werden, und
- die weiteren Trainingsdatensätze jeweils einen Eingabedatensatz zur Eingabe in das Feedforward-Netz und ein gewünschtes Ausgabedatum des trainierten Klassifikators enthalten, wobei:
  - der jeweilige Eingabedatensatz in Abhängigkeit eines Messdatensatzes der Q Messdatensätze erzeugte Daten und den dem Messdatensatz zugeordneten Wert des Referenzparameter aufweist und
  - das gewünschte Ausgabedatum den jeweiligen Wert der Objekteigenschaft aufweist.

Vorteilhaft erfolgt das Training des Klassifikators mit Ultraschall-Messdaten mit festem Referenzparameterwert, also beispielsweise der Einbauhöhe des Ultraschallsensors im Fahrzeug ab Werk oder für die Fahrzeug-Erstserie. Damit wird eine Basis für eine Objektklassifikation (beispielsweise eine Überfahrbarkeit des Objekts) geschaffen. Diese Basis wird nun in einem zweiten Trainingsschritt dadurch verbessert, dass mit Ultraschall-Messdaten für weitere Referenzparameterwerte ein dem Klassifikator vorgeschaltetes Feedforward-Netzes trainiert wird. Die weiteren Referenzparameterwerte entsprechen beispielsweise Einbauhöhen, die sich aufgrund anderer Fahrwerkseinstellungen desselben Fahrzeugs oder von Fahrzeugvarianten ergeben. Dieser zweite Trainingsschritt wird mit den weiteren Referenzparameterwerten (insbesondere unterschiedliche Einbauhöhen) als Eingabedaten des Feedforward-Netzes durchgeführt. Dadurch wird die bereits geschaffene Basis für die Objektklassifikation verbessert. Im Fahrbetrieb wird sodann der aktuelle Referenzparameterwert (der beispielsweise aus der Fahrwerkssteuerung oder einem Datenspeicher bekannt ist) als Eingabedatum - zusätzlich zu den aktuell erfassen Ultraschall-Messdaten - genutzt, um die Objektklassifikation vorzunehmen.
Die auf diese Weise trainierte und im Fahrzeug genutzte Fahrerassistenzeinrichtung kann effektiv zwischen verschiedenen Einbauhöhen interpolieren, sodass ein aufwändiger Trainingskatalog für jede Fahrwerkseinstellung oder Fahrzeugvariante entfällt.
M, N, Q und R sind vorliegend ganze Zahlen größer 1.
In den Schritten a) - d) wird jeweils derselbe oder der gleiche Ultraschallsensor oder es werden unterschiedliche Ultraschallsensoren verwendet. Gleichermaßen kann es sich bei Fahrzeug, dem Referenzfahrzeug oder dem weiteren Referenzfahrzeug um dasselbe, die gleichen oder unterschiedliche Fahrzeuge handeln. Das Fahrzeug ist beispielsweise ein Personen- oder Lastkraftwagen.
Soweit es in Schritt a) heißt, dass ein Referenzparameter in Bezug auf die Einbausituation des Ultraschallsensors in dem Referenzfahrzeug bei dem Erfassen der M Messdatensätze einen festen Wert hat, ist hiervon auch umfasst, dass mehrere Referenzparamater, idealerweise alle Referenzparameter, einen festen Wert haben. Zum Beispiel sollte sich bei fester Einbauhöhe auch der Einbauwinkel relativ zur Bodenebene nicht verändern. Es ist auch denkbar, dass mehrere Referenzparameter als Eingabeparameter für die spätere Klassifikation genutzt werden.
Soweit vorliegend auf ein gewünschtes Ausgabedatum Bezug genommen wird, ist hiervon auch der Fall erfasst, dass der jeweilige Trainingsdatensatz bestimmte Ausgabedaten enthält.
Unter einem „Feedforward-Netz“ ist vorliegend ein feedforward künstliches neuronales Netz zu verstehen. „Feedword“ meint, dass die Verbindungen zwischen den Neuronen stets nach vorne gerichtet sind.
Die vorliegend verwendeten neuronalen Netze, so zum Beispiel das Feedforward-Netz, der Klassifikator und/oder der nachstehend erwähnte Autoencoder, können ein oder mehr Schichten aufweisen. Bevorzugt werden vorliegend drei oder weniger Schichten verwendet. Als Aktivierungsfunktion kann beispielsweise Relu oder sigmoid genutzt werden. Als Optimierungsalgorithmus kann insbesondere ADAM verwendet werden.
Gemäß einer Ausführungsform wird der in Schritt b) verwendete Eingabedatensatz mithilfe eines Autoencoders und/oder einer Hauptkomponentenanalyse erzeugt.
Mittels der somit erzielten Dimensionsreduzierung kann die Komplexität der nachfolgenden Algorithmen, insbesondere des Klassifikators, reduziert werden.
Unter einem „Autoencoder“ wird ein künstliches neuronales Netz verstanden, das dazu genutzt wird, effiziente Codierungen zu lernen. Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion genutzt werden. Gemäß dem vorliegenden Schritt wird das früher erlernte Encoding genutzt, um die verwendeten Eingabedaten zu erzeugen.
Die vorliegende „Hauptkomponentenanalyse“ (englisch: Principal Component Analysis) ist ein Verfahren der multivariaten Statistik. Sie dient dazu, umfangreiche Datensätze zu strukturieren, zu vereinfachen und zu veranschaulichen, indem eine Vielzahl statistischer Variablen durch eine geringere Zahl möglichst aussagekräftiger Linearkombinationen (die Hauptkomponenten) genähert wird.
Gemäß einer weiteren Ausführungsform werden zunächst mithilfe des Autoencoders aus den M Messdatensätzen Eingabedatensätze für die Hauptkomponentenanalyse erzeugt. Anschließend werden Ausgabedatensätze der Hauptkomponentenanalyse dem Klassifikator als Eingabedatensätze bereitgestellt.
Die Hintereinanderschaltung von Autoencoder und Hauptkomponentenanalyse führt zu einer besonders günstigen Komplexitätsreduzierung im Rahmen des Trainings des Klassifikators.
Gemäß einer weiteren Ausführungsform wird der jeweilige in Schritt d) verwendete Eingabedatensatz mithilfe eines Autoencoders aus dem Messdatensatz der Q Messdatensätze erzeugt.
Dadurch können dem Feedforward-Netzwerk geeignet reduzierte Daten bereitgestellt werden.
Gemäß einer weiteren Ausführungsform werden der Autoencoder und/oder die Hauptkomponentenanalyse vor Schritt b) in einem unüberwachten Lernverfahren trainiert.
Insbesondere werden für das Training des Autoencoders und/oder der Hauptkomponentenanalyse die in Schritt a) erfassten Messdatensätze genutzt.
Gemäß einer weiteren Ausführungsform wird in Schritt b) und d) der gleiche Autoencoder verwendet.
Dadurch wird das Trainingsverfahren effizient gestaltet, insbesondere wird eine günstige Gewichtung des Referenzparameterwerts in dem Feedforward-Netz schneller erreicht.
Gemäß einer weiteren Ausführungsform weist der Klassifikator ein neuronales Netz, insbesondere ein Feedforward-Netz oder eine Support Vector Machine auf. Bevorzug weist das Feedforward-Netz ein mehrlagiges Perzeptron auf.
Diese Algorithmen führen vorliegend zu einer zuverlässigen Klassifikation bei vertretbarem Trainingsumfang.
Ein „Perzeptron“ ist ein vereinfachtes künstliches neuronales Netz. Perzeptron-Netze wandeln einen Eingabevektor in einen Ausgabevektor um und stellen damit einen einfachen Assoziativspeicher dar. Beim mehrlagigen Perzeptron gibt es neben der Ausgabeschicht auch noch mindestens eine weitere Schicht verdeckter Neuronen (englisch „hidden layer“).
Eine Support Vector Machine (auch „Stützvektormaschine“) dient als Klassifikator oder Regressor. Eine Support Vector Machine unterteilt eine Menge von Objekten so in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt; sie ist ein sogenannter Large Margin Classifier (deutsch „Breiter-Rand-Klassifikator“).
Gemäß einer weiteren Ausführungsform ist der Referenzparameter die Einbauhöhe des Ultraschallsensors im Fahrzeug und/oder dessen Ausrichtung, wobei bevorzugt die Objekteigenschaft O eine Überfahrbarkeit des jeweiligen Objekts mit dem Fahrzeug ist und/oder wobei die Objekte Randsteine, Mauern oder sonstige Fahrwegsbegrenzungen umfassen.
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem dritten Aspekt wird eine Fahrerassistenzeinrichtung bereitgestellt, welche gemäß einem der vorhergehenden Ansprüche trainiert worden ist.
Gemäß einem vierten Aspekt wird ein Verfahren zum Betreiben einer Steuervorrichtung für ein Fahrzeug bereitgestellt. Das Verfahren umfasst die Schritte:

aa) Einlesen zumindest eines mithilfe eines Ultraschallsensors erfassten Messdatensatzes in Bezug auf ein Objekt in einer Umgebung des Fahrzeugs;
bb) Einlesen eines Referenzparameters in Bezug auf die Einbausituation des Ultraschallsensors in dem Fahrzeug;
cc) Ausgeben einer Objekteigenschaft des Objekts mithilfe der trainierten Fahrerassistenzeinrichtung gemäß dem dritten Aspekt, wobei:
- der eingelesene Messdatensatz oder in Abhängigkeit dessen erzeugte Daten sowie der eingelesene Referenzparameter einen Eingabedatensatz des trainierten Feedforward-Netzes der Fahrerassistenzeinrichtung bilden, und
- die ausgegebene Objekteigenschaft ein Ausgabedatum des trainierten Klassifikators ist; und
dd) Ansteuern einer Assistenzfunktion des Fahrzeugs in Abhängigkeit der ausgegebenen Objekteigenschaft.

Gemäß einem fünften Aspekt wird eine Steuervorrichtung für ein Fahrzeug bereitgestellt, welche aufweist:

eine erste Einlese-Einheit zum Einlesen zumindest eines mithilfe eines Ultraschallsensors erfassten Messdatensatzes in Bezug auf ein Objekt in einer Umgebung des Fahrzeugs;
eine zweite Einlese-Einheit zum Einlesen eines Referenzparameters in Bezug auf die Einbausituation des Ultraschallsensors in dem Fahrzeug;
eine Ausgabe-Einheit zum Ausgeben einer Objekteigenschaft des Objekts mithilfe der trainierten Fahrerassistenzeinrichtung gemäß dem dritten Aspekt, wobei:
- der eingelesene Messdatensatz oder in Abhängigkeit dessen erzeugte Daten sowie der eingelesene Referenzparameter einen Eingabedatensatz des trainierten Feedforward-Netzes der Fahrerassistenzeinrichtung bilden, und
- die ausgegebene Objekteigenschaft ein Ausgabedatum des trainierten Klassifikators ist; und
eine Ansteuer-Einheit zum Ansteuern einer Assistenzfunktion des Fahrzeugs in Abhängigkeit der ausgegebenen Objekteigenschaft.

Die jeweilige Einheit, beispielsweise die erste oder zweite Einlese-Einheit, kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Electronic Control Unit), ausgebildet sein.
Gemäß einem sechsten Aspekt wird bereitgestellt ein Fahrzeug, aufweisend:

eine Steuervorrichtung gemäß dem fünften Aspekt;
einen Ultraschallsensor zur Bereitstellung des zumindest einen Messdatensatzes an der ersten Einlese-Einheit;
eine Bereitstell-Einheit zur Bereitstellung des Referenzparameters an der zweiten Einlese-Einheit; und
eine Assistenzfunktion, welche dazu eingerichtet ist, von der Ansteuer-Einheit angesteuert zu werden.

Die für den vorgeschlagenen ersten Aspekt beschriebenen Ausführungsformen und Merkmale gelten für die anderen Aspekte entsprechend, und umgekehrt.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

1 zeigt in einer Draufsicht ein Fahrzeug mit einem Ultraschallsensor gemäß einer Ausführungsform;
2 zeigt das Fahrzeug aus 1 in einer Seitenansicht;
3 zeigt eine Steuervorrichtung aus dem Fahrzeug gemäß 1;
4 zeigt ein zeitabhängiges Amplituden-Zeit-Signal, das von einem Ultraschallsensor des Fahrzeugs aus 1 erfasst wird;
5 zeigt mehrere Messdatensätze und zugeordnete weitere Daten, die bei dem Fahrzeug gemäß 1 erfasst wurden;
6 zeigt Komponenten einer Fahrerassistenzeinrichtung; und
7 zeigt ein Flussdiagramm.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anders angegeben ist.
1 zeigt ein Fahrzeug 1, welches beispielsweise als Personenkraftwagen ausgebildet ist. Das Fahrzeug 1 umfasst einen Ultraschallsensor 2, welcher insbesondere dazu dient, einen Abstand des Fahrzeugs 1 zu einem Objekt 3 zu messen. Hierzu sendet der Ultraschallsensor 2 Ultraschallwellen 4 aus, die von dem Objekt 3 reflektiert und wiederum von dem Ultraschallsensor 2 empfangen werden. In Abhängigkeit der gesendeten und empfangen Ultraschallwellen 4 erzeugt der Ultraschallsensor 2 Messdaten, die er an ein zentrales Fahrzeugsteuergerät 5 (auch als „Electronic Control Unit“ - kurz ECU - bezeichnet) übermittelt. Dies kann via den Fahrzeugdatenbus geschehen.
2 zeigt das Fahrzeug 1 aus 1 in einer Seitenansicht. Der Ultraschallsensor 2 ist in einer Höhe H über dem Erdboden 6 angeordnet. Die Höhe H wird im Weiteren auch als Referenzparameter bezeichnet und beschreibt eine Einbausituation (hier auch „Einbauhöhe“) des Ultraschallsensors 2 im Fahrzeug. Die Höhe H kann beispielsweise 50 cm betragen (im Weiteren auch „Wert“). Besitzt das Fahrzeug 1 beispielsweise ein adaptives Fahrwerk, so kann die Höhe H je nach Fahrwerkseinstellung beispielsweise zwischen 40 und 60 cm variieren. Außerdem sieht sich ein Fahrzeughersteller mit ganz unterschiedlichen Einbauhöhen H über seine Fahrzeugmodellpalette hinweg konfrontiert.
Die Höhe H ist jedoch entscheidend für die Erkennung der Überfahrbarkeit von Objekten im Fahrweg. In durchgezogener Linie ist in 2 ein nicht-überfahrbares Objekt 3 dargestellt. Ein überfahrbares Objekt 3' ist dagegen gestrichelt gezeigt. Die Überfahrbarkeit ist vorliegend ein Beispiel für eine Objekteigenschaft O. Diese Objekteigenschaft hat beispielsweise den Wert O₁, O₂ - hier auch Objekteigenschaftswert - „nicht überfahrbar“ (oder binär ausgedrückt beispielsweise „1“) oder „ überfahrbar“ (oder binär ausgedrückt beispielweise „0“). Bei den Objekten 3, 3' handelt es sich beispielsweise um Fahrwegsbegrenzungen wie etwa Randsteine oder Mauern.
Die Höhe H ist deshalb für die Erkennung der Überfahrbarkeit entscheidend, weil, wie aus 2 ersichtlich, die Höhe darüber entscheidet, ob eine von dem Ultraschallsensor ausgesendete Wellenfront 4a bzw. welcher Anteil davon, über das Objekt 3 (unreflektiert) hinweggeht, oder an diesem reflektiert wird (für die Wellenfront 4b beispielhaft dargestellt). In Abhängigkeit des Reflexionssignals entscheidet eine in den 1 und 3 gezeigte Steuereinrichtung 7, ob das Objekt 3 überfahrbar ist oder nicht.
Die Steuereinrichtung 7 kann beispielsweise auf dem Fahrzeugsteuergerät 5 als Hardware und/oder Software implementiert sein, wie in 1 gezeigt.
Die Steuereinrichtung 7 umfasst eine in 3 gezeigte erste Einlese-Einheit 71 zum Einlesen eines Messdatensatzes M_R. Der Messdatensatz M_R wird von dem Ultraschallsensor 2 erfasst, während sich das Fahrzeug 1 beispielsweise dem Objekt 3 nähert. Dazu tastet der Ultraschallsensor 2 das in 4 gezeigte Zeitsignal der (teilweise) reflektierten Ultraschallwelle 4 ab. Auf der Abszisse ist die Zeit t, auf der Ordinate die Amplitude A aufgetragen. Typischerweise werden dabei in der Größenordnung von 200 Datenpunkten aufgezeichnet, wobei aber auch weniger oder mehr (z.B. zwischen 50 und 500) Datenpunkte aufgenommen werden können.
Weiterhin weist die Steuereinrichtung 7 eine zweite Einlese-Einheit 72 zum Einlesen der Höhe H auf. Beispielsweise kann diese aus der adaptiven Fahrwerkssteuerung 8 (siehe 1) oder einem Datenspeicher (nicht gezeigt) - vorliegend auch als „Bereitstell-Einheit“ bezeichnet - ausgelesen werden. Die Höhe H wird beispielswiese bei der Herstellung des Fahrzeugs 1 am Ende der Fertigungslinie in den Datenspeicher geschrieben, was einfach fahrzeugmodellabhängig erfolgen kann.
Ferner umfasst die Steuereinrichtung 7 eine Ausgabe-Einheit 73 zum Ausgeben der Objekteigenschaft, hier „überfahrbar“ oder „nicht-überfahrbar“. Dies erfolgt vorliegend mithilfe einer Fahrerassistenzeinrichtung 9, die in einem Verfahren trainiert wurde, das im Detail anhand der 5 - 7 noch näher erläutert wird.
Das trainierte Fahrerassistenzeinrichtung 9 ist beispielsweise als Software ausgebildet und weist bevorzugt eine Kombination von Algorithmen auf, wie in 3 gezeigt. Insbesondere ist ein trainierter Autoencoder 91 vorgesehen. Dieser ist dazu einrichtet, den Messdatensatz M_R zu vereinfachen, d.h. dessen Komplexität bzw. Dimensionen zu reduzieren. Z.B. reduziert dieser den Messdatensatz M_R von 200 auf 40 Datenpunkte. Der reduzierte Messdatensatz M_R ist in 3 mit M_R' bezeichnet.
Der reduzierte Messdatensatz M_R' wird an ein trainiertes Feedforward-Netz 92 als Eingangsdatensatz übergeben. Der Eingabedatensatz umfasst außerdem die eingelesene Höhe H. Das trainierte Feedforward-Netz 92 ist insbesondere ein mehrlagiges Perzeptron. Das Feedforward-Netz 92 reduziert den Messdatensatz M_R' weiter, beispielsweise auf 20 Datenpunkte.
Dieser weiter reduzierte Messdatensatz M_R" wird als Eingabedatensatz an einen trainierten Klassifikator 93 übergeben. Der Klassifikator 93 ist beispielsweise ein Feedforward-Netz, ein mehrlagiges Perzeptron, eine Support Vector Machine oder ein Binary Decision Tree. Der Klassifikator 93 gibt in Abhängigkeit des Eingabedatensatzes einen Objekteigenschaftswert O_R aus, nämlich „überfahrbar“ (O₂) oder „nicht-überfahrbar“ (O₁).
Weiterhin ist in 3 gezeigt, dass die Steuereinrichtung 7 eine Ansteuereinheit 74 aufweist. Diese steuert in Abhängigkeit der Objekteigenschaft O_R eine in 1 gezeigte Fahrerassistenzfunktion 10 an, wozu sie ein Ansteuersignal S ausgibt. Beispielsweise handelt es sich dabei um eine Notbremsfunktion, die aktiviert wird, wenn O_R „nicht-überfahrbar“ (O_R= O₁) ist. Zusätzlich oder alternativ kann die Fahrerassistenzfunktion 10 als akustische und/oder visuelle Anzeigeeinrichtung ausgeführt sein.
Anhand der 5 - 7 wird nun das bereits erwähnte Trainingsverfahren erläutert. Typischerweise wird dieses bereits vor Fertigstellung des Fahrzeugs 1 durchgeführt (anhand eines Test- oder Referenzfahrzeugs). Die trainierten Komponenten 91, 92, 93 werden beispielsweise am Ende der Fertigungslinie auf die Steuereinrichtung 7 bzw. die Auswerte-Einheit 73 aufgespielt.
6 zeigt eine Rechnereinrichtung 11, die beispielsweise als Teil einer Graphikprozessoreinheit oder eines Cloudservers ausgebildet sein kann. Die Rechnereinrichtung 11 umfasst einen Mikroprozessor und zugeordnete Speichermittel und bildet die Trainingshardware zum Trainieren des Fahrzeugassistenzsystems 90.
In einem Schritt S1 (7) werden Messdatensätze M₁, M₂ usw. (5) mithilfe eines Ultraschallsensors 2 an einem Referenzfahrzeug - z.B. das Fahrzeug 1 - mit einer zunächst fixen Höhe H₁ des Ultraschallsensors 2 erfasst. Dies erfolgt für unterschiedliche Objekte 3, 3', wobei stets die Objekteigenschaft O „überfahrbar“ (O_M2) oder „nicht-überfahrbar“ (O_M1) durch einen Menschen oder anderweitig festgestellt und in die Rechnereinrichtung 11 eingegeben und für einen jeweiligen Messdatensatz M₁, M₂ abgespeichert wird.
Die jeweiligen Messdatensätze sind in 5 rein beispielhaft mit M₁ und M₂ und die jeweiligen Datenpunkte mit -1 bis -n bezeichnet. Insoweit zeigt 4 die einzelne Abtast- bzw. Datenpunkte M_1-1, M_1-2 anhand des bereits erläuterten Zeitsignals für den Messdatensatz M₁.
Unterhalb des jeweiligen Messdatensatzes M₁, M₂ ist der jeweilige Objekteigenschaftswert O_M1, O_M2 dargestellt. Beispielsweise können eine Vielzahl solcher Messdatensätze mit dem jeweiligen Objekteigenschaftswert aufgenommen werden, beispielsweise mehr als 5 oder 10. Die Höhe H ist während dem Erfassen der Messdatensätze M₁, M₂ - wie erwähnt - fest, d.h., diese wird nicht verändert. Beispielsweise beträgt die Höhe H₁ = 50 cm.
Die erfassten Messdatensätze M₁, M₂ werden anschließend genutzt, um einen auf der Rechnereinrichtung 10 gespeicherten Autoencoder 910 zu trainieren (6). Dies erfolgt durch unüberwachtes Lernen. Unüberwachtes Lernen ist in 6 durch eine gestrichelte Linie, überwachtes Lernen durch eine strichpunktierte Linie angedeutet.
Der trainierte Autoencoder 91 erzeugt aus den Messdatensätzen M₁, M₂ reduzierte Datensätze M₁', M₂' (beispielsweise wird der jeweilige Messdatensatz von 200 Datenpunkten auf 40 reduziert), mit welchen wiederum bevorzugt eine auf der Rechnereinrichtung 11 gespeicherte Hauptkomponentenanalyse 940 trainiert wird. Dies erfolgt erneut in einem unüberwachten Lernverfahren. Die trainierte Hauptkomponentenanalyse 94 reduziert die Messdatensätze M₁, M₂ weiter, beispielsweise von 40 auf 20 Datenpunkte.
Schließlich wird ein Klassifikator 930 auf der Rechnereinrichtung 11 trainiert (Schritt S2 in 7). Hierzu werden die als Ausgabedaten der Hauptkomponentenanalyse 94 erzeugten weiter reduzierten Messdatensätze M₁", M₂" an den Klassifikator 930 übergeben. Dieser wird solange trainiert, bis er den gewünschten Objekteigenschaftswert - für den Messdatensatz M₁" als (ersten) Eingangsdatensatz den Wert O_M1, für den Messdatensatz M₂" als (zweiten) Eingangsdatensatz den Wert O_M2, usw. - ausreichend zuverlässig ausgibt bzw. annähert.
In einem Schritt S3 (7) werden mithilfe des Ultraschallsensors 2 weitere Messdatensätze Q₁, Q₂ usw. - mit jeweiligen Datenpunkten -1 bis -n - aufgenommen, und zwar für andere Höhen H - hier beispielsweise die Höhen H₁, H₂ - als derjenigen bei der Aufnahme der Messdatensätze M₁, M₂ (mit denselben oder anderen Objekten 3, 3'). Deren Struktur ist ebenfalls anhand von 5 beispielhaft illustriert und entspricht im Wesentlichen derer der Messdatensätze M₁, M₂. Es wird also wiederum für jeden Messdatensatz Q₁, Q₂ ein Reflexionssignal abgetastet, wie bereits in Zusammenhang mit 4 beschrieben. Einem jeweiligen Messdatensatz Q₁, Q₂ ist wiederum ein Objekteigenschaftswert O_Q1, O_Q2 zugeordnet (5), welcher besagt, ob das jeweilige Objekt 3, 3', für das der entsprechende Messdatensatz Q₁, Q₂ aufgenommen wurde, überfahrbar ist oder nicht.
Beispielsweise wird, um die Höhe H zu verändern, das Fahrwerk des Fahrzeugs 1 mittels der Fahrwerkssteuerung 8 verfahren und dadurch die Höhe H zwischen beispielsweise 40 und 60 cm verändert. Das Intervall (40 - 60 cm) ist idealerweise so gewählt, dass es alle zu erwartenden Höhen H des Ultraschallsensors 2 in dem Fahrzeugtyp des Referenzfahrzeugs oder in anderen Fahrzeugen des Herstellers umfasst. Insbesondere wird so die Höhe H zwischen dem Erfassen zweier Messdatensätze Q₁, Q₂ verändert, beispielsweise von 40 auf 45 cm. Während der Erfassung eines jeweiligen Messdatensatzes Q₁, Q₂ bleibt sie jedoch konstant.
Die Höhe H wird für einen jeweiligen Messdatensatz Q₁, Q₂ erfasst, beispielsweise durch einen Menschen oder automatisiert, und in die Rechnereinrichtung 11 zum Trainieren der Fahrerassistenzeinrichtung 90 eingegeben und dort abgespeichert.
Der trainierte Autoencoder 91 ist in dem unteren Ablaufdiagramm der 6 mit 91 bezeichnet, der trainierte Klassifikator mit 93. Zwischen dem trainierten Autoencoder 91 und dem trainierten Klassifikator 93 wird ein untrainiertes Feedforward-Netz 920 auf der Rechnereinrichtung 11 vorgesehen, welches nun mit den Messdatensätzen Q₁, Q₂ trainiert wird (Schritt S4 in 7). Das Feedforward-Netz 920 ist beispielsweise ein mehrlagiges Perzeptron. Zunächst werden die Messdatensätze Q₁, Q₂ mithilfe des trainierten Autoencoders 91 reduziert, beispielsweise von 200 auf 40 Datenpunkte. Die reduzierten Messdatensätze Q₁', Q₂' werden nacheinander als Eingabedaten an das untrainierte Feedforward-Netz 920 übergeben. Ein zusätzliches Eingabedatum ist die jeweilige Höhe H des Ultraschallsensors 2, bei welcher der Messdatensatz Q₁, Q₂ erfasst wurde. Ein beispielhafter Eingabedatensatz zum Eingeben in das untrainierte Feedforward-Netz 920 umfasst somit den Messdatensatz Q₁ sowie die Höhe H₂, die beispielsweise 45 cm beträgt.
Das Feedforward-Netz 920 gibt weiter reduzierte Messdatensätze Q₁", Q₂" an den trainierten Klassifikator 93 aus. Das Feedforward-Netz 920 wird solange trainiert, bis der trainierte Klassifikator 93 das gewünschte Ausgabedatum (O_Q1 für den (ersten) Eingabedatensatz umfassend den Messdatensatz Q₁" und die Höhe H₂; O_Q2 für den (zweiten) Eingabedatensatz umfassend den Messdatensatz Q₂" und die Höhe H₃) ausgibt.
Das trainierte Feedforward-Netz 92 ist in den 3 und 6 gezeigt. Vorteilhaft bewirkt der trainierte Autoencoder 91 eine günstigere Gewichtung der Höhe H bzw. H₂, H₃ in dem Feedforward-Netz 92, sodass das jeweils gewünschte Ausgabedatum O_Q1, O_Q2 des Klassifikators 93 schneller erreicht bzw. angenähert wird.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
Anstelle der Höhe H könnte als Referenzparameter auch ein anderer die Einbausituation des Ultraschallsensors 2 beschreibender Parameter genutzt werden, beispielsweise die Ausrichtung des Ultraschallsensors 2 im Raum.
Bezugszeichenliste

1: Fahrzeug
2: Ultraschallsensor
3, 3': Objekte
4: Ultraschallwellen
4a, 4b: Anteile
5: Fahrzeugsteuergerät
6: Erdboden
7: Steuervorrichtung
71-74: Einheiten
8: Fahrwerkssteuerung
9: Fahrerassistenzeinrichtung
10: Assistenzfunktion
11: Rechnereinrichtung
90: untrainierte Fahrerassistenzeinrichtung
91: trainierter Autoencoder
910: untrainierter Autoencoder
92: trainiertes Feedforward-Netz
920: untrainiertes Feedforward-Netz
93: trainierter Klassifikator
930: untrainierter Klassifikator
94: trainierte Hauptkomponentenanalyse
940: untrainierter Hauptkomponentenanalyse
A: Amplitude
H: Höhe
H1, H2, H3: Werte
MR: Messdatensatz
MR': Messdatensatz
MR": Messdatensatz
M1, M2: Messdatensätze
M1', M2': reduzierte Messdatensätze
M1", M2": weiter reduzierte Messdatensätze
O: Objekteigenschaft
O1,O2: Objekteigenschaftswerte
OM1, OM2: Objekteigenschaftswerte
OR: Objekteigenschaft
OQ1, OQ2: Objekteigenschaftswerte
Q1, Q2: Messdatensätze
Q1', Q2': reduzierte Messdatensätze
Q1", Q2": weiter reduzierte Messdatensätze
S1-S4: Verfahrensschritte
t: Zeit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019107126 B3 [0004]

Claims

Verfahren zum Trainieren einer Fahrerassistenzeinrichtung (90) zur Ausgabe einer Objekteigenschaft (O_R) eines Objekts (3, 3') in der Umgebung eines Fahrzeugs (1) unter Verwendung eines Ultraschallsensors (2), mit den Schritten: a) Bereitstellen (S1) von mithilfe eines Ultraschallsensors (2) erfassten M Messdatensätzen (M₁, M₂) in Bezug auf N Objekte (3, 3') in der Umgebung eines Referenzfahrzeugs (1) und einer Objekteigenschaft (O) eines jeweiligen Objekts (3, 3') der N Objekte (3, 3'), wobei: sich die N Objekte (3, 3') in einem Wert (O_M1, O_M2) der Objekteigenschaft (O) unterscheiden und ein Referenzparameter (H) in Bezug auf die Einbausituation des Ultraschallsensors (2) in dem Referenzfahrzeug (1) bei dem Erfassen der M Messdatensätze (M₁, M₂) einen festen Wert (H₁) hat; b) Trainieren (S2) eines Klassifikators (930) mithilfe von Trainingsdatensätzen, wobei der jeweilige Trainingsdatensatz einen in Abhängigkeit eines Messdatensatzes der M Messdatensätze (M₁, M₂) erzeugten Eingabedatensatz (M₁", M₂") und den jeweiligen Wert (O_M1, O_M2) der Objekteigenschaft (O) als gewünschtes Ausgabedatum enthält; c) Bereitstellen (S3) von mithilfe eines Ultraschallsensors (2) erfassten Q Messdatensätzen (Q₁, Q₂) in Bezug auf R Objekte (3, 3') in der Umgebung des oder eines weiteren Referenzfahrzeugs (1), eines Referenzparameters (H) in Bezug auf die Einbausituation des Ultraschallsensors (2) in dem oder weiteren Referenzfahrzeug (1) bei dem Erfassen der Q Messdatensätze (Q₁, Q₂) und einer Objekteigenschaft (O) eines jeweiligen Objekts (3, 3') der R Objekte (3, 3'), wobei: sich die R Objekte (3, 3') in einem Wert (O_Q1, O_Q2) der Objekteigenschaft (O) unterscheiden und der Referenzparameter (H) unterschiedliche Werte (H₂, H₃) aufweist, wobei ein jeweiliger Wert (H₂, H₃) einem Messdatensatz der Q Messdatensätze (Q₁, Q₂) zugeordnet und fest ist; und d) Trainieren (S4) eines Feedforward-Netzes (920) mithilfe von weiteren Trainingsdatensätzen, wobei: Ausgabedatensätze (Q₁", Q₂") des Feedforward-Netzes (920) an den trainierten Klassifikator (93) als Eingabedatensätze übergeben werden, und die weiteren Trainingsdatensätze jeweils einen Eingabedatensatz zur Eingabe in das Feedforward-Netz (920) und ein gewünschtes Ausgabedatum des trainierten Klassifikators (92) enthalten, wobei: der jeweilige Eingabedatensatz in Abhängigkeit eines Messdatensatzes der Q Messdatensätze (Q₁, Q₂) erzeugte Daten (Q₁', Q₂') und den dem Messdatensatz zugeordneten Wert (H₂, H₃) des Referenzparameters (H) aufweist und das gewünschte Ausgabedatum den jeweiligen Wert (O_Q1, O_Q2) der Objekteigenschaft (O) aufweist.
Verfahren nach Anspruch 1, wobei der in Schritt b) verwendete Eingabedatensatz (M₁", M₂") mithilfe eines Autoencoders (91) und/oder einer Hauptkomponentenanalyse (94) erzeugt wird.
Verfahren nach Anspruch 2, wobei zunächst mithilfe des Autoencoders (91) aus den M Messdatensätzen (M₁, M₂) Eingabedatensätze (M₁', M₂') für die Hauptkomponentenanalyse (94) erzeugt werden und anschließend Ausgabedatensätze (M₁", M₂") der Hauptkomponentenanalyse (94) dem Klassifikator (930) als Eingabedatensätze bereitgestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der jeweilige in Schritt d) verwendete Eingabedatensatz (Q₁', Q₂') mithilfe eines Autoencoders (91) aus dem Messdatensatz der Q Messdatensätze (Q₁, Q₂) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Autoencoder (91) und/oder die Hauptkomponentenanalyse (94) vor Schritt b) in einem unüberwachten Lernverfahren trainiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt b) und d) der gleiche Autoencoder (91) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Klassifikator (93, 930) ein neuronales Netz, insbesondere ein Feedforward-Netz, oder eine Support Vector Machine aufweist und/oder wobei das Feedforward-Netz (920) ein mehrlagiges Perzeptron aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Referenzparameter (H) die Einbauhöhe des Ultraschallsensors (2) im Fahrzeug (1) und/oder dessen Ausrichtung ist und/oder wobei die Objekteigenschaft (O, O_R) eine Überfahrbarkeit des jeweiligen Objekts (3, 3') mit dem Fahrzeug (1) ist und/oder wobei die Objekte (3, 3') Randsteine, Mauern oder sonstige Fahrwegsbegrenzungen umfassen.
Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Fahrerassistenzeinrichtung (9), welche gemäß einem der vorhergehenden Ansprüche trainiert worden ist.
Verfahren zum Betreiben einer Steuervorrichtung (7) für ein Fahrzeug (1), mit den Schritten: aa) Einlesen zumindest eines mithilfe eines Ultraschallsensors (2) erfassten Messdatensatzes (M_R) in Bezug auf ein Objekt (3, 3') in einer Umgebung des Fahrzeugs (1); bb) Einlesen eines Referenzparameters (H) in Bezug auf die Einbausituation des Ultraschallsensors (2) in dem Fahrzeug (1); cc) Ausgeben einer Objekteigenschaft (O_R) des Objekts (3, 3') mithilfe der trainierten Fahrerassistenzeinrichtung (9) gemäß Anspruch 10, wobei: der eingelesene Messdatensatz (M_R) oder in Abhängigkeit dessen erzeugte Daten (M_R') sowie der eingelesene Referenzparameter (H) einen Eingabedatensatz des trainierten Feedforward-Netzes (92) der Fahrerassistenzeinrichtung (9) bilden, und die ausgegebene Objekteigenschaft (O_R) ein Ausgabedatum des trainierten Klassifikators (93) ist; und dd) Ansteuern einer Assistenzfunktion (10) des Fahrzeugs (1) in Abhängigkeit der ausgegebenen Objekteigenschaft (O_R).
Steuervorrichtung (7) für ein Fahrzeug (1), aufweisend: eine erste Einlese-Einheit (71) zum Einlesen zumindest eines mithilfe eines Ultraschallsensors (2) erfassten Messdatensatzes (M_R) in Bezug auf ein Objekt (3, 3') in einer Umgebung des Fahrzeugs (1); eine zweite Einlese-Einheit (72) zum Einlesen eines Referenzparameters (H) in Bezug auf die Einbausituation des Ultraschallsensors (2) in dem Fahrzeug (1); eine Ausgabe-Einheit (73) zum Ausgeben einer Objekteigenschaft (O_R) des Objekts (3, 3') mithilfe der trainierten Fahrerassistenzeinrichtung (9) gemäß Anspruch 10, wobei: der eingelesene Messdatensatz (M_R) oder in Abhängigkeit dessen erzeugte Daten (M_R') sowie der eingelesene Referenzparameter (H) einen Eingabedatensatz des trainierten Feedforward-Netzes (92) der Fahrerassistenzeinrichtung (9) bilden, und die ausgegebene Objekteigenschaft (O_R) ein Ausgabedatum des trainierten Klassifikators (93) ist; und eine Ansteuer-Einheit (74) zum Ansteuern einer Assistenzfunktion (10) des Fahrzeugs (1) in Abhängigkeit der ausgegebenen Objekteigenschaft (O_R).
Fahrzeug (1) aufweisend: eine Steuervorrichtung (7) nach Anspruch 12; einen Ultraschallsensor (2) zur Bereitstellung des zumindest einen Messdatensatzes (M_R) an der ersten Einlese-Einheit (71); eine Bereitstell-Einheit (8) zur Bereitstellung des Referenzparameters (H) an der zweiten Einlese-Einheit (72); und eine Assistenzfunktion (10), welche dazu eingerichtet ist, von der Ansteuer-Einheit (74) angesteuert zu werden.