DE102022117277A1 - Verfahren zum trainieren eines neuronalen netzes - Google Patents

Verfahren zum trainieren eines neuronalen netzes Download PDF

Info

Publication number
DE102022117277A1
DE102022117277A1 DE102022117277.5A DE102022117277A DE102022117277A1 DE 102022117277 A1 DE102022117277 A1 DE 102022117277A1 DE 102022117277 A DE102022117277 A DE 102022117277A DE 102022117277 A1 DE102022117277 A1 DE 102022117277A1
Authority
DE
Germany
Prior art keywords
measurement data
vehicle
neural network
training
object surfaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022117277.5A
Other languages
English (en)
Inventor
Henrik Starkloff
Mohamed-Elamir Mohamed
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102022117277.5A priority Critical patent/DE102022117277A1/de
Priority to PCT/EP2023/068312 priority patent/WO2024012928A1/de
Publication of DE102022117277A1 publication Critical patent/DE102022117277A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection

Abstract

Verfahren zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1) in Abhängigkeit von Ultraschallmessdaten (10), mit den Schritten:a) Bereitstellen eines Trainingsmessdatensatzes umfassend Ultraschallmessdaten (10) betreffend Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1);b) Bereitstellen eines Referenzdatensatzes, welcher die Objektoberflächen (8) im Hinblick auf ihre Lage beschreibt; undc) Trainieren eines neuronalen Netzes in Abhängigkeit des Trainingsmessdatensatzes und des Referenzdatensatzes.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines neuronalen Netzes, ein Verfahren zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs, ein Computerprogrammprodukt, ein Steuergerät für ein Fahrzeug, und ein Fahrzeug.
  • Heutzutage werden in vielen Neuwagen Ultraschallsensoren und Fahrassistenzsysteme verbaut. Fahrassistenzsysteme mit Ultraschallsensoren unterstützen den Fahrer insbesondere bei Parkvorgängen, wobei das Fahrzeug eine geringe Fahrgeschwindigkeit aufweist. Die Ultraschallsensoren bestimmen dabei den Abstand zwischen dem Fahrzeug und Objekten beziehungsweise Objektoberflächen, die sich in der Umgebung des Fahrzeugs befinden. Die Ultraschallsensoren sind dazu eingerichtet, eine Vielzahl an Objekten zu erkennen. Die Daten der Ultraschallsensoren werden ausgewertet und an das Fahrassistenzsystem übermittelt. Dieses unterstützt den Fahrer insofern, dass es den Abstand des Fahrzeugs zu Objekten in der Umgebung beispielweise akustisch und/oder optisch angezeigt. Ein semi-autonomes oder vollautonomes Fahrassistenzsystem kann die Ultraschalldaten verwenden um beispielsweise Einparkvorgänge semi-autonom oder vollautonom durchzuführen.
  • Der Anwendungsbereich von Ultraschallsensoren und die Komplexität von Fahrassistenzsystemen wird zunehmend erweitert. Die Auswertung der Ultraschallmessdaten beruht auf mathematischen Methoden und benötigt so relativ viel Zeit und Rechenleistung. Damit steht die Auswertung der Ultraschalldaten erst mit einer Zeitverzögerung zur Verfügung. Um Ultraschallsensoren allerdings bei höheren Geschwindigkeiten als beispielsweise bei Parkvorgängen verlässlich einzusetzen, ist eine nahezu instantane Auswertung der Ultraschalldaten notwendig.
  • Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, einen verbesserten Ansatz zur insbesondere schnelleren Auswertung von Ultraschalldaten zur Verfügung zu stellen.
  • Gemäß einem ersten Aspekt wird ein Verfahren zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten bereitgestellt. Das Verfahren umfasst die Schritte:
    1. a) Bereitstellen eines Trainingsmessdatensatzes umfassend Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung eines Fahrzeugs;
    2. b) Bereitstellen eines Referenzdatensatzes, welcher die Objektoberflächen im Hinblick auf ihre Lage beschreibt; und
    3. c) Trainieren eines neuronalen Netzes in Abhängigkeit des Trainingsmessdatensatzes und des Referenzdatensatzes.
  • Dieses Verfahren hat den Vorteil, dass ein neuronales Netz trainiert wird, so dass die Auswertung der Ultraschallmessdaten der Ultraschallsensoren des Fahrzeugs mit dem trainierten neuronalen Netz erfolgt. Damit können die Ultraschallmessdaten schneller ausgewertet werden als mit den herkömmlicherweise verwendeten mathematischen Methoden, wie zum Beispiel das Gauß-Newton-Verfahren.
  • Das Fahrzeug ist zum Beispiel ein Kraftfahrzeug, wie beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen.
  • Die Ultraschallmessdaten können in Schritt a) beispielweise mit einem fahrzeugeigenen Ultraschallsensor erfasst werden.
  • Der Referenzdatensatz beschreibt die Lage der Objektoberflächen mit hoher Genauigkeit. Der Referenzdatensatz wird idR vor Schritt a) aufgezeichnet. Er wird beispielsweise mit einem Messsystem, wie etwa einem Lidar(Engl.: Light Detection and Ranging)-System, aufgezeichnet, das in der Lage ist, die Objektoberflächen im Hinblick auf ihre Lage im Raum eindeutig und hochgenau zu erfassen. Der Referenzdatensatz kann Messdaten aufweisen oder auf solchen basieren, die durch insbesondere (test-)fahrzeugeigene bzw. in das (Test-)Fahrzeug integrierte Sensoren erfasst wurden. Allerdings kann der Referenzdatensatz bzw. können die Messdaten auch durch einen temporär am (Test-)Fahrzeug angebrachten Sensor erfasst werden. Ein temporär oder dauerhaft an dem Fahrzeug angebrachter Sensor kann beispielsweise ein Lidarsensor sein. Demnach kann ein Referenzdatensatz Lidarmessdaten umfassen.
  • In den Schritten a) und b) des Verfahrens sind die fahrzeugeigenen und/oder temporären Sensoren jeweils an demselben Fahrzeug angebracht.
  • In den Schritten a) und b) des Verfahrens sind die Objektoberflächen in der Umgebung des Fahrzeugs dieselben.
  • Das Trainieren in Schritt c) des Verfahrens basiert auf dem Abgleich der Auswertung des Trainingsmessdatensatzes durch das untrainierte neuronale Netz mit dem Referenzdatensatz (entspricht den Sollausgabedaten des neuronalen Netzes nach dessen Training) und der anschließenden Anpassung der Gewichtungen innerhalb des neuronalen Netzes (sog. supervised learning). Das Training kann dabei mehrere Iterationsschritte, die jeweils aus einer Bestimmung der Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs aus den Ultraschallmessdaten durch das untrainierte neuronale Netz, dem anschließenden Abgleich mit dem Referenzdatensatz und der anschließenden Anpassung der Gewichtungen innerhalb des neuronalen Netzes bestehen.
  • Das Trainieren in Schritt c) des Verfahrens ist abgeschlossen, sobald die Ausgabedaten des neuronalen Netzes den Referenzdatensatz ausreichend gut annähern.
  • Das neuronale Netz ist beispielsweise ein feedforward neuronales Netz, insbesondere MultiLayer-Perceptron.
  • Gemäß einer Variante umfasst Schritt a) anstelle von „Bereitstellen eines Trainingsmessdatensatzes umfassend Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung eines Fahrzeugs;“ nachfolgende Schritte:
    • a1) Bereitstellen von Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung eines Fahrzeugs;
    • a2) Ermitteln von Schnittpunkten von Kreisen, die den Ultraschallmessdaten zugeordnet sind, und/oder von Tangenten an solchen Kreisen;
    • a3) Bereitstellen eines Trainingsmessdatensatzes in Abhängigkeit der ermittelten Schnittpunkte und/oder Tangenten;
  • Hieran schließen sich dann die Schritte b) und c) an. Mit anderen Worten wird eine sogenannte „heat map“ erstellt, die dann die Eingabedaten für das Training des neuronalen Netzes darstellt. Das Ermitteln der Schnittpunkte oder Tangenten gemäß Schritt a2) kann beispielsweise mithilfe einer Gauß-Newton-Methode erfolgen.
  • Gemäß einer Ausführungsform weist der Trainingsmessdatensatz Ultraschallmessdaten auf, die zu unterschiedlichen Zeitpunkten erfasst werden, wobei Trackingdaten mithilfe eines Trackingverfahrens in Abhängigkeit der zu unterschiedlichen Zeitpunkten erfassten Ultraschallmessdaten erzeugt werden, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Trackingdaten erfolgt.
  • Die durch die Anwendung des Trackingverfahrens erzeugten Trackingdaten umfassen beispielsweise die Anzahl an Assoziationen oder die Anzahl an verpassten Assoziationen. Mithilfe eines Trackingverfahrens können die Ultraschalldaten aufgrund ihrer zeitlichen Einordnung in physikalische und/oder statistisch Modelle auf Plausibilität überprüft werden und unplausible Datenpunkte ignoriert oder korrigiert werden.
  • Demnach kann das Trainieren in Schritt c) in Abhängigkeit des Trainingsmessdatensatzes, des Referenzdatensatzes und der Trackingdaten erfolgen.
  • Gemäß einer weiteren Ausführungsform weist das Trackingverfahren einen Kalman-Filter auf.
  • Der Kalman-Filter ist dabei ein mathematisches Verfahren zur iterativen Schätzung von Parametern, um Systemzustände zu beschreiben. Alternativ oder zusätzlich kann ein Bernoulli-Filter oder ein Multi-Bernoulli-Filter eingesetzt werden.
  • Gemäß einer weiteren Ausführungsform erfolgt das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit einer Trackinggeschwindigkeit.
  • Die Trackinggeschwindigkeit bezeichnet die Zykluszeit des (iterativ) ablaufenden Trackingverfahrens. Je kürzer die Zykluszeit, desto genauer das Tracking. Dies wirkt sich wiederum auf die Qualität der Ausgabedaten des neuronalen Netzes aus und wird vorteilhaft bei dessen Training berücksichtigt.
  • Gemäß einer weiteren Ausführungsform wird die Fahrzeuggeschwindigkeit beim Erfassen der Ultraschallmessdaten bestimmt, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Fahrzeuggeschwindigkeit erfolgt.
  • Dadurch kann das trainierte neuronale Netz bei einer größeren Bandbreite von Fahrzeuggeschwindigkeiten verwendet werden.
  • Gemäß einer weiteren Ausführungsform wird ein Signal-Rausch-Verhältnis beim Erfassen der Ultraschallmessdaten bestimmt, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit des Signal-Rausch-Verhältnisses erfolgt.
  • Dadurch wird die (Un-)Genauigkeit der Ultraschallmessdaten bei der Anwendung des trainierten neuronalen Netzes im Fahrzeug berücksichtigt.
  • Gemäß einem zweiten Aspekt wird ein Verfahren zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten bereitgestellt. Das Verfahren umfasst die Schritte:
    1. a) Erfassen von Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung des Fahrzeugs; und
    2. b) Bestimmen der Lage der Objektoberflächen unter Verwendung eines trainierten ersten neuronalen Netzes und der erfassten Ultraschallmessdaten.
  • Dieses Verfahren hat den Vorteil, dass ein trainiertes neuronales Netz zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten, die mithilfe von Ultraschallsensoren eines Fahrzeugs erfasst wurden, verwendet wird. Damit können die Ultraschallmessdaten schneller ausgewertet werden.
  • Die in Schritt a) des Verfahrens nach dem zweiten Aspekt erfassten Ultraschallmessdaten werden dabei mit denselben, den gleichen oder anderen Ultraschallsensoren wie die Trainingsmessdaten in dem Verfahren nach dem ersten Aspekt erfasst.
  • Das in Schritt b) verwendete neuronale Netz ist gemäß dem Verfahren nach dem ersten Aspekt trainiert worden.
  • In Ausführungsformen des Verfahrens nach dem zweiten Aspekt kann in Schritt b) ein zweites trainiertes neuronales Netz auf Ausgabedaten des ersten trainierten neuronalen Netzes angewendet werden, um aus diesen Merkmale zur Definition der Lage der Objektoberflächen zu erzeugen.
  • Die erzeugten Merkmale können beispielsweise geometrische Formen sein. Weiterhin können die Merkmale standardisierte geometrische Formen sein.
  • Gemäß einer weiteren Ausführungsform weisen die Merkmale eine Mehrzahl Ellipsen mit zugeordneter Position und/oder Orientierung, Unsicherheit und/oder Typus auf.
  • Demgemäß können die Objektoberflächen durch eine Mehrzahl an Ellipsen beschrieben werden. Einer Objektoberfläche in der Umgebung des Fahrzeugs ist dabei mindestens eine Ellipse zugeordnet. Die Ellipsen beschreiben durch ihre Position, Orientierung, Unsicherheit und/oder Typus die Eigenschaften der Objektoberflächen in der Umgebung des Fahrzeugs.
  • Gemäß einem dritten Aspekt wird ein Computerprogrammprodukt bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren nach einem ersten Aspekt oder das vorstehend beschriebene Verfahren nach einem zweiten Aspekt auszuführen.
  • Ein Computerprogrammprodukt nach einem dritten Aspekt kann beispielsweise auf einem computerlesbaren Speichermedium, wie beispielsweise einer Speicherkarte, USB-Stick, CD-ROM oder DVD bereitgestellt sein. Weiterhin kann das Computerprogrammprodukt auch als herunterladbare Datei von einem Server in einem Netzwerk bereitgestellt sein. Die Übertragung des Computerprogrammprodukts kann beispielsweise in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt erfolgen.
  • Gemäß einem vierten Aspekt wird ein Steuergerät für ein Fahrzeug bereitgestellt, das eine Erfassungs-Einheit zum Erfassen von Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung des Fahrzeugs, und eine Bestimm-Einheit zum Bestimmen der Lage der Objektoberflächen unter Verwendung eines wie vorstehend beschriebenen trainierten ersten neuronalen Netzes und der erfassten Ultraschallmessdaten aufweist.
  • Das Steuergerät (beispielsweise in Form des zentralen Fahrzeugsteuergeräts bzw. electronic control unit - „ECU“) ist insbesondere dazu eingerichtet, das vorstehend beschriebene Computerprogrammprodukt zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs abzuarbeiten, beispielsweise auf der Prozessor-Einheit des Steuergeräts. Weiterhin umfasst das Steuergerät eine Erfassungs-Einheit, die dazu dient, die von insbesondere fahrzeugeigenen Sensoren erfassten Ultraschallsensordaten zu empfangen. Der Empfang der Ultraschallsensordaten durch die Erfassungs-Einheit kann drahtgebunden und/oder drahtlos erfolgen. Weiterhin kann die Erfassungs-Einheit dazu eingerichtet sein, neben den Ultraschallsensordaten, weitere Sensordaten der Sensoren des Fahrzeugs zu empfangen.
  • Die vorliegend beschriebenen Einheiten, wie etwa die Erfassungs-Einheit, können als Hardware und/oder Software implementiert sein.
  • Gemäß einem fünften Aspekt wird ein Fahrzeug bereitgestellt, das ein oder mehrere Ultraschallsensoren und ein Steuergerät nach dem vierten Aspekt aufweist.
  • Im Folgenden wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf Figuren näher erläutert.
    • 1 zeigt eine schematische Aufsicht auf ein Fahrzeug mit einem Ultraschallsensor und einem Steuergerät gemäß einem Ausführungsbeispiel;
    • 2 zeigt eine schematische Darstellung eines Steuergeräts eines Fahrzeugs gemäß einem Ausführungsbeispiel;
    • 3 zeigt ein Flussablaufdiagramm eines Verfahrens zum Trainieren eines untrainierten neuronalen Netzes gemäß einem Ausführungsbeispiel;
    • 4 zeigt ein Flussablaufdiagramm eines Verfahrens zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten;
    • 5 zeigt eine schematische Darstellung einer Ellipse zur Beschreibung eines Merkmals zur Definition der Lage der Objektoberflächen; und
    • 6 zeigt eine schematische Darstellung einer Ultraschallmessung von Ultraschallsensoren eines Fahrzeugs während des Fahrens an einer Objektoberfläche.
  • Gleiche oder funktionsgleiche Elemente sind in den Figuren, soweit nicht anders angegeben mit denselben Bezugszeichen versehen worden.
  • 1 zeigt eine schematische Aufsicht auf ein Fahrzeug 1 gemäß einer Ausführungsform. Das Fahrzeug 1 ist in dem in 1 gezeigten Beispiel ein Kraftfahrzeug, insbesondere ein Personenkraftwagen.
  • Das Fahrzeug 1 kann Ultraschallsensoren 2 umfassen, die an verschiedenen Positionen angebracht sein können. Die Ultraschallsensoren 2 können als Teil eines Fahrassistenzsystems ausgebildet sein.
  • Das Fahrassistenzsystem ist beispielsweise dazu eingerichtet, einen Abstand des Fahrzeugs 1 zu Objektoberflächen 8 zu bestimmen. Weiterhin kann das Fahrassistenzsystem dazu eingerichtet sein, den bestimmten Abstand dem Fahrer beispielsweise akustisch mitzuteilen und/oder optisch anzuzeigen.
  • Ultraschallmessdaten 10 (2), die zur Bestimmung des Abstands des Fahrzeugs 1 von Objektoberflächen 8 benötigt werden, werden durch das Aussenden von Ultraschallwellen 4 mittels der Ultraschallsensoren 2 (hier nur für den in der Figure oberen illustriert) und durch Empfangen von an den Objektoberflächen 8 reflektierten Ultraschallwellen 4 mittels der Ultraschallsensoren 2 generiert. Die so generierten Ultraschallmessdaten 10, werden von dem Ultraschallsensoren 2 drahtlos und/oder drahtgebunden an ein Steuergerät 6 im Fahrzeug 1 übermittelt.
  • Das in 2 dargestellte Steuergerät 6 umfasst eine Prozessor-Einheit 14 (vorliegend auch „Bestimm-Einheit“) und eine Speicher-Einheit 16. Das Steuergerät 6 ist - vorzugsweise mit Hilfe einer Software 18, die auf der Speicher-Einheit 16 abgelegt ist und mithilfe der Prozessoreinheit 14 ausgeführt wird - dazu eingerichtet, ein im folgenden beschriebenes Verfahren zum Bestimmen einer Lage von Objektoberflächen 8 in einer Umgebung eines Fahrzeugs 1 in Abhängigkeit der Ultraschallmessdaten 10 auszuführen. Das Steuergerät 6 umfasst ferner eine Erfassungs-Einheit 12 zum Erfassen der Ultraschallmessdaten 10 der insbesondere fahrzeugeignen bzw. in das Fahrzeug fest integrierten Ultraschallsensoren 2. Das Steuergerät 6 kann insbesondere Merkmale 22 zur Definition der Lage von Objektoberflächen 8 in einer Umgebung des Fahrzeugs über eine Ausgabe-Einheit 20 an das Fahrassistenzsystem oder sonstige Systeme des Fahrzeugs 1 ausgeben.
  • 3 zeigt ein Flussablaufdiagramm eines ersten Ausführungsbeispiels eines Verfahrens zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten.
  • Typischerweise wird das Training bereits vor der Fertigstellung des Fahrzeugs 1 durchgeführt. Dazu kann beispielsweise ein Testfahrzeug 1' verwendet werden. Das Testfahrzeug 1' kann dasselbe, das gleiche oder ein anderes Fahrzeug wie das Fahrzeug 1 sein. Das Testfahrzeug 1' kann weiterhin mindestens einen, jedoch bevorzugt mehrere Ultraschallsensoren 2 und beispielsweise mindestens einen Lidarsensor (nicht gezeigt) umfassen.
  • Das mit dem Testfahrzeug 1' trainierte neuronale Netz kann beispielsweise am Ende der Fertigungslinie auf das Steuergerät 6 des auf der Fertigungslinie hergestellten Fahrzeugs 1 aufgespielt werden. Das Training kann fahrzeugtypenspezifisch erfolgen.
  • In einem ersten Schritt S1 des Verfahrens wird mithilfe der Ultraschallsensoren 2 des Testfahrzeugs 1' ein Trainingsmessdatensatz, der Ultraschallmessdaten von Objektoberflächen 8 der Objekte in der Umgebung des Testfahrzeugs 1' enthält, bereitgestellt. Der Trainingsmessdatensatz kann beispielsweise die Signallaufzeit eines jeweiligen Ultraschallsignals, die aktuelle Position des sendenden und/oder empfangenen Ultraschallsensors 2, den Zeitstempel eines jeweiligen Ultraschallsignals und/oder eine Information darüber, welcher von den mehreren Ultraschallsensoren 2 das jeweilige Ultraschallsignal gesendet oder empfangen hat, umfassen.
  • In einem zweiten Schritt S2 des Verfahrens wird ein Referenzdatensatz bereitgestellt, der die Objektoberflächen im Hinblick auf ihre Lage beschreibt. Der Referenzdatensatz kann beispielsweise ebenfalls mithilfe des Testfahrzeugs 1' erfasst werden. Der Referenzdatensatz kann beispielsweise mit Lidarsensoren oder anderen hochauflösenden Sensoren erfasst werden. Dazu kann ein Sensor verwendet werden, der nur für die Erfassung des Referenzdatensatzes an dem Testfahrzeug 1' angebracht wird. Es ist allerdings auch denkbar, dass ein fahrzeugeigener Sensor zur Erstellung des Referenzdatensatzes verwendet wird.
  • Der in S2 bereitgestellte Referenzdatensatz beschreibt dieselben Objektoberflächen 8 der Objekte in der Umgebung des Fahrzeugs 1 wie der in S1 bereitgestellte Trainingsmessdatensatz, allerdings mit höherer Genauigkeit. Letztlich entspricht der Referenzdatensatz beispielsweise einer genauen Kartierung der Objektoberflächen. Die Information über die Objektoberflächen 8 ist aus dem Trainingsdatensatz erst noch in geeigneter Weise zu extrahieren, wofür das neuronale Netz entsprechend trainiert wird, wie in Zusammenhang mit Schritt S3 erläutert.
  • In einem optionalen Schritt S3 wird ein Trackingverfahren auf den in Schritt S1 erfassten Trainingsmessdatensatz angewendet. Durch die Anwendung des Trackingverfahrens in Schritt S3 können mehrere Ultraschallmessungen, die zu unterschiedlichen Zeitpunkten erfasst werden, zueinander in Bezug gesetzt werden. Dies in Form sogenannter Assoziationen bzw. verpasster Assoziationen innerhalb der Ultraschallmessungen. Das Trackingverfahren basiert beispielsweise auf einem Kalman-Filter und weist insbesondere ein definierte Zykluszeit (Trackinggeschwindigkeit) auf. Im Ergebnis können dadurch Datenpunkte innerhalb des Trainingsdatensatzes verbessert, hinzugefügt und/oder eliminiert werden.
  • In einem Schritt S4 des Verfahrens wird das untrainierte erste neuronale Netz trainiert. Das Training des untrainierten neuronalen Netzes erfolgt über wenigstens einen Iterationsschritt.
  • Dabei werden die ggf. mithilfe des Trackingverfahrens gemäß Schritt S3 verbesserten Trainingsdaten in das neuronale Netz eingegeben und das von dem neuronalen Netz ausgegebene Ergebnis mit dem Referenzdatensatz abgeglichen. Aus dem Abgleich und der Abweichung zwischen Ausgabe und Referenzdatensatz wird die Gewichtung innerhalb des neuronalen Netzes angepasst. Die Ausgabegröße des neuronalen Netzes ist dabei die Lage der Objektoberflächen 8 in einer Umgebung des Fahrzeugs.
  • In Varianten des Verfahrens können weitere Eingabegrößen, wie beispielsweise die Fahrzeuggeschwindigkeit bei der Erfassung der Ultraschallmessdaten 10, die Trackinggeschwindigkeit und/oder ein Signal-Rausch-Verhältnis bei der Erfassung der Ultraschallmessdaten 10, an das erste untrainierte bzw. teilweise trainierte neuronale Netz bereitgestellt werden.
  • Das Training des neuronalen Netzes ist beendet, wenn die Abweichung der Ausgabe des neuronalen Netzes und dem Referenzdatensatz einen vorgegebenen Schwellwert unterschreitet bzw. die Objektoberflächen 8 hinreichend genau angenähert werden.
  • 4 zeigt ein Verfahren zum Bestimmen einer Lage von Objektoberflächen 8 in einer Umgebung des Fahrzeugs 1 mit Hilfe von zwei trainierten neuronalen Netzen 24, 26. Die trainierten neuronalen Netze 24, 26 sind beispielsweise als Software 18 auf der Speicher-Einheit 16 des Steuergeräts 6 ausgebildet.
  • Ultraschallmessdaten 10, die mithilfe der Ultraschallsensoren 2 des Fahrzeugs 1 erfasst werden, werden mit dem Trackingverfahren S3 mithilfe eines Trackingalgorithmus 28 analysiert. Die Daten aus dem Trackingverfahren und ggf. zusätzlich die Ultraschallmessdaten 10 als solche (je nach Ausgabe des Trackingalgorithmus 28) werden in das erste trainierte neuronale Netz 24 eingegeben. Die Ausgabe des ersten trainierten neuronalen Netzes 24 ist die Lage der Objektoberflächen 8 der Objekte in der Umgebung des Fahrzeugs 1.
  • Die Ausgabe des ersten neuronalen Netzes 24 ist die Eingabe in das zweite trainierte neuronale Netz 26. Anhand der Eingabedaten bestimmt das zweite trainierte neuronale Netz 26 Merkmale 22 zur Definition der Lage von Objektoberflächen 8.
  • 5 zeigt ein Merkmal 22 zur Definition der Lage der Objektoberflächen 8. In 5 ist das Merkmal zur Definition der Lage der Objektoberflächen 22 beispielhaft als Ellipse dargestellt. Das Merkmal zur Definition der Lage der Objektoberflächen 22 kann allerdings auch eine andere geometrische Form sein.
  • Die in 5 gezeigte Ellipse beschreibt die Lage der Objektoberfläche 8 eines Objekts in der Umgebung des Fahrzeugs 1 durch ihre Position und ihren Winkel. Ihre Achsen beschreiben dabei die Unsicherheit der Lage der Objektoberfläche.
  • 6 zeigt eine schematische Darstellung einer Ultraschallmessung des Fahrzeugs 1 an einer Objektoberfläche 8 in der Umgebung des Fahrzeugs 1.
  • Das Fahrzeug 1 fährt entlang der Pfeilrichtung an einer Objektoberfläche 8 entlang. Dabei sendet ein Ultraschallsensor 2 Ultraschallwellen 4 aus. Diese werden von der Objektoberfläche 8 reflektiert. Die so erhaltenen Ultraschallmessdaten 10 werden von den Ultraschallsensoren 2 ausgewertet und an das Steuergerät 6 übermittelt.
  • Auf der Speicher-Einheit 16 des Steuergeräts 6 ist die Software 18 abgelegt, die die empfangenen Ultraschallmessdaten 10 nach dem in 4 gezeigten Schema auswertet. Dabei werden zwei trainierte neuronale Netze 24, 26 verwendet.
  • Die Ausgabegröße der Auswertung nach dem Schema in 4 sind die Merkmale 22 (hier Ellipsen) zur Definition der Lage der Objektoberflächen 8.
  • 6 zeigt, wie zwei beispielhafte Ellipsen 22, 22' den Verlauf einer Objektoberfläche 8 beschreiben.
  • Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
  • BEZUGSZEICHENLISTE
  • 1
    Fahrzeug
    1'
    Testfahrzeug
    2
    Ultraschallsensor
    4
    Ultraschallwellen
    6
    Steuergerät
    8
    Objektoberflächen
    10
    Ultraschallmessdaten
    12
    Erfassungs-Einheit
    14
    Prozessor-Einheit
    16
    Speicher-Einheit
    18
    Software
    20
    Ausgabeeinheit
    22
    Merkmal
    24
    erstes trainiertes neuronales Netz
    26
    zweites trainiertes neuronales Netz
    28
    Trackingalgorithmus
    S1-S4
    Verfahrensschritte

Claims (12)

  1. Verfahren zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1) in Abhängigkeit von Ultraschallmessdaten (10), mit den Schritten: a) Bereitstellen eines Trainingsmessdatensatzes umfassend Ultraschallmessdaten (10) betreffend Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1); b) Bereitstellen eines Referenzdatensatzes, welcher die Objektoberflächen (8) im Hinblick auf ihre Lage beschreibt; und c) Trainieren eines neuronalen Netzes in Abhängigkeit des Trainingsmessdatensatzes und des Referenzdatensatzes.
  2. Verfahren nach Anspruch 1, wobei der Trainingsmessdatensatz Ultraschallmessdaten (10) aufweist, die zu unterschiedlichen Zeitpunkten erfasst werden, wobei Trackingdaten mithilfe eines Trackingverfahrens in Abhängigkeit der zu unterschiedlichen Zeitpunkten erfassten Ultraschallmessdaten (10) erzeugt werden, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Trackingdaten erfolgt.
  3. Verfahren nach Anspruch 2, wobei das Trackingverfahren einen Kalman-Filter aufweist.
  4. Verfahren nach Anspruch 2 oder 3, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit einer Trackinggeschwindigkeit erfolgt.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrzeuggeschwindigkeit beim Erfassen der Ultraschallmessdaten (10) bestimmt wird, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Fahrzeuggeschwindigkeit erfolgt.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Signal-Rausch-Verhältnis beim Erfassen der Ultraschallmessdaten (10) bestimmt wird, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit des Signal-Rausch-Verhältnisses erfolgt.
  7. Verfahren zum Bestimmen einer Lage von Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1) in Abhängigkeit von Ultraschallmessdaten (10), mit den Schritten: a) Erfassen von Ultraschallmessdaten (10) betreffend Objektoberflächen (8) in einer Umgebung des Fahrzeugs (1); und b) Bestimmen der Lage der Objektoberflächen (8) unter Verwendung eines gemäß einem der vorhergehenden Ansprüche trainierten ersten neuronalen Netzes (24) und der erfassten Ultraschallmessdaten (10).
  8. Verfahren nach Anspruch 7, wobei in Schritt b) ein zweites trainiertes neuronales Netz (26) auf Ausgabedaten des ersten trainierten neuronalen Netzes (24) angewendet wird, um aus diesen Merkmale zur Definition der Lage der Objektoberflächen (22) zu erzeugen.
  9. Verfahren nach Anspruch 8, wobei die Merkmale eine Mehrzahl Ellipsen mit zugeordneter Position und/oder Orientierung, Unsicherheit und/oder Typus aufweisen.
  10. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
  11. Steuergerät (6) für ein Fahrzeug (1), aufweisend: eine Erfassungs-Einheit (12) zum Erfassen von Ultraschallmessdaten (10) betreffend Objektoberflächen (8) in einer Umgebung des Fahrzeugs; und eine Bestimm-Einheit (14) zum Bestimmen der Lage der Objektoberflächen (8) unter Verwendung eines gemäß einem der Ansprüche 1-6 trainierten ersten neuronalen Netzes (24) und der erfassten Ultraschallmessdaten (10).
  12. Fahrzeug (1), aufweisend: ein oder mehrere Ultraschallsensoren (2); und ein Steuergerät (6) nach Anspruch 11.
DE102022117277.5A 2022-07-12 2022-07-12 Verfahren zum trainieren eines neuronalen netzes Pending DE102022117277A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022117277.5A DE102022117277A1 (de) 2022-07-12 2022-07-12 Verfahren zum trainieren eines neuronalen netzes
PCT/EP2023/068312 WO2024012928A1 (de) 2022-07-12 2023-07-04 Verfahren zum trainieren eines neuronalen netzes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022117277.5A DE102022117277A1 (de) 2022-07-12 2022-07-12 Verfahren zum trainieren eines neuronalen netzes

Publications (1)

Publication Number Publication Date
DE102022117277A1 true DE102022117277A1 (de) 2024-01-18

Family

ID=87136136

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022117277.5A Pending DE102022117277A1 (de) 2022-07-12 2022-07-12 Verfahren zum trainieren eines neuronalen netzes

Country Status (2)

Country Link
DE (1) DE102022117277A1 (de)
WO (1) WO2024012928A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117740652A (zh) * 2024-02-19 2024-03-22 中国地质大学(武汉) 一种植生型多孔混凝土透砂系数快速测定方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020215773A1 (de) 2020-12-14 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3430423B1 (de) * 2016-03-18 2022-03-30 Valeo Schalter und Sensoren GmbH Verfahren zur verbesserung einer erfassung zumindest eines objekts in einer umgebung eines kraftfahrzeugs durch eine indirekte messung mit sensoren, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE102018128535B4 (de) * 2018-11-14 2021-09-02 Valeo Schalter Und Sensoren Gmbh Trainieren eines künstlichen neuronalen Netzwerks mit durch Sensoren eines Fahrzeugs erfassten Daten
DE102019106204B4 (de) * 2019-03-12 2023-04-27 Elmos Semiconductor Se Ultraschallsystem mit zentralisierter Objekterkennung auf Basis von dekomprimierten Ultraschallsignalen mehrerer Sensoren und zugehöriges Kompressionsverfahren
DE102020212861A1 (de) * 2020-10-12 2022-04-14 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Detektieren und Nachverfolgen eines Objekts mittels einer Sensorvorrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020215773A1 (de) 2020-12-14 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs

Also Published As

Publication number Publication date
WO2024012928A1 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
DE102017105305A1 (de) Verfahren zur automatischen bestimmung einer sensorstellung
DE102018120789A1 (de) Verfahren und Vorrichtung zur Überwachung eines autonomen Fahrzeugs
DE102013206707A1 (de) Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE10240838A1 (de) Verfahren und Vorrichtung zum Erfassen von Fahrdaten
WO2020216559A1 (de) Verfahren zur erkennung einer funktionsfähigkeit eines umgebungssensors, steuergerät und fahrzeug
DE102016219455A1 (de) Kraftfahrzeug, Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
DE102017214409A1 (de) System und verfahren zum erfassen eines strassenoberflächenzustands
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3430423B1 (de) Verfahren zur verbesserung einer erfassung zumindest eines objekts in einer umgebung eines kraftfahrzeugs durch eine indirekte messung mit sensoren, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
WO2018202552A1 (de) Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges
WO2024012928A1 (de) Verfahren zum trainieren eines neuronalen netzes
DE102016212716A1 (de) Steuervorrichtung und verfahren
DE102018007960A1 (de) Verfahren zum Abgleich von Kartenmaterial mit einer erfassten Umgebung eines Fahrzeugs, Steuergerät, eingerichtet zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE112020000325T5 (de) Schätzung von Anhängereigenschaften mit Fahrzeugsensoren
WO2019211293A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines egofahrzeugs mit wenigstens einem umfeldsensor zum erfassen eines umfelds des egofahrzeugs, computer-lesbares medium, system, und fahrzeug
DE102019218349A1 (de) Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
DE102017118407B4 (de) Verfahren und systeme zur schätzung der strassenoberflächenreibung
DE102018217000A1 (de) Verfahren, Computerprogramm und Messsystem für die Auswertung von Bewegungsinformationen
EP3673234A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs
DE102021129800A1 (de) Identifizierung des zielfahrzeugzustands für die anpassung des automatisierten fahrens bei der fahrzeugkontrolle
DE102019211006B4 (de) Auswerten von Sensordaten eines Fahrzeugs
DE102017212953A1 (de) Ermittlung von odometrischen Daten eines Schienenfahrzeugs mit Hilfe stationärer Sensoren
DE102019126276A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Fahrzeugs durch Zuordnung von Objektpunkten, Recheneinrichtung sowie Ultraschallsensorvorrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified