DE102022205746A1

DE102022205746A1 - Ultraschallsystem und -verfahren zur Abstimmung eines Maschinenlernklassifika-tors mit Verwendung in einem Maschinenlernalgorithmus

Info

Publication number: DE102022205746A1
Application number: DE102022205746.5A
Authority: DE
Inventors: Ravi Kumar Satzoda; Michael Schumann; Juergen Schmidt; Fabio Cecchi; Timo Pfrommer; Lisa Marion Garcia; Mark Wilson; Naveen Ramakrishnan; Jayanta Kumar Dutta; Abinaya Kumar; Michael Tchorzewski; Tobias Wingert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-06-11
Filing date: 2022-06-07
Publication date: 2022-12-15
Also published as: CN115470835A; US20220398414A1; JP2022189811A

Abstract

Es werden ein Verfahren und ein System zur Abstimmung eines Maschinenlernklassifikators offenbart. Es kann eine Objektklassenanforderung bereitgestellt werden, die Rangschwellenwerte enthält. Die Objektklassenanforderungen können auch ein Entfernungsziel beinhalten, das einen Mindestabstand zum Objekt definiert, in dem der Maschinenlernalgorithmus keine falsch-positiven Ergebnisse liefern sollte. Ein Basisklassifikator kann mit einer gewichteten Verlustfunktion trainiert werden, die einen oder mehrere Gewichtungswerte enthält, die anhand der einen oder mehreren Objektklassenanforderungen berechnet werden. Eine Ausgabe der gewichteten Verlustfunktion kann unter Verwendung einer Zielfunktion bewertet werden, die unter Verwendung der einen oder mehreren Objektklassenanforderungen festgelegt werden kann. Die eine oder mehreren Gewichtungen können auch unter Verwendung der gewichteten Verlustfunktion neu abgestimmt werden, wenn die Ausgabe der gewichteten Verlustfunktion nicht innerhalb einer vorgegebenen Verlustschwelle konvergiert.

Description

Technisches Gebiet
Das Folgende betrifft allgemein die Feinabstimmung eines Maschinenlernklassifikators, der in einem Maschinenlernalgorithmus zur Klassifizierung von Objekten basierend auf Daten verwendet wird, die aus einem oder mehreren Ultraschallsensoren empfangen werden.
Hintergrund
Fahrzeuge können mit Systemen und Sensoren ausgestattet sein, die stationäre oder mobile Hindernisse erfassen. Die Fahrzeugsysteme sind jedoch unter Umständen nicht in der Lage, zwischen den verschiedenen stehenden Fahrzeugen zu unterscheiden. Beispielsweise können Ultraschallsensoren in einem Fahrzeugsystem verwendet werden, um Hindernisse in der Nähe eines Fahrzeugs beim Einparken, bei der Erfassung des toten Winkels oder beim Manövrieren zu erfassen. Aktuelle Fahrzeugsysteme, die Ultraschallsensoren einsetzen, können regelbasierte empirische Klassifikatoren verwenden, die teilweise auf geometrischen Beziehungen der erfassten Hindernisechos beruhen. Regelbasierte Klassifikatoren können jedoch (1) schwache wahr-positive und falsch-positive Ergebnisse erzeugen, (2) schwer an spezifische Fahrzeugvarianten anzupassen sein oder (3) eine hohe Abhängigkeit von der Anzahl und Art der Objektklassen aufweisen.
Kurzdarstellung
Es werden ein System und ein Verfahren zur Feinabstimmung eines Maschinenlernklassifikators offenbart. Das System und das Verfahren können eine oder mehrere Objektklassenanforderungen empfangen, die einen oder mehrere Rangschwellenwerte enthalten, die zur Rangeinstufung eines Objekts verwendet werden. Zu den Anforderungen an eine oder mehrere Objektklassen kann ein Entfernungsziel gehören, das einen Mindestabstand zum Objekt definiert, in dem ein Maschinenlernalgorithmus keine falsch-positiven Ergebnisse liefern sollte. Ein Basisklassifikator kann mit einer gewichteten Verlustfunktion trainiert werden, die einen oder mehrere Gewichtungswerte enthält, die anhand der einen oder mehreren Objektklassenanforderungen berechnet werden. Eine Ausgabe der gewichteten Verlustfunktion kann unter Verwendung einer Zielfunktion (z. B. Fehler in Form eines quadrierten Abstands zum Objekt) bewertet werden, die unter Verwendung der einen oder mehreren Objektklassenanforderungen festgelegt werden kann. Die ein oder mehreren Gewichtungswerte können dann unter Verwendung der gewichteten Verlustfunktion neu abgestimmt werden, wenn die Ausgabe der gewichteten Verlustfunktion nicht innerhalb einer vorgegebenen Verlustschwelle konvergiert.
Es wird in Betracht gezogen, dass die gewichtete Verlustfunktion eine Kreuzentropieklassifikationsverlustfunktion sein kann. Die Objektklassenanforderungen können auch für ein Ultraschallsensorsystem festgelegt sein, das in verschiedenen Fahrzeugplattformen verwendet wird. Die Objektklassenanforderungen können dazu verwendet werden, Objekte mit einer bestimmten Geometrie oder Objekte mit starrer Struktur (z. B. Ziegelmauern) zu definieren. Der Basisklassifikator kann dazu verwendet werden, eine schwache wahr-positive Ausgabe oder falsch-positive Ergebnisse zum Klassifizieren des Objekts zu bestimmen. Schließlich kann der Basisklassifikator dazu verwendet werden, einen vorbestimmten Abstand zwischen einem Fahrzeug und dem Objekt zu definieren, bevor ein Fahrzeugsicherheitssystem aktiviert wird.
Figurenliste

1 zeigt ein Fahrzeug mit einem Ultraschallsensorsystem, das parallel einparkt.
2A zeigt ein Fahrzeug mit einem Ultraschallsensorsystem während der Fahrt.
2B zeigt ein visuelles Warnsystem in einem Fahrzeugseitenspiegel.
3 zeigt ein beispielhaftes Ultraschallsensorsystem, das in einem Fahrzeug betreibbar ist.
4 zeigt ein beispielhaftes Ultraschallsensorsystem zum Klassifizieren von Hindernissen mittels eines Maschinenlernalgorithmus.
5 zeigt einen beispielhaften Maschinenlernalgorithmus, mit dem die durch den Maschinenlernalgorithmus verwendeten Klassifikatoren abgestimmt werden können.
6 ist ein beispielhaftes Flussdiagramm für den Maschinenlernalgorithmus zur Höhenklassifizierung, der in einem Ultraschallsensorsystem verwendbar ist.
7 ist ein beispielhaftes Flussdiagramm zum Abstimmen der Maschinenlernalgorithmus-Höhenklassifikation, die in einem Ultraschallsensorsystem verwendet werden kann.
8 ist ein beispielhaftes Blockdiagramm zum Rekonfigurieren der Maschinenlernalgorithmus-Höhenklassifikation, die in einem Ultraschallsensorsystem verwendet werden kann.

Ausführliche Beschreibung
Soweit erforderlich, werden hier detaillierte Ausführungsformen offenbart; allerdings versteht sich, dass die offenbarten Ausführungsformen lediglich beispielhaft sind und in verschiedenen und alternativen Formen umgesetzt werden können. Die Figuren sind nicht zwangsweise maßstabsgetreu; einige Merkmale können übertrieben oder minimiert sein, um Einzelheiten bestimmter Komponenten zu zeigen. Daher sind die hier offenbarten spezifischen strukturellen und funktionalen Einzelheiten nicht als beschränkend aufzufassen, sondern lediglich als eine repräsentative Basis, um Fachleuten den vielfältigen Einsatz der vorliegenden Ausführungsformen zu lehren.
Gegenwärtig können Ultraschallsensorsysteme, die in Mobilanwendungen eingesetzt werden, die Entfernung von Hindernissen in der Nähe eines Fahrzeugs beim Einparken, beim Erfassen des toten Winkels oder beim Manövrieren erfassen. 1 zeigt beispielsweise ein Ultraschallsystem 100, bei dem eine Vielzahl von Ultraschallsensoren 102, 104 eingesetzt werden können, um einen Fahrer eines Fahrzeugs 106 beim Einparken zu unterstützen. Das Ultraschallsystem 100 kann den Fahrer beim Versuch, das Fahrzeug 106 in einer Parklücke zu parken, akustische oder visuelle Warnungen liefern. Die Warnungen können den Fahrer über den Abstand zwischen dem Fahrzeug 106 und einem bestimmten Hindernis (z. B. Fahrzeug 108, Fahrzeug 110 oder Bordstein 112) informieren. Das Ultraschallsystem 100 kann auch ein Bremssystem auslösen, wenn sich das Fahrzeug 106 in einem vorgegebenen Abstand zu einem bestimmten Hindernis befindet. So kann das Ultraschallsystem 100 ein bequemes und sicheres Einparken eines Fahrzeugs ermöglichen und kostspielige Reparaturen und Schäden vermeiden.
Alternativ kann das Ultraschallsystem 100 auch als Einparkhilfe für den Fahrer eingesetzt werden. So kann das Ultraschallsystem 100 beispielsweise eine Einparkhilfe bieten, bei der das Fahrzeug 106 das Fahrzeug automatisch einparkt, ohne dass der Fahrer die Lenkung übernehmen muss. Stattdessen muss der Fahrer während des Einparkvorgangs nur Beschleunigungs- und Bremshilfe leisten.
In den 2A und 2B ist ein beispielhaftes Ultraschallsystem 200 dargestellt, das zum Erkennen des toten Winkels eingesetzt werden kann. Wie dargestellt, kann das Ultraschallsystem 200 Ultraschallsensoren 202, 204 enthalten, die auf jeder Seite eines Fahrzeugs 206 in der Nähe oder innerhalb des rechten und linken Rückspiegels angebracht sind. Die Ultraschallsensoren 202, 204 können dazu betreibbar sein, den Raum in einem angrenzenden Fahrstreifen um das Fahrzeug 206 herum überwachen. Das Ultraschallsystem 200 kann Daten aus den Ultraschallsensoren 202, 204 empfangen, um Hindernisse im toten Winkel des Fahrers zu erfassen. Befindet sich beispielsweise ein zweites Fahrzeug 208 innerhalb eines vorbestimmten Abstands oder Bereichs vom Fahrzeug 206, kann das Ultraschallsystem 200 einen akustischen oder optischen Alarm aktivieren. 2B zeigt ein visuelles Warnzeichen 210, das im Rückspiegel aufleuchten kann, wenn das Ultraschallsystem 200 ein Hindernis, z. B. das Fahrzeug 208, in einem vorbestimmten Abstand zum Fahrzeug 206 erfasst. Wenn der Fahrer die Warnung nicht bemerkt und den Blinker betätigt, um auf den Fahrstreifen des Fahrzeugs 208 zu wechseln, kann das Ultraschallsystem 200 auch eine zusätzliche akustische oder optische Warnung aktivieren. Oder das Ultraschallsystem 200 kann einen Fahrstreifenwechsel zum erkannten Hindernis (d. h. zum Fahrzeug 208) verhindern oder davon abraten. Das System 200 kann auch dazu betreibbar sein, stationäre Objekte auf oder neben der Straße (z. B. Leitplanken oder geparkte Fahrzeuge) zu erfassen und/oder zu erkennen und Warnungen zu aktivieren oder das Fahrzeug 206 davon abzuhalten, sich den stationären Objekten zu nähern.
Beim Einparken, beim Erfassen des toten Winkels oder beim Manövrieren verwenden herkömmliche Ultraschallsensorsysteme im Allgemeinen regelbasierte empirische Klassifikatoren, die teilweise auf geometrischen Beziehungen der erfassten Hindernisechos beruhen. Regelbasierte Klassifikatoren können jedoch (1) schwache wahr-positive und falsch-positive Ergebnisse erzeugen, (2) schwer an spezifische Fahrzeugvarianten anzupassen sein oder (3) eine hohe Abhängigkeit von der Anzahl und Art der Objektklassen aufweisen.
Daher kann es wünschenswert sein, ein Ultraschallsensorsystem und -verfahren bereitzustellen, das die Passierbarkeit von Hindernissen mithilfe von Maschinenlernverfahren anhand von Ultraschallobjektdaten klassifizieren kann. In Bezug auf die Klassifizierung könnte eine Falschklassifizierung des Ultraschallsystems jedoch zu Falschwarnungen oder einer Falschbremsung des Fahrzeugs führen. Wenn das System 100 beispielsweise den gegebenen Abstand des Bordsteins 112 falsch einschätzt oder einen Stein auf der Straße als Bordstein 112 klassifiziert, kann das Fahrzeug 106 die Bremse betätigen, bevor das Parken abgeschlossen ist. Eine solche Falschklassifizierung kann dazu führen, dass das Fahrzeug 106 nicht in der Parklücke geparkt werden kann oder dass das Fahrzeug 106 nicht korrekt in der Parklücke geparkt wird.
Es ist auch denkbar, dass eine Falschklassifizierung durch ein Ultraschallsystem (z. B. das System 100) aus Sicht eines Benutzers je nach der Entfernung, in der die Klassifizierung erfolgt, unterschiedlich bewertet wird. Eine Falschklassifizierung in einem „weiten“ Feld kann gegebenenfalls toleriert werden, da die Bestimmung oder die Auswirkungen auf das Fahrzeug wahrscheinlich gering sind. Falschwarnungen in einem „nahen“ Feld können jedoch zu unerwünschten Ergebnissen führen, wie z. B. einem möglichen Fahrzeugaufprall oder einer Falschbremsung beim Manövrieren. Wenn sich beispielsweise das in 2A dargestellte Fahrzeug 208 zwei bis drei Fahrstreifen vom Fahrzeug 206 entfernt befand (d. h. potenziell 15 Meter oder mehr von Fahrzeug 206 entfernt), wird eine Falschklassifizierung (z. B. Nicht-Erkennung des Fahrzeugs 208) wahrscheinlich keine unerwünschten Folgen haben, wenn das Fahrzeug 206 versucht, den Fahrstreifen zu wechseln. Befindet sich das Fahrzeug 208 jedoch auf dem nächsten Fahrstreifen (d. h. in einem Abstand von weniger als 5 Metern zum Fahrzeug 206), kann eine Falschklassifizierung zu einem unerwünschten Ergebnis führen, da das Fahrzeug 206 mit dem Fahrzeug 208 zusammenstoßen kann.
Es ist daher denkbar, dass der akzeptable Abstand für eine korrekte Klassifizierung objektabhängig (d. h. hindernisabhängig) ist. Eine korrekte Klassifizierung kann erforderlich sein, weil die Kontur, die Form oder die Art eines bestimmten Objekts unterschiedlich sein kann. Beispielsweise ist die korrekte Klassifizierung eines Busches oder eines Holzzauns nicht so notwendig wie die korrekte Klassifizierung eines Fahrzeugs (z. B. des Fahrzeugs 208) oder einer Zement- oder Ziegelmauer. Wenn das System 200 also einen Busch falsch klassifiziert, wird das Fahrzeug 206 wahrscheinlich nicht so stark beschädigt wie bei einer Falschklassifizierung des Fahrzeugs 208. Eine korrekte Klassifizierung von Objekten mit bestimmten Geometrien (z. B. mit kleinem Reflexionsquerschnitt) kann physische Erfassungsgrenzen aufweisen und nur in einem begrenzten Nahfeld erfasst werden.
Es wird in Betracht gezogen, dass ein gegebener Benutzer (z. B. ein Automobil-Erstausrüster oder „OEM“) die Bedeutung von Hindernissen und akzeptablen Bereichen möglicherweise anders bewertet. Zum Beispiel könnte ein Benutzer die betreffende Erfassung des Fahrzeugs 208 vom Fahrzeug 206 aus bestimmen. Die Trainingsroutinen beim Maschinenlernen berücksichtigen diese Abhängigkeiten jedoch möglicherweise nicht, sodass die Leistung des Maschinenlernklassifikators möglicherweise nicht den Anforderungen eines gegebenen Benutzers entspricht. Daher ist es auch wünschenswert, ein Ultraschallsensorsystem und - verfahren bereitzustellen, mit dem der Maschinenlernklassifikator abgestimmt werden kann, sodass er sich an spezifische Eingabeanforderungen (z. B. Benutzeranforderungen von einem OEM) anpasst.
Nachdem die Ultraschalldaten mittels eines Maschinenlernalgorithmus klassifiziert und basierend auf Benutzereingabeanforderungen klassifiziert wurden, ist es wünschenswert, dass der vorgeschlagene Maschinenlernalgorithmus einen Klassifikator aus mehreren Entscheidungsbäumen ausgibt. Gleichfalls ist es wünschenswert, dass der Maschinenlernalgorithmus basierend auf den Entscheidungsbäumen eine Klassenwahrscheinlichkeit berechnet. Es wird in Betracht gezogen, dass diese Aspekte des Maschinenlernalgorithmus fest codierte Bestandteile der Software sind, die vor der Laufzeit kompiliert und in einem Steuergerät (z. B. einer elektronischen Steuereinheit, ECU, oder einer Steuervorrichtung) innerhalb eines Fahrzeugs eingesetzt werden.
Es ist auch wünschenswert, dass das Ultraschallsensorsystem eine Validierung der Einparksoftware in der Einparkdurchführung nach dem Einfrieren der Software erfordern kann. Eine Abstimmung an Fahrzeugen nach dem Einfrieren der Software (d. h. wenn das Fahrzeug in die Serienfertigung gegangen ist und keine Softwareänderungen mehr zulässig sind) kann mithilfe von Parametern zur Steuerung der Durchführung erfolgen. Es wird jedoch erwogen, dass die Validierung nicht die Integrität der Software verändern oder beeinträchtigen sollte. Es wird auch erwogen, dass der zusätzliche Aufwand für die Verifizierung und Validierung der Software reduziert werden kann. Dieselbe Software könnte auch für ein bestimmtes Bündel oder eine bestimmte Klasse von Fahrzeugen verwendet werden. Dadurch können auch die Kosten für die Verwaltung verschiedener Softwareversionen mit unterschiedlichen Teilenummern für einen Benutzer oder OEM gesenkt werden.
Schließlich kann der Klassifikator an neue Fahrzeugvarianten angepasst werden, wenn auch für diese Fahrzeuge Trainingsdaten zur Verfügung stehen. Wenn die Daten vor dem Einfrieren der Software nicht verfügbar sind, wird in Betracht gezogen, dass das Trainieren auch nach dem Einfrieren der Software durchgeführt werden kann, was eine Änderung eines fest codierten Teils oder Segments der Software zur Folge hat. Solche Änderungen können jedoch zusätzliche Kosten für das Ultraschallsensorsystem verursachen. Es ist daher wünschenswert, den Maschinenlernklassifikator mit Parametern einzurichten, die nach dem Einfrieren der Software geändert werden können.
3 zeigt ein Beispielblockdiagramm eines Ultraschallsensorsystems 300, das gemäß der vorliegenden Offenbarung in einem Fahrzeug verwendet werden kann. Das System 300 kann zum Beispiel in den Fahrzeugen 102, 206 eingebaut sein. Das System 300 kann eine Steuervorrichtung 302, wie z. B. eine elektronische Steuereinheit (Electronic Control Unit, ECU), beinhalten. Die Steuervorrichtung 302, hier auch als ECU bezeichnet, kann in einem Prozessor enthalten sein, der dazu eingerichtet ist, Anweisungen für die hier beschriebenen Verfahren und Systeme auszuführen. Die Steuervorrichtung 302 kann einen Speicher (in 3 nicht einzeln dargestellt) sowie weitere Komponenten umfassen, die insbesondere die Verarbeitung im Fahrzeug betreffen. Die Steuervorrichtung 302 kann unter Verwendung eines oder mehrerer Rechenvorrichtungen, wie z. B. eines Quad-Core-Prozessors zur Verarbeitung von Befehlen, wie z. B. eines Computerprozessors, Mikroprozessors oder einer anderen Vorrichtung, einer Reihe von Vorrichtungen oder anderen Mechanismen, die die hier beschriebenen Vorgänge ausführen können, entwickelt werden. Die Steuervorrichtung 302 kann einen Speicher enthalten (oder mit diesem kommunizieren), in dem Anweisungen und Befehle gespeichert sein können. Die Anweisungen können in Form von Software, Firmware, Computercode oder einer Kombination davon vorliegen. Der Speicher kann aus einem oder mehreren Datenspeichern, z. B. einem flüchtigen Speicher, einem nichtflüchtigen Speicher, einem elektronischen Speicher, einem magnetischen Speicher, einem optischen Speicher oder einer anderen Form von Datenspeicher, bestehen. In einem Beispiel kann der Speicher 2 GB DDR3 sowie andere auswechselbare Speicherkomponenten wie eine 128 GB Micro-SD-Karte umfassen.
Die Steuervorrichtung 302 kann mit verschiedenen Sensoren, Modulen und Fahrzeugsystemen sowohl innerhalb als auch außerhalb des Fahrzeugs in Kommunikation stehen. Das System 300 kann Sensoren, wie verschiedene Kameras, einen „Light Detection and Ranging" (LIDAR)-Sensor, einen Radarsensor, einen Ultraschallsensor oder andere Sensoren zum Erfassen von Informationen über die Umgebung des Fahrzeugs, z. B. andere Fahrzeuge, Fahrstreifenlinien, Leitplanken, Objekte auf der Fahrbahn, Gebäude, Fußgänger usw. enthalten. In dem in 3 dargestellten Beispiel kann das System 300 einen vorderen Ultraschallsensor 304 (USS), einen hinteren USS 306, einen rechten USS 308 und einen linken USS 310 enthalten. Es wird in Betracht gezogen, dass jeder USS aus einem oder mehreren einzelnen Ultraschallsensoren bestehen kann. Der USS 304 kann beispielsweise eine Vielzahl von einzelnen Ultraschallsensoren enthalten, die über den vorderen Stoßfänger eines Fahrzeugs verteilt sind. Es ist auch denkbar, dass die USS 304-310 jeweils einen Prozessor 312-314 (z. B. eine ECU oder Steuervorrichtung) und einen von der ECU 302 getrennten Speicher enthalten.
Die Prozessoren 312-314 können wie die oben beschriebene ECU 302 aufgebaut sein. Die USS 304-310 können ferner einen Speicher wie oben beschrieben enthalten. Es wird in Betracht gezogen, dass die ECU 302 oder die Prozessoren 312-314 dazu betreibbar sind, den Maschinenlernalgorithmus zum Klassifizieren und Identifizieren von Ultraschallobjektdaten auszuführen. Durch den Betrieb des Maschinenlernalgorithmus auf den Prozessoren 312-314 wird in Betracht gezogen, dass der Ressourcenverbrauch (z. B. auf weniger als 200 DMIPS) reduziert werden kann, sodass Hardwarebeschleuniger möglicherweise nicht mehr erforderlich sind. Wie weiter unten erläutert, kann die Leistung der Klassifizierung der Passierbarkeit von Hindernissen im Vergleich zu regelbasierten Klassifikatoren ohne großen Eingriff auf die verfügbaren Prozessoren 312-314 abgestimmt werden.
Es wird in Betracht gezogen, dass das in 3 dargestellte System 300 nur beispielhaft ist und mehr oder weniger Sensoren und Sensoren unterschiedlicher Art enthalten kann. Auch wenn in 3 bestimmte Sensoren an bestimmten Stellen um das Fahrzeug herum gezeigt werden, kann das System 300 mit zusätzlichen Sensoren an verschiedenen Stellen im oder um das Fahrzeug herum ausgestattet sein, einschließlich zusätzlicher Sensoren derselben oder einer anderen Art.
Es ist auch denkbar, dass die Sensoren 304-310 dazu eingerichtet sind, einen Abstand zu einem Ziel messen, das außerhalb und in der Nähe des Fahrzeugs angeordnet ist. Wie weiter unten beschrieben, können die Sensoren 304-310 ein Ziel als Fahrzeug, Bordstein, Straßensperre, Gebäude, Fußgänger usw. klassifizieren. Es ist auch denkbar, dass die Sensoren 304-310 mit anderen Fahrzeugkomponenten, wie z. B. der ECU und anderen Sensoren, zusammenarbeiten, um die Klassifizierung verschiedener Ziele außerhalb des Fahrzeugs weiter zu verbessern.
Wie bereits erläutert, sind in 3 ein vorderer USS 304 und ein hinterer USS 306 zu sehen. Der vordere USS 304 kann zum Klassifizieren und Bestimmen von Fahrzeugen oder Objekten in der vorderen Peripherie des Fahrzeugs verwendet werden. Der hintere USS 306 zum Klassifizieren und Bestimmen verwendet werden, was für Fahrzeuge oder Objekte sich in der hinteren Peripherie des Fahrzeugs befinden. Jeder USS 304-306 kann auch zur Unterstützung oder Verbesserung verschiedener Fahrzeugsicherheitssysteme eingesetzt werden. Der vordere USS 304 kann am vorderen Stoßfänger des Fahrzeugs angebracht oder eingebaut sein, um zu bestimmen, dass sich ein Objekt vor dem Fahrzeug befindet. Der hintere USS 306 kann in der Ecke oder in der Mitte eines hinteren Stoßfängers des Fahrzeugs angebracht sein. Es wird jedoch in Betracht gezogen, dass der vordere USS 304 und der hintere USS 306 an anderen Stellen des Fahrzeugs positioniert oder angeordnet sind, um Objekte vor bzw. hinter dem Fahrzeug zu erfassen.
Der USS 308 für die rechte Seite und der USS 310 für die linke Seite können dazu verwendet werden, Fahrzeuge oder Objekte auf der rechten bzw. linken Seite zu klassifizieren und zu bestimmen. Jeder USS 308-310 kann auch zur Unterstützung oder Verbesserung verschiedener Fahrzeugsicherheitssysteme eingesetzt werden. Die USS 308-310 können in eine rechte oder linke Spiegelanordnung montiert oder eingebaut sein, um Objekte auf beiden Seiten des Fahrzeugs zu bestimmen. Während in Betracht gezogen wird, dass die USS 308-310 in einem rechten/linken Spiegel des Fahrzeugs montiert sind, wird ebenfalls in Betracht gezogen, dass die USS 308-310 auch an anderen Stellen des Fahrzeugs angebracht sein können, um Objekte auf beiden Seiten des Fahrzeugs zu erfassen.
Auch hier können die USS 304-310 einzeln oder kombiniert verwendet werden, um zu bestimmen, ob sich Objekte im toten Winkel des Fahrers befinden, und um Fahrzeuge oder Objekte zu erfassen, die sich beim Rückwärtsfahren von hinten links und rechts nähern. Solche Funktionen können es dem Fahrer ermöglichen, andere Fahrzeuge beim Wechseln des Fahrstreifens oder Rückwärts-Herausfahren aus einer Parklücke zu umfahren, und können ihn bei einer autonomen Notbremsung unterstützen, um eine drohende Kollision zu vermeiden.
Das System 300 kann auch ein globales Positionsbestimmungssystem (GPS) 320 enthalten, das die aktuelle Position des Fahrzeugs erfasst oder bestimmt.
Unter bestimmten Umständen kann das GPS 320 zum Bestimmen der Geschwindigkeit des Fahrzeugs verwendet werden. Das System 300 kann auch einen Fahrzeuggeschwindigkeitssensor (nicht dargestellt) enthalten, der die aktuelle Geschwindigkeit des Fahrzeugs erfasst oder bestimmt. Das System 300 kann auch einen Kompass oder ein dreidimensionales (3D-) Gyroskop enthalten, das die aktuelle Richtung des Fahrzeugs erfasst oder bestimmt. Die Kartendaten können im Speicher abgelegt sein. Das GPS 320 kann die Kartendaten aktualisieren. Die Kartendaten können Informationen enthalten, die mit einem fortschrittlichen Fahrerassistenzsystem (Advanced Driver Assistance System, ADAS) genutzt werden können. Solche ADAS-Kartendateninformationen können detaillierte Fahrstreifeninformationen, Gefälle-/Steigungsinformationen, Stra-ßenkrümmungsdaten, Fahrstreifenmarkierungsmerkmale usw. enthalten. Solche ADAS-Karteninformationen können zusätzlich zu herkömmlichen Kartendaten, wie Straßennamen, Straßenklassifizierung, Geschwindigkeitsbegrenzungsinformationen usw., verwendet werden. Die Steuervorrichtung 302 kann Daten des GPS 320 sowie Daten/Informationen des Gyroskops, des Fahrzeuggeschwindigkeitssensors und Kartendaten dazu verwenden, einen Ort oder die aktuelle Position des Fahrzeugs zu bestimmen.
Das System 100 kann auch eine Anzeigevorrichtung für die Mensch-Maschine-Schnittstelle (Human-Machine Interface, HMI) 322 enthalten. Die HMI-Anzeigevorrichtung 322 kann eine beliebige Art von Anzeigevorrichtung in einer Fahrzeugkabine enthalten. Eine solche HMI-Anzeigevorrichtung kann eine Armaturenbrettanzeigevorrichtung, eine Navigationsanzeigevorrichtung, eine Multimedia-Anzeigevorrichtung, eine Head-up-Anzeigevorrichtung, eine Dünnschichttransistor-Flüssigkristallanzeigevorrichtung (Thin-Film Transistor Liquid-Crystal Display, TFT LCD), Rückspiegelanzeigen usw. umfassen. Die HMI-Anzeigevorrichtung 322 kann auch mit Lautsprechern verbunden sein, um Töne im Zusammenhang mit Befehlen oder der Benutzeroberfläche des Fahrzeugs auszugeben. Die HMI-Anzeigevorrichtung 322 kann zur Ausgabe verschiedener Befehle oder Informationen an die Insassen (z. B. Fahrer oder Fahrgäste) im Fahrzeug verwendet werden. In einem automatischen Bremsszenario kann die HMI-Anzeigevorrichtung 322 beispielsweise eine Nachricht anzeigen, dass das Fahrzeug zum Bremsen bereit ist, und dem Benutzer eine entsprechende Rückmeldung geben. Die HMI-Anzeigevorrichtung 322 kann eine beliebige Art von Monitor oder Anzeigevorrichtung verwenden, um den Insassen relevante Informationen zu visualisieren.
Zusätzlich zu den visuellen Anzeigen kann die HMI-Anzeigevorrichtung 322 auch dazu eingerichtet sein, Benutzereingaben über einen Touchscreen, Tasten der Benutzeroberfläche usw. zu empfangen. Die HMI-Anzeigevorrichtung 322 kann dazu eingerichtet sein, Benutzerbefehle zu empfangen, die verschiedene Fahrzeugsteuerungen, wie z. B. audiovisuelle Steuerungen, Steuerungen autonomer Fahrzeugsysteme, bestimmte Fahrzeugfunktionen, Kabinentemperatursteuerungen usw., anzeigen. Die Steuervorrichtung 302 kann solche Benutzereingaben empfangen und im Gegenzug einem relevanten Fahrzeugsystem der Komponente befehlen, gemäß der Benutzereingabe zu handeln.
Die Steuervorrichtung 302 kann Informationen und Daten aus weiteren verschiedenen Fahrzeugkomponenten (z. B. LIDAR-Sensoren, Radarsensoren, Kameras) empfangen. Die Steuervorrichtung 302 kann die aus diesen Sensoren empfangenen zusätzlichen Daten nutzen, um Fahrzeugfunktionen bereitzustellen, die sich auf die Fahrerassistenz oder das autonome Fahren beziehen können. Beispielsweise können die aus den LIDAR-Sensoren und den Kameras gesammelten Daten im Zusammenhang mit den GPS-Daten und den Kartendaten verwendet werden, um Funktionen im Zusammenhang mit der adaptiven Geschwindigkeitsregelung, dem automatischen Einparken, der Einparkhilfe, der automatischen Notbremsung (Automatic Emergency Braking, AEB) usw. bereitzustellen oder zu verbessern. Die Steuervorrichtung 302 kann mit verschiedenen Systemen des Fahrzeugs (z. B. mit dem Motor, dem Getriebe, den Bremsen, der Lenkung, der Anzeigevorrichtung, den Sensoren, der Benutzeroberflächenvorrichtung usw.) kommunizieren. Die Steuervorrichtung 302 kann beispielsweise dazu eingerichtet sein, Signale an die Bremsen zu senden, um das Fahrzeug (z. B. das Fahrzeug 1000) zu verlangsamen, oder an den Lenkmechanismus zu senden, um den Weg des Fahrzeugs zu ändern, oder an den Motor oder das Getriebe zu senden, um das Fahrzeug zu beschleunigen oder zu verlangsamen. Die Steuervorrichtung 302 kann dazu eingerichtet sein, Eingabesignale aus den verschiedenen Fahrzeugsensoren zu empfangen und Ausgabesignale z. B. an die Anzeigevorrichtung zu senden. Die Steuervorrichtung 302 kann auch mit einer oder mehreren Datenbanken, einem Speicher, dem Internet oder Netzwerken kommunizieren, um auf zusätzliche Informationen (z. B. Karten, Straßeninformationen, Wetter, Fahrzeuginformationen) zuzugreifen.
Auch hier wird in Betracht gezogen, dass jeder USS 304-310 einzeln oder in Kombination arbeiten kann, um eine Klassifizierung basierend auf den empfangenen Objektdaten durchzuführen. Die USS 304-310 können zwar mit einem einzelnen Ultraschallsensor arbeiten, doch ist es vorzuziehen, dass die USS 304-310 eine Vielzahl von Ultraschallsensoren umfassen, um eine Klassifizierung basierend auf empfangenen Daten auf Objektebene durchzuführen. Der USS 304 kann beispielsweise 4-6 Ultraschallsensoren umfassen, die über den vorderen Stoßfänger des Fahrzeugs verteilt sind, um eine Klassifizierung basierend auf den empfangenen Daten auf Objektebene durchzuführen.
4 ist beispielsweise ein beispielhaftes Blockdiagramm der Betriebsebenen 402-408, das zeigt, wie der USS 304 eine Klassifizierung auf Objektebene durchführen kann. Obwohl 4 eine Darstellung des USS 304 ist, kann jeder der USS 306-310 in ähnlicher Weise aufgebaut sein und funktionieren. Wie bereits oben beschrieben, sieht 4 zwar eine Verarbeitung durch den Prozessor 312 vor, die Verarbeitung kann aber auch durch die ECU 302 erfolgen. Es versteht sich, dass die Betriebsebenen 402-408 lediglich der Veranschaulichung dienen und eine oder mehrere Ebenen kombiniert werden können, um die Klassifizierung auf Objektebene durchzuführen.
Um eine Klassifizierung auf Objektebene vorzunehmen, kann der USS 304 auf der Betriebsebene 402 beginnen, auf der die Ultraschallsensoren 410-418 Daten unter verschiedenen Umgebungs-, Betriebs- und Systembedingungen sammeln, indem sie das Egofahrzeug an verschiedene Objektarten von verschiedenen trainierten Maschinenlernsystemen heranführen. Auch wenn die Betriebsebene vier Ultraschallsensoren 410-416 zeigt, wird in Betracht gezogen, dass je nach Anwendung und Ort im oder um das Fahrzeug herum auch mehr oder weniger Ultraschallsensoren (wie durch den Sensor 418 dargestellt) verwendet werden können.
Auf der Betriebsebene 404 können Signalverarbeitungsalgorithmen 420-428 auf die durch jeden einzelnen Sensor 410-418 erfassten Daten angewendet werden.
Die Signalverarbeitungsalgorithmen 420-428 können beispielsweise Schritte zur Echovorverarbeitung (z. B. Amplitudenfilterung) und zur Berechnung von Merkmalen auf der Echoebene umfassen. Genauer gesagt, können die Algorithmen 420-428 für jeden einzelnen Sensor 410-418 Merkmale wie mittlere Amplitude, Signifikanz, Korrelation der Echos und Anzahl der empfangenen Echos berechnen.
Auf der Betriebsebene 406 können ein oder mehrere Signalverarbeitungsalgorithmen 430 auf der Ausgabe der einzelnen Signalverarbeitungsalgorithmen 420-428 durchgeführt werden. Die Signalverarbeitungsalgorithmen 430 können die Ausgaben der einzelnen Signalverarbeitungsalgorithmen 420-428 kombinieren. Der Signalverarbeitungsalgorithmus 430 kann beispielsweise Trilateration, Objekterzeugung der Form und Abgleich der Art eines Objekts umfassen. Der Signalverarbeitungsalgorithmus 430 kann ferner Merkmale für mehrere Sensoreingaben (z. B. die Kreuzechoempfangsrate) berechnen. Schließlich kann der Algorithmus 430 in der Lage sein, Merkmale basierend auf geometrischen Beziehungen aus dem Objektabgleich zu berechnen.
Zum Beispiel können die Signalverarbeitungsalgorithmen 430 einen Empfang von Echos aus einem oder mehreren der durch die Sensoren 410-418 gelieferten Daten berechnen. Der durch die Signalverarbeitungsalgorithmen 430 bestimmte Empfang von Echos kann die Anzahl der Sensoren, die zum Hindernis beitragen, oder die Kreuzechoempfangsrate umfassen. Der Algorithmus 430 kann auch geometrische Beziehungen basierend auf Trilateration (z. B. dem mittleren Seitenfehler der gemessenen Trilateration) berechnen. Der Algorithmus 430 kann auch geometrische Beziehungen basierend auf punkt- oder linienförmigen Reflexionseigenschaften berechnen.
Auf der Betriebsebene 408 können ein oder mehrere Signalverarbeitungsalgorithmen 432 an der Ausgabe der auf der Betriebsebene 406 berechneten kombinierten Signalverarbeitungsalgorithmen 430 durchgeführt werden. Der Algorithmus 432 kann die berechneten Merkmale auf Objektebene statistisch aggregieren. Der Algorithmus 432 kann auch zum Klassifizieren der Befahrbarkeit basierend auf aggregierten Merkmalen einsetzbar sein.
Ferner ist jedoch denkbar, dass für Algorithmen des Maschinenlernens (Machine Learning, ML) oder des tiefen Lernens (Deep Learning, DL), die in fortschrittlichen Fahrerassistenzsystemen (Advanced Driver-Assistance Systems, ADAS) einsetzbar sein können, um den Fahrer beim Fahren und Einparken zu unterstützen, die verwendeten Algorithmen oder Verfahren auch anhand von Sensorrohdaten (z. B. zur Klassifizierung von Videoströmen) trainiert werden können. Die ML/DL-Klassifikatoren, die für solche Anwendungen eingesetzt werden, können ein neuronales Netz (z. B. neuronale Faltungsnetze (Convolutional Neural Network, CNN), rekurrente neuronale Netze (Recurrent Neural Network, RNN), künstliche neuronale Netze (Artificial Neural Network, ANN)) oder ähnliche Berechnungsrahmenwerke verwenden. Solche Rahmenwerke erfordern jedoch in der Regel einen hohen Ressourcenverbrauch und sind für die begrenzten Rechenressourcen von Ultraschallsystemen möglicherweise nicht geeignet.
Es ist daher denkbar, ein recheneffizientes baumbasiertes Maschinenlernmodell unter Verwendung eines Extreme-Gradient-Boosting(„XGBoost“)-Algorithmus zu verwenden. XGBoost kann ein Ensemble-Lernverfahren sein, das eine Reihe von Boostern (Verstärker) umfasst. Der Booster kann ein Entscheidungsbaum sein, der ein Klassifizierungsergebnis liefert. XGBoost kann auch mehrere Entscheidungsbäume enthalten, und es kann eine aggregierte Ausgabe aller Bäume berechnet werden, um das endgültige Klassifizierungsergebnis zu erhalten. Schließlich kann XGBoost ein Standardmaschinenlernalgorithmus sein, der eine hohe Genauigkeit für strukturierte Daten bietet (d. h., die Merkmale sind konstruiert), jedoch arbeitet XGBoost möglicherweise nicht mit einer so hohen Genauigkeit, wenn es in nativer Form auf die Höhenklassifizierung für Ultraschallsysteme angewendet wird.
Für eine verbesserte Höhenklassifizierung bei Verwendung in einem Ultraschallsystem (z. B. dem System 300) könnte vor dem Trainieren des ML/DL-Algorithmus (d. h. des Modells) ein Datenvorverarbeitungsmodell verwendet werden. Die Datenvorverarbeitung kann dazu ausgelegt sein, verrauschte Signale, die durch das Ultraschallsystem erfasst werden, zu entfernen. Zusätzlich zum Entfernen verrauschter Signale können die Daten gefiltert werden, um sicherzustellen, dass nur die Messungen des Ultraschallsystems, die bei Annäherung an ein Hindernis auftreten, im Trainingsdatensatz berücksichtigt werden können.
Nach der Datenvorverarbeitung kann ein Trainingsmodell für das verwendete Maschinenlernmodell (z. B. XGBoost) verwendet werden. Es ist auch denkbar, dass das Trainieren des XGBoost-Klassifikators zusätzlich zu den Daten weitere Komponenten umfasst. Zu den zusätzlichen Komponenten können zum Beispiel abstimmbare Objektklassengewichtungen gehören. Eine weitere Komponente kann die Gewichtung der einzelnen Datenproben sein. Die einzelnen Gewichtungen können eine Funktion der Objektwichtigkeit (die durch einen Benutzer zugewiesen werden kann), des Entfernungsziels und der Entfernung sein, in der die Eingabeprobe durch das Ultraschallsystem erfasst werden kann. Eine Zielfunktion kann auch als Funktion der durch den Benutzer gewählten Objektwichtigkeit und der Entfernungsziele entwickelt werden. Zusätzliche Komponenten können auch die automatische Auswahl von Merkmalen oder eine recheneffiziente Sigmoidfunktion für die endgültige Klassifizierung der Ausgabe umfassen.
6 zeigt außerdem ein beispielhaftes Flussdiagramm 600 für den ML-Algorithmus zur Höhenklassifizierung, der in einem Ultraschallsystem verwendet wird. Das Flussdiagramm 600 kann mit Schritt 602 beginnen, wo ein Benutzer verschiedene Anforderungen für unterschiedliche Objektklassen festlegen kann. In Schritt 604 können die Benutzeranforderungen als Eingaben für das Gewichtungsfunktionsmodul verwendet werden. Es wird in Betracht gezogen, dass das Gewichtungsfunktionsmodell die Benutzeranforderungen in Gewichtungen für jede Eingabeprobe umwandelt (oder erzeugt).
In Schritt 606 kann ein Maschinenlernklassifikator mit benutzerspezifischen Gewichtungen trainiert werden. Mit anderen Worten können die (nach Benutzeranforderungen gewichteten) Gewichtungseingaben dazu verwendet werden, den XGBoost-Klassifikator mit einer gewichteten binären Kreuzentropieverlustfunktion zu trainieren. In Schritt 608 kann der Maschinenlernklassifikator mit benutzerspezifischen, auf Gewichtungen basierenden Kostenfunktionen optimiert werden. So kann beispielsweise eine Verlustfunktion verwendet werden, die flexibel ist und zusätzliche Terme für die Regularisierung (z. B. L2-Regularisierung) enthalten kann. In Schritt 610 kann der Maschinenlernklassifikator anhand neuer Metriken bewertet werden, die Benutzeranforderungen berücksichtigen. Die Komplexität des Modells kann beispielsweise basierend auf Leistungsanforderungen sowie Rechenbeschränkungen wie der Tiefe der Bäume, der Anzahl der Booster oder der Baumgruppen angepasst werden. Schließlich wird in Betracht gezogen, dass zusätzlich zu den binären Klassifikatoren auch ein Mehrklassenklassifikator zur Klassifizierung mehrerer Objektklassen eingesetzt werden kann.
Es wird in Betracht gezogen, dass, wenn die Klassifizierung der Daten des Ultraschallsystems abgeschlossen ist, der Maschinenlernalgorithmus möglicherweise während des Abstimmprozesses eines oder mehrerer Maschinenlernklassifikatoren anpassbar sein muss. Da der Maschinenlernalgorithmus während des Abstimmprozesses anpassbar ist, kann er den Kompromiss zwischen korrekten und falschen Klassifizierungen verbessern. Der Abstimmprozess kann auch so gestaltet sein, dass er eine Anpassung des Klassifikators basierend auf spezifischen Benutzeranforderungen (z. B. OEM-Anforderungen) ermöglicht oder an eine bestimmte Anwendung anpassbar ist. So kann der Abstimmprozess beispielsweise die Anpassbarkeit für eine bestimmte Fahrzeugvariante (z. B. SUW oder Minivan) ermöglichen. Oder ein gegebener Erstausrüster (z. B. die Ford Motor Company) kann einen spezifischen Abstimmvorgang für seine gesamte Fahrzeugflotte erfordern.
Es ist auch denkbar, dass der Maschinenlernalgorithmus die Standard-Klassifizierungsverlustfunktion (z. B. Kreuzentropie) ändern kann, um Gewichtungsparameter und Bereichsziele für jede Objektklasse als individuelle Eingaben für die Abstimmroutine einzubeziehen. Der Abstimmprozess kann daher eine Reihe von Hyperparametern liefern, die abstimmbare Gewichtungen darstellen, die jeder Objektklasse zugeordnet sind. Die abstimmbaren Gewichtungen können basierend auf den spezifischen Kundenanforderungen ermittelt werden. Die Eingaben des Kunden können dann in mehreren Phasen des Abstimmprozesses in den Maschinenlernalgorithmus eingegeben werden. Darüber hinaus kann auch eine Abstimmzielfunktion die Eingaben des Kunden berücksichtigen. Die Leistung der Datenklassifizierung kann somit verbessert werden, da der beste Kompromiss basierend auf den spezifischen Kundenanforderungen ermittelt werden kann. Ferner ist der Maschinenlernalgorithmus leicht an geänderte Anforderungen anpassbar, wodurch sich der Zeit- und Kostenaufwand für die Implementierung oder für bestimmte Anwendungen verringert.
5 zeigt einen beispielhaften Algorithmus 500 zur Implementierung der Anpassbarkeit während des Abstimmprozesses eines oder mehrerer Maschinenlernklassifikatoren. Es wird in Betracht gezogen, dass eine Eingabe in den Algorithmus 500 die Wichtigkeit der Objektklassen und die Entfernungsziele für jedes Objekt beinhalten kann. Zu den Entfernungszielen kann auch ein Mindestabstand zum Hindernis gehören, bei dessen Unterschreitung das Ultraschallhöhenklassifizierungssystem keine falsch-positiven Ergebnisse liefern sollte. Die Wichtigkeit der Objektklassen kann einen Wichtigkeitswert (z. B. einen gleitenden Wert) enthalten, den ein Benutzer jeder Hindernisklasse (z. B. Pfahl, Busch, Baum, Bordstein usw.) zuordnen kann. Es wird in Betracht gezogen, dass der Wichtigkeitswert zur Angabe einsetzbar ist, wie wichtig das Hindernis für die Gesamtbewertung des Systems ist. Schließlich kann eine Auswahl des Basisklassifikators in den Algorithmus 500 eingegeben werden.
6 zeigt wiederum ein beispielhaftes Flussdiagramm 600 eines Maschinenlernmodells zur Höhenklassifizierung, das in Ultraschallsensorsystemen (z. B. dem System 300) eingesetzt werden kann. Wie oben beschrieben, können in Schritt 602 die Benutzeranforderungen für verschiedene Objektklassen eingegeben (d. h. festgelegt) werden. Die empfangenen Benutzeranforderungen (Kundeneingaben) können Bereichsziele und Objektklassenwichtigkeitswerte oder Objektklassen wie die durch den Algorithmus 500 dargestellten enthalten. In Schritt 604 können die Benutzeranforderungen dann mittels einer Gewichtungsfunktion in Gewichtungswerte umgewandelt werden. In Schritt 606 kann der Maschinenlernklassifikator mit benutzerspezifischen Gewichtungen trainiert werden. In Schritt 608 kann der Maschinenlernklassifikator mit benutzerspezifischen Gewichtungen basierend auf einer Kostenfunktion optimiert werden. In Schritt 610 kann der Maschinenlernklassifikator anhand neuer Metriken bewertet werden, die die Benutzeranforderungen berücksichtigen.
In Schritt 706 können basierend auf den Benutzeranforderungen Bereiche für die Abstimmparameter festgelegt werden. Es wird in Betracht gezogen, dass der Basisklassifikator mit einer Verlustfunktion (z. B. einer gewichteten Verlustfunktion) trainiert werden kann, wobei die Gewichtungen basierend auf den empfangenen Eingaben (d. h. den Kundeneingaben) berechnet werden können. In Schritt 708 kann der Klassifikator mit Abstimmparametern und einer nach Benutzeranforderungen gewichteten Zielfunktion trainiert werden. Es wird in Betracht gezogen, dass die Leistung des abgestimmten (d. h. trainierten) Klassifikators anhand einer geeigneten Zielfunktion (z. B. Fehler in Form eines quadrierten Abstands zum Objekt (Distance to Object, DTO) in unserem Fall) bewertet wird, die speziell auf eine bestimmte Benutzeranforderung und/oder Eingabe zugeschnitten ist. Wenn die Gewichtungen neu abgestimmt werden müssen, kann das Flussdiagramm 700 zu Schritt 712 übergehen, in dem der Klassifikator unter Verwendung von Parametern mit Benutzeranforderungen basierend auf der Zielfunktion neu abgestimmt werden kann.
In Schritt 706 können basierend auf den Benutzeranforderungen Bereiche für die Abstimmparameter festgelegt werden. Es wird in Betracht gezogen, dass der Basisklassifikator mit einer Verlustfunktion (z. B. einer gewichteten Verlustfunktion) trainiert werden kann, wobei die Gewichtungen basierend auf den empfangenen Eingaben (d. h. den Kundeneingaben) berechnet werden können. In Schritt 708 kann der Klassifikator mit Abstimmparametern und einer nach Benutzeranforderungen gewichteten Zielfunktion trainiert werden. Es wird in Betracht gezogen, dass die Leistung des abgestimmten (d. h. trainierten) Klassifikators anhand einer geeigneten Zielfunktion (z. B. Fehler in Form eines quadrierten Abstands zum Objekt (Distance to Object, DTO) in unserem Fall) bewertet wird, die speziell auf eine bestimmte Benutzeranforderung und/oder Eingabe zugeschnitten ist. In Schritt 710 wird bestimmt, ob die Gewichtungen neu abgestimmt werden müssen. Wenn ja, kann das Flussdiagramm 700 zu Schritt 706 zurückkehren. Wenn nein, kann das Flussdiagramm mit Schritt 712 fortfahren, wo der Klassifikator mittels Parametern mit Benutzeranforderungen basierend auf der Zielfunktion abgestimmt werden kann.
Schließlich wird erwogen, den trainierten Klassifikator umzustrukturieren, um ein vollständig parametrisiertes Maschinenlernmodell zu erhalten, das nach dem Einsatz in einer realen Anwendung rekonfiguriert werden kann. Bei Anwendungen in der Automobilindustrie kann es zum Beispiel einen Zeitpunkt geben, an dem keine Änderungen mehr an der Software und den gespeicherten Werten vorgenommen werden dürfen (d. h. Einfrieren der Software). Die eingefrorene Software kann trainierte Klassifikatoren enthalten, die in einer ECU eines Fahrzeugs gespeichert sind (oder gespeichert werden sollen). Nach dem Einfrieren der Software (z. B. nach dem Verkauf des Fahrzeugs an einen Kunden) kann es wünschenswert sein, das Fahrzeug umzustrukturieren oder mit neuen Klassifikatorwerten zu aktualisieren. Daher ist es auch wünschenswert, einen vollständig anpassbaren Klassifikator zu haben, der einen Satz von Parametern enthalten kann, mit denen nach einem Einfrieren der Software neue Fahrzeugvarianten oder Objektklassen trainiert werden können. Liegt ein Fehler in einer freigegebenen Software vor, so kann mit dem vorliegenden Verfahren und System die Leistung bei Fehlern durch Änderung der Parameter verändert werden. Solche Änderungen können die Behandlung von Mängeln vereinfachen.
Es wird in Betracht gezogen, dass das offenbarte System und Verfahren ein gegebenes Maschinenlernmodell verwenden kann, das eine feste Struktur enthält. Die feste Struktur kann eine unterschiedliche Anzahl von Bäumen und/oder Tiefen mit vollständig belegten Blättern umfassen, wobei alle Knoten der Bäume (z. B. Wenn-Dann-Ausdruck) aus Parametern bestehen. In einem Beispiel kann ein Knoten, der als „Merkmalswert > Schwellenwert“ ausgedrückt ist, aus 3 Parametern bestehen, die einzeln enthalten: (1) „Merkmalswert“; (2) „>“; und (3) „Parameterwert“. Es ist auch denkbar, dass die Parameter während des Konfigurationsprozesses bestimmt und zugewiesen werden. Es wird jedoch erwogen, dass das System und das Verfahren die Behandlung ungültiger Merkmalswerte und nicht belegter Blätter berücksichtigen müssen.
8 zeigt ein beispielhaftes Blockdiagramm 800 für das rekonfigurierbare Maschinenlernmodell, das in einem auf Ultraschallsensoren basierenden Höhenklassifizierungssystem (z. B. dem System 300) eingesetzt werden kann. Zusätzlich zur Erstellung eines rekonfigurierbaren Modells sieht die vorliegende Offenbarung die Erstellung eines Parameterzuweisungsmoduls vor, das dazu verwendet werden kann, dem rekonfigurierbaren Modell die erforderlichen Parameter zuzuweisen. Sobald die erforderlichen Parameter zugewiesen sind, kann das Maschinenlernmodell getestet werden.
Mit Bezug auf 8 sind zwei Arten von Konfigurationen denkbar. In Block 802 kann nach dem oben beschriebenen Trainingsprozess ein Modell mit festen Parametern ermittelt werden. Dieses Modell mit festen Parametern kann Merkmale, Trennschwellen, ungültige Werte und fehlende Wertzuweisungen in einer bestimmten Anordnung in Form von Entscheidungsbäumen enthalten.
Es wird in Betracht gezogen, dass die verschiedenen Merkmale und die zugehörigen Trennschwellenwerte vollständig parametrisiert sein können. Beispielsweise kann ein parametrisiertes Modell (Block 806) erstellt werden, das vollständige Entscheidungsbäume enthält, bei denen jeder Knoten aus Variablen sowohl für die Merkmalsbezeichnungen als auch für die Trennwertschwellen in jedem Knoten besteht. In Block 804 können die Variablen im konfigurierbaren Modell den Merkmalen und den Trennschwellenwerten zugewiesen werden, die statische Werte aus dem Modell mit festen Parametern sind.
Das rekonfigurierbare Maschinenlernmodell kann mit baumbasierten Modellen arbeiten, die keine einfachen binären Bäume sind. Je nach den zu verwendenden Merkmalen können zusätzliche Parameter, wie ungültige Werte und fehlende Werte, verwendet werden. In jedem Knoten der konfigurierbaren Modelldatei kann Logik implementiert sein. Block 812 veranschaulicht, dass die Parameter basierend auf den Informationen aus der festen Modelldatei (Block 802), den tatsächlichen Merkmalswerten oder den empfangenen Laufzeitmessungen/-daten (Block 810) zugewiesen werden können. Es ist auch denkbar, dass Block 812 während der Laufzeit ausgeführt wird, um solche Parameter im konfigurierbaren Modell zuzuweisen.
Die hier offenbarten Prozesse, Verfahren oder Algorithmen sind an eine Verarbeitungsvorrichtung, eine Steuervorrichtung oder einen Computer lieferbar bzw. durch diese implementierbar, wozu jede vorhandene programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit gehören kann. In ähnlicher Weise können die Prozesse, Verfahren oder Algorithmen als Daten, Logik und Anweisungen gespeichert sein, die durch eine Steuervorrichtung oder einen Computer in vielen Formen ausführbar sind, einschließlich unter anderem Informationen, die dauerhaft auf nicht beschreibbaren Speichermedien wie ROM-Vorrichtungen gespeichert sind, und Informationen, die veränderbar auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Software-Objekt implementiert sein. Alternativ können die Prozesse, Verfahren oder Algorithmen in Gänze oder teilweise unter Verwendung geeigneter Hardwarekomponenten umgesetzt werden, wie etwa anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination von Hardware-, Software- und Firmwarekomponenten.
Obwohl oben Ausführungsbeispiele beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen der Erfindung beschreiben. Vielmehr sind die in der Patentschrift verwendeten Worte Ausdrücke der Beschreibung als der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Erfindung abzuweichen. Außerdem können die Merkmale verschiedener implementierender Ausführungsformen zur Bildung weiterer Ausführungsformen der Erfindung kombiniert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US S304310 [0018, 0019, 0024, 0030]
US S304306 [0022]
US S308310 [0023]
US S306310 [0031]

Claims

Verfahren zum Abstimmen eines Maschinenlernklassifikators, umfassend: Empfangen einer oder mehrerer Objektklassenanforderungen, wobei die eine oder die mehreren Objektklassenanforderungen einen oder mehrere Rangschwellenwerte enthalten, die zum Einordnen eines Objekts verwendet werden, und wobei die eine oder die mehreren Objektklassenanforderungen ein Bereichsziel umfassen, das einen Mindestabstand zum Objekt definiert, in dem ein Maschinenlernalgorithmus keine falsch-positiven Ergebnisse liefern sollte; Trainieren eines Basisklassifikators unter Verwendung einer gewichteten Verlustfunktion, wobei die gewichtete Verlustfunktion einen oder mehrere Gewichtungswerte enthält, die unter Verwendung der einen oder mehreren Objektklassenanforderungen berechnet werden; Bewerten einer Ausgabe der gewichteten Verlustfunktion unter Verwendung einer Zielfunktion, wobei die Zielfunktion die eine oder mehreren Objektklassenanforderungen festlegt; und Neuabstimmen des einen oder der mehreren Gewichtungswerte unter Verwendung der gewichteten Verlustfunktion, wenn die Ausgabe der gewichteten Verlustfunktion nicht innerhalb einer vorbestimmten Verlustschwelle konvergiert.
Verfahren gemäß Anspruch 1, wobei die gewichtete Verlustfunktion eine Kreuzentropieklassifikationsverlustfunktion ist.
Verfahren gemäß Anspruch 1, wobei die Objektklassenanforderungen für ein Ultraschallsensorsystem festgelegt werden.
Verfahren gemäß Anspruch 1, wobei die Objektklassenanforderungen für unterschiedliche Fahrzeugplattformen festgelegt werden.
Verfahren gemäß Anspruch 1, wobei der Basisklassifikator dazu verwendet wird, eine schwache wahr-positive Ausgabe zu bestimmen, die zum Klassifizieren des Objekts verwendet wird.
Verfahren gemäß Anspruch 1, wobei der Basisklassifikator dazu verwendet wird, die falsch-positiven Ergebnisse zu bestimmen, die zum Klassifizieren des Objekts verwendet werden.
Verfahren gemäß Anspruch 1, wobei die Objektklassenanforderungen dazu verwendet werden, das Objekt mit einer bestimmten Geometrie zu definieren.
Verfahren gemäß Anspruch 1, wobei die Objektklassenanforderungen dazu verwendet werden, die Rangschwellenwerte für das Objekt mit einer starren Struktur zu definieren.
Verfahren gemäß Anspruch 1, wobei die Zielfunktion ein Fehler in Form eines quadrierten Abstands zum Objekt ist.
Verfahren gemäß Anspruch 1, wobei der Basisklassifikator dazu verwendet wird, einen vorgegebenen Abstand zwischen einem Fahrzeug und dem Objekt zu definieren, bevor ein Fahrzeugsicherheitssystem aktiviert wird.
System zum Abstimmen eines Maschinenlernklassifikators, umfassend: eine Steuervorrichtung, die dazu ausgelegt ist: eine oder mehrere Objektklassenanforderungen zu empfangen, wobei die eine oder die mehreren Objektklassenanforderungen einen oder mehrere Rangschwellenwerte enthalten, die zum Rangeinstufen eines durch einen Maschinenlernalgorithmus klassifizierten Objekts verwendet werden, und wobei die eine oder die mehreren Objektklassenanforderungen ein Bereichsziel umfassen, das einen Mindestabstand zum Objekt definiert, in dem der Maschinenlernalgorithmus keine falsch-positiven Ergebnisse liefern sollte; einen Basisklassifikator unter Verwendung einer gewichteten Verlustfunktion zu trainieren, wobei die gewichtete Verlustfunktion einen oder mehrere Gewichtungswerte enthält, die unter Verwendung der einen oder mehreren Objektklassenanforderungen berechnet werden; eine Ausgabe der gewichteten Verlustfunktion unter Verwendung einer Zielfunktion zu bewerten, wobei die Zielfunktion die eine oder mehreren Objektklassenanforderungen festlegt; und den einen oder die mehreren Gewichtungswerte unter Verwendung der gewichteten Verlustfunktion neu abzustimmen, wenn die Ausgabe der gewichteten Verlustfunktion nicht innerhalb einer vorbestimmten Verlustschwelle konvergiert.
System gemäß Anspruch 11, wobei die gewichtete Verlustfunktion eine Kreuzentropieklassifikationsverlustfunktion ist.
System gemäß Anspruch 11, wobei die Objektklassenanforderungen für ein Ultraschallsensorsystem festgelegt werden.
System gemäß Anspruch 11, wobei die Objektklassenanforderungen für unterschiedliche Fahrzeugplattformen festgelegt werden.
System gemäß Anspruch 11, wobei der Basisklassifikator dazu verwendet wird, eine schwache wahr-positive Ausgabe zu bestimmen, die zum Klassifizieren des Objekts verwendet wird.
System gemäß Anspruch 11, wobei der Basisklassifikator dazu verwendet wird, die falsch-positiven Ergebnisse zu bestimmen, die zum Klassifizieren des Objekts verwendet werden.
System gemäß Anspruch 11, wobei die Objektklassenanforderungen dazu verwendet werden, das Objekt mit einer bestimmten Geometrie zu definieren.
System gemäß Anspruch 11, wobei die Objektklassenanforderungen dazu verwendet werden, die Rangschwellenwerte für das Objekt mit einer starren Struktur zu definieren.
System gemäß Anspruch 11, wobei die Zielfunktion ein Fehler in Form eines quadrierten Abstands zum Objekt ist.
Verfahren zum Abstimmen eines Maschinenlernklassifikators, umfassend: Empfangen einer oder mehrerer Objektklassenanforderungen, wobei die eine oder die mehreren Objektklassenanforderungen einen oder mehrere Rangschwellenwerte enthalten, die zum Rangeinstufen eines durch einen Maschinenlernalgorithmus basierend auf empfangenen Ultraschallsensordaten innerhalb eines Fahrzeugs klassifizierten Objekts verwendet werden, und wobei die eine oder die mehreren Objektklassenanforderungen ein Bereichsziel umfassen, das einen Mindestabstand zum Objekt definiert, in dem der Maschinenlernalgorithmus keine falsch-positiven Ergebnisse liefern sollte; Trainieren eines Basisklassifikators unter Verwendung einer gewichteten Verlustfunktion, wobei die gewichtete Verlustfunktion einen oder mehrere Gewichtungswerte enthält, die unter Verwendung der einen oder mehreren Objektklassenanforderungen berechnet werden; Bewerten einer Ausgabe der gewichteten Verlustfunktion unter Verwendung einer Zielfunktion, wobei die Zielfunktion die eine oder mehreren Objektklassenanforderungen festlegt; und Neuabstimmen des einen oder der mehreren Gewichtungswerte unter Verwendung der gewichteten Verlustfunktion, wenn die Ausgabe der gewichteten Verlustfunktion nicht innerhalb einer vorbestimmten Verlustschwelle konvergiert.