-
TECHNISCHES GEBIET
-
Das technische Gebiet bezieht sich allgemein auf Systeme und Verfahren zur Diagnose von Geräuschen in einem Fahrzeug, insbesondere auf die Diagnose von Geräuschen in einem Fahrzeug unter Verwendung von Tiefenlerntechniken
-
Beim Fahren eines Fahrzeugs gibt es viele Geräusche. Einige Geräusche stehen im Zusammenhang mit den Fahrzeugfunktionen, während andere Geräusche Umgebungsgeräusche sind. In manchen Fällen kann ein Geräusch auf ein defektes Fahrzeugteil hinweisen. Dementsprechend ist es wünschenswert, Systeme und Verfahren zur Identifizierung von Fahrzeuggeräuschen bereitzustellen, die eine Diagnose des Fahrzeugs ermöglichen. Weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorangehenden technischen Gebiet und Hintergrund.
-
BESCHREIBUNG
-
Es werden Verfahren und Vorrichtungen zur Diagnose eines Fahrzeugs bereitgestellt. In einer Ausführungsform umfasst ein Verfahren: Auslösen, durch einen Prozessor, einer Aufzeichnung eines Geräusches durch mindestens ein Mikrofon basierend auf Benutzerauswahldaten von einem Benutzer des Fahrzeugs; Empfangen, durch den Prozessor, von Audiosignaldaten basierend auf der Aufzeichnung; Erzeugen, durch den Prozessor, von Vektordaten basierend auf den Audiosignaldaten; Verarbeiten der Vektordaten durch den Prozessor mit mindestens einem vom Prozessor trainierten maschinellen Lernmodell, um eine Klassifizierung des Geräusches zu bestimmen; Vorhersagen einer zu ergreifenden Aktion durch den Prozessor auf der Grundlage der Klassifizierung; und Speichern der Audiosignaldaten, der Klassifizierung und der Aktion in einem Datenspeicher durch den Prozessor.
-
In verschiedenen Ausführungsformen umfasst die Verarbeitung der Vektordaten die Verarbeitung der Vektordaten mit einem ersten trainierten maschinellen Lernmodell, um eine erste Klassifizierung zu bestimmen, die einer Fahrzeugkomponente zugeordnet ist.
-
In verschiedenen Ausführungsformen umfasst das Verfahren das Verarbeiten der Vektordaten und das Verarbeiten der Vektordaten mit einem zweiten trainierten maschinellen Lernmodell, um eine sekundäre zugeordnete Klassifizierung zu bestimmen, wobei das zweite trainierte maschinelle Lernmodell auf der Fahrzeugkomponente basiert.
-
In verschiedenen Ausführungsformen umfasst das Verfahren die Erzeugung von Schnittstellendaten zur Anzeige eines Benutzerauswahlsymbols, das bei Auswahl durch den Benutzer die Benutzerauswahldaten erzeugt.
-
In verschiedenen Ausführungsformen umfasst das Verfahren die Anzeige des Benutzerauswahlsymbols auf einer Anzeige eines Infotainmentsystems des Fahrzeugs.
-
In verschiedenen Ausführungsformen umfasst das Verfahren die Anzeige des Benutzerauswahlsymbols auf einer Anzeige einer dem Fahrzeug zugeordneten Benutzervorrichtung.
-
In verschiedenen Ausführungsformen umfasst das Verfahren das Sammeln von Fahrzeugdaten, die der Klassifizierung zugeordnet sind, und das Zuordnen der Fahrzeugdaten mit der Klassifizierung als Metadaten.
-
In verschiedenen Ausführungsformen ist das Mikrofon am Fahrzeug angebracht.
-
In verschiedenen Ausführungsformen ist das Mikrofon an einer dem Fahrzeug zugeordneten Benutzervorrichtung angebracht.
-
In verschiedenen Ausführungsformen umfasst das Verfahren das Erzeugen von anzuzeigenden Benachrichtigungsdaten auf der Grundlage von mindestens einer der Klassifizierungen und der Aktion.
-
In einer anderen Ausführungsform umfasst ein System: mindestens ein Mikrofon, das dem Fahrzeug zugeordnet ist; und ein Steuermodul, das so konfiguriert ist, dass es durch einen Prozessor eine Aufzeichnung eines Geräusches durch das mindestens eine Mikrofon auf der Grundlage von Benutzerauswahldaten von einem Benutzer des Fahrzeugs auslöst; Audiosignaldaten auf der Grundlage der Aufzeichnung empfängt; Vektordaten auf der Grundlage der Audiosignaldaten erzeugt; die Vektordaten mit mindestens einem vom Prozessor trainierten maschinellen Lernmodell verarbeitet, um eine Klassifizierung des Geräusches zu bestimmen; eine zu ergreifende Aktion auf der Grundlage der Klassifizierung vorhersagt; und die Audiosignaldaten, die Klassifizierung und die Aktion in einem Datenspeicher speichert.
-
In verschiedenen Ausführungsformen verarbeitet das Steuermodul die Vektordaten, indem es die Vektordaten mit einem ersten trainierten maschinellen Lernmodell verarbeitet, um eine erste Klassifizierung zu bestimmen, die einer Fahrzeugkomponente zugeordnet ist.
-
In verschiedenen Ausführungsformen verarbeitet das Steuermodul die Vektordaten, indem es die Vektordaten mit einem zweiten trainierten maschinellen Lernmodell verarbeitet, um eine sekundäre zugeordnete Klassifizierung zu bestimmen, wobei das zweite trainierte maschinelle Lernmodell auf der Fahrzeugkomponente basiert.
-
In verschiedenen Ausführungsformen erzeugt das Steuermodul Schnittstellendaten, um ein Benutzerauswahlsymbol anzuzeigen, das, wenn es vom Benutzer ausgewählt wird, die Benutzerauswahldaten erzeugt.
-
In verschiedenen Ausführungsformen wird das Benutzerauswahlsymbol auf einer Anzeige eines Infotainmentsystems des Fahrzeugs angezeigt.
-
In verschiedenen Ausführungsformen wird das Benutzerauswahlsymbol auf einer Anzeige einer dem Fahrzeug zugeordneten Benutzervorrichtung angezeigt.
-
In verschiedenen Ausführungsformen sammelt das Steuermodul Fahrzeugdaten, die der Klassifizierung zugeordnet sind, und ordnet die Fahrzeugdaten mit der Klassifizierung als Metadaten zu.
-
In verschiedenen Ausführungsformen ist das Mikrofon am Fahrzeug angebracht.
-
In verschiedenen Ausführungsformen ist das Mikrofon an einer dem Fahrzeug zugeordneten Benutzervorrichtung angebracht.
-
In verschiedenen Ausführungsformen erzeugt das Steuermodul Benachrichtigungsdaten, die auf der Grundlage der Klassifizierung und/oder der Aktion angezeigt werden.
-
Figurenliste
-
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Figuren beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen und wobei:
- 1 eine schematische Darstellung eines Fahrzeugs mit einem Diagnosesystem gemäß verschiedenen Ausführungsformen ist;
- 2 eine schematische Darstellung eines Fahrzeugs mit Mikrofonen gemäß verschiedenen Ausführungsformen ist;
- 3 ein Datenflussdiagramm ist, das ein Diagnosemodul gemäß verschiedenen Ausführungsformen zeigt; und
-
Die 4 und 5 Flussdiagramme sind, die beispielhafte Diagnoseverfahren gemäß verschiedenen Ausführungsformen darstellen.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine ausdrückliche oder implizite Theorie gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Beschreibung oder der folgenden detaillierten Beschreibung dargelegt ist. Wie hierin verwendet, bezieht sich der Begriff Modul auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltungen (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder als Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bieten.
-
Ausführungsformen der vorliegenden Offenbarung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Solche Blockkomponenten können durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten realisiert werden, die so konfiguriert sind, dass sie die angegebenen Funktionen ausführen. Beispielsweise kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder Ähnliches, die eine Vielzahl von Funktionen unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Darüber hinaus wird der Fachmann erkennen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen verwendet werden können und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
-
Der Kürze halber werden konventionelle Techniken im Zusammenhang mit Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und anderen funktionellen Aspekten der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Figuren dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenlegung vorhanden sein können.
-
In Bezug auf 1 ist ein allgemein mit 100 bezeichnetes Diagnosesystem gemäß verschiedenen Ausführungsformen mit einem Fahrzeug 10 verbunden. Wie im Folgenden näher erläutert wird, zeichnet das Diagnosesystem 100 Geräusche auf und verarbeitet sie zur Verwendung bei der Diagnose eines Problems durch eine Kundenaktion über eine App oder eine Taste eines Infotainmentsystems oder eines Telematiksystems. Wie weiter unten noch näher erläutert wird, werden die Aufzeichnungen über Mikrofone des Fahrzeugs und/oder Mikrofone eines Smartphones oder einer anderen persönlichen Vorrichtung gemacht. Wie weiter unten noch näher erläutert wird, erfolgt die Verarbeitung der Mikrofonaufzeichnungen mit Hilfe von Tiefenlerntechniken (Deep-Learning-Techniken).
-
Wie in 1 dargestellt, umfasst das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, einen Aufbau 14, Vorderräder 16 und Hinterräder 18. Der Aufbau 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen die Komponenten des Fahrzeugs 10. Der Aufbau 14 und das Fahrgestell 12 können zusammen einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke des Aufbaus 14 drehbar mit dem Fahrgestell 12 verbunden. In bestimmten Ausführungsformen handelt es sich bei dem Fahrzeug 10 um ein Automobil, wie z. B. eine Limousine, einen Lastwagen, einen Bus oder eine beliebige Anzahl von verschiedenen Arten von Automobilen. Es sollte jedoch verstanden werden, dass das hier beschriebene Diagnosesystem 100 und/oder -verfahren in anderen Fahrzeugtypen implementiert werden können, einschließlich, aber nicht beschränkt auf Luftfahrzeuge und Wasserfahrzeuge. In verschiedenen Ausführungsformen können die Begriffe „Geräusch“ und „Ton“ auch synonym verwendet werden, sofern hier nicht anders angegeben.
-
Wie dargestellt, umfasst das Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Steuerung 34 und ein Kommunikationsmodul 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie z. B. einen Fahrmotor, und/oder ein Brennstoffzellen-Antriebssystem umfassen. Das Getriebesystem 22 ist so konfiguriert, dass es die Leistung des Antriebssystems 20 auf die Fahrzeugräder 16-18 gemäß wählbaren Geschwindigkeitsverhältnissen überträgt. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein stufenloses Automatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so konfiguriert, dass es ein Bremsmoment auf die Fahrzeugräder 16-18 ausübt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Seilzugbremsen, ein regeneratives Bremssystem, wie z. B. eine elektrische Maschine, und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Obwohl zur Veranschaulichung ein Lenkrad dargestellt ist, mag das Lenksystem 24 in einigen Ausführungsformen, die im Rahmen der vorliegenden Offenbarung in Betracht gezogen werden, kein Lenkrad enthalten.
-
Das Sensorsystem 28 umfasst eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radare, Lidare, globale Positionierungssysteme, optische Kameras, Wärmekameras, Ultraschallsensoren, Trägheitsmesseinheiten und/oder andere Sensoren umfassen, sind aber nicht darauf beschränkt.
-
In verschiedenen Ausführungsformen umfassen die Sensorvorrichtungen 40a-40n ein oder mehrere Mikrofone. 2 zeigt beispielhafte Mikrofone 50a-50f und eine beispielhafte Anordnung in Bezug auf das Fahrzeug 10 gemäß verschiedenen Ausführungsformen. Die Mikrofone 50a-50f erzeugen Signale, die dem Fahrzeug 10 zugeordneten Geräuschen entsprechen, wie von Fachleuten erkannt wird. Bei den Mikrofonen kann es sich um analoge Einzelelementmikrofone und/oder digitale Mikrofonarrays handeln. Je nach Platzierung in Bezug auf das Fahrzeug 10 sind die Mikrofone 50a-50f so konfiguriert, dass sie auf Wunsch Geräusche in einer Kabine des Fahrzeugs 10, Geräusche in Verbindung mit Komponenten des Fahrzeugs 10 und/oder Geräusche in Verbindung mit der Umgebung des Fahrzeugs 10 erfassen.
-
Zurück zu 1 umfasst das Aktuatorsystem 30 eine oder mehrere Aktuatorvorrichtungen 42a-42n, die eine oder mehrere Fahrzeugfunktionen steuern, wie z. B. das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, jedoch nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale außerdem Innen- und/oder Außenmerkmale des Fahrzeugs umfassen, wie z. B. Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw. (nicht nummeriert).
-
Die Steuerung 34 umfasst mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder -medium 46. Der Prozessor 44 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor sein, eine zentrale Prozessoreinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die mit der Steuerung 34 verbunden sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsets), ein Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Befehlen. Die computerlesbaren Speichervorrichtungen oder -medien 46 können flüchtige und nichtflüchtige Speicher umfassen, z. B. Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare(n) Speichervorrichtung(en) oder -medien 46 kann/können unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrischer PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen implementiert werden, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von der Steuerung 34 bei der Steuerung des Fahrzeugs 10 verwendet werden.
-
Die Befehle können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Wenn die Befehle vom Prozessor 44 ausgeführt werden, empfangen und verarbeiten sie Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des Fahrzeugs 10 durch und erzeugen Steuersignale für das Aktuatorsystem 30, um die Komponenten des Fahrzeugs 10 auf der Grundlage der Logik, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 umfassen, die durch Kommunikationsnachrichten über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um Merkmale des Fahrzeugs 10 zu steuern.
-
In verschiedenen Ausführungsformen umfasst das Fahrzeug 10 ferner ein Infotainmentsystem 52 und/oder ein Telematiksystem 54. Das Infotainmentsystem 52 umfasst beispielsweise mindestens einen Speicher und einen Prozessor und ist so konfiguriert, dass es den Insassen des Fahrzeugs 10 Informationen (z. B. Navigation, Zeit, Kurs, Umgebungstemperatur usw.) und/oder Unterhaltung (z. B. Musik, Nachrichten, Podcasts, Videos usw.) bereitstellt. Das Telematiksystem 54 umfasst beispielsweise mindestens einen Speicher und einen Prozessor und ist so konfiguriert, dass es die Kommunikation zwischen dem Fahrzeug 10 und entfernten Einheiten, wie z. B. einem entfernten Transportsystem 56 (d. h. OnStar oder einer anderen Einheit) und einer Benutzervorrichtung 58, einem Desktop-Computer, einem mobilen Computer (z. B, ein Tablet-Computer, ein Laptop-Computer oder ein Netbook-Computer), ein Smartphone, eine Videospielvorrichtung, ein digitaler Medienplayer, ein Home-Entertainment-Gerät, eine Digitalkamera oder eine Videokamera, ein tragbares Computergerät (z. B. eine intelligente Uhr, eine intelligente Brille, intelligente Kleidung) oder Ähnliches bereitstellt. Das Telematiksystem 54 ist so konfiguriert, dass es Informationen drahtlos übermittelt, z. B. über Wi-Fi, Bluetooth oder andere bekannte Protokolle.
-
Das entfernte Transportsystem 56 umfasst mindestens eine Datenbank 60 zum Speichern von Daten im Zusammenhang mit den Aufzeichnungen des Fahrzeugs 10. Die Benutzervorrichtung 58 umfasst mindestens ein Mikrofon 62, das in der Lage ist, mit dem Fahrzeug 10 verbundene Geräusche aufzunehmen.
-
In verschiedenen Ausführungsformen erfasst und verarbeitet das Diagnosesystem 100 Audiosignale von den Mikrofonen 50a-50f, 62. Das gesamte Diagnosesystem 100 oder Teile davon können sich auf dem Infotainmentsystem 52, dem Telematiksystem 54, der Benutzervorrichtung 58 und/oder dem entfernten Transportsystem 56 befinden. Beispielsweise kann das Diagnosesystem 100 als Teil einer Funktion des Infotainmentsystems 52, einer Funktion des Telematiksystems 54 und/oder einer App oder Webseite der Benutzervorrichtung 58 usw. implementiert werden.
-
Das Diagnosesystem 100 ist so konfiguriert, dass es die Aufzeichnungen der Mikrofone 50a-50f, 62 automatisch, bei vorbestimmten Ereignissen (z. B. bei einer von einem Benutzer initiierten Anforderung), in geplanten Intervallen usw. über das Telematiksystem 54, das Infotainmentsystem 52 und/oder die Benutzervorrichtung 58 anfordert. Das Diagnosesystem 100 verarbeitet die Audiosignale mit einem oder mehreren Tiefenlernalgorithmen, um eine oder mehrere Klassifizierungen des aufgezeichneten Tons vorherzusagen. Die Verarbeitung kann auf dem Infotainmentsystem 52, dem Telematiksystem 54 und/oder der Benutzervorrichtung 58 durchgeführt werden. Das Diagnosesystem 100 speichert dann die Aufzeichnungen mit ihren zugehörigen Klassifizierungen in der Datenbank des entfernten Transportsystems 56 und/oder in einem Datenspeicher des Fahrzeugs 10 zur weiteren Analyse, Klassifizierung und Anreicherung der Datenbank/des Datenspeichers.
-
Unter Bezugnahme auf 3 und unter fortgesetzter Bezugnahme auf 1 veranschaulicht ein Datenflussdiagramm verschiedene Ausführungsformen eines Diagnosemoduls 101, das ein Teil des Diagnosesystems 100 als Teil des Telematiksystems 54, des Infotainmentsystems 52 und/oder der Benutzervorrichtung 58 ist. Verschiedene Ausführungsformen des Diagnosemoduls 101 gemäß der vorliegenden Offenbarung können eine beliebige Anzahl von Untermodulen umfassen. Wie zu erkennen ist, können die in 3 dargestellten Untermodule kombiniert und/oder weiter unterteilt werden, um in ähnlicher Weise fahrzeugbezogene Geräusche für Diagnosezwecke aufzuzeichnen und zu verarbeiten. Eingaben in das Diagnosemodul 101 können von den Sensorvorrichtungen 40a-40n, den Mikrofonen 50a-50n, 62, den E/A-Vorrichtungen des Infotainmentsystems 52, dem Telematiksystem 54 und/oder der Benutzervorrichtung 58 empfangen, von anderen Steuermodulen (nicht dargestellt) des Fahrzeugs 10 empfangen und/oder von anderen Untermodulen (nicht dargestellt) des Steuermoduls 34 bestimmt werden. In verschiedenen Ausführungsformen umfasst das Diagnosemodul 101 ein Audiosignal-Erfassungsmodul 102, ein Vektorquantisierungsmodul 104, ein Klassifizierungsmodul 106, ein Aktionsvorhersagemodul 108 und einen Modelldatenspeicher 110.
-
In verschiedenen Ausführungsformen speichert der Modelldatenspeicher 110 ein oder mehrere trainierte maschinelle Lernmodelle 112 zur Verarbeitung von Audiosignalen, um eine oder mehrere Klassifizierungen des Tons vorherzusagen. Wie zu erkennen ist, können die Modelle 112 in einer überwachten oder überwachten Weise trainiert werden. In verschiedenen Ausführungsformen kann eine Vielzahl von maschinellen Lerntechniken eingesetzt werden, darunter beispielsweise multivariate Regression, künstliche neuronale Netze (ANNs), Random-Forest-Klassifikatoren, Bayes-Klassifikatoren (z. B. Naive Bayes), Hauptkomponentenanalyse (PCA), Support-Vektor-Maschinen, lineare Diskriminanzanalyse, Clustering-Algorithmen (z. B. KNN) und/oder Ähnliches. In einigen Ausführungsformen werden mehrere maschinelle Lernmodelle 112 verwendet (z. B. über Ensemble-Lerntechniken). Wie zu erkennen ist, sind die Ausführungsformen der vorliegenden Offenbarung nicht auf ein bestimmtes maschinelles Lernverfahren beschränkt.
-
In verschiedenen Ausführungsformen erfasst das Audiosignal-Erfassungsmodul 102 Audiosignale, die von einem oder mehreren der Mikrofone 50a-50f, 62 aufgenommen wurden. Beispielsweise erzeugt das Audiosignal-Erfassungsmodul 102 Schnittstellendaten 116 zur Anzeige eines oder mehrerer Aufzeichnungsauswahlsymbole über eine Schnittstelle, die vom Infotainmentsystem 52 und/oder der Benutzervorrichtung 58 angezeigt wird. Als Reaktion auf eine Auswahl der Aufzeichnungsauswahlsymbole durch einen Benutzer empfängt das Audiosignal-Erfassungsmodul 102 Benutzerauswahldaten 118, die von dem Infotainmentsystem 52, dem Telematiksystem 54 und/oder der Benutzervorrichtung 58 erzeugt werden, und löst die Aufzeichnung eines oder mehrerer ausgewählter Mikrofone 50a-50f, 62 des Fahrzeugs 10 oder der Benutzervorrichtung 58 über ein oder mehrere Mikrofonsteuersignale 120 aus. Daraufhin empfängt das Audiosignal-Erfassungsmodul 102 die von den ausgelösten Mikrofonen 50a-50f, 62 aufgezeichneten Audiosignale 114.
-
In einem anderen Beispiel empfängt das Audiosignal-Erfassungsmodul 102 Benutzerbefehlsdaten 122 (z. B. eine gesprochene Aufforderung eines Benutzers, die Aufzeichnung auszulösen), die von einem Mikrofon 50a-50f des Fahrzeugs 10 erzeugt werden, und löst die Aufzeichnung eines oder mehrerer ausgewählter Mikrofone 50a-50f, 62 des Fahrzeugs 10 oder der Benutzervorrichtung 58 über die Mikrofonsteuersignale 120 aus. Daraufhin empfängt das Audiosignal-Erfassungsmodul 102 Audiosignale 114, die von den ausgelösten Mikrofonen 50a-50f, 62 aufgezeichnet wurden.
-
In einem anderen Beispiel automatisiert das Audiosignal-Erfassungsmodul 102 den Beginn der Aufzeichnung eines oder mehrerer ausgewählter 50a-50f des Fahrzeugs 10 über die MikrofonSteuersignale 120. In verschiedenen Ausführungsformen kann die Automatisierung auf einem geplanten Intervall oder dem Auftreten eines vorbestimmten Ereignisses basieren.
-
In verschiedenen Ausführungsformen speichert das Audiosignal-Erfassungsmodul 102 die Audiosignale in einem Datenspeicher 124 zur weiteren Verarbeitung. Der Datenspeicher 124 kann sich auf dem Fahrzeug 10 und/oder der Datenbank 60 des entfernten Transportsystems 56 befinden. In verschiedenen Ausführungsformen stellt das Audiosignal-Erfassungsmodul 102 die erfassten Audiosignale 114 anderen Modulen zur weiteren Verarbeitung zur Verfügung.
-
Das Vektorquantisierungsmodul 104 empfängt die erfassten Audiosignale 114. Das Vektorquantisierungsmodul 104 verarbeitet das Audiosignal 114 mit einem maschinellen Lernmodell, z. B. einem neuronalen Netz, um das Audiosignal 114 in Vektordaten 126 zu quantifizieren. Das maschinelle Lernmodell wählt einen Vektor aus einer endlichen Menge möglicher Vektoren aus, um die Audiosignale 114 darzustellen. In verschiedenen Ausführungsformen können andere Quantisierungsverfahren verwendet werden, einschließlich, aber nicht beschränkt auf, baumstrukturierte Vektorquantisierung, direkte Summenvektorquantisierung, kartesische Produktvektorquantisierung, Gittervektorquantisierung, klassifizierte Vektorquantisierung, Feedback-Vektorquantisierung und Fuzzy-Vektorquantisierung.
-
Das Klassifizierungsmodul 106 empfängt die Vektordaten 126. Das Klassifizierungsmodul 106 ruft ein oder mehrere trainierte maschinelle Lernmodelle 112 aus dem Modelldatenspeicher 110 ab und verarbeitet die Vektordaten 126 mit den maschinellen Lernmodellen, um eine Klassifizierung des Geräuschs vorherzusagen. Das Klassifizierungsmodul 106 erzeugt darauf basierend Klassifizierungsdaten 128.
-
In verschiedenen Ausführungsformen verarbeitet das Klassifizierungsmodul 106 die Vektordaten 126 mit einem ersten trainierten maschinellen Lernmodell, um eine primäre Klassifizierung vorherzusagen, die beispielsweise einer Fahrzeugkomponente zugeordnet ist (z. B. Motorgeräusch, Getriebegeräusch, Bremsgeräusch, Straßengeräusch, Reifengeräusch, Windgeräusch, Klappergeräusch usw.). In verschiedenen Ausführungsformen ruft das Klassifizierungsmodul 106 dann, basierend auf der primären Klassifizierung, ein zweites trainiertes maschinelles Lernmodell 112 aus dem Modelldatenspeicher 110 ab und verarbeitet die Vektordaten 126 mit dem zweiten trainierten maschinellen Lernmodell 112, um eine sekundäre Klassifizierung vorherzusagen, die mit der primären Klassifizierung verbunden ist (z. B. wenn die primäre Klassifizierung, die sekundäre Klassifizierung Motorklopfgeräusch, Dieselzerstäubergeräusch, Kraftstoffpumpengeräusch usw. sein kann) Das Klassifizierungsmodul 106 erzeugt die Klassifizierungsdaten 128 basierend auf der primären Klassifizierung und der sekundären Klassifizierung.
-
Das Aktionsvorhersagemodul 108 empfängt als Eingang die Klassifizierungsdaten 128. Das Aktionsvorhersagemodul 108 erzeugt Benachrichtigungsdaten 130, die auf der Grundlage der Geräuschklassifizierung eine zu ergreifende Aktion angeben. Die Aktion kann beispielsweise die Wartung des Motorkraftstoffsystems, die Wartung einer Komponente des Abgassystems oder keine Wartung erforderlich machen, da das Geräusch keinen Fehler anzeigt. Die zu ergreifenden Aktionen können entsprechend den in der Branche üblichen Reparaturverfahren vordefiniert werden. Die Benachrichtigungsdaten 130 können über eine Schnittstelle zur Ansicht durch einen Benutzer angezeigt werden. Die Benachrichtigungsdaten 130 können zur Überprüfung und Bestätigung an einen Techniker gesendet werden. Die Benachrichtigungsdaten 130 können zusammen mit den Klassifizierungsdaten 128 für weitere Diagnosezwecke im Datenspeicher 124 gespeichert werden.
-
Unter Bezugnahme auf die 4-5 und unter fortgesetzter Bezugnahme auf die 1-3 veranschaulichen die Flussdiagramme die Verfahren 300. 400, die von dem System 100 der 1-3 gemäß der vorliegenden Offenbarung durchgeführt werden können. Wie im Lichte der Offenbarung zu erkennen ist, ist die Reihenfolge der Verfahren 300, 400 nicht auf die sequentielle Ausführung, wie sie in den 4-5 dargestellt ist, beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolge(n), wie anwendbar und gemäß der vorliegenden Offenbarung, durchgeführt werden. In verschiedenen Ausführungsformen können die Verfahren 300, 400 so geplant werden, dass sie auf der Grundlage eines oder mehrerer vorbestimmter Ereignisse ablaufen, und/oder sie können während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen.
-
Wie in 4 dargestellt, kann das Verfahren 300 bei 305 beginnen. Die Benutzerauswahldaten 118 werden empfangen, um die Aufzeichnung eines Geräusches bei 310 zu starten. Die Audiosignaldaten 114 werden einschließlich des aufgezeichneten Geräuschs bei 320 empfangen. Die Signalinformationen werden bei 330 in einen oder mehrere Vektoren quantifiziert. Der eine oder die mehreren Vektoren werden mit dem trainierten maschinellen Lernmodell verarbeitet, um eine erste allgemeine Klassifizierung des Geräusches um 340 vorherzusagen. Danach werden der eine oder die mehreren Vektoren mit einem zweiten trainierten maschinellen Lernmodell verarbeitet, um bei 350 eine sekundäre Klassifizierung vorherzusagen, die mit der primären Klassifizierung verbunden ist.
-
Danach werden Fahrzeugdaten 127 gesammelt, z. B. von den Fahrzeugsensorvorrichtungen 40a-40n bei 360. Die Fahrzeugdaten 127 werden mit der Klassifizierung als Metadaten zugeordnet und ausgewertet, um ein Ereignis vorherzusagen und darauf basierend bei 370 Benachrichtigungsdaten 130 zu erzeugen. Die Ereignisvorhersage, die Klassifizierungen und die Metadaten werden im Datenspeicher für 24 zur weiteren Auswertung durch einen Benutzer oder Techniker bei 380 gespeichert. Danach kann das Verfahren bei 390 enden.
-
Wie in 5 dargestellt, kann das Verfahren bei 405 beginnen. Gekennzeichnete Tondaten werden in 410 zusammengestellt. Die gekennzeichneten Tondaten werden mit dem maschinellen Lernmodell verarbeitet, um das maschinelle Lernmodell bei 420 zu trainieren. Das trainierte maschinelle Lernmodell wird im Datenspeicher des maschinellen Lernmodells zur weiteren Verarbeitung bei 430 gespeichert. Danach kann das Verfahren bei 440 beendet werden.
-
Es wird deutlich, dass die offenbarten Verfahren, Systeme und Fahrzeuge von den in den Figuren dargestellten und hier beschriebenen abweichen können. Beispielsweise können das Diagnosesystem 100, das Fahrzeug 10 und/oder verschiedene Komponenten davon von den in den 1-3 dargestellten und in Verbindung damit beschriebenen abweichen. Ebenso können die Verfahrensschritte von den Darstellungen in den 4 bis 5 und/oder den damit zusammenhängenden Erörterungen abweichen und/oder in einer anderen Reihenfolge durchgeführt werden und/oder anderweitig von den Darstellungen abweichen und/oder anders implementiert werden.
-
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann einen praktischen Leitfaden für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es sei verstanden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren gesetzlichen Äquivalenten dargelegt ist, verlassen wird.
