DE102019210931B4

DE102019210931B4 - Verfahren und Vorrichtung zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs

Info

Publication number: DE102019210931B4
Application number: DE102019210931.4A
Authority: DE
Inventors: Stefan Beller
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-07-24
Filing date: 2019-07-24
Publication date: 2021-03-18
Anticipated expiration: 2039-07-25
Also published as: DE102019210931A1

Abstract

Die Erfindung betrifft eine Fehlererkennungseinheit (3) zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs (1), aufweisend ein Sensorsystem, welches zur Generierung von Bildsensordaten von einem Umfeldbild des Fahrzeugs (1) und zur Übertragung der Bildsensordaten ausgebildet ist, wobei eine Datenverarbeitungseinheit (6) vorgesehen ist, welche zum Empfang der Bildsensordaten ausgebildet ist, wobei die Datenverarbeitungseinheit (6) ein künstliches neuronales Netz aufweist, wobei das künstliche neuronale Netz dazu trainiert ist, um eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten zu klassifizieren, und
eine Zuweisungseinheit (5) vorgesehen ist, wobei die Zuweisungseinheit (5) zum Zuweisen der klassifizierten Anomalie zu zumindest einer fehlerhaften Fahrzeugkomponente ausgebildet ist.
Ferner betrifft die Erfindung noch ein Fahrerassistenzsystem, ein Verfahren und ein Kal ibrierverfah ren.

Description

Die Erfindung betrifft eine Fehlererkennungseinheit zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs, aufweisend ein Sensorsystem, welches zur Generierung von Bildsensordaten von einem Umfeldbild des Fahrzeugs und zur Übertragung der Bildsensordaten ausgebildet ist. Ferner betrifft die Erfindung noch ein Fahrerassistenzsystem und ein Verfahren.
Die Räder eines Kraftfahrzeugs müssen neben ihrer Drehbewegung aufgrund von Straßenbelägen Auf- und Abwärtsbewegungen ausführen. Durch Schäden an den Straßenbelag oder bei einer Fahrt über unebenes Gelände wirken große, stoßartige Kräfte auf das Kraftfahrzeug.
Um diese zu minimieren, weist das Fahrzeug eine Federung auf, welche zusammen mit einer Dämpfung die Fahrbahnstöße auffängt und in Schwingungen umwandelt. Diese Schwingungsdämpfer, auch Stoßdämpfer genannt, sind am Fahrwerk des Fahrzeugs angeordnet. Dabei umfasst ein Fahrwerk ferner zumindest Räder, Radträger, Radlager, Bremse, Radaufhängung, Fahrschemel, Federung, Stabilisator, Dämpfung und Lenkung.
Stoßdämpfer sind bei Fahrwerken sicherheitsrelevante Bauteile, die die Schwingungen der gefederten Masse schnell abklingen lassen, sowie die Schwingung der ungefederten Masse auf der Reifenfeder dämpfen. Durch Umwandlung der Schwingungsenergie in Wärme durch besondere Maßnahmen wird eine deutlich gedämpfte Schwingung erzeugt. Ohne diese Maßnahmen würde die Schwingung zu langsam abklingen.
Ein unentdeckter Defekt bei den Stoßdämpfern während des Fahrbetriebs kann zu einer potenziell verkehrsgefährdenden Situation führen. Defekte Stoßdämpfer erhöhen das Unfallrisiko dramatisch, denn Bremsweg, Kurvenlage, ABS und Antischleuderhilfen wie ESP hängen unmittelbar mit dem Zustand der Stoßdämpfer zusammen. Bei einer Vielzahl der Unfälle, bei denen über 10 Jahre ältere Fahrzeuge beteiligt sind, ist davon auszugehen, dass die Stoßdämpfer beschädigt waren.
Die Auswirkungen von Defekten oder verschlissenen Stoßdämpfern sind beispielsweise folgende: Reifenauswaschungen, verölte Stoßdämpfer, Fahrzeug ist seitenwindempfindlich, Lenkradflattern, Fahrzeug ist unruhig nach dem Überfahren von Straßenkuppen, Wagen wippt beim Bremsen nach etc. Ähnliches gilt für andere Komponenten des Fahrwerks, wie beispielsweise ein platter Reifen etc.
Ein Defekt an einem der Stoßdämpfer, die entscheidend für die Verkehrssicherheit des Kraftfahrzeugs sind, oder auch Reifenschäden können durch Sensoren oder einen Werkstattbesuch ermittelt werden. Ggf. kann der Schaden auch durch einen Fahrer bemerkt werden.
Durch Straßenschäden/Schlaglöcher kann es jedoch zu einem Defekt des Sensors oder Ausfall des Sensors kommen. Insbesondere bei einem autonom fahrenden Fahrzeug kann der Schaden nicht mehr durch einen Fahrer bemerkt werden.
Die EP 1565719 B1 offenbart ein System zur Diagnose von Stoßdämpfern an einem Fahrzeug mit wenigstens einer luftgefederten Radachse, das eine Steuereinheit und wenigstens eine mit der Steuereinheit verbundene Messvorrichtung umfasst, wobei die Messvorrichtung ein Signal fortlaufend messen kann, das den Schwingungen wenigstens einer luftgefederten Radachse der Radaufhängung des Fahrzeugs entspricht, wenn das Fahrzeug auf einer Straße gefahren wird, wobei die Steuereinheit das gemessene Signal, das einer Eigenresonanzfrequenz der Radaufhängung des Fahrzeugs entspricht, analysieren kann, um den Zustand der Stoßdämpfer an der wenigstens einen luftgefederten Radachse zu bestimmen.
Die EP 3 389 015 A1 offenbart ein Verfahren und eine Vorrichtung zum Kalibrieren von Rollwinkeln.
Die Aufgabe der Erfindung ist es, Mittel bereitzustellen, mit welchen solche Gefahrensituationen durch Defekte an einem Fahrzeug, insbesondere an einer Fahrzeugkomponente, erkannt werden können.
Diese Aufgabe wird durch eine Fehlererkennungseinheit mit den Merkmalen des Anspruchs 1, ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 5 sowie ein Verfahren mit den Merkmalen des Anspruchs 7 gelöst.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch eine Fehlererkennungseinheit zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs, aufweisend ein Sensorsystem, welches zur Generierung von Bildsensordaten von einem Umfeldbild des Fahrzeugs und zur Übertragung der Bildsensordaten ausgebildet ist,
wobei
eine Datenverarbeitungseinheit vorgesehen ist, welche zum Empfang der Bildsensordaten ausgebildet ist, wobei die Datenverarbeitungseinheit ein künstliches neuronales Netz aufweist, wobei das künstliche neuronale Netz dazu trainiert ist, um eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten zu klassifizieren, und
eine Zuweisungseinheit vorgesehen ist, wobei die Zuweisungseinheit zum Zuweisen der klassifizierten Anomalie zu zumindest einer fehlerhaften Fahrzeugkomponente ausgebildet ist.
Eine Anomalie ist eine tangentiale und/oder horizontale und/oder vertikale Bildverkippung des Umfeldbildes. Eine Anomalie kann beispielsweise das Bild eines verkippten Fußgängerstreifens oder eines verkippten Hauses oder Straßenschildes sein. Bildverkippungen treten durch eine Schrägstellung des Fahrzeugs auf.
Das Sensorsystem kann dabei ein oder mehrere Sensoren, beispielsweise Lidar-/Radarsensoren oder Kameras umfassen, welche beispielsweise zur Aufnahme des Frontbereiches am Fahrzeug vorne oder seitlich am Fahrzeug angeordnet sind. Das Sensorsystem kann auch als Schnittstelle ausgebildet sein, welche zum Empfang von Signalen und zur Generierung von Sensordaten aus den Signalen ausgebildet sein kann. Ein Sensorsystem kann Software oder Firmware oder Hardware oder eine beliebige Kombination davon sein. Insbesondere ist das Sensorsystem als ein oder mehrere Frontkameras ausgebildet.
Eine fehlerhafte Fahrzeugkomponente, welche eine solche Bildverkippung hervorrufen kann, ist insbesondere eine Komponente des Fahrwerks, beispielsweise ein defekter Stoßdämpfer.
Ein künstliches neuronales Netz gemäß der vorliegenden Erfindung kann beispielsweise mehrere aufeinanderfolgende Umfeldbilder analysieren, die von dem Sensorsystem/der Kamera über einen kurzen Zeitraum, erfasst werden. Dadurch kann vermieden werden, dass ein Defekt erkannt wird, wenn keiner vorliegt. Das künstliche neuronale Netz wird vor seinem Einsatz trainiert. Hierzu können Referenzbilddaten, welche von dem Sensorsystem/der Kamera aufgenommene Bildsensordaten ohne Anomalie zeigen, verwendet werden. Das künstliche neuronale Netz kann ebenfalls unter Verwendung von Bildsensordaten, welche eine Anomalie zeigen, trainiert werden. Somit kann davon ausgegangen werden, dass das trainierte künstliche neuronale Netz Anomalien in den aufgenommenen Umfeldbildern bzw. den Bildsensordaten des aufgenommenen Umfeldbildes erkennt.
Die Zuweisungseinheit kann als Software und/oder Hardware oder eine Kombination davon ausgebildet sein.
Durch die Erfindung können Fehler am Fahrwerk erkannt werden oder verifiziert werden. Insbesondere ist es mit einfachen Mitteln möglich, ohne zusätzlichen Sensor an der Fahrwerkskomponente selber, diese Defekte zu erkennen. So können auch bei einem Ausfall bei einem Fahrwerkssensor gefährliche Defekte erkannt werden, durch das erfindungsgemäße Erkennen einer Anomalie/Veränderung in den aufgenommenen Umfeldbild. Solche Ausfälle der Sensorik am Fahrwerk können beispielsweise durch einen Unfall/heftigen Schlag, beispielsweise durch Schlaglöcher, hervorgerufen werden.
Je nach auftretender Anomalie kann die Schwere des Defektes bewertet oder bestimmt werden. Eine gefährliche Verkehrssituation, wie sie beispielsweise durch defekte Stoßdämpfer hervorgerufen wird, kann somit vermieden werden. Insbesondere vorteilhaft ist die Fehlererkennungseinheit bei autonom oder automatisiert fahrenden Fahrzeugen, da die Einschätzung des Fahrers beispielsweise beim Lenken hier entfällt.
Die Anomalie ist eine tangentiale und/oder horizontale und/oder vertikale Bildverkippung des Umfeldbildes. Eine tangentiale und/oder horizontale und/oder vertikale Verkippung tritt durch eine Verkippung des Sensorsystems/der Kamera infolge der Schrägstellung des Fahrzeugs auf. Horizontale und/oder vertikale Verkippungen lassen sich auch erkennen, wenn zwei Kameras zueinander verschoben verwendet werden und die zwei entstehenden Umfeldbilder fusioniert werden. Wenn ein Stereokamerasystem verwendet wird, welches aus zwei räumlich voneinander getrennten Kameras besteht, z.B. je eine Kamera auf einer Seite des Fahrzeugs, so kann die Situation eintreten, dass sich die Kameras zum Aufnahmezeitpunkt durch eine Schrägstellung des Fahrzeugs nicht auf einer Ebene befinden und infolgedessen eine horizontale und/oder vertikale Verkippung eintritt.
Erfindungsgemäß ist das künstliche neuronale anhand von Referenzbilddaten trainiert, wobei die Referenzbilddaten als künstliche Bildsensordaten, welche eine vorgegebene Anomalie aufweisen, ausgestaltet sind. Das künstliche neuronale Netz kann ebenfalls unter Verwendung von Bildsensordaten, welche keine Anomalie zeigen trainiert werden. Dabei können die Bildsensordaten, welche eine Anomalie zeigen, simuliert werden. Die simulierten Bildsensordaten und die simulierte Anomalie können beispielsweise jeweils einer Komponente eines Fahrwerks zugewiesen werden.
Insbesondere kann das künstliche neuronale Netz als Tiefes Neuronales Netz ausgebildet sein, um ein Tiefenlernen durchzuführen oder anzuwenden. Das von dem künstlichen neuronalen Netz durchgeführte oder angewendete Tiefenlernen kann eine oder mehrere Algorithmen anwenden.
Das künstliche neuronale Netz umfasst Eingangsknoten, ein oder mehrere verdeckte Schichten und Ausgangsknoten. Für Klassifizierungen, die Bilder betreffen, können Pixelwerte eines Eingabebilds, das einen Teil der Klassifizierung bildet, Eingangsknoten zugewiesen werden und dann durch das Netz gespeist werden. Am Ende der Berechnung kann der Ausgangsknoten einen Wert ergeben, der einer Klasse entspricht, die vom neuronalen Netz abgeleitet wurde.
Vorzugsweise ist das trainierte künstliche neuronale Netz als Convolutional Neural Network (CNN) oder als Generative Adversarial Networks (GANs) ausgebildet. Diese eignen sich besonders gut in Verbindung mit optischen Sensoren und optischen Sensordaten.
Nach einem weiteren Aspekt der Erfindung ist das künstliche neuronale Netz als ein Random Forest Klassifikator, oder eine Support Vector Machine ausgebildet. Ein Random Forest Klassifikator ist ein Klassifikator mit unkorrelierten Entscheidungsbäumen, die nach einer bestimmten Randomisierung während eines Lernprozesses wachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Die Vorteile des Random Forest Klassifikators sind unter anderem, dass er aufgrund kurzen Trainings- und/oder Aufbauzeiten eines einzelnen Entscheidungsbaums relativ schnell trainierbar ist und dass die Evaluierungen aufgrund mehrerer Bäume parallelisierbar sind.
Vorzugsweise sind die Referenzbilddaten als durch das Sensorsystem des Fahrzeugs aufgenommene Bildsensordaten ausgestaltet, wobei das Fahrzeug keine fehlerhafte Fahrzeugkomponente aufweist. Somit werden die Referenzbilddaten quasi direkt auf das Fahrzeug eingestellt. Das Fahrzeug ist hinsichtlich des verwendeten Sensorsystems/ Kamera einzustellen, das heißt, dass das Sensorsystem bzw. die Kamera zu kalibrieren ist. Somit können beispielsweise durch eine Referenzfahrt auf einfache Art und Weise Referenzbilddaten erzeugt werden. Diese können durch Simulation in Referenzbilddaten mit Anomalie umgewandelt werden. Die so erzeugten Referenzbilddaten mit und ohne Anomalie werden als Trainingsdaten(satz) für das künstliche neuronale Netz verwendet. Somit kann anhand einer Vielzahl von Trainingsdaten das künstliche neuronale Netz leicht angelernt werden.
Vorzugsweise ist die Zuweisungseinheit dazu eingerichtet, anhand der klassifizierten Anomalie die Schwere des Fehlers der zumindest einen fehlerhaften Fahrzeugkomponente zu ermitteln. Anhand der Schwere können nun von dem Fahrer verschiedene Maßnahmen, wie beispielsweise ein sofortiger Werkstattbesuch, sofortiger Wechsel eines Reifens etc. bewerkstelligt werden.
Erfindungsgemäß ist die Fahrzeugkomponente zu einem Fahrwerk zugeordnet. Insbesondere vorzugsweise ist diese als ein Stoßdämpfer oder eine Achse oder ein Rad ausgebildet.
Vorzugsweise umfasst das Sensorsystem eine oder mehrere Kameras, welche zur Aufnahme eines Frontbereiches und/oder eines Rückbereiches des Fahrzeugs am Fahrzeug angeordnet sind. Eine solche Frontkamera kann beispielsweise mittig am Fahrzeug beispielsweise an einem Kühlergrill angeordnet sein, um eine optische Aufnahme vom Frontbereich des Fahrzeugs zu erzeugen.
Vorzugsweise ist eine Anzeigeeinheit und/oder ein Tonausgabemittel vorgesehen, wobei die Fehlererkennungseinheit dazu ausgebildet ist, bei einer klassifizierten und zugewiesenen Anomalie eine entsprechende optische Warnung zur Anzeige auf der Anzeigeeinheit und/oder eine entsprechende akustische Warnung zur Ausgabe zu erzeugen. Diese kann den Fahrer vor einer Weiterfahrt, beispielsweise bei einem platten Reifen warnen, oder ihn auf einen baldmöglichsten Austausch /Überprüfung der Stoßdämpfer hinweisen.
Vorzugsweise ist das Fahrerassistenzsystem zur Einstellung verschiedener Fahrzeugparameter zum Betreiben der zu den Fahrzeugparameter korrespondierenden Fahrzeugkomponenten ausgebildet, wobei das Fahrerassistenzsystem weiterhin zur Adaption zumindest eines Fahrzeugparameters auf der Grundlage der durch die Fehlererkennungseinheit klassifizierten und zugeordneten Anomalie ausgebildet ist. So kann beispielsweise bei einem erkannten platten Reifen das Fahrzeug bei einer autonomen Fahrweise selbstständig zu einer Parkbucht/Standplatz gesteuert werden. Bei einem erkannten defekten Stoßdämpfer kann bei autonomer oder manueller Fahrweise beispielsweise die Geschwindigkeit, insbesondere in Kurven, reduziert werden.
Ferner wird die Aufgabe gelöst durch ein Verfahren zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs mittels einer wie oben beschriebenen Fehlererkennungseinheit umfassend der Schritte:

- Generierung von Bildsensordaten von einem Umfeldbild des Fahrzeugs durch ein Sensorsystem,
- Eingabe der Bildsensordaten in ein künstliches neuronales Netz, das trainiert ist, um eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten mittels einer Datenverarbeitungseinheit zu klassifizieren,
- Zuweisen der klassifizierten Anomalie zu einer oder mehrerer Fahrzeugkomponenten durch eine Zuweisungseinheit.

Das Verfahren ist insbesondere dazu geeignet, um auf einer Fehlererkennungseinheit durchgeführt zu werden. Die Vorteile der Fehlererkennungseinheit können auch auf das Verfahren übertragen werden.
Vorzugsweise umfassen die Bildsensordaten mehrere aufeinanderfolgende Umfeldbilder, die von dem Sensorsystem über einen vorgegebenen Zeitraum aufgenommen werden. Dadurch kann ein falsch positives Ergebnis vermieden werden, d.h., dass ein Defekt erkannt wird, wenn keiner vorliegt. Dies kann beispielsweise der Fall sein, wenn das Fahrzeug durch ein Schlagloch fährt und dadurch eine Schräglage entsteht.
Der Gegenstand der Erfindung ist anwendbar auf ein Kalibrierverfahren zum Kalibrieren zumindest einer optischen Kamera eines Fahrzeuges zur Verwendung in einer wie oben beschriebenen Fehlererkennungseinheit mit den Schritten:

- Aufnehmen eines auf einer Fläche aufgebrachten geometrisch strukturierten Solllinienmusters durch die zumindest eine Kamera, welche mit einer Datenverarbeitungseinheit verbunden ist, als Istlinienmuster,
- Vergleich des Istlinienmusters mit dem Solllinienmuster durch die Datenverarbeitungseinheit,
- Klassifizieren einer Abweichung durch die Datenverarbeitungseinheit als Anomalie,
- Zuweisen der klassifizierten Anomalie zu einer oder mehrerer Fahrzeugkomponenten.

Durch das Kalibrierverfahren für eine optische Kamera, beispielsweise einer Front- oder Rückkamera, kann die Kamera kalibriert werden. Zusätzlich können die Informationen für die Datenverarbeitungseinheit verwendet werden.
Zur Aufnahme eines solchen Solllinienmusters kann beispielsweise eine Wandfläche vorgesehen sein, auf welcher das Solllinienmuster definiert aufgebracht worden ist. Anschließend wird die Wandfläche durch die Fehlererkennungseinheit aufgenommen und durch die Datenverarbeitungseinheit klassifiziert. Das Kalibrierverfahren eignet sich auch für Systeme mit mehreren Kameras, beispielsweise Stereokameramodulen.
Vorzugsweise ist das Solllinienmuster als eine Horizontlinie ausgebildet. Diese ist besonders einfach zu analysieren.
Vorzugsweise umfasst das Kalibrierverfahren das Einstellen der zumindest einen Kamera bis die Abweichung des Istlinienmusters von dem Solllinienmuster gegen Null tendiert. Anschließend können mit einer so kalibrierten Kamera weitere Referenzbilddaten, welche keine Anomalie aufweisen, erzeugt werden. Somit lassen sich einfach Referenzbilddaten ohne Anomalie für das verwendete Fahrzeug erzeugen. Diese können durch Simulation in Referenzbilddaten mit Anomalie umgewandelt werden.
Weitere Merkmale der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: ein Verfahren zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente,
2: eine Sensordatenaufnahme eines Verkehrsszenarios mit einem defekten Stoßdämpfer in Fahrtrichtung links,
3: eine Sensordatenaufnahme des Verkehrsszenarios mit einem nicht defekten Stoßdämpfer,
4: eine Sensordatenaufnahme des Verkehrsszenarios mit einem defekten Stoßdämpfer in Fahrtrichtung rechts,
5: eine Sensordatenaufnahme eines Verkehrsschildes mit einem defekten Stoßdämpfer, in Fahrtrichtung rechts und links und mit einem fehlerfreien Stoßdämpfer,
6: ein erfindungsgemäßes Kalibrierverfahren.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt.
1 zeigt ein erfindungsgemäßes Verfahren mit einer erfindungsgemäßen Fehlererkennungseinheit 3 (6).
Hierbei wird in einem ersten Schritt S1 das Umfeldbild eines Fahrzeugs 1 (6) durch ein Sensorsystem erfasst. Dies kann beispielsweise eine einzelne Kamera 4 (6) sein, welche den Frontbereich vor dem Fahrzeug 1 (6) erfasst. Alternativ können auch mehrere Kameras 4 (6) am Fahrzeug 1 (6) angeordnet sein.
Die Kamera 4 (6) oder eine mit der Kamera 4 (6) verbundene Verarbeitungseinheit erzeugt Bildsensordaten, welche den Frontbereich/Rückbereich des Fahrzeugs 1 (6) darstellen.
In einem zweiten Schritt S2 werden die Bildsensordaten einer Datenverarbeitungseinheit 6 (6) der Fehlererkennungseinheit 3 (6) zugeführt, wobei die Datenverarbeitungseinheit 6 (6) vorzugsweise einen Grafikprozessor aufweist.
Die Datenverarbeitungseinheit 6 (6) ist dazu ausgebildet, anhand eines trainierten künstlichen neuronalen Netzes, eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten zu klassifizieren.
Dabei ist eine Anomalie vorzugsweise eine tangentiale und/oder horizontale und/oder vertikale Bildverkippung des aufgenommenen Umfeldbildes. Beispielsweise kann in den Umfeldbild ein Vorsicht-Achten-Schild mit einer geraden Unterkante sein und als Anomalie das Bild verkippt, das heißt, das Schild mit einer schiefen Unterkante in Schräglage aufgenommen worden sein.
Je nach Schräglage kann dann beispielsweise dem rechten Vorderrad oder dem rechten Stoßdämpfer oder dem linken Vorderrad oder dem linken Stoßdämpfer ein Defekt zugeschrieben werden.
Auch andere Fahrzeugkomponenten, welche eine solche Schräglage des Fahrzeugs 1 (6) und eine Anomalie im Bild hervorrufen können, können in Betracht kommen. 2 bis 5 zeigt Beispiele in eine in den Bildsensordaten vorkommende Anomalie im Vergleich zu den aufgenommenen Umfeldbildern ohne Anomalie.
Ein trainiertes künstliches neuronales Netz gemäß der vorliegenden Erfindung kann beispielsweise mehrere aufeinanderfolgende Umfeldbilder analysieren, die von der Kamera 4 (6) über einen kurzen Zeitraum erfasst werden. Dadurch kann vermieden werden, dass ein Defekt angenommen wird, wenn keiner vorliegt. Die vom künstlichen neuronalen Netz ausgeführte Klassifizierung kann in Echtzeit erfolgen.
Das künstliche neuronale Netz wird vor seinem Einsatz trainiert. Hierzu können Referenzbilddaten, welche von der Kamera 4 (6) aufgenommene Bildsensordaten ohne Anomalie zeigen, verwendet werden. Das künstliche neuronale Netz kann ebenfalls unter Verwendung von Bildsensordaten, welche eine Anomalie zeigen trainiert werden. Dabei können die Bildsensordaten, welche eine Anomalie zeigen simuliert werden. Die simulierten Bildsensordaten und die simulierte Anomalie können anschließend jeweils einer Komponente des Fahrwerks zugewiesen werden, um damit das künstliche neuronale Netz zu trainieren. Dadurch kann das künstliche neuronale Netz angelernt werden.
Zum Trainieren des Netzes werden Bildsensordaten der aufgenommenen Szenarien modifiziert, um ein Erkennen der Anomalie in Bildsensordaten zu ermöglichen.
Gleichermaßen können die Szenarien unter verschiedenen Wind/Wetter/Beleuchtungsszenarien simuliert werden, um ein zuverlässiges Erkennen der Anomalie zu gewährleisten. So können im Straßenverkehr häufig auftretende Situationen als Bildsensordaten mit und ohne Anomalie simuliert oder aufgenommen werden, um das künstliche Netz anzutrainieren.
In einem dritten Schritt S3 kann die klassifizierte Anomalie zu zumindest einer fehlerhaften Fahrzeugkomponente mittels einer Zuweisungseinheit 5 (6) zugewiesen werden. Die Zuweisungseinheit 5 (6) und die Datenverarbeitungseinheit 6 (6) können auch identisch sein.
In einem vierten Schritt S4 wird bei einer klassifizierten und zugewiesenen Anomalie eine Warnung auf einer Anzeigeeinheit 9 (6), insbesondere einem Head-Up-Display, dargestellt. Alternativ oder optional ergänzend kann auch eine akustische Warnung durch ein Mikrofon 7 (6) ausgegeben werden.
In einem fünften Schritt S5 werden von dem Fahrerassistenzsystem 2 (6) hinsichtlich der klassifizierten Anomalie die Fahrzeugparameter eingestellt. So kann beispielsweise bei erkannten platten Reifen und bei einer autonomen Fahrweise das Fahrerassistenzsystem 2 (6) das Fahrzeug 1 (6) selbstständig zu einer Parkbucht/Standplatz steuern. Bei einem erkannten defekten Stoßdämpfer kann bei autonomer oder manueller Fahrweise beispielsweise die Geschwindigkeit, insbesondere in Kurven, reduziert werden.
2 zeigt eine solche Anomalie. Hier ist ein Umfeldbild zu sehen, welches einen Fußgängerstreifen und Häuser zeigt. Sowohl die Häuser als auch der Fußgängerstreifen weisen eine Schräglage auf, stehen quasi schräg und weisen daher eine tangentiale Anomalie durch Schrägstellung des Fahrzeugs 1 (6) auf. Diese Anomalie im Umfeldbild kann beispielsweise durch die Fehlererkennungseinheit 3 (6) mit dem trainierten künstlichen neuronalen Netz erkannt werden, und mit einem in Fahrtrichtung links defekten Stoßdämpfer verbunden werden. Durch Bestimmung der Abweichung kann durch das trainierte künstliche neuronale Netz die Schwere des Defekts bestimmt werden.
3 zeigt dieselbe Aufnahme ohne Anomalie. Hier ist zu erkennen, dass Häuser und der Fußgängerstreifen weder eine Schräglage nach links noch nach rechts aufweisen.
FG 4 zeigt dieselbe Aufnahme mit einer weiteren Anomalie. Hier ist zu erkennen, dass eine extreme Schräglage/Schieflage des Fahrzeugs 1 (6) vorliegt, da sowohl der Zebrastreifen als auch die Hauswände quasi in Fahrtrichtung nach rechts „durchhängen“. Die Abweichung vom Referenzbild ohne Anomalie ist größer als im Vergleich zum Umfeldbild in 2. Daraus kann ein größerer Defekt geschlossen werden, da das Fahrzeug 1 (6) eine größere Schieflage aufweist.
5 zeigt ein weiteres Beispiel für Bildsensordaten, mit denen zum einen ein derartiges künstliches Netz trainiert werden kann und welches zum anderen im Straßenverkehr leicht auffindbar ist. Hier ist ein Vorsicht-Achten Verkehrsschild 11 zu erkennen, welches in aufgenommenen Bildsensordaten leicht zu erkennen ist. Dabei ist mittig das Vorsicht-Achten Verkehrsschild 11 ohne Anomalie zu erkennen, das heißt ohne Schräglage. Rechts und links davon ist jeweils eine Schräglage des Vorsicht-Achten Verkehrsschildes 11 zu erkennen. Daraus kann auf ein Fahrzeug 1 (6) mit einer Schräglage durch beispielsweise einen defekten Stoßdämpfer in Fahrtrichtung links, bzw. rechts geschlossen werden.
6 zeigt ein Fahrzeug 1 mit dem Fahrerassistenzsystem 2 und der Fehlererkennungseinheit 3. Die Fehlererkennungseinheit 3 kann Bestandteil des Fahrerassistenzsystems 2 sein. Das Fahrerassistenzsystem 2 kann dabei zum autonomen oder automatisierten Fahren ausgebildet sein oder den Fahrer beim Fahren unterstützen.
Die Fehlererkennungseinheit 3 umfasst dabei ein Sensorsystem, welches hier beispielsweise als Kamera 4 ausgebildet ist. Das Sensorsystem kann auch als Schnittstelle ausgebildet sein, welche zum Empfang von Signalen und zur Generierung von Sensordaten aus den Signalen ausgebildet sein kann. Sensorsysteme können Software oder Firmware oder Hardware oder eine beliebige Kombination davon sein. Das Sensorsystem kann dabei ein oder mehrere Sensoren, beispielsweise Lidar-/Radarsensoren oder Kameras 4 umfassen, welche beispielsweise zur Aufnahme des Frontbereiches am Fahrzeug 1 vorne oder seitlich am Fahrzeug 1 angeordnet sind.
Ferner umfasst die Fehlererkennungseinheit 3 eine Datenverarbeitungseinheit 6 mit einem künstlichen neuronalen Netz, das trainiert ist, um eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten zu klassifizieren. Unter Anomalie ist dabei quasi ein Artefakt (Bildverkippung) im aufgenommenen Bild zu verstehen. Dabei kann die Kamera 4 von sich aus defekt sein, oder die Anbringung/Anordnung der Kamera 4 Defekte aufweisen, beispielsweise durch ein defektes Fahrwerk mit Schräglage.
Auf Grund der hohen Dimensionalität des Problems kommt hierfür ein künstliches neuronales Netz zum Einsatz, welches die Bilder nach den in ihnen enthaltenen Anomalien klassifiziert. Ein künstliches neuronales Netz ist insbesondere ein, als eine Software auf einem Grafikprozessor ausgeführtes nachgebildetes Netz aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten angeordnet. Üblicherweise umfasst das künstliche neuronale Netz eine Eingangsschicht und eine Ausgabeschicht. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzes initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben trainiert.
Das Training des künstlichen neuronalen Netzes umfasst dabei typischerweise eine Veränderung eines Gewichts einer Verbindung zwischen zwei künstlichen Neuronen des künstlichen neuronalen Netzes. Zum Training hier können beispielsweise simulierte Referenzbilddaten mit und ohne Anomalie verwendet werden.
Ein Beispiel eines künstlichen neuronalen Netzes ist ein tiefes künstliches neuronales Netz, welches zwischen der Eingangsschicht und der Ausgabeschicht mehrere verschachtelte verdeckte Schichten von künstlichen Neuronen enthält. Beispielsweise kann das künstliche neuronale Netz ein einschichtiges oder mehrschichtiges feedforward-Netz oder ein rekurrentes Netz sein.
Ferner umfasst die Fehlererkennungseinheit 3 eine Zuweisungseinheit 5 zum Zuweisen der klassifizierten Anomalie zu zumindest einer fehlerhaften Fahrzeugkomponente. Fehlerhafte Fahrzeugkomponenten können am Fahrwerk beispielsweise Räder oder Stoßdämpfer oder Schäden an der Achse sein.
Die Fehlererkennungseinheit 3 ist ferner dazu ausgebildet, anhand der erkannten Anomalie die Schwere des Schadens einzuschätzen oder zu bestimmen.
Das Fahrerassistenzsystem 2 umfasst ferner eine Anzeigeeinheit 9, welche als Head-Up Display ausgebildet sein kann. Ist durch die Fehlererkennungseinheit 3 eine Anomalie klassifiziert und der fehlerhaften Fahrzeugkomponente zugewiesen worden, so kann von der Fehlererkennungseinheit 3 eine entsprechende optische Warnung erzeugt werden, welche auf der Anzeigeeinheit 9 angezeigt wird. Das Fahrerassistenzsystem 2 umfasst ferner ein Mikrofon 7. Ist durch die Fehlererkennungseinheit 3 eine Anomalie erkannt und der fehlerhaften Fahrzeugkomponente zugewiesen worden, so kann von der Fehlererkennungseinheit 3 zusätzlich eine entsprechende akustische Warnung erzeugt werden, welche durch das Mikrofon 7 ausgegeben wird.
Ferner ist das Fahrerassistenzsystem 2 dazu ausgebildet, auf Grundlage des erkannten Defektes und der Schwere des Defektes sowie der Zuweisung zu einer Fahrzeugkomponente akustische und/oder optische Fahranweisungen zu erzeugen, um die Sicherheit des Fahrers und der Verkehrsumgebung zu erhalten. Diese können beispielsweise sein: Ansteuern eines Parkplatzes etc.
Ferner ist das Fahrerassistenzsystem 2 zur Einstellung verschiedener Fahrzeugparameter zum Betreiben der zu den Fahrzeugparametern korrespondierenden Fahrzeugkomponenten ausgebildet. Die Fahrzeugparameter können nun anhand der durch die Fehlererkennungseinheit klassifizierten und zugeordneten Anomalie eingestellt werden. So kann bei einem platten Reifen oder bei einem als Defekt erkannten Stoßdämpfer sofort die Geschwindigkeit reduziert werden.
Um die Referenzbilddaten ohne Anomalien mittels der Fehlererkennungseinheit 3 aufzunehmen, ist es notwendig die Kamera 4 zu kalibrieren.
7 zeigt eine Anordnung zum Kalibrieren einer Kamera 4 mittels eines Kalibrierverfahrens zur Verwendung in einer Fehlererkennungseinheit 3.
Dabei wird durch die Kamera 4 eines auf einer Wand 8 aufgebrachtes geometrisches strukturiertes Solllinienmuster als Istlinienmuster aufgenommen. Anschließend wird das Istlinienmuster mit dem Solllinienmuster verglichen und ggf. eine Abweichung des Istlinienmusters mit dem Solllinienmuster festgestellt.
Die Abweichung zwischen dem Solllinienmuster und dem Istlinienmuster kann dann als Anomalie der fehlerhaften Komponente, also beispielsweise hier dem defekten Stoßdämpfer oder dem platten Reifen zugewiesen werden.
Somit kann ein Maß für die Schwere der Anomalie gefunden werden; es können Aufnahmen mit platten Reifen, oder Reifen mit lediglich geringem Luftverlust getätigt werden und dem künstlichen neuronalen Netz als Trainingsdaten mitgegeben werden.
So können beispielsweise eine Aufnahme mit einem „Platten Reifen“ auf der linken Seite oder einem defekten Stoßdämpfer auf der linken Seite vorgenommen werden. Die so gefundenen Referenzbilddaten können zum Antrainieren des neuronalen Netzes verwendet werden.
Ist keine fehlerhafte Komponente vorhanden und stimmt das Istlinienmuster nicht mit dem Sollinienmuster überein, so ist die Kamera 4 dekalibriert. Die Abweichung wird dann korrigiert, bis das Solllinienmuster mit dem Istlinienmuster übereinstimmt. Stimmen diese überein, so können als Referenzbilddaten für das künstliche neuronale Netz beispielsweise Aufnahmen von verschiedenen Verkehrssituationen mit der Kamera 4 erzeugt werden. Somit kann das neuronale Netz einfach antrainiert werden.
Vorzugsweise ist das Solllinienmuster als eine Horizontlinie 10 ausgebildet. Solche eignen sich einfach zum Detektieren in den aufgenommenen Daten.

Claims

Fehlererkennungseinheit (3) zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs (1), aufweisend ein Sensorsystem, welches zur Generierung von Bildsensordaten von einem Umfeldbild des Fahrzeugs (1) und zur Übertragung der Bildsensordaten ausgebildet ist, dadurch gekennzeichnet, dass eine Datenverarbeitungseinheit (6) vorgesehen ist, welche zum Empfang der Bildsensordaten ausgebildet ist, wobei die Datenverarbeitungseinheit (6) ein künstliches neuronales Netz aufweist, wobei das künstliche neuronale Netz dazu trainiert ist, um eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten zu klassifizieren, eine Zuweisungseinheit (5) vorgesehen ist, wobei die Zuweisungseinheit (5) zum Zuweisen der klassifizierten Anomalie zu zumindest einer fehlerhaften Fahrzeugkomponente ausgebildet ist, die Anomalie eine tangentiale und/oder horizontale und/oder vertikale Bildverkippung des Umfeldbildes durch eine Schrägstellung des Fahrzeugs (1) ist, die Fahrzeugkomponente zu einem Fahrwerk zugeordnet ist, und das künstliche neuronale Netz anhand von Referenzbilddaten trainiert ist, wobei die Referenzbilddaten als künstliche Bildsensordaten, welche eine vorgegebene Anomalie aufweisen, und als künstliche Bildsensordaten, welche keine Anomalie aufweisen, ausgestaltet sind.
Fehlererkennungseinheit (3) nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzbilddaten als durch das Sensorsystem des Fahrzeugs (1) aufgenommene Bildsensordaten ausgestaltet sind, wobei das Fahrzeug (1) keine fehlerhafte Fahrzeugkomponente aufweist.
Fehlererkennungseinheit (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zuweisungseinheit (5) dazu eingerichtet ist, anhand der klassifizierten Anomalie die Schwere des Fehlers der zumindest einen fehlerhaften Fahrzeugkomponente zu ermitteln.
Fehlererkennungseinheit (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensorsystem eine oder mehrere Kameras (4) umfasst, welche zur Aufnahme eines Frontbereiches und/oder eines Rückbereiches des Fahrzeugs (1) am Fahrzeug (1) angeordnet sind.
Fahrerassistenzsystem (2) mit einer Fehlererkennungseinheit (3) nach einem der vorhergehenden Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Anzeigeeinheit (9) und/oder ein Tonausgabemittel vorgesehen ist, wobei die Fehlererkennungseinheit (3) dazu ausgebildet ist, bei einer klassifizierten und zugewiesenen Anomalie eine entsprechende optische Warnung zur Anzeige auf der Anzeigeeinheit (9) und/oder eine entsprechende akustische Warnung zur Ausgabe zu erzeugen.
Fahrerassistenzsystem (2) nach Anspruch 5, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (2) zur Einstellung verschiedener Fahrzeugparameter zum Betreiben der zu den Fahrzeugparameter korrespondierenden Fahrzeugkomponenten ausgebildet ist, wobei das Fahrerassistenzsystem (2) weiterhin zur Adaption zumindest eines Fahrzeugparameters auf der Grundlage der durch die Fehlererkennungseinheit (3) klassifizierten und zugeordneten Anomalie ausgebildet ist.
Verfahren zur Erkennung und Verifikation einer fehlerhaften Fahrzeugkomponente eines Fahrzeugs (1) mittels einer Fehlererkennungseinheit (3) nach einem der vorhergehenden Ansprüche 1 bis 5, gekennzeichnet durch die Schritte: - Generierung von Bildsensordaten von einem Umfeldbild des Fahrzeugs (1) durch ein Sensorsystem, - Eingabe der Bildsensordaten in ein künstliches neuronales Netz, das trainiert ist, um eine Anomalie in den Bildsensordaten unter Verwendung von Referenzbilddaten mittels einer Datenverarbeitungseinheit (6) zu klassifizieren, - Zuweisen der klassifizierten Anomalie zu einer oder mehrerer Fahrzeugkomponenten durch eine Zuweisungseinheit (5).
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bildsensordaten mehrere aufeinanderfolgende Umfeldbilder umfassen, die von dem Sensorsystem über einen vorgegebenen Zeitraum aufgenommen werden.