DE102018219125A1

DE102018219125A1 - Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeuges und automatisiert fahrendes Kraftfahrzeug

Info

Publication number: DE102018219125A1
Application number: DE102018219125.5A
Authority: DE
Inventors: Robin Richter
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2020-05-14
Also published as: WO2020094323A1

Abstract

Die Erfindung betrifft ein Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeugs (50), wobei das automatisiert fahrende Kraftfahrzeug (50) eine Einrichtung (1) zur Erfassung und Klassifizierung von Objekten sowie Ausgabe- und Eingabemittel (5, 6) aufweist, wobei das erfasste, aber nicht klassifizierbare oder nicht eindeutig klassifizierbare Objekt über die Ausgabemittel (5) mindestens einem Passagier des automatisiert fahrenden Kraftfahrzeugs (50) zur Kenntnis gebracht werden, wobei der Passagier zur Klassifizierung des erfassten Objekts aufgefordert wird, wobei die Klassifizierungen des mindestens einen Passagiers abgespeichert werden, sowie ein automatisiert fahrendes Kraftfahrzeug (50).

Description

Die Erfindung betrifft ein Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeuges sowie ein automatisiert fahrendes Kraftfahrzeug.
Automatisiert fahrende Kraftfahrzeuge fahren selbsttätig Trajektorien ab, wobei sowohl die Längs- als auch die Querdynamik automatisiert eingeregelt wird. Derartige Kraftfahrzeuge weisen auch mindestens eine Einrichtung zur Erfassung und Klassifizierung von Objekten auf, deren Daten unter anderem für die Trajektorienplanung benötigt werden. Eine solche Einrichtung umfasst eine Umfeldsensorik und eine Auswerteeinheit. Die Umfeldsensorik besteht beispielsweise aus mehreren Kameras. Zusätzlich können auch Lidar-, Radar- und/oder Ultraschallsensoren zum Einsatz kommen. Die Daten der Umfeldsensorik werden dann in der Auswerteeinheit ausgewertet und aufgefundene Objekte klassifiziert, beispielsweise ob es sich bei einem erfassten Objekt um ein Kraftfahrzeug, einen Fußgänger, einen Baum oder Ähnliches handelt. Dabei kann die Auswerteeinheit beispielsweise ein trainiertes neuronales Netz sein. Dabei ist die Objekterkennung und Klassifizierung sehr zuverlässig. Allerdings gibt es immer wieder Situationen, wo in den Daten der Umfeldsensorik Objekte oder vermeintliche Objekte auftauchen, auf die beispielsweise das neuronale Netz nicht angelernt wurde.
Der Erfindung liegt das technische Problem zugrunde, ein Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeugs zu verbessern sowie ein solches verbessertes automatisiert fahrendes Kraftfahrzeug zu schaffen.
Die Lösung des technischen Problems ergibt sich durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie ein automatisiert fahrendes Kraftfahrzeug mit den Merkmalen des Anspruchs 8. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Das Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeugs, wobei das automatisiert fahrende Kraftfahrzeug eine Einrichtung zur Erfassung und Klassifizierung von Objekten sowie Ausgabe- und Eingabemittel aufweist, weist den Verfahrensschritt auf, dass von der Einrichtung erfasste Objekte, die aber nicht klassifizierbar sind oder nicht eindeutig klassifiziert werden können, über die Ausgabemittel mindestens einem Passagier des automatisiert fahrenden Kraftfahrzeugs zur Kenntnis gebracht werden. Der Passagier wird zur Klassifizierung des erfassten Objekts aufgefordert, wobei dieser Schritt auch vorab und einmalig erfolgen kann, indem beispielsweise dem Passagier mitgeteilt wird, dass diesem nachfolgend nicht klassifizierbare Objekte zur Kenntnis gebracht werden, die dieser nachfolgend klassifizieren soll. Abschließend werden dann die Klassifizierungen des mindestens einen Passagiers abgespeichert.
In einer Ausführungsform wird in Abhängigkeit der Klassifizierung durch den mindestens einen Passagier der Passagier aufgefordert, Attribute des Objekts einzugeben oder zu bestätigen. Beispielsweise bei Klassifizierung eines Restaurants kann der Passagier angefragt werden, ob er das Restaurant kennt und empfehlen kann. Bei anderen Klassifizierungen kann dies hingegen entbehrlich sein.
Vorzugsweise werden die Objekte dem mindestens einen Passagier optisch dargestellt, wobei dies dann verschiedenartig erfolgen kann. Beispielsweise kann ein Bild des Objekts auf einer Anzeigeeinheit dargestellt werden, wobei die Anzeigeeinheit fest im Kraftfahrzeug installiert sein kann oder aber das Display eines Mobil-Gerätes. Die Anzeige des Objekts kann dabei beispielsweise auf einem Head-up-Display erfolgen. Es ist aber auch möglich, die Blickrichtung des Passagiers zu erfassen und optisch mittels einer Projektion auf die Scheibe das Objekt hervorgehoben werden. Alternativ kann der Passagier auch eine AR-Brille (Augmented Reality) aufgesetzt haben, wobei dann die Objekte eingespielt werden.
Die Daten der so nun zusätzlich klassifizierten Objekte können vielfältig eingesetzt werden.
In einer Ausführungsform werden die abgespeicherten Klassifizierungen der Objekte als Trainingsdaten in die Einrichtung zur Erfassung und Klassifizierung eingelesen, um so die Auswerteeinheit verbessert anzulernen.
Alternativ oder zusätzlich können die Daten in einer digitalen Straßenkarte abgespeichert werden. Beispielsweise wurde in den Bildern ein Kran erfasst und vom Passagier klassifiziert. Anhand dieser Information kann nun eine Baustelle eingetragen werden. Damit liegt eine Information vor, dass es an dieser Stelle zu Verkehrsstörungen aufgrund von Baufahrzeugen kommen kann. Aber auch Restaurants und ähnliche Objekte können abgespeichert werden und als Points of Interest ausgegeben werden.
Alternativ oder zusätzlich können die abgespeicherten Klassifizierungen mit den zugehörigen Bilddaten einem fahrzeug-externen neuronalen Netz als Trainingsdaten übermittelt werden. Beispielsweise wurden bestimmte Objekte als Vögel klassifiziert. Diese sind für die Navigation des automatisiert fahrenden Kraftfahrzeugs nicht weiter von Interesse, jedoch für ein neuronales Netzwerk, mittels dessen aus Bilddaten Vögel erfasst werden sollen.
In einer weiteren Ausführungsform werden die Eingaben des mindestens einen Passagiers einer Monetarisierungs-Einrichtung übermittelt und abgespeichert. Hierdurch können Anreize für den Passagier geschaffen werden, die Objekte zu klassifizieren. Auch ist es möglich, eine Spielsituation für die Passagiere zu schaffen, wo diese im Wettbewerb miteinander Objekte klassifizieren. Dabei kann auch eine Validierung der Klassifizierungen vorgenommen werden, wenn beispielsweise mehrere Passagiere das gleiche Objekt klassifizieren. So können beispielsweise nur Klassifizierungen übernommen werden, die von allen oder zumindest der Mehrheit der Passagiere gleich klassifiziert werden.
Hinsichtlich der Ausgestaltung des automatisiert fahrenden Kraftfahrzeugs wird vollinhaltlich auf die vorangegangenen Ausführungen Bezug genommen.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Figuren zeigen:

1 ein schematisches Blockschaltbild eines automatisiert fahrenden Kraftfahrzeugs und
2 ein Flussdiagramm eines Verfahrens zum Klassifizieren von Objekten.

In der 1 ist schematisch ein automatisiert fahrendes Kraftfahrzeug 50 dargestellt. Das Kraftfahrzeug 50 weist eine Einrichtung 1 zur Erfassung und Klassifizierung von Objekten auf. Die Einrichtung 1 umfasst eine Umfeldsensorik 2, eine Auswerteeinheit 3 und einen Speicher 4. Weiter weist das Kraftfahrzeug 50 Ausgabemittel 5, Eingabemittel 6 sowie eine Monetarisierungs-Einrichtung 7 auf.
Die Umfeldsensorik 2 umfasst beispielsweise eine Vielzahl von Kameras, deren Daten an die Auswerteeinheit 3 übermittelt werden. Die Auswerteeinheit 3 ermittelt in den Daten Objekte und klassifiziert diese. Die für die automatisierte Fahrt relevanten Objekte wie beispielsweise vorausfahrende andere Kraftfahrzeuge oder Hindernisse werden an eine Trajektorienplanungs-Einrichtung 8 übergeben, wobei dann in Abhängigkeit der erfassten und klassifizierten Objekte die abzufahrende Trajektorie angepasst wird.
Erfasst die Einrichtung 1 Objekte, die die Auswerteeinheit 3 nicht klassifizieren kann oder nicht ausreichend sicher klassifizieren kann, so werden die Objekte über das Ausgabemittel 5 mindestens einem Passagier des automatisiert fahrenden Kraftfahrzeugs 50 zur Kenntnis gebracht und der Passagier aufgefordert, das Objekt zu klassifizieren. Über das Eingabemittel 6 kann dann der Passagier das Objekt klassifizieren sowie gegebenenfalls Attribute des Objekts eingeben. Die vorgenommene Klassifizierung wird dann im Speicher 4 abgespeichert und die Eingabe des Passagiers an die Monetarisierungs-Einrichtung 7 übermittelt. Dabei sei angemerkt, dass sowohl die Ausgabemittel 5 als auch die Eingabemittel 6 mobil sein können, also nicht fester Bestandteil des Kraftfahrzeugs sein müssen.
Die im Speicher 4 abgespeicherten Klassifizierungen können dann beispielsweise als Trainingsdaten für neuronale Netze (allgemein deep machine learning) verwendet werden und/oder digitale Straßenkarten ergänzen.
In der 2 ist ein Flussdiagramm des Verfahrens dargestellt. Dabei wird in einem ersten Schritt S1 mindestens ein Passagier des automatisiert fahrenden Kraftfahrzeugs 50 aufgefordert, unbekannte Objekte zu klassifizieren. In einem zweiten Schritt S2 werden erfasste, aber nicht klassifizierbare Objekte dem Passagier zur Kenntnis gebracht, vorzugsweise optisch bzw. visuell dargestellt. In einem dritten Schritt S3 klassifiziert der Passagier das Objekt, wobei schließlich die klassifizierten Objekte in einem Schritt S4 abgespeichert werden.
Bezugszeichenliste

1: Einrichtung
2: Umfeldsensorik
3: Auswerteeinheit
4: Speicher
5: Ausgabemittel
6: Eingabemittel
7: Monetarisierungs-Einrichtung
8: Trajektionenplanungs-Einrichtung
50: automatisiert fahrendes Kraftfahrzeug
S1: erster Schritt
S2: zweiter Schritt
S3: dritter Schritt
S4: vierter Schritt

Claims

Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeugs (50), wobei das automatisiert fahrende Kraftfahrzeug (50) eine Einrichtung (1) zur Erfassung und Klassifizierung von Objekten sowie Ausgabe- und Eingabemittel (5, 6) aufweist, dadurch gekennzeichnet, dass das erfasste, aber nicht klassifizierbare oder nicht eindeutig klassifizierbare Objekt über die Ausgabemittel (5) mindestens einem Passagier des automatisiert fahrenden Kraftfahrzeugs (50) zur Kenntnis gebracht werden, wobei der Passagier zur Klassifizierung des erfassten Objekts aufgefordert wird, wobei die Klassifizierungen des mindestens einen Passagiers abgespeichert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit der Klassifizierung durch den mindestens einen Passagier der Passagier aufgefordert wird, Attribute des Objekts einzugeben oder zu bestätigen.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Objekte dem mindestens einen Passagier optisch dargestellt werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die abgespeicherten Klassifizierungen als Trainingsdaten in die Einrichtung (1) zur Erfassung und Klassifizierung eingelesen werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die abgespeicherten Klassifizierungen in einer digitalen Straßenkarte abgespeichert werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die abgespeicherten Klassifizierungen mit den zugehörigen Bilddaten einem fahrzeug-externen neuronalen Netz als Trainingsdaten übermittelt werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Eingaben des mindestens einen Passagiers einer Monetarisierungs-Einrichtung (7) übermittelt und von dieser abgespeichert werden.
Automatisiert fahrendes Kraftfahrzeug (50), umfassend eine Einrichtung (1) zur Erfassung und Klassifizierung von Objekten sowie Ausgabe- und Eingabemittel (5, 6), dadurch gekennzeichnet, dass die Einrichtung (1) zur Erfassung und Klassifizierung von Objekten derart ausgebildet ist, dass erfasste, aber nicht klassifizierbare oder nicht eindeutig klassifizierbare Objekte über die Ausgabemittel (5) mindestens einem Passagier des automatisiert fahrenden Kraftfahrzeugs zur Kenntnis gebracht werden, wobei der Passagier zur Klassifizierung des erfassten Objekts aufgefordert wird, wobei die Einrichtung (1) weiter derart ausgebildet ist, dass die Klassifizierungen des mindestens einen Passagiers abgespeichert werden.
Austomatisiert fahrendes Kraftfahrzeug nach Anspruch 8, dadurch gekennzeichnet, dass die Einrichtung (1) weiter derart ausgebildet ist, dass diese in Abhängigkeit der Klassifizierung durch den mindestens einen Passagier den Passagier auffordert, Attribute des Objekts einzugeben oder zu bestätigen.
Automatisiert fahrendes Kraftfahrzeug nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Einrichtung (1) zur Erfassung und Klassifizierung von Objekten mit einer Monetarisierungs-Einrichtung (7) datentechnisch verbunden ist.