-
Die Erfindung betrifft ein automatisches Erkennungssystem. Insbesondere betrifft die Erfindung eine verbesserte Erstellung von Trainingsdaten für das automatische Erkennungssystem.
-
Ein Fahrzeug umfasst ein automatisches Erkennungssystem, das dazu eingerichtet ist, ein Objekt im Umfeld des Fahrzeugs zu erkennen. Das Objekt kann insbesondere einen anderen Verkehrsteilnehmer umfassen, etwa einen Fußgänger, einen Radfahrer oder ein Kraftfahrzeug. Das Erkennungssystem kann lernfähig ausgelegt sein und beispielsweise auf der Basis eines neuronalen Netzwerks arbeiten. Üblicherweise muss das Erkennungssystem trainiert werden, um ein vorbestimmtes Objekt zu erkennen. Für eine sichere Erkennung eines Objekts kann eine Vielzahl Trainingsdaten des Objekts erforderlich sein.
-
Zur Bereitstellung von Trainingsdaten kann ein Labelling durchgeführt werden, das bereits eine Zuordnung zwischen einer optischen Abtastung des Objekts und dem Objekt bestimmen kann. Eine Qualitätsmaß für ein bestimmtes Label kann automatisch bestimmt werden.
-
WO 2018/077745 A1 zeigt das Bestimmen eines Qualitätsmaßes für ein Label auf der Basis von Modellen.
-
Abtastungen des Objekts, auf deren Basis die Trainingsdaten erstellt werden sollen, erfolgen üblicherweise im Rahmen einer Versuchsfahrt. Dabei wird ein Fahrzeug mit einer Abtasteinrichtung zur Abtastung seines Umfelds ausgestattet und auf einer vorbestimmten Strecke gefahren. Objekte im Umfeld der Strecke können abgetastet und entsprechend weiterverarbeitet werden. Üblicherweise ist eine Strecke derart gelegt, dass sie an einer Vielzahl Objekten entlangführt, die das Erkennungssystem erkennen soll. Allerdings berücksichtigen derartige Strecken nicht einen aktuellen Lernfortschritt des automatischen Erkennungssystems. Somit können Abtastungen eines ersten Objekts, das bereits relativ gut erkannt werden kann, in großer Zahl bereitgestellt werden, während Abtastungen eines zweiten Objekts, dessen Erkennung noch Probleme bereitet, zu rar sind.
-
Eine Aufgabe der vorliegenden Erfindung besteht in der Angabe einer verbesserten Technik zum Trainieren eines automatischen Erkennungssystems. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
-
Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren Schritte des Bestimmens von Objekten, die mittels eines vorbestimmten automatischen optischen Erkennungssystems erkennbar sind, und den Objekten jeweils zugeordnete Erkennungsqualitäten des Erkennungssystems; des Bestimmens von geographischen Orten, an denen jeweils wenigstens ein durch das Erkennungssystem erkennbares Objekt voraussichtlich erfasst werden kann; und des Bestimmens einer Fahrtroute für ein Fahrzeug mit dem optischen Erkennungssystem derart, dass die Fahrtroute bevorzugt Orte passiert, an denen Objekte mit einer geringen Erkennungsqualität erfasst werden können.
-
Es wurde erkannt, dass eine Versuchsfahrt, bei der eines oder mehrere Objekte, die ein automatisches Erkennungssystem erkennen soll, verbessert in Abhängigkeit von Erkennungsqualitäten der Objekte bestimmt werden kann. So kann dafür gesorgt werden, dass auf der Fahrt verstärkt solche Objekte abgetastet werden, deren Erkennungsqualität noch niedrig ist. Andere Objekte, deren Erkennungsqualität bereits hoch ist, können bei der Bestimmung der Fahrtroute nicht positiv berücksichtigt werden.
-
Das Erkennungssystem kann insbesondere dazu eingerichtet sein, einen Verkehrsteilnehmer oder eine Landmarke im Bereich einer Straße zu erkennen. Bevorzugt ist das Erkennungssystem zum Einsatz an Bord eines Fahrzeugs, insbesondere eines Kraftfahrzeugs eingerichtet. Das Erkennungssystem kann erkannte Objekte, sowie optional deren Positionen und/oder dynamische Größen einem Fahrassistenten oder einer Einrichtung zum autonomen Steuern des Fahrzeugs bereitstellen.
-
Es ist weiter bevorzugt, dass die Fahrtroute derart bestimmt wird, dass eine voraussichtliche Anzahl erkennbarer Objekte, die von der Fahrtroute aus erfasst werden können, maximiert ist. Dabei können eine oder mehrere Randbedingungen vorgegeben sein. Beispielsweise können eine maximale Länge der Fahrtroute oder eine maximal zur Bewältigung der Fahrtroute zur Verfügung stehende Fahrzeit beschränkt sein. Auch ein Gebiet, in welchem die Fahrtroute liegen soll, kann eingeschränkt sein.
-
Für die Bestimmung der Anzahl können nur solche Objekte berücksichtigt werden, deren zugeordnete Erkennungsqualitäten unter einem vorbestimmten Schwellenwert liegen. Anders ausgedrückt kann die Route derart bestimmt werden, dass sie an möglichst vielen Objekten vorbeiführt, deren Erkennungsqualitäten schlechter als der vorbestimmte Schwellenwert sind. Es ist zu beachten, dass Objekte, deren Erkennungsqualitäten über dem Schwellenwert liegen, beim Befahren der Fahrtroute trotzdem abgetastet werden können, und die Abtastungen können weiterverarbeitet werden.
-
Die Fahrtroute kann ferner derart bestimmt werden, dass die Fahrtroute bevorzugt solche Orte passiert, an denen Objekte erfasst werden können, deren zugeordnete Erkennungsqualitäten gering sind. So kann die Fahrtroute insbesondere einen Ort aufsuchen, an welchem wahrscheinlich eine Vielzahl noch schlecht erkennbarer Objekte abzutasten sind. Beispielsweise können im Bereich eines Bahnhofs mit hoher Wahrscheinlichkeit Fußgänger, Radfahrer und Hunde abgetastet werden. Um ein schnell fahrendes Fahrzeug abzutasten, kann es sinnvoll sein, eine Autobahn oder Schnellstraße aufzusuchen.
-
In einer weiter bevorzugten Ausführungsform wird während des Befahrens der Fahrtroute ein Objekt erfasst, dessen zugeordnete Erkennungsqualität unter einem vorbestimmten Schwellenwert liegt, woraufhin die Fahrtroute derart geändert wird, dass das Objekt erneut abgetastet werden kann. Beispielsweise kann das Objekt erneut anfahren, umrundet oder, im Fall eines beweglichen Objekts, verfolgt werden. So kann in verbesserter Weise ein konkret vorliegendes, schlecht erkennbares Objekt erneut abgetastet werden, um verbesserte Trainingsdaten bereitstellen zu können.
-
In einer Variante kann die Fahrtroute für das erneute Abtasten derart geändert werden, dass das Objekt aus einer anderen Perspektive als beim vergangenen Abtasten abgetastet werden kann. Insbesondere kann das Objekt kontinuierlich oder mittels einer Vielzahl Abtastungen beim Übergang zwischen zwei verschiedenen Perspektiven erfasst werden.
-
Es ist weiterhin bevorzugt, dass für die Bestimmung der Orte eine geplante Fahrzeit für die Fahrtroute berücksichtigt wird. So kann beispielsweise berücksichtigt werden, dass ein Morgen- oder Feierabendverkehr üblicherweise wesentlich dichter als ein Nachtverkehr sind. Beispielsweise kann eine Verfügbarkeit eines Versuchsfahrzeugs, mit dem das Verfahren durchgeführt werden soll, mit in die Planung der Fahrtroute einfließen. Die bereitgestellten Abtastungen können dazu beitragen, ein rasches oder effizientes Lernen des Erkennungssystems zu unterstützen. Insbesondere kann das Erreichen eines Zustands, in welchem alle durch das Erkennungssystem zu erkennenden Objekte ausreichend gut erkennbar sind, schneller erreicht werden, als bei einer konventionellen Fahrtroutenplanung einer Versuchsfahrt.
-
In einer weiteren Ausführungsform ist die Fahrtroute Teil einer übergeordneten Zielführung und nutzt einen Freiheitsgrad der Zielführung aus. Die Zielführung kann beispielsweise einen Startpunkt, einen Zwischenpunkt und einen Endpunkt der Fahrtroute vorgeben. Zwischen zwei aufeinanderfolgenden Punkten kann das Fahrzeug jedoch eine gewisse Planungs- oder Manövrierfähigkeit genießen. Beispielsweise kann auf einer mehrspurigen Straße keine durch die Zielführung vorgegebene Spurzuordnung herrschen. Sollte sich während des Befahrens der Fahrtroute ergeben, dass eine andere als die befahrene Spur eine verbesserte Abtastung eines Objekts erlaubt, so kann die Fahrtroute, als Konkretisierung der Zielführung, lokal geändert werden, um das Fahrzeug in die verbesserte Abtastposition zu bringen.
-
Die Zielführung kann auch größere Freiheiten erlauben, beispielsweise in gewissem Umfang die Nutzung einer Alternativroute oder eines Umwegs. So kann verbessert dynamisch auf ein Verkehrsgeschehen eingegangen werden, um verbesserte Trainingsdaten für das Erkennungssystem bereitzustellen.
-
Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung zur Planung einer Fahrtroute für ein Fahrzeug mit einem automatischen optischen Erkennungssystem folgende Elemente: eine erste Datenquelle für Objekte, die mittels des Erkennungssystems erkennbar sind, sowie den Objekten jeweils zugeordnete Erkennungsqualitäten des Erkennungssystems; eine zweite Datenquelle für geographische Orte, an denen jeweils wenigstens ein durch das Erkennungssystem erkennbares Objekt voraussichtlich erfasst werden kann; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, eine Fahrtroute für das Fahrzeug derart zu bestimmen, dass die Fahrtroute bevorzugt Orte passiert, an denen Objekte mit einer geringen Erkennungsqualität des Erkennungssystems erfasst werden können.
-
Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
-
Nach einem dritten Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug eine hierin beschriebene Vorrichtung. Das Fahrzeug kann insbesondere ein Kraftfahrzeug, insbesondere ein Kraftrad, einen Lastkraftwagen, einen Bus oder weiter bevorzugt einen Personenkraftwagen umfassen.
-
Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein System zur Planung einer Fahrtroute für ein Fahrzeug mit einem automatischen optischen Erkennungssystem eine erste Datenquelle für Objekte, die mittels des Erkennungssystems erkennbar sind, sowie den Objekten jeweils zugeordnete Erkennungsqualitäten des Erkennungssystems; eine zweite Datenquelle für geographische Orte, an denen jeweils wenigstens ein durch das Erkennungssystem erkennbares Objekt voraussichtlich erfasst werden kann; und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, eine Fahrtroute für das Fahrzeug derart zu bestimmen, dass die Fahrtroute bevorzugt Orte passiert, an denen Objekte mit einer geringen Erkennungsqualität erfasst werden können. Eine Abtastungseinrichtung für Objekte ist an Bord des Fahrzeugs angebracht und die Verarbeitungseinrichtung und/oder eine der Datenquellen außerhalb des Fahrzeugs angeordnet und mittels einer drahtlosen Kommunikationseinrichtung mit diesem verbunden.
-
Das System kann insbesondere eine hierin beschriebene Vorrichtung umfassen, von der ein Teil an Bord des Fahrzeugs und ein anderer außerhalb des Fahrzeugs angebracht sind.
-
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:
- 1 ein System; und
- 2 ein Ablaufdiagramm eines Verfahrens; und
-
illustriert.
-
1 zeigt ein Fahrzeug 100, das entlang einer Fahrtroute 105 fährt, die eine Anzahl Objekte 110 passiert, die bevorzugt in einem vorbestimmten geographischen Gebiet liegen. An Bord des Fahrzeugs 100 ist eine Vorrichtung 115 angebracht, die wenigstens eine Abtasteinrichtung 120 und eine Verarbeitungseinrichtung 125 umfasst. Die Abtasteinrichtung 120 arbeitet bevorzugt optisch und ist dazu eingerichtet, ein Objekt 110 im Bereich des Fahrzeugs 100 optisch zu erfassen. Die Verarbeitungseinrichtung 125 ist dazu eingerichtet, ein durch die Abtasteinrichtung 120 bereitgestelltes Bild weiter zu verarbeiten. In einer Ausführungsform ist die Verarbeitungseinrichtung 125 dazu eingerichtet, ein Objekt 110 auf der Basis eines von ihm abgetasteten Bildes zu erkennen. In diesem Fall realisiert die Vorrichtung 115 ein Erkennungssystem.
-
Das Erkennungssystem 115 hat zur Aufgabe, eines oder eine vorbestimmte Anzahl von Objekten 110 auf der Basis optischer Abtastungen zu erkennen. Die Erkennung kann insbesondere mittels eines lernfähigen Systems erfolgen, insbesondere eines künstlichen neuronalen Netzwerks. Um das Erkennen eines der Objekte 110 zu ermöglichen, muss das Erkennungssystem 115 mittels einer Vielzahl von Trainingsdaten trainiert werden, die jeweils eine Abtastung eines Objekts 110 und einen Hinweis auf das Objekt 110 (Label, Bounding Box) umfassen. Es ist Aufgabe des Fahrzeugs 100, Abtastungen von Objekten 110 vorzunehmen, um diese dem Erkennungssystem 115 als Trainingsdaten zuzuführen. Das Überführen der Abtastungen in Trainingsdaten kann auf eine beliebige bekannte Weise erfolgen, die nicht Gegenstand der hierin geschilderten Technik ist. Jedoch soll die Fahrtroute 105 derart bestimmt werden, dass für ein gegebenes Erkennungssystem 115 möglichst wertvolle Trainingsdaten erfasst werden können. Hierzu wird ein System 130 vorgeschlagen, welches die Vorrichtung 115 und eine externe Einrichtung 135 umfasst. Dazu sind die Vorrichtung 115 und die externe Einrichtung 135 bevorzugt mittels Kommunikationseinrichtungen 140 miteinander verbunden, die insbesondere Endpunkte eines drahtlosen Netzwerks, insbesondere eines Mobilfunknetzes, umfassen können. Die externe Einrichtung 135 kann eine Verarbeitungseinrichtung 145 sowie einen Datenspeicher 150 umfassen.
-
In einer Variante wird die Fahrtroute 105 mittels der externen Einrichtung 135 erstellt. Dazu kann der Datenspeicher 150 erste Daten umfassen, die Erkennungsqualitäten unterschiedlicher Objekte 110 jeweils durch das Erkennungssystem 115 betreffen, sowie zweite Daten, die geographische Orte angeben, an denen jeweils wenigstens ein Objekt 110 voraussichtlich abgetastet werden kann. Die ersten Daten können bei Bedarf aktuell mit der Vorrichtung 115 abgeglichen werden. Die zweiten Daten umfassen bevorzugt statistische Daten, die beispielsweise ausdrücken können, mit welcher Wahrscheinlichkeit an einem vorbestimmten geographischen Ort das Abtasten eines Objekts 110 erfolgen kann. Diese Informationen können beispielsweise nach einer Uhrzeit, einem Datum oder anderen weiteren Informationen weiter untergliedert sein.
-
Es wird vorgeschlagen, die Fahrtroute 105 derart zu bestimmen, dass sie bevorzugt an Objekten 110 entlang- oder vorbeiführt, deren zugeordnete Erkennungsqualitäten verbesserungsbedürftig sind. In der Darstellung von 1 sind die Objekte 110 symbolhaft als Kreise dargestellt, deren Durchmesser jeweils eine Verbesserungsbedürftigkeit symbolisieren. Je größer der Kreis eines Objekts 110 ist, desto geringer ist die ihm zugeordnete Erkennungsqualität. Um die Fahrtroute 105 an möglichst vielen Objekten 110 entlangzuführen, deren Erkennungsqualitäten schlecht sind, können zunächst auf der Basis der zweiten Daten Orte bestimmt werden, an denen besonders schlecht erkennbare Objekte 110 zu erwarten sind. Die Bestimmung der Fahrtroute 105 erfolgt üblicherweise unter Einhaltung zusätzlicher Randbedingungen, beispielsweise hinsichtlich einer maximalen Länge, eines minimalen Kurvenradius oder einer maximalen Fahrtdauer der Fahrtroute 105. Die externe Einrichtung 135 kann die Fahrtroute 105 mittels eines Optimierungsverfahrens derart bestimmen, dass die Optimierungskriterien - Passieren vieler schlecht erkennbarer Objekte 110 - optimiert werden, während die Randbedingungen - beispielsweise eine vorbestimmte Maximallänge der Fahrtroute 105 - eingehalten sind.
-
Es ist zu beachten, dass Teile der externen Einrichtung 135 auch an Bord des Fahrzeugs 100 angebracht werden können. Ferner ist es möglich, getrennte Datenspeicher 150 für die ersten und die zweiten Daten vorzusehen. Einer oder beide Datenspeicher 150 können auch an Bord des Fahrzeugs 100 angebracht werden.
-
Es ist weiter zu beachten, dass die Fahrtroute 105 auch während des Befahrens durch das Fahrzeug 100 abgeändert oder angepasst werden kann. Dadurch kann insbesondere reflektiert werden, dass ein vorbestimmtes Objekt 110 an einem vorbestimmten geographischen Ort nur mit einer vorbestimmten Wahrscheinlichkeit abtastbar sein kann und beim Passieren des Fahrzeugs 100 möglicherweise nicht anwesend ist. Umgekehrt kann ein Objekt 110 auch an einem anderen als einem vorbestimmten geographischen Ort abgetastet werden. In diesem Fall kann die Fahrtroute 105 dynamisch abgeändert werden, um eine verbesserte Abtastung des Objekts 110 zu erlauben.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das insbesondere mittels eines Systems 130 ausgeführt werden kann.
-
In einem Schritt 205 können eines oder mehrere Objekte 110 bestimmt werden, die durch ein vorbestimmtes automatisches optisches Erkennungssystem 115 erkennbar sind oder sein sollen. In einem Schritt 210 können den Objekten 110 Erkennungsqualitäten zugeordnet werden, wobei eine Erkennungsqualität für ein Objekt 110 angibt, wie gut es durch das Erkennungssystem 115 erkannt werden kann. Eine niedrige Erkennungsqualität bedeutet, dass ein Objekt 110 auf der Basis einer optischen Abtastung nur mit einer geringen Sicherheit oder Wahrscheinlichkeit durch das Erkennungssystem 115 erkannt werden kann. Eine hohe Erkennungsqualität hingegen bedeutet, dass die Erkennung eines zugeordneten Objekts 110 durch das Erkennungssystem 115 mit einer hohen Sicherheit oder Wahrscheinlichkeit erfolgen kann.
-
In einem Schritt 215 können geographische Orte bestimmt werden, an denen möglicherweise eines oder mehrere Objekte 110 abgetastet werden können. In einem Schritt 220 können Sichtungswahrscheinlichkeiten bestimmt werden, mit denen an den geographischen Orten jeweils das Abtasten eines Objekts 110 möglich ist. Für unterschiedliche Umstände können unterschiedliche Wahrscheinlichkeiten angegeben sein. Die Umstände können insbesondere einen Zeitpunkt (beispielsweise eine Stunde, einen Tag) oder eine Jahreszeit oder ein herrschendes Wetter oder Klima umfassen.
-
In einem Schritt 225 kann die Fahrtroute 105 auf der Basis der bisher bestimmten Informationen mittels eines Optimierungsverfahrens bereitgestellt werden. Dazu kann eine Randbedingung berücksichtigt werden, beispielsweise ein Zeitpunkt, zu dem mit dem Befahren der Fahrtroute 105 begonnen werden soll, Eigenschaften eines Fahrzeugs 100, das die Fahrtroute 105 befahren soll oder eine maximale oder minimale Länge der Fahrtroute 105.
-
Das Fahrzeug 100 kann in einem Schritt 230 damit beginnen, die bestimmte Fahrtroute 105 zu befahren. In einem Schritt 235 kann mittels einer an Bord des Fahrzeugs 100 angebrachten Vorrichtung 115 ein Objekt 110 im Umfeld des Fahrzeugs 100 zuerst abgetastet und anschließend erkannt werden. In einem Schritt 240 kann bestimmt werden, ob eine dabei erzielte Bestimmungsqualität niedrig ist. Insbesondere kann die erzielte Bestimmungsqualität mit einem vorbestimmten Schwellenwert verglichen werden. Liegt die Bestimmungsqualität unter dem Schwellenwert, so kann die Fahrtroute 105 in einem Schritt 245 angepasst werden, um das Objekt 110 möglichst erneut abtasten zu können. Anschließend oder falls die Bestimmungsqualität im Schritt 240 als hoch bestimmt wurde, kann das Verfahren 200 mit dem Schritt 230 fortfahren, bis die Fahrtroute 105 vollständig befahren wurde.
-
Bezugszeichenliste
-
- 100
- Fahrzeug
- 105
- Fahrtroute
- 110
- Objekt
- 115
- Vorrichtung / Erkennungssystem
- 120
- Abtasteinrichtung
- 125
- Verarbeitungseinrichtung
- 130
- System
- 135
- externe Einrichtung
- 140
- Kommunikationseinrichtung
- 145
- Verarbeitungseinrichtung
- 150
- Datenspeicher
- 200
- Verfahren
- 205
- Bestimmen Objekte
- 210
- Bestimmen Erkennungsqualitäten
- 215
- Bestimmen geographische Orte
- 220
- Bestimmen Sichtungswahrscheinlichkeiten
- 225
- Bestimmen Fahrtroute
- 230
- Befahren Fahrtroute
- 235
- Objekt erkennen
- 240
- Erkennungsqualität niedrig?
- 245
- Fahrtroute anpassen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
